Tests IA reproductibles : utilisez l'IA pour créer le test, pas pour improviser à chaque exécution
Tests IA reproductibles : l'IA crée le test, puis les mêmes étapes se rejouent à chaque exécution. Pourquoi un test ne doit pas improviser, et où l'IA aide.
Les tests IA reproductibles, c'est une IA qui aide à créer et à modifier un test, tandis que le test lui-même rejoue les mêmes étapes et donne la même réponse à chaque exécution. L'IA travaille là où le jugement est utile, et n'improvise jamais l'exécution.
Un build passe au rouge le lundi et au vert le mardi, et rien n'a changé dans l'application. Si une IA a choisi les étapes de chaque exécution, vous ne pouvez pas savoir si l'application est cassée ou si l'IA a pris une autre route. Un build rouge qui ne veut peut-être rien dire est vite ignoré.
Qu'est-ce qu'un test reproductible ?
Définition
Un test reproductible donne le même résultat chaque fois qu'il s'exécute sur la même application.
- Les mêmes étapes se déroulent dans le même ordre.
- Chaque assertion est décidée par la même règle.
Donc, quand le résultat change, c'est que l'application a changé.
C'est cette propriété qui rend un test utile à chaque build.Un résultat rouge est un fait sur votre produit, pas sur le test.C'est tout l'intérêt des tests de non-régression.
Pourquoi une IA peut-elle donner deux réponses différentes à la même question ?
Un modèle d'IA ne va pas chercher une réponse toute faite. Il en compose une chaque fois qu'on l'interroge, et il peut la composer autrement. Posez deux fois la même question à un assistant et vous obtenez souvent deux formulations, parfois deux conclusions.
C'est une force quand vous voulez un brouillon, une idée ou une explication. C'est une faiblesse quand la réponse est un verdict qui doit tenir pendant trois cents builds.
Un test doit donner deux fois la même réponse. Sinon, un build rouge ne veut rien dire.
Deux façons d'utiliser l'IA dans l'automatisation des tests
L'IA peut occuper deux places dans un test.
L'IA pilote chaque exécution
Soit une IA lit vos instructions et pilote à nouveau l'application à chaque exécution, en choisissant chaque clic au fur et à mesure.
L'IA aide, le test s'exécute tout seul
Soit l'IA aide là où une personne le ferait, quand le test est créé, modifié ou relu, et l'exécution elle-même est un enregistrement fixe.
Une IA pilote chaque exécution
Exécution 1
Exécution 2
Exécution 3
L'application est-elle cassée, ou l'IA a-t-elle pris une autre route ?
Un test sauvegardé se rejoue
Exécution 1
Exécution 2
Exécution 300
Une exécution rouge signifie que l'application a changé.
| Question | Une IA pilote chaque exécution | Un test sauvegardé se rejoue |
|---|---|---|
| Les étapes sont-elles les mêmes à chaque exécution ? | Rien ne le garantit : chaque exécution est une nouvelle lecture des instructions. | Oui : les mêmes étapes dans le même ordre. |
| Pouvez-vous reproduire un échec ? | Pas toujours : l'exécution suivante peut prendre un autre chemin. | Oui : exécutez le test à nouveau, ou regardez la vidéo de l'exécution. |
| Que coûte une exécution ? | De l'IA consommée à chaque exécution de chaque test. | Le temps de la machine de build. |
| À quelle vitesse va une exécution ? | L'IA réfléchit avant chaque étape. | Aussi vite que le parcours enregistré. |
| Que signifie un build rouge ? | L'application a changé, ou l'IA a choisi autrement. | L'application a changé. |
Ces deux façons ont un nom, et l'article Test agentique ou test assisté par IA les met côte à côte.
Où l'IA aide, et où un test ne doit pas improviser
La question n'est pas de savoir s'il faut utiliser l'IA dans les tests. C'est de savoir où. Certaines parties du test gagnent à être jugées, et d'autres doivent rester fixes.
| Partie du test | Ce que l'IA y fait | Pourquoi |
|---|---|---|
| Créer le test | Elle aide : une phrase devient des étapes et des assertions, essayées sur le vrai écran. | C'est le travail qu'une personne ferait, fait plus vite. |
| Modifier le test | Elle aide : elle fait le changement que vous demandez, une fois que vous avez confirmé. | La décision reste la vôtre. |
| Exécuter les étapes | Rien : le test sauvegardé se rejoue. | Les mêmes étapes doivent se dérouler à chaque exécution. |
| Décider chaque assertion | Rien : la même comparaison à chaque fois. | Le même écran doit recevoir le même verdict. |
| Une assertion qui a échoué | Un second regard optionnel : un verdict final sur cette assertion, et une explication. | Une différence demande parfois d'être lue, comme une personne la lirait. |
| Lire les résultats | Elle aide : votre assistant lit une exécution et l'explique. | Elle vous fait gagner du temps et ne change rien au test. |
Une automatisation des tests par IA sur laquelle compter : comment fait GUI Test Studio
GUI Test Studio, qui automatise les tests de bout en bout de toute application sans code, repose sur la seconde façon. Vous décrivez le test dans une consigne à Claude, à ChatGPT avec Codex, ou à un modèle d'IA local, l'un des nôtres ou le vôtre. Vous pouvez aussi l'enregistrer vous-même, sans IA à aucun moment.
Votre consigne
Crée une commande pour Atlas Textiles et vérifie le total.
L'IA travaille une seule fois
Elle réalise le parcours sur votre écran et y essaie chaque assertion.
Un test sauvegardé
Order.GTS
Ses étapes, ses images, son enregistrement.
Exécution 1
- 1Ouvrir Commandes
- 2Nouvelle commande
- 3Saisir le client
- 4Sauvegarder
- 5Vérifier le total
Exécution 2
- 1Ouvrir Commandes
- 2Nouvelle commande
- 3Saisir le client
- 4Sauvegarder
- 5Vérifier le total
Exécution 300
- 1Ouvrir Commandes
- 2Nouvelle commande
- 3Saisir le client
- 4Sauvegarder
- 5Vérifier le total
Vous le décrivez
Une phrase
L'IA l'enregistre
Une fois, sur votre écran
Un test sauvegardé
Un fichier à vous
Chaque exécution
Les mêmes étapes
Trois choses rendent l'exécution répétable.
- L'IA travaille une seule fois : elle réalise le parcours sur votre vrai écran et y essaie chaque assertion avant de la garder.
- Ce qu'elle laisse est un test sauvegardé, un fichier avec ses étapes, ses images et son enregistrement.
- Quand ce test s'exécute, il rejoue les mêmes étapes dans le même ordre, et aucune IA ne pilote l'application.
Quand l'application change, le même assistant modifie le test sauvegardé sur place : un autre texte attendu, une attente plus longue, une étape supprimée. Il montre le changement et vous demande de confirmer avant d'écrire. Entre deux changements, le test est le même fichier, et son exécution est la même aussi.
Créer un test depuis une consigne montre chaque fenêtre, et Générateur de tests IA : d'une consigne à un test de bout en bout explique comment écrire une consigne qui donne un bon test.
Chaque assertion est décidée de la même façon à chaque fois
Une exécution n'est répétable que si ses verdicts le sont. Chaque assertion visuelle répond à deux questions fixes : l'élément a-t-il été trouvé à l'écran, et a-t-il l'apparence attendue ? La comparaison est perceptuelle, comme celle d'un œil humain. Elle remarque ce qu'une personne remarquerait, comme un chiffre faux, une icône manquante ou un mot changé, et ignore ce que personne ne voit.
Trois autres choses gardent une exécution stable.
- Chaque assertion attend son élément et réussit dès qu'il est là, donc un écran lent ne change pas le résultat.
- Une valeur qui change par nature, comme une date ou un numéro de commande, est vérifiée par son format.
- Chaque assertion dit ce que fait un échec : arrêter le test, ou continuer.
Le temps d'attente est la première cause des tests qui réussissent et échouent au hasard : voir Pauses fixes dans les tests : attendez plutôt l'écran et Tests instables et faux positifs.
Quand une assertion échoue : l'IA porte un second regard, et sa réponse est conservée
Certaines différences demandent du jugement. Un titre légèrement plus gras est-il un bug ? L'analyse intelligente par IA est le volet IA optionnel du GTS Engine + AI. Seulement quand une assertion échoue, elle porte un second regard sur cette assertion, rend le verdict final et explique la différence en mots simples.
Les assertions d'une exécution
Titre de connexion
Réussie : aucune IA ne la regarde
Nom du client
Réussie : aucune IA ne la regarde
Total de la commande
Réussie : aucune IA ne la regarde
Bouton Confirmer la commande
Échouée : la seule que l'IA regarde
Numéro de commande
Réussie : aucune IA ne la regarde
L'analyse intelligente par IA, si vous l'avez activée
Un second regard sur l'assertion échouée
Verdict final : échoué
Le bouton Confirmer la commande est passé d'actif à désactivé.
Quatre règles gardent ce jugement à sa place.
- L'IA ne pilote jamais l'application, et elle ne regarde jamais une assertion qui a réussi.
- Son verdict porte sur une seule assertion échouée, et le rapport montre ses raisons à côté des deux images.
- Sa réponse est conservée avec l'exécution, donc rouvrir le rapport ne redemande rien.
- Avec l'IA désactivée, chaque assertion réussit ou échoue sur sa propre comparaison.
L'exécution est donc la même à chaque fois, et le seul endroit où un modèle juge est petit, visible, et vous pouvez le désactiver.
Guider l'IA en mots simples : les instructions pour l'IA
Certaines différences sont attendues, et vous seul savez lesquelles. Une assertion peut porter des instructions pour l'IA : quelques mots dans votre propre langue que l'IA suit quand elle juge cette assertion.
| Vous écrivez | L'IA |
|---|---|
| Ignorer les changements de taille de police. | Laisse un texte plus grand ou plus petit en dehors des différences. |
| La date dans le coin change chaque jour. | Ne compte pas la date comme une différence. |
| Le bouton Sauvegarder doit rester vert. | Fait échouer l'assertion dès que le bouton est d'une autre couleur. |
Le rapport montre les instructions sous lesquelles un verdict a été rendu, à côté de la réponse de l'IA, pour qu'un jugement ne soit jamais un mystère.Le guide de l'analyse intelligente par IA détaille chaque réglage.
Vous choisissez l'IA, ou aucune
Quelle IA porte ce second regard, c'est vous qui le choisissez, et vous pouvez changer d'avis.
Une IA dans le cloud, avec votre propre clé
Un modèle d'OpenAI ou d'Anthropic répond par votre propre compte, et seules les deux petites images d'une assertion échouée lui sont envoyées.
Un modèle d'IA local
Un modèle fourni par nous, ou le vôtre, tourne sur votre ordinateur, et rien n'en sort.
Pas d'IA du tout
Sans aucune IA, vous enregistrez les tests vous-même, et chaque assertion réussit ou échoue sur sa propre comparaison.
Dans tous les cas, les tests, les enregistrements et les rapports sont des fichiers sur vos ordinateurs.Ce que cette maîtrise vaut pour une équipe est le sujet de l'article Souveraineté IA dans les tests logiciels.
Un test qui ne change pas tout seul est aussi le contrôle indépendant dont vous avez besoin quand l'IA écrit le code : voir Comment tester du code généré par l'IA.Et un test qui se répare tout seul entre deux exécutions pose la même question, comme le montre l'article Tests auto-réparateurs (self-healing).
Ce qu'il faut savoir avant de commencer
| Limite | Ce que cela signifie |
|---|---|
| Un test vérifie ce qu'on lui a dit de vérifier | Un test reproductible n'explore pas. Il répète un parcours et ses assertions, donc chaque parcours qui compte a besoin de son test. |
| Le même départ donne la même réponse | Avant une exécution, remettez l'application là où l'enregistrement a commencé : la même page, les mêmes données, les mêmes fenêtres ouvertes. |
| Le second regard de l'IA est un jugement | Sur une différence limite, la lecture d'un modèle peut varier. Il n'est interrogé que sur les assertions échouées, ses raisons sont affichées, et il peut rester désactivé. |
| Une exécution utilise le vrai écran | Une exécution déplace la vraie souris et saisit sur le vrai clavier, sauf si un test web s'exécute sans fenêtre de navigateur. |
Points clés
- 1Un test doit donner deux fois la même réponse, sinon un build rouge ne veut rien dire.
- 2Une IA qui pilote chaque exécution improvise : un autre chemin, un coût par exécution, un échec impossible à reproduire.
- 3Dans GUI Test Studio, l'IA crée le test et le modifie quand vous le demandez. Le test sauvegardé rejoue les mêmes étapes, sans qu'aucune IA ne pilote l'application.
- 4Chaque assertion est décidée de la même façon à chaque fois. Seule une assertion échouée peut recevoir le second regard d'une IA, et sa réponse est conservée avec l'exécution.
- 5Vous choisissez l'IA : une IA dans le cloud avec votre propre clé, un modèle d'IA local, l'un des nôtres ou le vôtre, ou aucune.
Questions
Qu'est-ce qu'un test reproductible ?
Un test reproductible est un test qui donne le même résultat chaque fois qu'il s'exécute sur la même application. Les mêmes étapes se déroulent dans le même ordre, et chaque assertion est décidée par la même règle. Quand le résultat change, c'est que l'application a changé.
Les tests par IA sont-ils reproductibles ?
Cela dépend de la place de l'IA. Une IA qui pilote l'application à chaque exécution relit ses instructions à chaque fois et peut prendre un autre chemin. Un test que l'IA a créé une fois et qui se rejoue tout seul est reproductible : les mêmes étapes et les mêmes assertions à chaque exécution.
Pourquoi les tests pilotés par l'IA donnent-ils des résultats différents d'une exécution à l'autre ?
Parce qu'un modèle d'IA compose sa réponse chaque fois qu'on l'interroge, et il peut la composer autrement. Si le modèle choisit chaque clic pendant l'exécution, deux exécutions sur la même application peuvent suivre deux chemins. Un échec vu une fois peut ne pas revenir quand vous essayez de le reproduire.
Puis-je utiliser l'IA dans l'automatisation des tests et garder des résultats répétables ?
Oui. Utilisez l'IA pour créer le test et pour le modifier quand vous le demandez, et laissez le test sauvegardé s'exécuter tout seul. Dans GUI Test Studio, un test créé depuis une consigne rejoue les mêmes étapes à chaque exécution, sans qu'aucune IA ne pilote l'application.
GUI Test Studio utilise-t-il l'IA pendant l'exécution d'un test ?
Aucune IA ne pilote l'application pendant une exécution : le test sauvegardé rejoue ses étapes. Si vous activez l'analyse intelligente par IA, elle ne regarde qu'une assertion qui a échoué, rend le verdict final sur cette assertion et explique la différence. Elle est optionnelle.
Que fait l'analyse intelligente par IA quand une assertion échoue ?
Elle porte un second regard sur l'assertion échouée et rend son verdict final. Elle fait réussir l'assertion quand rien d'important n'a changé, la fait échouer dans le cas contraire, et dit ce qui a changé en mots simples. Sa réponse est conservée avec l'exécution.
Puis-je exécuter mes tests sans aucune IA ?
Oui. Enregistrez le test vous-même et laissez l'analyse intelligente par IA désactivée. Chaque étape se rejoue et chaque assertion réussit ou échoue sur sa propre comparaison, sans qu'aucun modèle n'intervienne à aucun moment.
Comment dire à l'IA ce qu'elle doit ignorer dans une assertion ?
Donnez à l'assertion des instructions pour l'IA, quelques mots dans votre propre langue comme « ignorer les changements de taille de police ». L'IA les suit quand elle juge cette assertion, et le rapport montre les instructions à côté de sa réponse.
Claude, ChatGPT, Codex, OpenAI, Anthropic et Windows sont des marques de leurs propriétaires respectifs.


