Tests IA reproductibles : utilisez l'IA pour créer le test, pas pour improviser à chaque exécution

Tests IA reproductibles : l'IA crée le test, puis les mêmes étapes se rejouent à chaque exécution. Pourquoi un test ne doit pas improviser, et où l'IA aide.

Par Ait Nohaila, Chargée de développement commercial 11 min de lecture

Les tests IA reproductibles, c'est une IA qui aide à créer et à modifier un test, tandis que le test lui-même rejoue les mêmes étapes et donne la même réponse à chaque exécution. L'IA travaille là où le jugement est utile, et n'improvise jamais l'exécution.

Un build passe au rouge le lundi et au vert le mardi, et rien n'a changé dans l'application. Si une IA a choisi les étapes de chaque exécution, vous ne pouvez pas savoir si l'application est cassée ou si l'IA a pris une autre route. Un build rouge qui ne veut peut-être rien dire est vite ignoré.

Qu'est-ce qu'un test reproductible ?

Définition

Un test reproductible donne le même résultat chaque fois qu'il s'exécute sur la même application.

  • Les mêmes étapes se déroulent dans le même ordre.
  • Chaque assertion est décidée par la même règle.

Donc, quand le résultat change, c'est que l'application a changé.

C'est cette propriété qui rend un test utile à chaque build.Un résultat rouge est un fait sur votre produit, pas sur le test.C'est tout l'intérêt des tests de non-régression.

Pourquoi une IA peut-elle donner deux réponses différentes à la même question ?

Un modèle d'IA ne va pas chercher une réponse toute faite. Il en compose une chaque fois qu'on l'interroge, et il peut la composer autrement. Posez deux fois la même question à un assistant et vous obtenez souvent deux formulations, parfois deux conclusions.

C'est une force quand vous voulez un brouillon, une idée ou une explication. C'est une faiblesse quand la réponse est un verdict qui doit tenir pendant trois cents builds.

Un test doit donner deux fois la même réponse. Sinon, un build rouge ne veut rien dire.

Deux façons d'utiliser l'IA dans l'automatisation des tests

L'IA peut occuper deux places dans un test.

L'IA pilote chaque exécution

Soit une IA lit vos instructions et pilote à nouveau l'application à chaque exécution, en choisissant chaque clic au fur et à mesure.

L'IA aide, le test s'exécute tout seul

Soit l'IA aide là où une personne le ferait, quand le test est créé, modifié ou relu, et l'exécution elle-même est un enregistrement fixe.

Une IA pilote chaque exécution

Exécution 1

Ouvrir CommandesNouvelle commandeSaisir le clientSauvegarder

Exécution 2

Ouvrir CommandesRechercher le clientNouvelle commandeSauvegarder

Exécution 3

Ouvrir CommandesNouvelle commandeArrêtée sur une boîte de dialogue

L'application est-elle cassée, ou l'IA a-t-elle pris une autre route ?

Un test sauvegardé se rejoue

Exécution 1

Ouvrir CommandesNouvelle commandeSaisir le clientSauvegarder

Exécution 2

Ouvrir CommandesNouvelle commandeSaisir le clientSauvegarder

Exécution 300

Ouvrir CommandesNouvelle commandeSaisir le clientSauvegarder

Une exécution rouge signifie que l'application a changé.

La même demande, exécutée trois fois. Seul un test qui rejoue les mêmes étapes fait d'un build rouge un fait sur votre application.
QuestionUne IA pilote chaque exécutionUn test sauvegardé se rejoue
Les étapes sont-elles les mêmes à chaque exécution ?Rien ne le garantit : chaque exécution est une nouvelle lecture des instructions.Oui : les mêmes étapes dans le même ordre.
Pouvez-vous reproduire un échec ?Pas toujours : l'exécution suivante peut prendre un autre chemin.Oui : exécutez le test à nouveau, ou regardez la vidéo de l'exécution.
Que coûte une exécution ?De l'IA consommée à chaque exécution de chaque test.Le temps de la machine de build.
À quelle vitesse va une exécution ?L'IA réfléchit avant chaque étape.Aussi vite que le parcours enregistré.
Que signifie un build rouge ?L'application a changé, ou l'IA a choisi autrement.L'application a changé.

Ces deux façons ont un nom, et l'article Test agentique ou test assisté par IA les met côte à côte.

Où l'IA aide, et où un test ne doit pas improviser

La question n'est pas de savoir s'il faut utiliser l'IA dans les tests. C'est de savoir où. Certaines parties du test gagnent à être jugées, et d'autres doivent rester fixes.

Partie du testCe que l'IA y faitPourquoi
Créer le testElle aide : une phrase devient des étapes et des assertions, essayées sur le vrai écran.C'est le travail qu'une personne ferait, fait plus vite.
Modifier le testElle aide : elle fait le changement que vous demandez, une fois que vous avez confirmé.La décision reste la vôtre.
Exécuter les étapesRien : le test sauvegardé se rejoue.Les mêmes étapes doivent se dérouler à chaque exécution.
Décider chaque assertionRien : la même comparaison à chaque fois.Le même écran doit recevoir le même verdict.
Une assertion qui a échouéUn second regard optionnel : un verdict final sur cette assertion, et une explication.Une différence demande parfois d'être lue, comme une personne la lirait.
Lire les résultatsElle aide : votre assistant lit une exécution et l'explique.Elle vous fait gagner du temps et ne change rien au test.

Une automatisation des tests par IA sur laquelle compter : comment fait GUI Test Studio

GUI Test Studio, qui automatise les tests de bout en bout de toute application sans code, repose sur la seconde façon. Vous décrivez le test dans une consigne à Claude, à ChatGPT avec Codex, ou à un modèle d'IA local, l'un des nôtres ou le vôtre. Vous pouvez aussi l'enregistrer vous-même, sans IA à aucun moment.

Votre consigne

Crée une commande pour Atlas Textiles et vérifie le total.

L'IA travaille une seule fois

Elle réalise le parcours sur votre écran et y essaie chaque assertion.

Un test sauvegardé

Order.GTS

Ses étapes, ses images, son enregistrement.

Exécution 1

  1. 1Ouvrir Commandes
  2. 2Nouvelle commande
  3. 3Saisir le client
  4. 4Sauvegarder
  5. 5Vérifier le total

Exécution 2

  1. 1Ouvrir Commandes
  2. 2Nouvelle commande
  3. 3Saisir le client
  4. 4Sauvegarder
  5. 5Vérifier le total

Exécution 300

  1. 1Ouvrir Commandes
  2. 2Nouvelle commande
  3. 3Saisir le client
  4. 4Sauvegarder
  5. 5Vérifier le total
L'IA crée le test une seule fois. Chaque exécution rejoue ensuite les mêmes étapes dans le même ordre, sans qu'aucune IA ne pilote l'application.
  1. Vous le décrivez

    Une phrase

  2. L'IA l'enregistre

    Une fois, sur votre écran

  3. Un test sauvegardé

    Un fichier à vous

  4. Chaque exécution

    Les mêmes étapes

Trois choses rendent l'exécution répétable.

  • L'IA travaille une seule fois : elle réalise le parcours sur votre vrai écran et y essaie chaque assertion avant de la garder.
  • Ce qu'elle laisse est un test sauvegardé, un fichier avec ses étapes, ses images et son enregistrement.
  • Quand ce test s'exécute, il rejoue les mêmes étapes dans le même ordre, et aucune IA ne pilote l'application.

Quand l'application change, le même assistant modifie le test sauvegardé sur place : un autre texte attendu, une attente plus longue, une étape supprimée. Il montre le changement et vous demande de confirmer avant d'écrire. Entre deux changements, le test est le même fichier, et son exécution est la même aussi.

Créer un test depuis une consigne montre chaque fenêtre, et Générateur de tests IA : d'une consigne à un test de bout en bout explique comment écrire une consigne qui donne un bon test.

Chaque assertion est décidée de la même façon à chaque fois

Une exécution n'est répétable que si ses verdicts le sont. Chaque assertion visuelle répond à deux questions fixes : l'élément a-t-il été trouvé à l'écran, et a-t-il l'apparence attendue ? La comparaison est perceptuelle, comme celle d'un œil humain. Elle remarque ce qu'une personne remarquerait, comme un chiffre faux, une icône manquante ou un mot changé, et ignore ce que personne ne voit.

Trois autres choses gardent une exécution stable.

  • Chaque assertion attend son élément et réussit dès qu'il est là, donc un écran lent ne change pas le résultat.
  • Une valeur qui change par nature, comme une date ou un numéro de commande, est vérifiée par son format.
  • Chaque assertion dit ce que fait un échec : arrêter le test, ou continuer.

Le temps d'attente est la première cause des tests qui réussissent et échouent au hasard : voir Pauses fixes dans les tests : attendez plutôt l'écran et Tests instables et faux positifs.

Quand une assertion échoue : l'IA porte un second regard, et sa réponse est conservée

Certaines différences demandent du jugement. Un titre légèrement plus gras est-il un bug ? L'analyse intelligente par IA est le volet IA optionnel du GTS Engine + AI. Seulement quand une assertion échoue, elle porte un second regard sur cette assertion, rend le verdict final et explique la différence en mots simples.

Les assertions d'une exécution

Titre de connexion

Réussie : aucune IA ne la regarde

Nom du client

Réussie : aucune IA ne la regarde

Total de la commande

Réussie : aucune IA ne la regarde

Bouton Confirmer la commande

Échouée : la seule que l'IA regarde

Numéro de commande

Réussie : aucune IA ne la regarde

L'analyse intelligente par IA, si vous l'avez activée

Un second regard sur l'assertion échouée

Verdict final : échoué

Le bouton Confirmer la commande est passé d'actif à désactivé.

Conservé avec l'exécutionAffiché dans le rapport
L'IA n'est interrogée que sur une assertion échouée. Tout le reste de l'exécution est décidé de la même façon à chaque fois, sans aucun modèle.
Le verdict de l'IA et ses raisons, à côté de l'assertion qu'elle a jugée.

Quatre règles gardent ce jugement à sa place.

  • L'IA ne pilote jamais l'application, et elle ne regarde jamais une assertion qui a réussi.
  • Son verdict porte sur une seule assertion échouée, et le rapport montre ses raisons à côté des deux images.
  • Sa réponse est conservée avec l'exécution, donc rouvrir le rapport ne redemande rien.
  • Avec l'IA désactivée, chaque assertion réussit ou échoue sur sa propre comparaison.

L'exécution est donc la même à chaque fois, et le seul endroit où un modèle juge est petit, visible, et vous pouvez le désactiver.

Guider l'IA en mots simples : les instructions pour l'IA

Certaines différences sont attendues, et vous seul savez lesquelles. Une assertion peut porter des instructions pour l'IA : quelques mots dans votre propre langue que l'IA suit quand elle juge cette assertion.

Vous écrivezL'IA
Ignorer les changements de taille de police.Laisse un texte plus grand ou plus petit en dehors des différences.
La date dans le coin change chaque jour.Ne compte pas la date comme une différence.
Le bouton Sauvegarder doit rester vert.Fait échouer l'assertion dès que le bouton est d'une autre couleur.

Le rapport montre les instructions sous lesquelles un verdict a été rendu, à côté de la réponse de l'IA, pour qu'un jugement ne soit jamais un mystère.Le guide de l'analyse intelligente par IA détaille chaque réglage.

Vous choisissez l'IA, ou aucune

Quelle IA porte ce second regard, c'est vous qui le choisissez, et vous pouvez changer d'avis.

Une IA dans le cloud, avec votre propre clé

Un modèle d'OpenAI ou d'Anthropic répond par votre propre compte, et seules les deux petites images d'une assertion échouée lui sont envoyées.

Un modèle d'IA local

Un modèle fourni par nous, ou le vôtre, tourne sur votre ordinateur, et rien n'en sort.

Pas d'IA du tout

Sans aucune IA, vous enregistrez les tests vous-même, et chaque assertion réussit ou échoue sur sa propre comparaison.

Dans tous les cas, les tests, les enregistrements et les rapports sont des fichiers sur vos ordinateurs.Ce que cette maîtrise vaut pour une équipe est le sujet de l'article Souveraineté IA dans les tests logiciels.

Un test qui ne change pas tout seul est aussi le contrôle indépendant dont vous avez besoin quand l'IA écrit le code : voir Comment tester du code généré par l'IA.Et un test qui se répare tout seul entre deux exécutions pose la même question, comme le montre l'article Tests auto-réparateurs (self-healing).

Ce qu'il faut savoir avant de commencer

LimiteCe que cela signifie
Un test vérifie ce qu'on lui a dit de vérifierUn test reproductible n'explore pas. Il répète un parcours et ses assertions, donc chaque parcours qui compte a besoin de son test.
Le même départ donne la même réponseAvant une exécution, remettez l'application là où l'enregistrement a commencé : la même page, les mêmes données, les mêmes fenêtres ouvertes.
Le second regard de l'IA est un jugementSur une différence limite, la lecture d'un modèle peut varier. Il n'est interrogé que sur les assertions échouées, ses raisons sont affichées, et il peut rester désactivé.
Une exécution utilise le vrai écranUne exécution déplace la vraie souris et saisit sur le vrai clavier, sauf si un test web s'exécute sans fenêtre de navigateur.

Points clés

  • 1Un test doit donner deux fois la même réponse, sinon un build rouge ne veut rien dire.
  • 2Une IA qui pilote chaque exécution improvise : un autre chemin, un coût par exécution, un échec impossible à reproduire.
  • 3Dans GUI Test Studio, l'IA crée le test et le modifie quand vous le demandez. Le test sauvegardé rejoue les mêmes étapes, sans qu'aucune IA ne pilote l'application.
  • 4Chaque assertion est décidée de la même façon à chaque fois. Seule une assertion échouée peut recevoir le second regard d'une IA, et sa réponse est conservée avec l'exécution.
  • 5Vous choisissez l'IA : une IA dans le cloud avec votre propre clé, un modèle d'IA local, l'un des nôtres ou le vôtre, ou aucune.

Questions

Qu'est-ce qu'un test reproductible ?

Un test reproductible est un test qui donne le même résultat chaque fois qu'il s'exécute sur la même application. Les mêmes étapes se déroulent dans le même ordre, et chaque assertion est décidée par la même règle. Quand le résultat change, c'est que l'application a changé.

Les tests par IA sont-ils reproductibles ?

Cela dépend de la place de l'IA. Une IA qui pilote l'application à chaque exécution relit ses instructions à chaque fois et peut prendre un autre chemin. Un test que l'IA a créé une fois et qui se rejoue tout seul est reproductible : les mêmes étapes et les mêmes assertions à chaque exécution.

Pourquoi les tests pilotés par l'IA donnent-ils des résultats différents d'une exécution à l'autre ?

Parce qu'un modèle d'IA compose sa réponse chaque fois qu'on l'interroge, et il peut la composer autrement. Si le modèle choisit chaque clic pendant l'exécution, deux exécutions sur la même application peuvent suivre deux chemins. Un échec vu une fois peut ne pas revenir quand vous essayez de le reproduire.

Puis-je utiliser l'IA dans l'automatisation des tests et garder des résultats répétables ?

Oui. Utilisez l'IA pour créer le test et pour le modifier quand vous le demandez, et laissez le test sauvegardé s'exécuter tout seul. Dans GUI Test Studio, un test créé depuis une consigne rejoue les mêmes étapes à chaque exécution, sans qu'aucune IA ne pilote l'application.

GUI Test Studio utilise-t-il l'IA pendant l'exécution d'un test ?

Aucune IA ne pilote l'application pendant une exécution : le test sauvegardé rejoue ses étapes. Si vous activez l'analyse intelligente par IA, elle ne regarde qu'une assertion qui a échoué, rend le verdict final sur cette assertion et explique la différence. Elle est optionnelle.

Que fait l'analyse intelligente par IA quand une assertion échoue ?

Elle porte un second regard sur l'assertion échouée et rend son verdict final. Elle fait réussir l'assertion quand rien d'important n'a changé, la fait échouer dans le cas contraire, et dit ce qui a changé en mots simples. Sa réponse est conservée avec l'exécution.

Puis-je exécuter mes tests sans aucune IA ?

Oui. Enregistrez le test vous-même et laissez l'analyse intelligente par IA désactivée. Chaque étape se rejoue et chaque assertion réussit ou échoue sur sa propre comparaison, sans qu'aucun modèle n'intervienne à aucun moment.

Comment dire à l'IA ce qu'elle doit ignorer dans une assertion ?

Donnez à l'assertion des instructions pour l'IA, quelques mots dans votre propre langue comme « ignorer les changements de taille de police ». L'IA les suit quand elle juge cette assertion, et le rapport montre les instructions à côté de sa réponse.

Claude, ChatGPT, Codex, OpenAI, Anthropic et Windows sont des marques de leurs propriétaires respectifs.

Tous les articles