Comment lire un rapport de test : ce qui a échoué, pourquoi, et que faire ensuite

Comment lire un rapport de test : cinq questions sur ce qui a échoué, pourquoi, et s'il faut signaler un bug, accepter le changement ou corriger l'assertion.

Par Ait Nohaila, Chargée de développement commercial 10 min de lecture

Pour lire un rapport de test, posez cinq questions : a-t-il réussi, où s'est-il arrêté, que montrait l'écran, est-ce un bug ou un changement voulu, et est-ce déjà arrivé. Un bon rapport répond aux cinq.

La plupart des résultats de test n'y répondent pas. Ce sont un mur de rouge et de vert, une pile d'appels, et une ligne comme « Element not found at line 214 ». Après les avoir lus, un testeur ne sait toujours pas si c'est l'application qui est cassée ou le test.

Pourquoi la plupart des résultats de test sont-ils difficiles à lire ?

Définition

Un rapport de test, c'est ce qu'une exécution laisse derrière elle pour qu'une personne agisse.

  • Beaucoup sont écrits pour le programme qui a exécuté le test, pas pour cette personne.

Ils disent où le code s'est arrêté, alors que le lecteur a besoin de savoir ce que l'utilisateur aurait vu.

Un mur de résultats

FAILED: checkout test 42

Element not found at line 214

Assertion error: expected true, got false

Timeout exceeded

L'application est-elle cassée, ou le test ?

Un rapport qui répond

Échec à l'étape Confirmer la commande
Le bouton a été trouvé à l'écran
Son apparence diffère : gris, là où le bleu était attendu
Il réussissait à chaque exécution avant aujourd'hui

Vous savez quoi faire ensuite.

Le même échec, deux fois. Le premier dit à un programmeur où le code s'est arrêté. Le second dit à n'importe qui ce que l'utilisateur aurait vu.
Ce que vous obtenezCe que vous ne savez toujours pas
Une ligne rouge avec le nom du testQuelle étape du parcours a échoué.
Une pile d'appels et un numéro de ligneCe qu'il y avait à l'écran à ce moment-là.
Element not foundSi le bouton a disparu, a bougé, a été renommé, ou était juste lent ce jour-là.
Une capture d'écran de la fin de l'exécutionCe à quoi l'écran aurait dû ressembler.

Alors quelqu'un exécute à nouveau le test à la main, regarde l'écran, et reconstitue ce qui s'est passé. Le rapport était censé épargner ce temps.

Les cinq questions auxquelles un rapport de test doit répondre

Lire des résultats de test est plus simple avec un ordre fixe. Ces cinq questions vont de la plus rapide à la plus approfondie, et vous pouvez vous arrêter dès que vous savez quoi faire.

QuestionOù le rapport de confiance y répond
1. A-t-il réussi ?Le verdict en haut : réussi, échoué ou abandonné, avec le nombre d'assertions et d'actions réussies.
2. Où s'est-il arrêté ?Le bandeau nomme l'étape, et chaque ligne de la liste porte le nom que vous avez donné à cette étape.
3. Que montrait l'écran ?Le panneau de l'assertion échouée : l'attendu à côté de l'obtenu, la différence mise en évidence, et la vidéo de l'exécution à ce moment-là.
4. Est-ce un bug ou un changement voulu ?Deux réponses par assertion, trouvé et identique, et une explication en mots simples quand l'IA est activée. La décision reste la vôtre.
5. Est-ce déjà arrivé ?L'historique : chaque exécution du test, et l'exécution où l'assertion a échoué pour la première fois.

Le rapport de confiance est le rapport que GUI Test Studio ouvre après chaque exécution.GUI Test Studio automatise les tests de bout en bout de toute application sans code, et c'est dans ce rapport qu'une exécution se lit.Le guide Lire le rapport de confiance décrit chaque bouton.

A-t-il réussi, et où s'est-il arrêté ?

Le bandeau en haut dit comment l'exécution s'est terminée, combien d'assertions et d'actions ont réussi sur le total que contient le test, et combien de temps elle a pris. Quand une exécution a échoué, il dit où : l'étape, l'assertion et la partie du test à laquelle elle appartient.

Un exemple d'exécution : le verdict en haut, chaque étape au milieu, l'assertion sélectionnée en dessous.
VerdictCe qui s'est passé
RéussiChaque étape s'est exécutée et chaque assertion a réussi.
Échoué : introuvableUne assertion a attendu tout son délai et n'a jamais trouvé ce qu'elle attendait.
Échoué : différentL'élément a été trouvé, mais son apparence diffère de ce que le test attend.
AbandonnéQuelqu'un a arrêté l'exécution, ou une limite de temps y a mis fin.

Sous le bandeau, la liste montre chaque action et chaque assertion dans l'ordre, avec une marque verte ou rouge.Chaque ligne porte le nom que vous avez donné à son étape dans GUI Test Studio, donc un échec se lit Confirmer la commande et non un numéro de ligne.F8 passe à l'échec suivant, et un filtre n'affiche que les lignes en échec.

Analyse des échecs de test : trouvé, et identique ?

Une assertion qui regarde un élément répond à deux questions, l'une après l'autre. D'abord, l'élément a-t-il été trouvé à l'écran. Ensuite, a-t-il l'apparence attendue.

Une assertion échouée, lue de haut en bas

1

L'élément a-t-il été trouvé ?

Trouvé

Il est à l'écran, donc l'application est arrivée au bon endroit.

2

A-t-il la même apparence ?

Différent

Quelque chose a changé chez lui : un mot, une couleur ou une icône.

3

Qu'est-ce qui a changé, en mots simples ?

IA optionnelle

Le bouton Confirmer la commande est passé d'actif à désactivé.

La réponse qui a échoué vous dit quel genre de problème vous avez, avant même d'ouvrir une image.
La réponse qui a échouéCe que cela signifieOù regarder
IntrouvableL'élément ne s'est jamais affiché, ou il a tellement changé qu'il n'est plus reconnu.L'application est-elle sur le bon écran ? Quelque chose recouvre-t-il l'élément ? A-t-il été supprimé ou redessiné ?
Trouvé, mais différentL'élément est là, et quelque chose a changé chez lui : un mot, une couleur, une icône.L'élément lui-même. Soit l'application a un bug, soit elle a changé volontairement.
ExempleComme retrouver un ami à la gare

D'abord, vous repérez votre ami dans la foule, et un nouveau manteau ne vous en empêche pas. Puis vous regardez de plus près et remarquez sa nouvelle coupe de cheveux. Le premier regard est indulgent, le second est attentif, et le rapport garde les deux séparés.

La comparaison fonctionne comme un œil humain.Elle remarque ce qu'une personne remarquerait, comme un chiffre faux ou une icône manquante, et ignore ce que personne ne voit.Les assertions de texte sont plus simples : le rapport montre les mots attendus à côté des mots lus.Une assertion qui a manqué de temps un jour de lenteur, c'est une autre histoire, racontée dans Les pauses fixes dans les tests.

Que montrait l'écran ? L'attendu à côté de l'obtenu

Une phrase qui décrit une différence n'est jamais aussi rapide que de la voir. Cliquez sur une assertion échouée et son panneau s'ouvre : ce qui était attendu à gauche, ce que l'exécution a trouvé à droite.

L'attendu à gauche, l'obtenu à droite, et les réponses de l'assertion à côté.

Le rapport vous offre plusieurs façons de regarder.

  • Côte à côte, ou une image posée sur l'autre.
  • Une vue qui ne met en évidence que ce qui a changé, pour que votre œil y aille directement.
  • La chronologie de l'exécution, avec les images de sa vidéo et chaque assertion marquée à son moment.
Un rapport doit montrer ce que l'utilisateur aurait vu, pas où le code s'est arrêté.

Est-ce un bug ou un changement voulu ? Une explication en mots simples

Avec l'analyse intelligente par IA activée, une assertion échouée reçoit un second regard.L'IA rend le verdict final sur cette assertion et écrit la phrase qu'écrirait un collègue : le bouton Confirmer la commande est passé d'actif à désactivé.

L'explication est optionnelle, et l'IA qui l'écrit est le choix de votre équipe.

  • Une IA dans le cloud, avec votre propre clé.
  • Un modèle d'IA local, l'un des nôtres ou le vôtre.
  • Pas d'IA du tout : les images montrent quand même ce qui a changé.

Les rapports, les images et les enregistrements sont des fichiers sur vos ordinateurs, conservés avec le test.Cela en fait aussi des preuves : voir Preuves de test pour les audits.

Est-ce déjà arrivé ? L'historique des exécutions précédentes

Un échec veut dire peu de chose sans son passé. Une assertion qui a échoué aujourd'hui pour la première fois, après des semaines de réussite, désigne le changement d'hier. Une assertion qui échoue une exécution sur cinq désigne un problème de temps d'attente.

Ce que montre l'historiqueCe que cela vous dit
L'exécution où une assertion a échoué pour la première foisQuel build ou quel jour regarder.
Une assertion qui réussit et échoue tour à tourUn problème de temps d'attente, ou quelque chose qui diffère d'une exécution à l'autre.
Ce qui a changé entre deux exécutionsSi le test a été modifié, ou si c'est seulement l'application qui a bougé.

Le rapport de chaque exécution est sauvegardé avec le test et se rouvre exactement tel qu'il était, donc toute exécution passée peut être relue.Les tests qui échouent sans raison sont le sujet de Tests instables et faux positifs.

Que faire ensuite : trois choix

La lecture d'un rapport se termine par une décision, et il n'y en a que trois.

Une assertion échouée, et ce que vous avez vu à l'écran

L'application se trompe

Créer un rapport d'anomalie

Un PDF, un fichier Excel ou un ticket Jira, rempli à partir de l'exécution.

Le changement était voulu

Accepter la nouvelle apparence

Un clic dans le rapport, et il peut être annulé.

L'assertion vérifie la mauvaise chose

Modifier l'assertion

Le test s'ouvre dans GUI Test Studio sur cette assertion précise.

La lecture d'un rapport se termine par une décision. Chacune des trois se prend depuis le rapport lui-même.
Vous avez trouvéCe que vous faitesComment
Un bug dans l'applicationCréer un rapport d'anomalie.Le bouton Rapport d'anomalie ouvre un formulaire rempli à partir de l'exécution : le titre, ce qui a échoué, les étapes pour reproduire, l'environnement. Sauvegardez-le en PDF ou en fichier Excel, ou créez un ticket Jira.
Un changement vouluAccepter la nouvelle apparence.Un clic fait de ce que l'exécution a trouvé la nouvelle apparence attendue. Il peut être annulé, et Sauvegarder l'écrit dans le test.
Une assertion qui vérifie la mauvaise choseModifier l'assertion.Changez les mots attendus d'une assertion de texte dans le rapport, ou ouvrez le test dans GUI Test Studio sur cette assertion.
Le rapport d'anomalie est écrit pour vous. Vous le lisez, l'ajustez et le sauvegardez.

Créer un rapport d'anomalie et Quand l'application change volontairement détaillent chacun d'eux.N'acceptez que ce que vous avez regardé : un test qui suit tout seul chaque changement cache de vrais bugs, comme l'explique Tests auto-réparateurs (self-healing).

Comment lire une exécution en échec en cinq étapes

  1. 1

    Lire le verdict en haut

    Le bandeau du rapport de confiance dit comment l'exécution s'est terminée, combien d'assertions et d'actions ont réussi, et l'étape où elle a échoué.

  2. 2

    Aller au premier échec

    Appuyez sur F8 ou cliquez sur Échec suivant.La ligne porte le nom que vous avez donné à cette étape, donc vous savez de quelle partie du parcours il s'agit.

  3. 3

    Lire les deux réponses de l'assertion

    L'élément a-t-il été trouvé, et a-t-il la même apparence. Introuvable désigne l'écran où se trouvait l'application, différent désigne l'élément lui-même.

  4. 4

    Regarder ce que montrait l'écran

    Comparez l'attendu et l'obtenu côte à côte, ou laissez le rapport mettre en évidence ce qui a changé. Lisez l'explication quand l'analyse intelligente par IA est activée.

  5. 5

    Décider de la suite

    Ouvrez l'Historique pour voir s'il a déjà échoué.Puis créez un rapport d'anomalie, acceptez la nouvelle apparence si le changement était voulu, ou modifiez l'assertion.

Les résultats de test d'un pipeline CI/CD

Une exécution sur une machine de build se lit de la même façon. gtr-cli, l'exécuteur en ligne de commande, donne ses résultats à l'outil de CI en JUnit, JSON ou Markdown, et conserve la vidéo de l'exécution, ses images et son rapport sauvegardé comme artefacts. Rien d'une exécution n'est perdu parce que personne ne la regardait.

Un build en échec peut aussi créer son propre ticket Jira, avec les étapes et les images : voir chaque test en échec devient un bug Jira.Exécuter des tests dans votre pipeline liste les options.

Ce qu'il faut savoir avant de commencer

Bon à savoirCe que cela signifie
Un rapport montre ce que le test a vérifiéUn problème en dehors de toute assertion n'y figure pas. Un test vérifie ce qu'on lui a demandé de vérifier.
Une exécution arrêtée est une exécution partielleAprès un échec dont dépend la suite, les étapes suivantes ne se sont pas exécutées. Corrigez le premier échec, puis exécutez à nouveau.
L'IA répond après l'exécutionAvec l'IA activée, le rapport indique qu'il est en cours de vérification pendant que les assertions échouées reçoivent leur second regard, et le verdict se fixe une fois toutes les réponses arrivées.
La décision demande une personneLe rapport montre et explique la différence. Savoir si c'est un bug revient à quelqu'un qui sait ce que l'application doit faire.

Points clés

  • 1Un rapport de test est destiné à une personne qui doit agir, il doit donc dire ce que l'utilisateur aurait vu, pas où le code s'est arrêté.
  • 2Posez cinq questions dans l'ordre : a-t-il réussi, où s'est-il arrêté, que montrait l'écran, est-ce un bug ou un changement voulu, est-ce déjà arrivé.
  • 3Chaque assertion donne deux réponses : introuvable désigne l'écran où se trouvait l'application, différent désigne l'élément lui-même.
  • 4Le rapport de confiance montre l'attendu à côté de l'obtenu, avec vos propres noms d'étapes, la vidéo de l'exécution et l'historique des exécutions précédentes.
  • 5Chaque lecture se termine par l'une de trois actions : un rapport d'anomalie rempli pour vous, une nouvelle apparence acceptée en un clic, ou une assertion modifiée.

Questions

Comment lire un rapport de test ?

Commencez par le verdict, puis allez au premier échec. Pour cette étape, demandez-vous ce que montrait l'écran, si la différence est un bug ou un changement voulu, et si c'est déjà arrivé. Puis signalez un bug, acceptez le changement ou modifiez l'assertion.

Que doit contenir un bon rapport de test ?

La réponse à cinq questions : l'exécution a-t-elle réussi, où s'est-elle arrêtée, que montrait l'écran, est-ce un bug ou un changement voulu, et est-ce déjà arrivé. Une liste de lignes rouges et vertes ne répond qu'à la première.

Comment savoir si c'est l'application qui est cassée ou le test ?

Regardez ce que montrait l'écran à l'étape en échec, à côté de ce qui était attendu. Si l'écran est faux, l'application est cassée. Si l'écran est juste et a seulement une nouvelle apparence, l'application a changé volontairement et le test doit suivre.

Quelle est la différence entre introuvable et différent pour une assertion échouée ?

Introuvable signifie que l'élément ne s'est jamais affiché pendant que l'assertion attendait. Différent signifie que l'élément était là, mais que quelque chose a changé chez lui, comme un mot, une couleur ou une icône. Le premier vous renvoie à l'écran où se trouvait l'application, le second à l'élément lui-même.

Ai-je besoin de l'IA pour comprendre un test en échec ?

Non. Le rapport de confiance montre l'attendu à côté de l'obtenu avec la différence mise en évidence, sans aucune IA. L'analyse intelligente par IA est optionnelle : elle ajoute une explication en mots simples, avec une IA dans le cloud et votre propre clé, ou avec un modèle d'IA local, l'un des nôtres ou le vôtre.

Que faire quand un test échoue parce que l'application a changé volontairement ?

Acceptez la nouvelle apparence. Dans le rapport de confiance, un clic fait de ce que l'exécution a trouvé la nouvelle apparence attendue de cette assertion, il peut être annulé, et Sauvegarder l'écrit dans le test.

Un test en échec peut-il devenir un rapport d'anomalie tout seul ?

Oui. Le bouton Rapport d'anomalie du rapport de confiance ouvre un formulaire déjà rempli à partir de l'exécution : le titre, ce qui a échoué, les étapes pour reproduire et l'environnement. Vous le sauvegardez en PDF ou en fichier Excel, ou vous en créez un ticket Jira.

Où se trouve le rapport d'une ancienne exécution ?

Avec le test. Le rapport de confiance de chaque exécution est sauvegardé à côté du fichier de test et se rouvre exactement tel qu'il était, avec ses images. L'historique du test liste chaque exécution et ouvre n'importe laquelle.

Jira et Excel sont des marques de leurs propriétaires respectifs.

Tous les articles