Einen Testbericht richtig lesen: was fehlgeschlagen ist, warum und was als Nächstes zu tun ist

Einen Testbericht lesen: fünf Fragen, die zeigen, was fehlgeschlagen ist, warum und ob Sie einen Fehler melden, die Änderung übernehmen oder die Prüfung bearbeiten.

Von Ait Nohaila, Business Development Representative 10 Min. Lesezeit

Um einen Testbericht zu lesen, stellen Sie fünf Fragen: Hat er bestanden, wo hat er angehalten, was zeigte der Bildschirm, ist es ein Fehler oder eine gewollte Änderung, und ist das schon einmal passiert. Ein guter Bericht beantwortet alle fünf.

Die meisten Testergebnisse tun das nicht. Sie sind eine Wand aus Rot und Grün, ein Stacktrace und eine Zeile wie „element not found at line 214“. Nach dem Lesen weiß man im Testteam immer noch nicht, ob die App kaputt ist oder der Test.

Warum sind die meisten Testergebnisse schwer zu lesen?

Definition

Ein Testbericht ist das, was ein Testlauf hinterlässt, damit ein Mensch handeln kann.

  • Viele sind für das Programm geschrieben, das den Test ausgeführt hat, nicht für diesen Menschen.

Sie sagen, wo der Code angehalten hat, wenn der Leser wissen muss, was der Benutzer gesehen hätte.

Eine Wand aus Ergebnissen

FAILED: checkout test 42

Element not found at line 214

Assertion error: expected true, got false

Timeout exceeded

Ist die App kaputt oder der Test?

Ein Bericht, der antwortet

Fehlgeschlagen beim Schritt „Bestellung bestätigen“
Die Schaltfläche wurde auf dem Bildschirm gefunden
Sie sieht anders aus: grau, wo Blau erwartet wurde
Sie hat in jedem Lauf vor heute bestanden

Sie wissen, was als Nächstes zu tun ist.

Derselbe Fehlschlag, zweimal. Der erste sagt jemandem aus der Entwicklung, wo der Code angehalten hat. Der zweite sagt jedem, was der Benutzer gesehen hätte.
Was Sie bekommenWas Sie immer noch nicht wissen
Eine rote Zeile mit dem Namen des TestsWelcher Schritt des Ablaufs fehlgeschlagen ist.
Ein Stacktrace und eine ZeilennummerWas in diesem Moment auf dem Bildschirm war.
Element not foundOb die Schaltfläche weg ist, verschoben, umbenannt oder an diesem Tag langsam war.
Ein Screenshot vom Ende des LaufsWie der Bildschirm hätte aussehen sollen.

Also führt jemand den Test noch einmal von Hand aus, beobachtet den Bildschirm und rekonstruiert, was passiert ist. Genau diese Zeit sollte der Bericht sparen.

Die fünf Fragen, die ein Testbericht beantworten muss

Testergebnisse zu lesen ist mit einer festen Reihenfolge einfacher. Diese fünf Fragen gehen von der schnellsten zur gründlichsten, und Sie können aufhören, sobald Sie wissen, was zu tun ist.

FrageWo der Konfidenzbericht sie beantwortet
1. Hat er bestanden?Das Ergebnis oben: bestanden, fehlgeschlagen oder abgebrochen, mit der Anzahl der bestandenen Prüfungen und Aktionen.
2. Wo hat er angehalten?Das Banner nennt den Schritt, und jede Zeile der Liste trägt den Namen, den Sie diesem Schritt gegeben haben.
3. Was zeigte der Bildschirm?Der Bereich der fehlgeschlagenen Prüfung: Soll neben Ist, der Unterschied hervorgehoben und das Video des Laufs in diesem Moment.
4. Ist es ein Fehler oder eine gewollte Änderung?Zwei Antworten pro Prüfung, gefunden und gleich, und eine Erklärung in einfachen Worten, wenn KI eingeschaltet ist. Die Entscheidung bleibt bei Ihnen.
5. Ist das schon einmal passiert?Der Verlauf: jeder Lauf des Tests und der Lauf, in dem die Prüfung zum ersten Mal fehlgeschlagen ist.

Der Konfidenzbericht ist der Bericht, den GUI Test Studio nach jedem Lauf öffnet.GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code, und in diesem Bericht wird ein Lauf gelesen.Der Leitfaden Den Konfidenzbericht lesen beschreibt jede Schaltfläche.

Hat er bestanden, und wo hat er angehalten?

Das Banner oben sagt, wie der Lauf geendet hat, wie viele Prüfungen und Aktionen von allen im Test bestanden haben und wie lange er gedauert hat. Ist ein Lauf fehlgeschlagen, sagt es, wo: den Schritt, die Prüfung und den Teil des Tests, zu dem sie gehört.

Ein Beispiellauf: oben das Ergebnis, in der Mitte jeder Schritt, darunter die ausgewählte Prüfung.
ErgebnisWas passiert ist
BestandenJeder Schritt ist gelaufen, und jede Prüfung hat bestanden.
Fehlgeschlagen: nicht gefundenEine Prüfung hat ihre ganze Zeit gewartet und nie gefunden, was sie erwartet hat.
Fehlgeschlagen: abweichendDas Element wurde gefunden, aber es sieht anders aus, als der Test erwartet.
AbgebrochenJemand hat den Lauf angehalten, oder ein Zeitlimit hat ihn beendet.

Unter dem Banner zeigt die Liste jede Aktion und jede Prüfung der Reihe nach, mit einer grünen oder roten Markierung.Jede Zeile trägt den Namen, den Sie ihrem Schritt in GUI Test Studio gegeben haben, also heißt ein Fehlschlag Bestellung bestätigen statt einer Zeilennummer.F8 springt zum nächsten Fehlschlag, und ein Filter zeigt nur die fehlgeschlagenen Zeilen.

Analyse fehlgeschlagener Tests: Wurde es gefunden, sieht es gleich aus?

Eine Prüfung, die auf ein Element schaut, beantwortet zwei Fragen, eine nach der anderen. Zuerst, ob das Element auf dem Bildschirm gefunden wurde. Dann, ob es so aussieht wie erwartet.

Eine fehlgeschlagene Prüfung, von oben nach unten gelesen

1

Wurde das Element gefunden?

Gefunden

Es ist auf dem Bildschirm, also hat die App die richtige Stelle erreicht.

2

Sieht es gleich aus?

Abweichend

Etwas daran hat sich geändert: ein Wort, eine Farbe oder ein Symbol.

3

Was hat sich geändert, in einfachen Worten?

KI, optional

Die Schaltfläche „Bestellung bestätigen“ hat sich von aktiv zu deaktiviert geändert.

Welche Antwort fehlgeschlagen ist, sagt Ihnen, welche Art von Problem Sie haben, bevor Sie auch nur ein Bild öffnen.
Welche Antwort fehlgeschlagen istWas es bedeutetWo Sie hinschauen sollten
Nicht gefundenDas Element ist nie aufgetaucht, oder es hat sich so stark geändert, dass es nicht mehr erkannt wird.Ist die App auf dem richtigen Bildschirm? Verdeckt etwas das Element? Wurde es entfernt oder umgestaltet?
Gefunden, aber abweichendDas Element ist da, und etwas daran hat sich geändert: ein Wort, eine Farbe, ein Symbol.Das Element selbst. Entweder hat die App einen Fehler, oder sie hat sich absichtlich geändert.
BeispielWie die Begegnung mit einem Freund am Bahnhof

Zuerst entdecken Sie Ihren Freund in der Menge, und ein neuer Mantel hält Sie nicht auf. Dann schauen Sie genauer hin und bemerken den neuen Haarschnitt. Der erste Blick ist nachsichtig, der zweite sorgfältig, und der Bericht hält beide auseinander.

Der Vergleich funktioniert wie ein menschliches Auge.Er bemerkt, was ein Mensch bemerken würde, etwa eine falsche Ziffer oder ein fehlendes Symbol, und ignoriert, was niemand sieht.Textprüfungen sind einfacher: Der Bericht zeigt die erwarteten Wörter neben den gelesenen.Eine Prüfung, der an einem langsamen Tag die Zeit ausgegangen ist, ist eine andere Geschichte, erzählt in Feste Wartezeiten in Tests.

Was zeigte der Bildschirm? Soll neben Ist

Ein Satz über einen Unterschied ist nie so schnell wie der Blick darauf. Klicken Sie auf eine fehlgeschlagene Prüfung, und ihr Bereich öffnet sich: links das Erwartete, rechts das, was der Lauf gefunden hat.

Links das Soll, rechts das Ist, und daneben die Antworten der Prüfung.

Der Bericht bietet Ihnen mehrere Ansichten.

  • Nebeneinander, oder ein Bild über das andere gelegt.
  • Eine Ansicht, die nur hervorhebt, was sich geändert hat, damit Ihr Blick direkt dorthin geht.
  • Die Zeitleiste des Laufs, mit den Frames seines Videos und jeder Prüfung an ihrem Zeitpunkt.
Ein Bericht sollte zeigen, was der Benutzer gesehen hätte, nicht wo der Code angehalten hat.

Ist es ein Fehler oder eine gewollte Änderung? Eine Erklärung in einfachen Worten

Mit eingeschalteter Intelligenter KI-Analyse bekommt eine fehlgeschlagene Prüfung einen zweiten Blick.Die KI gibt das endgültige Ergebnis dieser Prüfung und schreibt den Satz, den ein Kollege schreiben würde: Die Schaltfläche „Bestellung bestätigen“ hat sich von aktiv zu deaktiviert geändert.

Die Erklärung ist optional, und welche KI sie schreibt, entscheidet Ihr Team.

  • Eine Cloud-KI, mit Ihrem eigenen Schlüssel.
  • Ein lokales KI-Modell, eines von uns oder Ihr eigenes.
  • Gar keine KI: Die Bilder zeigen trotzdem, was sich geändert hat.

Die Berichte, die Bilder und die Aufzeichnungen sind Dateien auf Ihren Computern, aufbewahrt beim Test.Das macht sie auch zu Nachweisen: siehe Testnachweise für Audits.

Ist das schon einmal passiert? Der Verlauf früherer Läufe

Ein Fehlschlag bedeutet wenig ohne seine Vorgeschichte. Eine Prüfung, die heute zum ersten Mal fehlgeschlagen ist, nach Wochen des Bestehens, deutet auf die Änderung von gestern. Eine Prüfung, die in einem von fünf Läufen fehlschlägt, deutet auf ein Timing-Problem.

Was der Verlauf zeigtWas er Ihnen sagt
Der Lauf, in dem eine Prüfung zum ersten Mal fehlgeschlagen istWelcher Build oder welcher Tag anzusehen ist.
Eine Prüfung, die abwechselnd besteht und fehlschlägtEin Timing-Problem oder etwas, das sich von Lauf zu Lauf unterscheidet.
Was sich zwischen zwei Läufen geändert hatOb der Test bearbeitet wurde oder nur die App sich verändert hat.

Der Bericht jedes Laufs wird mit dem Test gespeichert und öffnet sich wieder genau so, wie er war, also lässt sich jeder frühere Lauf erneut lesen.Tests, die ohne Grund fehlschlagen, sind das Thema von Flaky Tests und False Positives.

Was als Nächstes zu tun ist: drei Möglichkeiten

Einen Bericht zu lesen endet mit einer Entscheidung, und es gibt nur drei.

Eine fehlgeschlagene Prüfung und was Sie auf dem Bildschirm gesehen haben

Die App ist falsch

Fehlerbericht erstellen

Ein PDF, eine Excel-Datei oder ein Jira-Issue, aus dem Lauf ausgefüllt.

Die Änderung war gewollt

Neues Aussehen übernehmen

Ein Klick im Bericht, und er lässt sich rückgängig machen.

Die Prüfung fragt das Falsche

Prüfung bearbeiten

Der Test öffnet sich in GUI Test Studio genau bei dieser Prüfung.

Einen Bericht zu lesen endet mit einer Entscheidung. Jede der drei wird direkt im Bericht getroffen.
Sie haben gefundenWas Sie tunWie
Einen Fehler in der AppFehlerbericht erstellen.Die Schaltfläche „Fehlerbericht“ öffnet ein Formular, das aus dem Lauf ausgefüllt ist: der Titel, was fehlgeschlagen ist, die Schritte zur Reproduktion, die Umgebung. Speichern Sie es als PDF- oder Excel-Datei, oder erstellen Sie ein Jira-Issue.
Eine gewollte ÄnderungDas neue Aussehen übernehmen.Ein Klick macht das, was der Lauf gefunden hat, zum neuen erwarteten Aussehen. Er lässt sich rückgängig machen, und „Speichern“ schreibt es in den Test.
Eine Prüfung, die das Falsche fragtDie Prüfung bearbeiten.Ändern Sie die erwarteten Wörter einer Textprüfung im Bericht, oder öffnen Sie den Test in GUI Test Studio bei dieser Prüfung.
Der Fehlerbericht wird für Sie geschrieben. Sie lesen ihn, passen ihn an und speichern.

Einen Fehlerbericht erstellen und Wenn sich die App absichtlich ändert gehen jede davon Schritt für Schritt durch.Übernehmen Sie nur, was Sie sich angesehen haben: Ein Test, der jeder Änderung von selbst folgt, versteckt echte Fehler, wie Self-Healing-Tests erklärt.

So lesen Sie einen fehlgeschlagenen Lauf in fünf Schritten

  1. 1

    Das Ergebnis oben lesen

    Das Banner des Konfidenzberichts sagt, wie der Lauf geendet hat, wie viele Prüfungen und Aktionen bestanden haben und bei welchem Schritt er fehlgeschlagen ist.

  2. 2

    Zum ersten Fehlschlag gehen

    Drücken Sie F8 oder klicken Sie auf Nächster Fehler.Die Zeile trägt den Namen, den Sie diesem Schritt gegeben haben, also wissen Sie, welcher Teil des Ablaufs es ist.

  3. 3

    Die zwei Antworten der Prüfung lesen

    Wurde das Element gefunden, und sieht es gleich aus. „Nicht gefunden“ deutet auf den Bildschirm, auf dem die App war, „abweichend“ auf das Element selbst.

  4. 4

    Ansehen, was der Bildschirm zeigte

    Vergleichen Sie Soll und Ist nebeneinander, oder lassen Sie den Bericht hervorheben, was sich geändert hat. Lesen Sie die Erklärung, wenn die Intelligente KI-Analyse eingeschaltet ist.

  5. 5

    Entscheiden, was als Nächstes zu tun ist

    Öffnen Sie Verlauf, um zu sehen, ob die Prüfung schon früher fehlgeschlagen ist.Dann melden Sie einen Fehler, übernehmen das neue Aussehen, wenn die Änderung gewollt war, oder bearbeiten die Prüfung.

Testergebnisse aus einer CI/CD-Pipeline

Ein Lauf auf einem Build-Rechner wird genauso gelesen. gtr-cli, der Befehlszeilen-Runner, gibt dem CI-Tool seine Ergebnisse als JUnit, JSON oder Markdown und bewahrt das Video des Laufs, seine Bilder und seinen gespeicherten Bericht als Artefakte auf. Nichts an einem Lauf geht verloren, nur weil niemand zugesehen hat.

Ein fehlgeschlagener Build kann auch selbst sein Jira-Issue anlegen, mit den Schritten und den Bildern: siehe Jeder fehlgeschlagene Test wird zu einem Jira-Bug.Tests in Ihrer Pipeline ausführen listet die Optionen auf.

Was Sie vor dem Start wissen sollten

Gut zu wissenWas es bedeutet
Ein Bericht zeigt, was der Test geprüft hatEin Problem außerhalb aller Prüfungen steht nicht darin. Ein Test prüft, was ihm aufgetragen wurde.
Ein angehaltener Lauf ist ein unvollständiger LaufNach einem Fehlschlag, von dem der Rest abhängt, sind die späteren Schritte nicht gelaufen. Beheben Sie den ersten Fehlschlag und führen Sie den Test dann erneut aus.
KI antwortet nach dem LaufMit eingeschalteter KI sagt der Bericht, dass er noch prüft, während die fehlgeschlagenen Prüfungen ihren zweiten Blick bekommen, und das Ergebnis steht fest, sobald alle Antworten da sind.
Die Entscheidung braucht einen MenschenDer Bericht zeigt und erklärt den Unterschied. Ob es ein Fehler ist, entscheidet jemand, der weiß, was die App tun soll.

Das Wichtigste in Kürze

  • 1Ein Testbericht ist für einen Menschen, der handeln muss, also muss er sagen, was der Benutzer gesehen hätte, nicht wo der Code angehalten hat.
  • 2Stellen Sie fünf Fragen der Reihe nach: Hat er bestanden, wo hat er angehalten, was zeigte der Bildschirm, ist es ein Fehler oder eine gewollte Änderung, ist das schon einmal passiert.
  • 3Jede Prüfung gibt zwei Antworten: „Nicht gefunden“ deutet auf den Bildschirm, auf dem die App war, „abweichend“ auf das Element selbst.
  • 4Der Konfidenzbericht zeigt Soll neben Ist, mit Ihren eigenen Schrittnamen, dem Video des Laufs und dem Verlauf früherer Läufe.
  • 5Jedes Lesen endet mit einer von drei Aktionen: ein für Sie ausgefüllter Fehlerbericht, ein mit einem Klick übernommenes neues Aussehen oder eine bearbeitete Prüfung.

Fragen

Wie liest man einen Testbericht?

Beginnen Sie beim Ergebnis und gehen Sie dann zum ersten Fehlschlag. Fragen Sie bei diesem Schritt, was der Bildschirm gezeigt hat, ob der Unterschied ein Fehler oder eine gewollte Änderung ist und ob das schon einmal passiert ist. Dann melden Sie einen Fehler, übernehmen die Änderung oder bearbeiten die Prüfung.

Was sollte ein guter Testbericht enthalten?

Die Antwort auf fünf Fragen: Hat der Lauf bestanden, wo hat er angehalten, was zeigte der Bildschirm, ist es ein Fehler oder eine gewollte Änderung, und ist das schon einmal passiert. Eine Liste roter und grüner Zeilen beantwortet nur die erste.

Woran erkenne ich, ob die App kaputt ist oder der Test?

Sehen Sie sich an, was der Bildschirm beim fehlgeschlagenen Schritt gezeigt hat, neben dem Erwarteten. Ist der Bildschirm falsch, ist die App kaputt. Ist der Bildschirm richtig und sieht nur neu aus, hat sich die App absichtlich geändert, und der Test sollte folgen.

Was ist der Unterschied zwischen „nicht gefunden“ und „abweichend“ bei einer fehlgeschlagenen Prüfung?

„Nicht gefunden“ bedeutet, dass das Element nie aufgetaucht ist, während die Prüfung gewartet hat. „Abweichend“ bedeutet, dass das Element da war, sich aber etwas daran geändert hat, etwa ein Wort, eine Farbe oder ein Symbol. Das Erste schickt Sie zum Bildschirm, auf dem die App war, das Zweite zum Element selbst.

Brauche ich KI, um einen fehlgeschlagenen Test zu verstehen?

Nein. Der Konfidenzbericht zeigt Soll neben Ist mit hervorgehobenem Unterschied, ganz ohne KI. Die Intelligente KI-Analyse ist optional: Sie fügt eine Erklärung in einfachen Worten hinzu, mit einer Cloud-KI und Ihrem eigenen Schlüssel oder mit einem lokalen KI-Modell, eines von uns oder Ihr eigenes.

Was tue ich, wenn ein Test fehlschlägt, weil sich die App absichtlich geändert hat?

Übernehmen Sie das neue Aussehen. Im Konfidenzbericht macht ein Klick das, was der Lauf gefunden hat, zum neuen erwarteten Aussehen dieser Prüfung, er lässt sich rückgängig machen, und „Speichern“ schreibt es in den Test.

Kann aus einem fehlgeschlagenen Test von selbst ein Fehlerbericht werden?

Ja. Die Schaltfläche „Fehlerbericht“ des Konfidenzberichts öffnet ein Formular, das schon aus dem Lauf ausgefüllt ist: der Titel, was fehlgeschlagen ist, die Schritte zur Reproduktion und die Umgebung. Sie speichern es als PDF- oder Excel-Datei oder erstellen daraus ein Jira-Issue.

Wo ist der Bericht eines alten Laufs?

Beim Test. Der Konfidenzbericht jedes Laufs wird neben der Testdatei gespeichert und öffnet sich wieder genau so, wie er war, mit seinen Bildern. Der Verlauf des Tests listet jeden Lauf auf und öffnet jeden davon.

Jira und Excel sind Marken ihrer jeweiligen Inhaber.

Alle Artikel