Einen Testbericht richtig lesen: was fehlgeschlagen ist, warum und was als Nächstes zu tun ist
Einen Testbericht lesen: fünf Fragen, die zeigen, was fehlgeschlagen ist, warum und ob Sie einen Fehler melden, die Änderung übernehmen oder die Prüfung bearbeiten.
Um einen Testbericht zu lesen, stellen Sie fünf Fragen: Hat er bestanden, wo hat er angehalten, was zeigte der Bildschirm, ist es ein Fehler oder eine gewollte Änderung, und ist das schon einmal passiert. Ein guter Bericht beantwortet alle fünf.
Die meisten Testergebnisse tun das nicht. Sie sind eine Wand aus Rot und Grün, ein Stacktrace und eine Zeile wie „element not found at line 214“. Nach dem Lesen weiß man im Testteam immer noch nicht, ob die App kaputt ist oder der Test.
Warum sind die meisten Testergebnisse schwer zu lesen?
Definition
Ein Testbericht ist das, was ein Testlauf hinterlässt, damit ein Mensch handeln kann.
- Viele sind für das Programm geschrieben, das den Test ausgeführt hat, nicht für diesen Menschen.
Sie sagen, wo der Code angehalten hat, wenn der Leser wissen muss, was der Benutzer gesehen hätte.
Eine Wand aus Ergebnissen
FAILED: checkout test 42
Element not found at line 214
Assertion error: expected true, got false
Timeout exceeded
Ist die App kaputt oder der Test?
Ein Bericht, der antwortet
Sie wissen, was als Nächstes zu tun ist.
| Was Sie bekommen | Was Sie immer noch nicht wissen |
|---|---|
| Eine rote Zeile mit dem Namen des Tests | Welcher Schritt des Ablaufs fehlgeschlagen ist. |
| Ein Stacktrace und eine Zeilennummer | Was in diesem Moment auf dem Bildschirm war. |
| Element not found | Ob die Schaltfläche weg ist, verschoben, umbenannt oder an diesem Tag langsam war. |
| Ein Screenshot vom Ende des Laufs | Wie der Bildschirm hätte aussehen sollen. |
Also führt jemand den Test noch einmal von Hand aus, beobachtet den Bildschirm und rekonstruiert, was passiert ist. Genau diese Zeit sollte der Bericht sparen.
Die fünf Fragen, die ein Testbericht beantworten muss
Testergebnisse zu lesen ist mit einer festen Reihenfolge einfacher. Diese fünf Fragen gehen von der schnellsten zur gründlichsten, und Sie können aufhören, sobald Sie wissen, was zu tun ist.
| Frage | Wo der Konfidenzbericht sie beantwortet |
|---|---|
| 1. Hat er bestanden? | Das Ergebnis oben: bestanden, fehlgeschlagen oder abgebrochen, mit der Anzahl der bestandenen Prüfungen und Aktionen. |
| 2. Wo hat er angehalten? | Das Banner nennt den Schritt, und jede Zeile der Liste trägt den Namen, den Sie diesem Schritt gegeben haben. |
| 3. Was zeigte der Bildschirm? | Der Bereich der fehlgeschlagenen Prüfung: Soll neben Ist, der Unterschied hervorgehoben und das Video des Laufs in diesem Moment. |
| 4. Ist es ein Fehler oder eine gewollte Änderung? | Zwei Antworten pro Prüfung, gefunden und gleich, und eine Erklärung in einfachen Worten, wenn KI eingeschaltet ist. Die Entscheidung bleibt bei Ihnen. |
| 5. Ist das schon einmal passiert? | Der Verlauf: jeder Lauf des Tests und der Lauf, in dem die Prüfung zum ersten Mal fehlgeschlagen ist. |
Der Konfidenzbericht ist der Bericht, den GUI Test Studio nach jedem Lauf öffnet.GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code, und in diesem Bericht wird ein Lauf gelesen.Der Leitfaden Den Konfidenzbericht lesen beschreibt jede Schaltfläche.
Hat er bestanden, und wo hat er angehalten?
Das Banner oben sagt, wie der Lauf geendet hat, wie viele Prüfungen und Aktionen von allen im Test bestanden haben und wie lange er gedauert hat. Ist ein Lauf fehlgeschlagen, sagt es, wo: den Schritt, die Prüfung und den Teil des Tests, zu dem sie gehört.
| Ergebnis | Was passiert ist |
|---|---|
| Bestanden | Jeder Schritt ist gelaufen, und jede Prüfung hat bestanden. |
| Fehlgeschlagen: nicht gefunden | Eine Prüfung hat ihre ganze Zeit gewartet und nie gefunden, was sie erwartet hat. |
| Fehlgeschlagen: abweichend | Das Element wurde gefunden, aber es sieht anders aus, als der Test erwartet. |
| Abgebrochen | Jemand hat den Lauf angehalten, oder ein Zeitlimit hat ihn beendet. |
Unter dem Banner zeigt die Liste jede Aktion und jede Prüfung der Reihe nach, mit einer grünen oder roten Markierung.Jede Zeile trägt den Namen, den Sie ihrem Schritt in GUI Test Studio gegeben haben, also heißt ein Fehlschlag Bestellung bestätigen statt einer Zeilennummer.F8 springt zum nächsten Fehlschlag, und ein Filter zeigt nur die fehlgeschlagenen Zeilen.
Analyse fehlgeschlagener Tests: Wurde es gefunden, sieht es gleich aus?
Eine Prüfung, die auf ein Element schaut, beantwortet zwei Fragen, eine nach der anderen. Zuerst, ob das Element auf dem Bildschirm gefunden wurde. Dann, ob es so aussieht wie erwartet.
Eine fehlgeschlagene Prüfung, von oben nach unten gelesen
Wurde das Element gefunden?
GefundenEs ist auf dem Bildschirm, also hat die App die richtige Stelle erreicht.
Sieht es gleich aus?
AbweichendEtwas daran hat sich geändert: ein Wort, eine Farbe oder ein Symbol.
Was hat sich geändert, in einfachen Worten?
KI, optionalDie Schaltfläche „Bestellung bestätigen“ hat sich von aktiv zu deaktiviert geändert.
| Welche Antwort fehlgeschlagen ist | Was es bedeutet | Wo Sie hinschauen sollten |
|---|---|---|
| Nicht gefunden | Das Element ist nie aufgetaucht, oder es hat sich so stark geändert, dass es nicht mehr erkannt wird. | Ist die App auf dem richtigen Bildschirm? Verdeckt etwas das Element? Wurde es entfernt oder umgestaltet? |
| Gefunden, aber abweichend | Das Element ist da, und etwas daran hat sich geändert: ein Wort, eine Farbe, ein Symbol. | Das Element selbst. Entweder hat die App einen Fehler, oder sie hat sich absichtlich geändert. |
Zuerst entdecken Sie Ihren Freund in der Menge, und ein neuer Mantel hält Sie nicht auf. Dann schauen Sie genauer hin und bemerken den neuen Haarschnitt. Der erste Blick ist nachsichtig, der zweite sorgfältig, und der Bericht hält beide auseinander.
Der Vergleich funktioniert wie ein menschliches Auge.Er bemerkt, was ein Mensch bemerken würde, etwa eine falsche Ziffer oder ein fehlendes Symbol, und ignoriert, was niemand sieht.Textprüfungen sind einfacher: Der Bericht zeigt die erwarteten Wörter neben den gelesenen.Eine Prüfung, der an einem langsamen Tag die Zeit ausgegangen ist, ist eine andere Geschichte, erzählt in Feste Wartezeiten in Tests.
Was zeigte der Bildschirm? Soll neben Ist
Ein Satz über einen Unterschied ist nie so schnell wie der Blick darauf. Klicken Sie auf eine fehlgeschlagene Prüfung, und ihr Bereich öffnet sich: links das Erwartete, rechts das, was der Lauf gefunden hat.
Der Bericht bietet Ihnen mehrere Ansichten.
- Nebeneinander, oder ein Bild über das andere gelegt.
- Eine Ansicht, die nur hervorhebt, was sich geändert hat, damit Ihr Blick direkt dorthin geht.
- Die Zeitleiste des Laufs, mit den Frames seines Videos und jeder Prüfung an ihrem Zeitpunkt.
Ein Bericht sollte zeigen, was der Benutzer gesehen hätte, nicht wo der Code angehalten hat.
Ist es ein Fehler oder eine gewollte Änderung? Eine Erklärung in einfachen Worten
Mit eingeschalteter Intelligenter KI-Analyse bekommt eine fehlgeschlagene Prüfung einen zweiten Blick.Die KI gibt das endgültige Ergebnis dieser Prüfung und schreibt den Satz, den ein Kollege schreiben würde: Die Schaltfläche „Bestellung bestätigen“ hat sich von aktiv zu deaktiviert geändert.
Die Erklärung ist optional, und welche KI sie schreibt, entscheidet Ihr Team.
- Eine Cloud-KI, mit Ihrem eigenen Schlüssel.
- Ein lokales KI-Modell, eines von uns oder Ihr eigenes.
- Gar keine KI: Die Bilder zeigen trotzdem, was sich geändert hat.
Die Berichte, die Bilder und die Aufzeichnungen sind Dateien auf Ihren Computern, aufbewahrt beim Test.Das macht sie auch zu Nachweisen: siehe Testnachweise für Audits.
Ist das schon einmal passiert? Der Verlauf früherer Läufe
Ein Fehlschlag bedeutet wenig ohne seine Vorgeschichte. Eine Prüfung, die heute zum ersten Mal fehlgeschlagen ist, nach Wochen des Bestehens, deutet auf die Änderung von gestern. Eine Prüfung, die in einem von fünf Läufen fehlschlägt, deutet auf ein Timing-Problem.
| Was der Verlauf zeigt | Was er Ihnen sagt |
|---|---|
| Der Lauf, in dem eine Prüfung zum ersten Mal fehlgeschlagen ist | Welcher Build oder welcher Tag anzusehen ist. |
| Eine Prüfung, die abwechselnd besteht und fehlschlägt | Ein Timing-Problem oder etwas, das sich von Lauf zu Lauf unterscheidet. |
| Was sich zwischen zwei Läufen geändert hat | Ob der Test bearbeitet wurde oder nur die App sich verändert hat. |
Der Bericht jedes Laufs wird mit dem Test gespeichert und öffnet sich wieder genau so, wie er war, also lässt sich jeder frühere Lauf erneut lesen.Tests, die ohne Grund fehlschlagen, sind das Thema von Flaky Tests und False Positives.
Was als Nächstes zu tun ist: drei Möglichkeiten
Einen Bericht zu lesen endet mit einer Entscheidung, und es gibt nur drei.
Eine fehlgeschlagene Prüfung und was Sie auf dem Bildschirm gesehen haben
Die App ist falsch
Fehlerbericht erstellen
Ein PDF, eine Excel-Datei oder ein Jira-Issue, aus dem Lauf ausgefüllt.
Die Änderung war gewollt
Neues Aussehen übernehmen
Ein Klick im Bericht, und er lässt sich rückgängig machen.
Die Prüfung fragt das Falsche
Prüfung bearbeiten
Der Test öffnet sich in GUI Test Studio genau bei dieser Prüfung.
| Sie haben gefunden | Was Sie tun | Wie |
|---|---|---|
| Einen Fehler in der App | Fehlerbericht erstellen. | Die Schaltfläche „Fehlerbericht“ öffnet ein Formular, das aus dem Lauf ausgefüllt ist: der Titel, was fehlgeschlagen ist, die Schritte zur Reproduktion, die Umgebung. Speichern Sie es als PDF- oder Excel-Datei, oder erstellen Sie ein Jira-Issue. |
| Eine gewollte Änderung | Das neue Aussehen übernehmen. | Ein Klick macht das, was der Lauf gefunden hat, zum neuen erwarteten Aussehen. Er lässt sich rückgängig machen, und „Speichern“ schreibt es in den Test. |
| Eine Prüfung, die das Falsche fragt | Die Prüfung bearbeiten. | Ändern Sie die erwarteten Wörter einer Textprüfung im Bericht, oder öffnen Sie den Test in GUI Test Studio bei dieser Prüfung. |
Einen Fehlerbericht erstellen und Wenn sich die App absichtlich ändert gehen jede davon Schritt für Schritt durch.Übernehmen Sie nur, was Sie sich angesehen haben: Ein Test, der jeder Änderung von selbst folgt, versteckt echte Fehler, wie Self-Healing-Tests erklärt.
So lesen Sie einen fehlgeschlagenen Lauf in fünf Schritten
- 1
Das Ergebnis oben lesen
Das Banner des Konfidenzberichts sagt, wie der Lauf geendet hat, wie viele Prüfungen und Aktionen bestanden haben und bei welchem Schritt er fehlgeschlagen ist.
- 2
Zum ersten Fehlschlag gehen
Drücken Sie F8 oder klicken Sie auf Nächster Fehler.Die Zeile trägt den Namen, den Sie diesem Schritt gegeben haben, also wissen Sie, welcher Teil des Ablaufs es ist.
- 3
Die zwei Antworten der Prüfung lesen
Wurde das Element gefunden, und sieht es gleich aus. „Nicht gefunden“ deutet auf den Bildschirm, auf dem die App war, „abweichend“ auf das Element selbst.
- 4
Ansehen, was der Bildschirm zeigte
Vergleichen Sie Soll und Ist nebeneinander, oder lassen Sie den Bericht hervorheben, was sich geändert hat. Lesen Sie die Erklärung, wenn die Intelligente KI-Analyse eingeschaltet ist.
- 5
Entscheiden, was als Nächstes zu tun ist
Öffnen Sie Verlauf, um zu sehen, ob die Prüfung schon früher fehlgeschlagen ist.Dann melden Sie einen Fehler, übernehmen das neue Aussehen, wenn die Änderung gewollt war, oder bearbeiten die Prüfung.
Testergebnisse aus einer CI/CD-Pipeline
Ein Lauf auf einem Build-Rechner wird genauso gelesen. gtr-cli, der Befehlszeilen-Runner, gibt dem CI-Tool seine Ergebnisse als JUnit, JSON oder Markdown und bewahrt das Video des Laufs, seine Bilder und seinen gespeicherten Bericht als Artefakte auf. Nichts an einem Lauf geht verloren, nur weil niemand zugesehen hat.
Ein fehlgeschlagener Build kann auch selbst sein Jira-Issue anlegen, mit den Schritten und den Bildern: siehe Jeder fehlgeschlagene Test wird zu einem Jira-Bug.Tests in Ihrer Pipeline ausführen listet die Optionen auf.
Was Sie vor dem Start wissen sollten
| Gut zu wissen | Was es bedeutet |
|---|---|
| Ein Bericht zeigt, was der Test geprüft hat | Ein Problem außerhalb aller Prüfungen steht nicht darin. Ein Test prüft, was ihm aufgetragen wurde. |
| Ein angehaltener Lauf ist ein unvollständiger Lauf | Nach einem Fehlschlag, von dem der Rest abhängt, sind die späteren Schritte nicht gelaufen. Beheben Sie den ersten Fehlschlag und führen Sie den Test dann erneut aus. |
| KI antwortet nach dem Lauf | Mit eingeschalteter KI sagt der Bericht, dass er noch prüft, während die fehlgeschlagenen Prüfungen ihren zweiten Blick bekommen, und das Ergebnis steht fest, sobald alle Antworten da sind. |
| Die Entscheidung braucht einen Menschen | Der Bericht zeigt und erklärt den Unterschied. Ob es ein Fehler ist, entscheidet jemand, der weiß, was die App tun soll. |
Das Wichtigste in Kürze
- 1Ein Testbericht ist für einen Menschen, der handeln muss, also muss er sagen, was der Benutzer gesehen hätte, nicht wo der Code angehalten hat.
- 2Stellen Sie fünf Fragen der Reihe nach: Hat er bestanden, wo hat er angehalten, was zeigte der Bildschirm, ist es ein Fehler oder eine gewollte Änderung, ist das schon einmal passiert.
- 3Jede Prüfung gibt zwei Antworten: „Nicht gefunden“ deutet auf den Bildschirm, auf dem die App war, „abweichend“ auf das Element selbst.
- 4Der Konfidenzbericht zeigt Soll neben Ist, mit Ihren eigenen Schrittnamen, dem Video des Laufs und dem Verlauf früherer Läufe.
- 5Jedes Lesen endet mit einer von drei Aktionen: ein für Sie ausgefüllter Fehlerbericht, ein mit einem Klick übernommenes neues Aussehen oder eine bearbeitete Prüfung.
Fragen
Wie liest man einen Testbericht?
Beginnen Sie beim Ergebnis und gehen Sie dann zum ersten Fehlschlag. Fragen Sie bei diesem Schritt, was der Bildschirm gezeigt hat, ob der Unterschied ein Fehler oder eine gewollte Änderung ist und ob das schon einmal passiert ist. Dann melden Sie einen Fehler, übernehmen die Änderung oder bearbeiten die Prüfung.
Was sollte ein guter Testbericht enthalten?
Die Antwort auf fünf Fragen: Hat der Lauf bestanden, wo hat er angehalten, was zeigte der Bildschirm, ist es ein Fehler oder eine gewollte Änderung, und ist das schon einmal passiert. Eine Liste roter und grüner Zeilen beantwortet nur die erste.
Woran erkenne ich, ob die App kaputt ist oder der Test?
Sehen Sie sich an, was der Bildschirm beim fehlgeschlagenen Schritt gezeigt hat, neben dem Erwarteten. Ist der Bildschirm falsch, ist die App kaputt. Ist der Bildschirm richtig und sieht nur neu aus, hat sich die App absichtlich geändert, und der Test sollte folgen.
Was ist der Unterschied zwischen „nicht gefunden“ und „abweichend“ bei einer fehlgeschlagenen Prüfung?
„Nicht gefunden“ bedeutet, dass das Element nie aufgetaucht ist, während die Prüfung gewartet hat. „Abweichend“ bedeutet, dass das Element da war, sich aber etwas daran geändert hat, etwa ein Wort, eine Farbe oder ein Symbol. Das Erste schickt Sie zum Bildschirm, auf dem die App war, das Zweite zum Element selbst.
Brauche ich KI, um einen fehlgeschlagenen Test zu verstehen?
Nein. Der Konfidenzbericht zeigt Soll neben Ist mit hervorgehobenem Unterschied, ganz ohne KI. Die Intelligente KI-Analyse ist optional: Sie fügt eine Erklärung in einfachen Worten hinzu, mit einer Cloud-KI und Ihrem eigenen Schlüssel oder mit einem lokalen KI-Modell, eines von uns oder Ihr eigenes.
Was tue ich, wenn ein Test fehlschlägt, weil sich die App absichtlich geändert hat?
Übernehmen Sie das neue Aussehen. Im Konfidenzbericht macht ein Klick das, was der Lauf gefunden hat, zum neuen erwarteten Aussehen dieser Prüfung, er lässt sich rückgängig machen, und „Speichern“ schreibt es in den Test.
Kann aus einem fehlgeschlagenen Test von selbst ein Fehlerbericht werden?
Ja. Die Schaltfläche „Fehlerbericht“ des Konfidenzberichts öffnet ein Formular, das schon aus dem Lauf ausgefüllt ist: der Titel, was fehlgeschlagen ist, die Schritte zur Reproduktion und die Umgebung. Sie speichern es als PDF- oder Excel-Datei oder erstellen daraus ein Jira-Issue.
Wo ist der Bericht eines alten Laufs?
Beim Test. Der Konfidenzbericht jedes Laufs wird neben der Testdatei gespeichert und öffnet sich wieder genau so, wie er war, mit seinen Bildern. Der Verlauf des Tests listet jeden Lauf auf und öffnet jeden davon.
Jira und Excel sind Marken ihrer jeweiligen Inhaber.
Weiterlesen
Alle Artikel
So funktioniert es
Wie GUI Test Studio Elemente findet: zuerst über die Barrierefreiheit, und am Aussehen, wenn die App nichts sagt
6 Min. Lesezeit

Testautomatisierung
Was sind End-to-End-Tests? Eine einfache Erklärung mit einem echten Beispiel
10 Min. Lesezeit

Testautomatisierung
Smoke-Test vs. Sanity-Test vs. Regressionstest: Welchen Sie wann ausführen
9 Min. Lesezeit