Jira mit dem Vertrauensbericht verbinden: jeder fehlgeschlagene End-to-End-Test wird automatisch zu einem Jira-Bug

Der Fehlerbericht, den niemand schreiben muss

Wenn ein End-to-End-Test fehlschlägt, muss jemand den Entwicklern sagen: was kaputt ist, wo, wie man dorthin kommt und wie es aussehen sollte.Das gut aufzuschreiben kostet Zeit, und Bilder und Schritte fehlen oft oder bleiben vage.

Ein fehlgeschlagener Lauf in GUI Test Studio weiß das alles schon.Er hat jeden Schritt aufgezeichnet, das erwartete Bild oder den erwarteten Text, was der Bildschirm stattdessen zeigte und wie oft der Test zuvor fehlschlug.Der Fehlerbericht macht daraus ein Ticket, und mit Jira am Vertrauensbericht landet es direkt in Ihrem Backlog: eine funktionale Regression, ein kaputter Ablauf, ein falscher Bildschirm, jeweils als Vorgang, der sich sofort beheben lässt.

In diesem Artikel ist Jean der Entwickler, Pierre hat den Test geschrieben, James betreut das Backlog in Jira, und John betreibt TeamCity.Der Shop und sein Test sind eine kleine Demo, aber jedes Bild stammt aus einem echten Lauf.

Was Sie brauchen

Schritt 1: Jira mit dem Vertrauensbericht verbinden

1. 1

   Ein API-Token erstellen

   Öffnen Sie in Ihrem Atlassian-Konto Sicherheit, API-Token und erstellen Sie eines.Kopieren Sie es: Es wird nur einmal angezeigt.Erstellen Sie bei Jira Data Center stattdessen ein persönliches Zugriffstoken in Ihrem Jira-Profil.

2. 2

   GUI Test Runner-Recorder verbinden

   Im Vertrauensbericht eines Laufs klicken Sie auf Jira verbinden neben Fehlerbericht (das Fehlerbericht-Formular bietet es unter Jira-Vorgang erstellen ebenfalls an).Fügen Sie die Adresse einer beliebigen Seite Ihrer Jira-Site, Ihre E-Mail und das Token ein.Das Fenster prüft sie sofort und sagt, als wer Sie verbunden sind.Von da an kann jeder Vertrauensbericht seinen Fehlerbericht in Jira ablegen.

   

   Vergrößern

Schritt 2: Einen fehlgeschlagenen Lauf aus der App an Jira senden

Öffnen Sie den Vertrauensbericht des fehlgeschlagenen Laufs und klicken Sie auf Fehlerbericht (oder drücken Sie Strg+B).Wählen Sie Jira-Vorgang erstellen.Alles ist aus dem Lauf ausgefüllt: Sie prüfen es nur.

Vergrößern

Klicken Sie auf Jira-Vorgang erstellen.Der Schlüssel des Vorgangs und ein Link dorthin erscheinen sofort, und der Bericht merkt sich ihn: seine Jira-Schaltfläche öffnet von da an diesen Vorgang.Das Formular selbst ist in Einen Fehlerbericht erstellen beschrieben.

Schritt 3: TeamCity das bei jedem fehlgeschlagenen Build erledigen lassen

In einer Pipeline öffnet niemand einen Bericht, also legt gtr-cli den Vorgang selbst an.Gehen Sie vom Befehl aus End-to-End-Tests bei jedem Build ausführen aus und ergänzen Sie die Jira-Optionen:

gtr-cli run tests --countdown 0 --format teamcity --artifacts ci-out\artifacts ^
  --jira on-failure --jira-project SCRUM --jira-assignee "James" ^
  --jira-labels gui-test-studio,ui-regression

Die Verbindung kommt aus drei Umgebungsvariablen, sodass das Token nie im Befehl oder im Build-Protokoll erscheint:

Vergrößern

Wenn ein Test fehlschlägt, sagt das Build-Protokoll mit Link, zu welchem Vorgang er wurde, und der Vorgang verlinkt zurück auf den Build.

Vergrößern

Was der Jira-Vorgang enthält

Hier ist der Vorgang, den der fehlgeschlagene Build angelegt hat, so wie James ihn im Backlog vorfindet.

Vergrößern

Schritte zur Reproduktion

Die Schritte des Laufs selbst, nummeriert, bis zu dem, der fehlgeschlagen ist.Das Entwicklungsteam kann ihnen von Hand folgen, ohne raten zu müssen.

Vergrößern

Was der Test gesehen hat

Für jede fehlgeschlagene Prüfung: das Bild, das der Test erwartet, das Bild, das er gefunden hat, und noch einmal das gefundene Bild mit jeder Änderung rot umrandet.Das letzte ist die Ansicht „Pulsieren“ des Konfidenzberichts: Der Blick geht direkt zu dem, was sich geändert hat.

Vergrößern

Der Fehlerbericht als PDF und eine ZIP-Datei mit jedem Bild sind angehängt, für alle, die die ganze Geschichte brauchen oder sie aufbewahren möchten.

Ein Fehler, ein Vorgang

Ein erneut gesehener Fehlschlag darf das Backlog nicht überfluten.Jeder Fehlschlag trägt ein Label, das aus dem Test und dem, was fehlgeschlagen ist, gebildet wird.Schlägt derselbe Fehler erneut fehl, im nächsten Build, auf einem anderen Browser oder Gerät oder in zwei Läufen gleichzeitig, findet gtr-cli seinen offenen Vorgang und fügt statt eines Duplikats einen Kommentar mit dem neuen Lauf hinzu.

Vergrößern

Ist der Vorgang erledigt, legt ein neuer Fehlschlag einen neuen Vorgang an: Ein Fehler, der zurückkommt, ist eine Neuigkeit.

Kein Jira oder TeamCity?

Jira und TeamCity sind das Beispiel, keine Voraussetzung.

1. 1

   Jedes CI-Tool

   gtr-cli läuft genauso in Jenkins, GitHub Actions, GitLab, Azure DevOps oder einem eigenen Skript, und --jira on-failure funktioniert in allen.Siehe Tests in Ihrer Pipeline ausführen.

2. 2

   Jeder Tracker

   Ohne Jira schreibt --bug-report pdf (oder excel oder both) denselben ausgefüllten Fehlerbericht und seine Nachweise als Dateien, bereit zum Anhängen an ein Ticket in jedem Tracker.Die Ergebnisdatei --json enthält alles, was ein Skript braucht, um ihn für Sie einzureichen.

3. 3

   Ganz ohne Pipeline

   Aus der App speichert Fehlerbericht den Bericht als PDF oder Excel-Arbeitsmappe oder sendet ihn an Jira, für jeden Lauf Ihrer Wahl.

Wie es weitergeht