Testnachweise für Audits: Was ein Prüfer von einem automatisierten Test erwartet
Testnachweise für Audits: was ein Prüfer von einem automatisierten Test verlangt und wie jeder Lauf Bericht, Video, Bilder und Verlauf als Nachweis aufbewahrt.
Testnachweise belegen, dass ein Test wirklich gelaufen ist: was getestet wurde, wann, mit welcher Version, mit welchem Ergebnis und was der Bildschirm gezeigt hat. Ein Auditor will sie für jeden Lauf, auch Monate später noch lesbar.
In einer Bank, bei einem Anbieter von Gesundheitssoftware, in einer Behörde oder in jedem Unternehmen, das geprüft wird, ist „die Tests sind bestanden“ keine Antwort. Der Auditor will es sehen. Dann verbringt jemand aus dem Testteam die Tage vor dem Audit damit, Screenshots in ein Dokument einzufügen, für Tests, die vor Wochen gelaufen sind.
Was sind Testnachweise?
Definition
Testnachweise sind alles, womit jemand, der nicht dabei war, nachprüfen kann, dass ein Test gelaufen ist und was er gefunden hat.
- Sie nennen den Test und was er prüft.
- Sie geben Datum, Version und Ergebnis an.
- Sie zeigen, wie der Bildschirm aussah, für die bestandenen Schritte ebenso wie für den fehlgeschlagenen.
Gute Nachweise kann ein Jahr später jemand öffnen, der die App nie gesehen hat.
Ein Audit-Trail für Tests ist dieselbe Idee über die Zeit: die Nachweise jedes Laufs, der Reihe nach, sodass jeder verfolgen kann, was von einem Release zum nächsten getestet wurde.
Warum ein grüner Haken im Build-Log kein Nachweis ist
Eine Pipeline, die grün endet, beweist eines: Ein Befehl ist gelaufen und ohne Fehler zurückgekehrt. Sie sagt nicht, welche Schritte gelaufen sind, was jede Prüfung verglichen hat oder was der Bildschirm in diesem Moment gezeigt hat.
Ein Build-Log
Eine Behauptung, nichts zum Öffnen.
Die Nachweise desselben Laufs
Ein Beleg, den jeder später öffnen kann.
Ein Ergebnis ist eine Behauptung. Ein Nachweis ist das, womit jemand anderes die Behauptung prüfen kann.
Die Lücke zählt am meisten an dem Tag, an dem etwas schiefgeht. Wenn ein Fehler bei Kunden ankommt, ist die Frage nicht mehr, ob die Tests bestanden haben. Die Frage ist, worauf genau sie geschaut haben, und das kann niemand an einem Haken ablesen.
Was ein Auditor fragt und welche Nachweise antworten
Ob es im Audit um Finanzkontrollen, ein Qualitätssystem für Medizinsoftware oder Informationssicherheit geht, die Fragen zum Testen haben dieselbe Form. Auf jede gibt es eine Antwort, die schon existieren sollte, wenn die Frage kommt.
| Was der Auditor fragt | Der Nachweis, der antwortet |
|---|---|
| Was wurde getestet? | Der Test selbst: eine Datei, die jeden Schritt und jede Prüfung enthält, in einfachen Worten lesbar. |
| Wann ist er gelaufen? | Datum und Uhrzeit des Laufs, angezeigt in seinem Bericht und aufbewahrt mit seinen Ergebnissen. |
| Mit welcher Version? | Der Build Ihrer Pipeline, der den Test ausgeführt hat, mit den Nachweisen als Artefakt dieses Builds. |
| Was war das Ergebnis? | Das Ergebnis des Laufs und jeder Prüfung: bestanden, oder fehlgeschlagen und warum. |
| Was zeigte der Bildschirm? | Das Video des Laufs und das Soll-Bild neben dem, was der Lauf gefunden hat. |
| Hat er vorher bestanden? | Der Verlauf der früheren Läufe desselben Tests. |
| Was ist mit dem Fehlschlag passiert? | Ein Fehlerbericht mit den Schritten zur Reproduktion oder das Issue, das daraus in Ihrem Tracker geworden ist. |
| Wer hat entschieden, dass er bestanden hat? | Der eigene Vergleich der Prüfung, bei jedem Lauf derselbe, oder ein KI-Ergebnis, das mit seiner Erklärung gespeichert ist. |
| Wer hat geändert, was der Test erwartet? | Der Verlauf der Testdatei in Ihrer Versionsverwaltung: ein Autor und ein Datum für jede Änderung. |
Warum von Hand gesammelte Testnachweise nicht durchhalten
Viele Teams beantworten diese Fragen mit einem Dokument: Jemand aus dem Testteam führt das Szenario aus, macht von jedem Bildschirm einen Screenshot, fügt ihn unter dem Schritt ein und unterschreibt die Seite.
Für ein Release funktioniert das, dann zeigen sich die Kosten.
- Es kostet Tage, die vor jedem Audit und jedem Release wiederkehren.
- Es zeigt nur die Bildschirme, an die jemand gedacht hat, nie die dazwischen.
- Es lässt sich im Nachhinein erstellen, und genau daran zu zweifeln ist die Aufgabe eines Auditors.
- Es hängt von einer sorgfältigen Person ab und hört auf, wenn diese Person nicht da ist.
Was GUI Test Studio bei jedem Lauf von selbst festhält
GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code: Sie zeichnen einen Ablauf einmal auf oder beschreiben ihn in einem Prompt, und der Test spielt ihn wieder ab. Jeder Lauf, an Ihrem Arbeitsplatz oder in einer Pipeline, hinterlässt dieselben Nachweise, ohne dass jemand danach fragen muss.
Ein Lauf
Konfidenzbericht
Jeder Schritt, was bestanden hat, was fehlgeschlagen ist und warum
Video des Laufs
Jeder Schritt, auch die bestandenen
Bilder
Das Erwartete, neben dem, was der Lauf gefunden hat
Ergebnisdateien
JUnit und JSON, für Ihre Pipeline
Verlauf
Die früheren Läufe desselben Tests
Fehlerbericht
PDF oder Excel, mit den Schritten zur Reproduktion
| Nachweis | Was er enthält |
|---|---|
| Der Konfidenzbericht | Das Ergebnis, dann jeder Schritt der Reihe nach: was bestanden hat, was fehlgeschlagen ist und warum. Er wird mit dem Lauf gespeichert und öffnet sich wieder genau so, wie er war. |
| Das Video des Laufs | Der ganze Lauf vom ersten bis zum letzten Schritt, sodass auch die bestandenen Schritte zu sehen sind. |
| Soll neben Ist | Bei einer Bildprüfung das Bild, das der Test erwartet, neben dem, was der Lauf gefunden hat, mit hervorgehobenen Änderungen. |
| Die Ergebnisdateien | Eine JUnit-Datei für Ihr CI-Tool und eine JSON-Datei für Ihre eigenen Skripte, geschrieben von gtr-cli. |
| Der Verlauf | Jeder frühere Lauf desselben Tests, Prüfung für Prüfung. |
| Der Fehlerbericht | Bei einem Fehlschlag: ein PDF oder eine Excel-Arbeitsmappe mit den Schritten zur Reproduktion und den Bildern. |
Der Leitfaden Der Konfidenzbericht erklärt alles, was der Bericht zeigt, und Einen Testbericht richtig lesen führt durch einen Fehlschlag, vom Ergebnis bis zum nächsten Schritt.
Ein Audit-Trail für Tests: der Verlauf jedes Laufs
Ein Lauf beantwortet, was heute passiert ist.Ein Audit fragt, was über ein Jahr passiert ist.Verlauf in der Symbolleiste des Berichts verfolgt jede Prüfung über alle Läufe eines Tests: welcher Lauf zuerst fehlgeschlagen ist, wie sich jede Prüfung im Lauf der Zeit verhalten hat und was sich zwischen zwei Läufen geändert hat.Von dort öffnet sich der Bericht jedes früheren Laufs.
Auch der Test selbst hat einen Audit-Trail.
- Ein Test ist eine einzige Datei, also passt er in die Versionsverwaltung oder den gesicherten Speicher, den Ihr Team schon nutzt.
- Jede Änderung dessen, was ein Test erwartet, hat dann einen Autor und ein Datum.
- Ein Lauf über die Befehlszeile ändert die Testdatei nie, also ist das, was gelaufen ist, das, was geprüft wurde.
Wer hat entschieden? Prüfungen und KI-Ergebnisse, die ein Auditor nachvollziehen kann
Sobald KI ins Testen kommt, stellt ein Auditor eine neue Frage: Wer hat entschieden, dass dies bestanden hat? Die Antwort muss etwas sein, das ein Mensch öffnen und lesen kann.
Während des Laufs: die aufgezeichneten Schritte laufen von selbst ab, und keine KI steuert die App.
KI aus
Jede Prüfung entscheidet nach ihrem eigenen Vergleich
Derselbe Bildschirm ergibt bei jedem Lauf dasselbe Ergebnis.
Intelligente KI-Analyse an
Eine fehlgeschlagene Prüfung bekommt einen zweiten Blick
Das Ergebnis der KI und ihre Erklärung werden mit dem Lauf gespeichert.
| Ihre Einstellung | Wer eine Prüfung entscheidet | Was aufbewahrt wird |
|---|---|---|
| KI aus, wie installiert | Der eigene Vergleich der Prüfung. Sie besteht oder schlägt bei jedem Lauf auf dieselbe Weise fehl. | Das Ergebnis und die Bilder. |
| Intelligente KI-Analyse an | Bei einer fehlgeschlagenen Prüfung wirft die KI einen zweiten Blick darauf und gibt das endgültige Ergebnis dieser Prüfung. | Das Ergebnis, die Erklärung in einfachen Worten, jeder gefundene Unterschied und die Anweisungen, die die KI erhalten hat. |
KI ist optional, und die Wahl liegt bei Ihnen: eine Cloud-KI mit Ihrem eigenen Schlüssel, ein lokales KI-Modell, eines von uns oder Ihr eigenes, oder gar keine.Die Antworten werden mit dem Lauf aufbewahrt, also fragt das erneute Öffnen eines Berichts nichts noch einmal ab, und der Verlauf zeigt, was die KI in jedem früheren Lauf gesagt hat.Siehe Intelligente KI-Analyse.
Nachweise, die auf Ihren eigenen Computern bleiben
Die nächste Frage eines Auditors ist, wo die Nachweise liegen und wer darauf zugreifen kann. Mit GUI Test Studio sind Tests, Aufzeichnungen, Läufe und Berichte Dateien auf Ihren eigenen Computern. Jeder Lauf wird im Ergebnisordner im eigenen Ordner des Tests aufbewahrt.
Damit liegen drei Entscheidungen bei Ihnen.
- Wie lange die Nachweise aufbewahrt werden, folgt Ihren eigenen Aufbewahrungsregeln, nicht denen eines Anbieters.
- Wer sie öffnen kann, folgt den Berechtigungen Ihrer eigenen Ordner und Ihres Build-Servers.
- Archiviert werden sie dort, wo Sie auch andere Unterlagen aufbewahren.
Ein Video zeigt alles, was der Bildschirm gezeigt hat, also führen Sie Ihre Tests mit Testkonten und erfundenen Daten aus.Datenschutz in der Testautomatisierung erklärt, wie Sie echte Datensätze aus jedem Screenshot heraushalten, und KI-Souveränität im Softwaretest behandelt, wer entscheidet, welche KI Ihre Bildschirme sieht.
So bewahren Sie die Nachweise jedes Laufs in Ihrer Pipeline auf
gtr-cli, der Befehlszeilen-Runner, führt dieselben Tests in jedem CI/CD-Tool aus und schreibt die Nachweise dorthin, wo Sie es angeben.Tests in Ihrer Pipeline ausführen listet jede Option auf.
- 1
Die Tests dort ablegen, wo Ihre Pipeline sie lesen kann
Ein Test ist eine Datei. Legen Sie ihn bei Ihrem Projekt ab, in der Versionsverwaltung oder auf einer Freigabe, die der Build-Rechner liest, sodass jede Änderung dessen, was ein Test erwartet, einen Autor und ein Datum hat.
- 2
Die Tests mit gtr-cli ausführen und die Ergebnisdateien anfordern
Fügen Sie den Befehl zu Ihrer Pipeline hinzu. Die JUnit-Datei füllt die Seite mit den Testergebnissen Ihres CI-Tools, und die JSON-Datei enthält dieselben Ergebnisse für Ihre eigenen Skripte und Dashboards.
Jeden Test eines Ordners ausführen und seine Nachweise aufbewahrengtr-cli run tests --junit results\tests.xml --json results\tests.json --artifacts evidence --bug-report pdf - 3
Die Nachweise in einem Ordner sammeln
Die Option für Artefakte sammelt das Video, den Konfidenzbericht und die Fehlerbilder jedes Tests in dem Ordner, den Sie angeben.
- 4
Für jeden fehlgeschlagenen Test einen Fehlerbericht anfordern
Die Option für Fehlerberichte schreibt für jeden fehlgeschlagenen Test einen ausgefüllten Bericht als PDF, mit den Schritten zur Reproduktion.
- 5
Den Ordner als Artefakt des Builds aufbewahren
Weisen Sie Ihr CI-Tool an, die Ordner mit den Ergebnissen und Nachweisen als Artefakte aufzubewahren. Die Build-Nummer verbindet die Nachweise dann mit der getesteten Version, und die Aufbewahrungsregeln Ihres CI-Tools gelten.
- 6
Einen Lauf erneut öffnen, wenn jemand danach fragt
Läufe aus der Pipeline landen auch im Ergebnisordner jedes Tests. Öffnen Sie den Test im GUI Test Runner-Recorder, und der Verlauf listet sie neben Ihren eigenen auf. Der Bericht jedes früheren Laufs öffnet sich wieder genau so, wie er war.
| Option | Was sie aufbewahrt |
|---|---|
| --junit | Die Ergebnisdatei, die Ihr CI-Tool für seine Seite mit den Testergebnissen liest. |
| --json | Dieselben Ergebnisse für Ihre eigenen Dashboards und Skripte. |
| --artifacts | Das Video, den Konfidenzbericht und die Fehlerbilder jedes Tests, in einem Ordner. |
| --bug-report pdf | Einen ausgefüllten Fehlerbericht für jeden fehlgeschlagenen Test. |
Wenn ein Lauf fehlschlägt: Auch der Fehlerbericht ist ein Nachweis
Ein Audit erwartet nicht, dass jeder Test besteht. Es erwartet, dass jedem Fehlschlag nachgegangen wird. Ein fehlgeschlagener Lauf enthält schon alles, was dafür nötig ist: die Schritte, die dorthin geführt haben, was erwartet wurde, was stattdessen erschienen ist und wie oft er vorher fehlgeschlagen ist.
Fehlerbericht im Banner des Berichts schreibt ihn als PDF oder Excel-Arbeitsmappe, mit einem ZIP der Bilder daneben, oder erstellt ein Issue auf Ihrer eigenen Jira-Site.Siehe Einen Fehlerbericht erstellen und Jira mit dem Konfidenzbericht verbinden für das Issue, zu dem ein fehlgeschlagener Lauf wird.
Build 418 schlägt bei der Bestellübersicht fehl. Der Nachweisordner dieses Builds enthält den Bericht, das Video und einen Fehlerbericht als PDF. Die Entwicklung korrigiert die Summe, Build 419 besteht, und sein Bericht wird genauso aufbewahrt. Ein Jahr später lässt sich die ganze Geschichte öffnen: der Fehlschlag, der Fehler, die Korrektur und der Beleg der Korrektur.
Was Sie vor dem Start wissen sollten
| Grenze | Was sie bedeutet |
|---|---|
| Es macht Sie nicht konform | GUI Test Studio gibt Ihnen die Nachweise zum Vorzeigen. Ob es die richtigen Nachweise sind, aufbewahrt für die richtige Dauer, entscheiden Ihre eigenen Regeln. |
| Es kennt die Version Ihrer App nicht | Ihre Pipeline kennt sie. Bewahren Sie die Nachweise als Artefakt des getesteten Builds auf, und die Build-Nummer verbindet beides. |
| Ein Test prüft, was ihm aufgetragen wurde | Die Nachweise belegen, dass diese Prüfungen gelaufen sind und was sie gefunden haben, nicht dass sonst nichts falsch ist. |
| Die Dateien aufzubewahren ist Ihre Aufgabe | Die Nachweise gehören Ihnen: Sichern Sie sie und legen Sie fest, wer einen Lauf löschen oder den Verlauf eines Tests leeren darf. |
Das Wichtigste in Kürze
- 1Testnachweise sind Belege, die jemand anderes öffnen kann: was getestet wurde, wann, mit welcher Version, mit welchem Ergebnis und was der Bildschirm gezeigt hat.
- 2Ein grüner Haken ist eine Behauptung, und von Hand gesammelte Nachweise kosten Tage und lassen sich immer anzweifeln.
- 3GUI Test Studio hält die Nachweise jedes Laufs von selbst fest: einen gespeicherten Bericht, ein Video, Bilder, Ergebnisdateien und einen Verlauf.
- 4Ein Auditor kann sehen, wer entschieden hat: der eigene Vergleich jeder Prüfung oder ein KI-Ergebnis, gespeichert mit seiner Erklärung, und KI kann ausgeschaltet bleiben.
- 5Die Nachweise sind Dateien auf Ihren eigenen Computern, also folgen Aufbewahrung und Zugriff Ihren Regeln.Es macht Sie nicht konform: Es gibt Ihnen, was Sie vorzeigen können.
Fragen
Was sind Testnachweise?
Testnachweise belegen, dass ein Test wirklich gelaufen ist und was er gefunden hat. Sie sagen, was getestet wurde, wann, mit welcher Version, mit welchem Ergebnis, und sie zeigen, wie der Bildschirm aussah. Eine Zeile mit „passed“ ist eine Behauptung, und der Nachweis ist das, was sie stützt.
Was will ein Auditor von automatisierten Tests sehen?
Ein Auditor will sehen, was jeder Test prüft, wann er gelaufen ist, mit welcher Version der Software, was das Ergebnis war, und einen Beleg, der sich später öffnen lässt. Bei einem Fehlschlag will der Auditor außerdem sehen, was dagegen getan wurde.
Reicht ein bestandener Build als Testnachweis?
Nein. Ein bestandener Build beweist, dass etwas gelaufen und ohne Fehler beendet worden ist. Er zeigt nicht, welche Schritte gelaufen sind, was jede Prüfung verglichen hat oder was der Bildschirm gezeigt hat. Bewahren Sie den Bericht, das Video und die Ergebnisdateien des Laufs mit dem Build auf.
Wie erstelle ich einen Audit-Trail für automatisierte Tests?
Bewahren Sie für jeden Lauf drei Dinge auf: den Test, wie er war, die Ergebnisse des Laufs und den Build, zu dem sie gehören. Mit GUI Test Studio schreibt gtr-cli die Ergebnisdateien und sammelt den Bericht, das Video und die Bilder in einem Ordner, und Ihre Pipeline bewahrt diesen Ordner als Artefakt des Builds auf.
Wie lange sollten Testnachweise aufbewahrt werden?
So lange, wie Ihre eigenen Regeln es vorgeben. Das Regelwerk, nach dem Sie geprüft werden, Ihre Verträge und Ihr Qualitätssystem entscheiden, nicht das Testwerkzeug. GUI Test Studio schreibt die Nachweise als Dateien auf Ihre Computer, also wenden Sie die Aufbewahrung an, die Sie schon für andere Unterlagen verwenden.
Kann KI in Tests verwendet werden, die auditiert werden?
Ja, wenn ihre Rolle klar ist und ihre Antworten aufbewahrt werden. In GUI Test Studio steuert keine KI einen Lauf. Die Intelligente KI-Analyse ist optional, schaut nur auf fehlgeschlagene Prüfungen, und ihr Ergebnis und ihre Erklärung werden mit dem Lauf gespeichert. Ist sie ausgeschaltet, besteht oder scheitert jede Prüfung nach ihrem eigenen Vergleich.
Macht GUI Test Studio mein Team konform?
Nein. Über die Konformität entscheidet Ihr Auditor anhand Ihrer eigenen Prozesse, und kein Tool kann sie gewähren. GUI Test Studio gibt Ihnen die Nachweise zum Vorzeigen: einen gespeicherten Bericht, ein Video, Bilder, Ergebnisdateien und einen Verlauf für jeden Lauf.
Wo werden die Testnachweise gespeichert?
Auf Ihren eigenen Computern, als Dateien. Jeder Lauf wird im Ergebnisordner im eigenen Ordner des Tests aufbewahrt, und ein Lauf in einer Pipeline kann außerdem alles in einem Ordner sammeln, den Sie angeben. Wer diese Dateien öffnen kann und wie lange sie aufbewahrt werden, entscheidet Ihr Team.
Jira und Windows sind Marken ihrer jeweiligen Inhaber.
Weiterlesen
Alle Artikel
Testzuverlässigkeit
Self-Healing-Tests: Wenn ein Test, der sich selbst repariert, einen echten Fehler verbirgt
11 Min. Lesezeit

Testzuverlässigkeit
Feste Wartezeiten in Tests: keine Zeit mehr raten, auf den Bildschirm warten
10 Min. Lesezeit

Testzuverlässigkeit
Schon wieder „element not found“? So testen Sie, wenn Selektoren und Locators versagen
14 Min. Lesezeit