Wiederholbare KI-Tests: Mit KI den Test erstellen, nicht jeden Lauf improvisieren
Wiederholbare KI-Tests: Die KI erstellt den Test, dann laufen bei jedem Lauf dieselben Schritte. Warum ein Test nicht improvisieren darf und wo KI trotzdem hilft.
Bei wiederholbaren KI-Tests hilft die KI, einen Test zu erstellen und zu ändern, während der Test selbst dieselben Schritte wiedergibt und bei jedem Lauf dieselbe Antwort gibt. Die KI arbeitet dort, wo Urteilsvermögen hilft, und improvisiert nie den Lauf.
Ein Build wird am Montag rot und am Dienstag grün, und an der App hat sich nichts geändert. Wenn eine KI die Schritte jedes Laufs gewählt hat, können Sie nicht sagen, ob die App kaputt war oder die KI einen anderen Weg genommen hat. Ein roter Build, der vielleicht nichts bedeutet, wird bald ignoriert.
Was ist wiederholbares Testen?
Definition
Ein wiederholbarer Test liefert jedes Mal dasselbe Ergebnis, wenn er auf derselben App läuft.
- Dieselben Schritte geschehen in derselben Reihenfolge.
- Jede Prüfung wird nach derselben Regel entschieden.
Wenn sich also das Ergebnis ändert, hat sich die App geändert.
Genau diese Eigenschaft macht einen Test bei jedem Build nützlich.Ein rotes Ergebnis ist eine Tatsache über Ihr Produkt, nicht über den Test.Genau darum geht es bei Regressionstests.
Warum kann eine KI auf dieselbe Frage zwei verschiedene Antworten geben?
Ein KI-Modell schlägt eine Antwort nicht nach. Es formuliert sie jedes Mal neu, wenn es gefragt wird, und es kann sie anders formulieren. Stellen Sie einem Assistenten zweimal dieselbe Frage, und Sie bekommen oft zwei Formulierungen, manchmal zwei Schlussfolgerungen.
Das ist eine Stärke, wenn Sie einen Entwurf, eine Idee oder eine Erklärung wollen. Es ist eine Schwäche, wenn die Antwort ein Ergebnis ist, das für dreihundert Builds gelten muss.
Ein Test muss zweimal dieselbe Antwort geben. Sonst bedeutet ein roter Build nichts.
Zwei Arten, KI in der Testautomatisierung einzusetzen
KI kann in einem Test an zwei Stellen sitzen.
Die KI steuert jeden Lauf
Eine KI liest Ihre Anweisungen und steuert die App bei jedem Lauf aufs Neue, wobei sie jeden Klick unterwegs wählt.
Die KI hilft, der Test läuft von selbst
Oder die KI hilft dort, wo ein Mensch helfen würde, wenn der Test erstellt, geändert oder durchgesehen wird, und der Lauf selbst ist eine feste Aufzeichnung.
Eine KI steuert jeden Lauf
Lauf 1
Lauf 2
Lauf 3
Ist die App kaputt, oder hat die KI einen anderen Weg genommen?
Ein gespeicherter Test wird wiedergegeben
Lauf 1
Lauf 2
Lauf 300
Ein roter Lauf heißt: Die App hat sich geändert.
| Frage | Eine KI steuert jeden Lauf | Ein gespeicherter Test wird wiedergegeben |
|---|---|---|
| Sind die Schritte bei jedem Lauf dieselben? | Nicht garantiert: Jeder Lauf ist eine neue Lesart der Anweisungen. | Ja: dieselben Schritte in derselben Reihenfolge. |
| Können Sie einen Fehlschlag reproduzieren? | Nicht immer: Der nächste Lauf nimmt vielleicht einen anderen Weg. | Ja: Führen Sie den Test erneut aus, oder sehen Sie sich das Video des Laufs an. |
| Was kostet ein Lauf? | KI-Nutzung bei jedem Lauf jedes Tests. | Die Zeit des Build-Rechners. |
| Wie schnell ist ein Lauf? | Die KI denkt vor jedem Schritt nach. | So schnell wie der aufgezeichnete Ablauf. |
| Was bedeutet ein roter Build? | Die App hat sich geändert, oder die KI hat anders gewählt. | Die App hat sich geändert. |
Die beiden Arten haben Namen, und <a>Agentic Testing vs.KI-gestütztes Testen</a> stellt sie nebeneinander.
Wo KI hilft und wo ein Test nicht improvisieren darf
Die Frage ist nicht, ob Sie KI beim Testen einsetzen. Die Frage ist, wo. Manche Teile des Testens gewinnen durch Urteilsvermögen, andere müssen fest bleiben.
| Teil des Testens | Was die KI dort tut | Warum |
|---|---|---|
| Den Test erstellen | Sie hilft: Aus einem Satz werden Schritte und Prüfungen, auf dem echten Bildschirm ausprobiert. | Es ist die Arbeit, die ein Mensch tun würde, nur schneller. |
| Den Test ändern | Sie hilft: Sie macht die Änderung, um die Sie bitten, sobald Sie bestätigen. | Die Entscheidung bleibt bei Ihnen. |
| Die Schritte ausführen | Nichts: Der gespeicherte Test wird wiedergegeben. | Bei jedem Lauf müssen dieselben Schritte geschehen. |
| Jede Prüfung entscheiden | Nichts: jedes Mal derselbe Vergleich. | Derselbe Bildschirm muss dasselbe Ergebnis bekommen. |
| Eine fehlgeschlagene Prüfung | Ein optionaler zweiter Blick: ein endgültiges Ergebnis für diese Prüfung und eine Erklärung. | Ein Unterschied muss manchmal gelesen werden, so wie ein Mensch ihn lesen würde. |
| Die Ergebnisse lesen | Sie hilft: Ihr Assistent liest einen Lauf und erklärt ihn. | Das spart Ihnen Zeit und ändert nichts am Test. |
KI-Testautomatisierung, auf die Sie sich verlassen können: So macht es GUI Test Studio
GUI Test Studio, das End-to-End-Tests jeder Anwendung ohne Code automatisiert, baut auf der zweiten Art auf. Sie beschreiben den Test in einem Prompt an Claude, an ChatGPT mit Codex oder an ein lokales KI-Modell, eines von uns oder Ihr eigenes. Sie können ihn auch selbst aufzeichnen, ganz ohne KI.
Ihr Prompt
Lege eine Bestellung für Atlas Textiles an und prüfe die Summe.
Die KI arbeitet einmal
Sie führt den Ablauf auf Ihrem Bildschirm aus und probiert jede Prüfung dort aus.
Ein gespeicherter Test
Order.GTS
Seine Schritte, seine Bilder, seine Aufzeichnung.
Lauf 1
- 1Bestellungen öffnen
- 2Neue Bestellung
- 3Kunden eintippen
- 4Speichern
- 5Summe prüfen
Lauf 2
- 1Bestellungen öffnen
- 2Neue Bestellung
- 3Kunden eintippen
- 4Speichern
- 5Summe prüfen
Lauf 300
- 1Bestellungen öffnen
- 2Neue Bestellung
- 3Kunden eintippen
- 4Speichern
- 5Summe prüfen
Sie beschreiben ihn
Ein Satz
Die KI zeichnet ihn auf
Einmal, auf Ihrem Bildschirm
Ein gespeicherter Test
Eine Datei, die Ihnen gehört
Jeder Lauf
Dieselben Schritte
Drei Dinge machen den Lauf wiederholbar.
- Die KI arbeitet einmal: Sie führt den Ablauf auf Ihrem echten Bildschirm aus und probiert jede Prüfung dort aus, bevor sie sie behält.
- Was sie hinterlässt, ist ein gespeicherter Test, eine Datei mit seinen Schritten, seinen Bildern und seiner Aufzeichnung.
- Wenn dieser Test läuft, gibt er dieselben Schritte in derselben Reihenfolge wieder, und keine KI steuert die App.
Wenn sich die App ändert, ändert derselbe Assistent den gespeicherten Test an Ort und Stelle: ein anderer erwarteter Text, eine längere Wartezeit, ein entfernter Schritt. Er zeigt die Änderung und bittet Sie um Bestätigung, bevor er schreibt. Zwischen zwei Änderungen ist der Test dieselbe Datei, und sein Lauf ist derselbe.
Einen Test aus einem Prompt erstellen zeigt jedes Fenster, und KI-Testgenerator: vom Prompt zum lauffähigen Test erklärt, wie Sie einen Prompt schreiben, aus dem ein guter Test wird.
Jede Prüfung wird jedes Mal auf dieselbe Weise entschieden
Ein Lauf ist nur wiederholbar, wenn seine Ergebnisse es sind. Jede visuelle Prüfung beantwortet zwei feste Fragen: Wurde das Element auf dem Bildschirm gefunden, und sieht es aus wie erwartet? Der Vergleich ist perzeptiv, wie ein menschliches Auge. Er bemerkt, was ein Mensch bemerken würde, etwa eine falsche Ziffer, ein fehlendes Symbol oder ein geändertes Wort, und ignoriert, was niemand sieht.
Drei weitere Dinge halten einen Lauf stabil.
- Jede Prüfung wartet auf ihr Element und besteht in dem Moment, in dem es da ist, sodass ein langsamer Bildschirm das Ergebnis nicht ändert.
- Ein Wert, der sich von Natur aus ändert, etwa ein Datum oder eine Bestellnummer, wird an seinem Format geprüft.
- Jede Prüfung legt fest, was ein Fehlschlag bewirkt: den Test anhalten oder fortsetzen.
Timing ist die häufigste Ursache für Tests, die zufällig bestehen und fehlschlagen: siehe Feste Wartezeiten in Tests: auf den Bildschirm warten und Flaky Tests und False Positives.
Wenn eine Prüfung fehlschlägt: Die KI schaut ein zweites Mal hin, und ihre Antwort bleibt erhalten
Manche Unterschiede brauchen ein Urteil. Ist ein etwas fetterer Titel ein Fehler? Die Intelligente KI-Analyse ist die optionale KI-Seite der GTS Engine + AI. Nur wenn eine Prüfung fehlschlägt, sieht sie sich diese Prüfung ein zweites Mal an, legt ihr endgültiges Ergebnis fest und erklärt den Unterschied in einfachen Worten.
Die Prüfungen eines Laufs
Titel der Anmeldung
Bestanden: Keine KI sieht sie an
Kundenname
Bestanden: Keine KI sieht sie an
Bestellsumme
Bestanden: Keine KI sieht sie an
Schaltfläche Bestellung bestätigen
Fehlgeschlagen: die einzige, die die KI ansieht
Bestellnummer
Bestanden: Keine KI sieht sie an
Intelligente KI-Analyse, wenn Sie sie eingeschaltet haben
Ein zweiter Blick auf die fehlgeschlagene Prüfung
Endgültiges Ergebnis: fehlgeschlagen
Die Schaltfläche „Bestellung bestätigen“ hat von aktiv zu deaktiviert gewechselt.
Vier Regeln halten dieses Urteil an seinem Platz.
- Die KI steuert nie die App, und sie sieht sich nie eine bestandene Prüfung an.
- Ihr Ergebnis betrifft eine einzige fehlgeschlagene Prüfung, und der Bericht zeigt ihre Gründe neben den beiden Bildern.
- Ihre Antwort wird mit dem Lauf aufbewahrt, sodass beim erneuten Öffnen des Berichts nichts noch einmal gefragt wird.
- Ist die KI aus, entscheidet bei jeder Prüfung allein ihr eigener Vergleich, ob sie besteht oder fehlschlägt.
Der Lauf ist also jedes Mal derselbe, und die eine Stelle, an der ein Modell urteilt, ist klein, sichtbar und von Ihnen abschaltbar.
Die KI in einfachen Worten lenken: Anweisungen für die KI
Manche Unterschiede sind erwartet, und nur Sie wissen, welche. Eine Prüfung kann Anweisungen für die KI tragen: ein paar Worte in Ihrer eigenen Sprache, denen die KI folgt, wenn sie diese Prüfung beurteilt.
| Sie schreiben | Die KI |
|---|---|
| Änderungen der Schriftgröße ignorieren. | Lässt einen größeren oder kleineren Text aus den Unterschieden heraus. |
| Das Datum in der Ecke ändert sich jeden Tag. | Zählt das Datum nicht als Unterschied. |
| Die Schaltfläche Speichern muss grün bleiben. | Lässt die Prüfung fehlschlagen, sobald die Schaltfläche eine andere Farbe hat. |
Der Bericht zeigt neben der Antwort der KI die Anweisungen, unter denen ein Ergebnis zustande kam, sodass ein Urteil nie ein Rätsel ist.Der Leitfaden zur Intelligenten KI-Analyse enthält jede Einstellung.
Sie wählen die KI, oder keine
Welche KI diesen zweiten Blick wirft, ist Ihre Wahl, und Sie können es sich anders überlegen.
Eine Cloud-KI, mit Ihrem eigenen Schlüssel
Ein Modell von OpenAI oder Anthropic antwortet über Ihr eigenes Konto, und nur die zwei kleinen Bilder einer fehlgeschlagenen Prüfung gehen dorthin.
Ein lokales KI-Modell
Ein Modell von uns oder Ihr eigenes läuft auf Ihrem Computer, und nichts verlässt ihn.
Gar keine KI
Ganz ohne KI zeichnen Sie die Tests selbst auf, und bei jeder Prüfung entscheidet allein ihr eigener Vergleich.
Tests, Aufzeichnungen und Berichte sind in jedem Fall Dateien auf Ihren Computern.Was diese Kontrolle einem Team wert ist, behandelt KI-Souveränität im Softwaretest.
Ein Test, der sich nicht von selbst ändert, ist auch die unabhängige Prüfung, die Sie brauchen, wenn KI den Code schreibt: siehe KI-generierten Code testen.Und ein Test, der sich zwischen zwei Läufen selbst repariert, wirft dieselbe Frage auf, wie Self-Healing-Tests zeigt.
Was Sie vor dem Start wissen sollten
| Grenze | Was sie bedeutet |
|---|---|
| Ein Test prüft, was ihm aufgetragen wurde | Ein wiederholbarer Test erkundet nicht. Er wiederholt einen Ablauf und dessen Prüfungen, also braucht jeder wichtige Ablauf seinen Test. |
| Derselbe Start ergibt dieselbe Antwort | Bringen Sie die App vor einem Lauf dorthin zurück, wo die Aufzeichnung begann: dieselbe Seite, dieselben Daten, dieselben offenen Fenster. |
| Der zweite Blick der KI ist ein Urteil | Bei einem grenzwertigen Unterschied kann die Lesart eines Modells schwanken. Es wird nur zu fehlgeschlagenen Prüfungen befragt, seine Gründe werden gezeigt, und es kann ausgeschaltet bleiben. |
| Ein Lauf nutzt den echten Bildschirm | Ein Lauf bewegt die echte Maus und tippt auf der echten Tastatur, außer wenn ein Webtest ohne Browserfenster läuft. |
Das Wichtigste in Kürze
- 1Ein Test muss zweimal dieselbe Antwort geben, sonst bedeutet ein roter Build nichts.
- 2Eine KI, die jeden Lauf steuert, improvisiert: ein anderer Weg, Kosten pro Lauf, ein Fehlschlag, den Sie nicht reproduzieren können.
- 3In GUI Test Studio erstellt die KI den Test und ändert ihn auf Wunsch. Der gespeicherte Test gibt dieselben Schritte wieder, ohne dass eine KI die App steuert.
- 4Jede Prüfung wird jedes Mal auf dieselbe Weise entschieden. Nur eine fehlgeschlagene Prüfung kann den zweiten Blick einer KI bekommen, und deren Antwort wird mit dem Lauf aufbewahrt.
- 5Sie wählen die KI: eine Cloud-KI mit Ihrem eigenen Schlüssel, ein lokales KI-Modell, unseres oder Ihr eigenes, oder keine.
Fragen
Was ist wiederholbares Testen?
Wiederholbares Testen bedeutet, dass ein Test jedes Mal dasselbe Ergebnis liefert, wenn er auf derselben App läuft. Dieselben Schritte geschehen in derselben Reihenfolge, und jede Prüfung wird nach derselben Regel entschieden. Wenn sich das Ergebnis ändert, hat sich die App geändert.
Sind KI-Tests wiederholbar?
Das hängt davon ab, wo die KI sitzt. Eine KI, die die App bei jedem Lauf steuert, liest ihre Anweisungen jedes Mal neu und kann einen anderen Weg nehmen. Ein Test, den die KI einmal erstellt hat und der von selbst wiedergegeben wird, ist wiederholbar: dieselben Schritte und dieselben Prüfungen bei jedem Lauf.
Warum liefern KI-gesteuerte Tests von einem Lauf zum nächsten unterschiedliche Ergebnisse?
Weil ein KI-Modell seine Antwort jedes Mal neu formuliert, wenn es gefragt wird, und sie dabei anders formulieren kann. Wenn das Modell während des Laufs jeden Klick wählt, können zwei Läufe auf derselben App zwei verschiedenen Wegen folgen. Ein einmal gesehener Fehlschlag kommt vielleicht nicht wieder, wenn Sie ihn reproduzieren wollen.
Kann ich KI in der Testautomatisierung einsetzen und trotzdem wiederholbare Ergebnisse bekommen?
Ja. Nutzen Sie KI, um den Test zu erstellen und ihn auf Ihren Wunsch zu ändern, und lassen Sie den gespeicherten Test von selbst laufen. In GUI Test Studio gibt ein aus einem Prompt erstellter Test bei jedem Lauf dieselben Schritte wieder, ohne dass eine KI die App steuert.
Nutzt GUI Test Studio KI während eines Testlaufs?
Während eines Laufs steuert keine KI die App: Der gespeicherte Test gibt seine Schritte wieder. Wenn Sie die Intelligente KI-Analyse einschalten, sieht sie sich nur eine fehlgeschlagene Prüfung an, legt das endgültige Ergebnis dieser Prüfung fest und erklärt den Unterschied. Sie ist optional.
Was macht die Intelligente KI-Analyse, wenn eine Prüfung fehlschlägt?
Sie sieht sich die fehlgeschlagene Prüfung ein zweites Mal an und legt ihr endgültiges Ergebnis fest. Sie lässt die Prüfung bestehen, wenn sich nichts Wesentliches geändert hat, lässt sie fehlschlagen, wenn doch, und sagt in einfachen Worten, was sich geändert hat. Ihre Antwort wird mit dem Lauf aufbewahrt.
Kann ich meine Tests ganz ohne KI ausführen?
Ja. Zeichnen Sie den Test selbst auf und lassen Sie die Intelligente KI-Analyse aus. Jeder Schritt wird wiedergegeben, und bei jeder Prüfung entscheidet allein ihr eigener Vergleich, ohne dass an irgendeiner Stelle ein Modell beteiligt ist.
Wie sage ich der KI, was sie bei einer Prüfung ignorieren soll?
Geben Sie der Prüfung Anweisungen für die KI, ein paar Worte in Ihrer eigenen Sprache wie „Änderungen der Schriftgröße ignorieren“. Die KI folgt ihnen, wenn sie diese Prüfung beurteilt, und der Bericht zeigt die Anweisungen neben ihrer Antwort.
Claude, ChatGPT, Codex, OpenAI, Anthropic und Windows sind Marken ihrer jeweiligen Inhaber.


