KI-Testgenerator: vom Prompt zum lauffähigen End-to-End-Test
Was ein KI-Testgenerator Ihnen wirklich hinterlässt: Testcode, eine KI bei jedem Lauf oder einen Test, der von selbst wiedergegeben wird.Wie Sie Testfälle mit KI generieren und aus einem Prompt einen End-to-End-Test machen, dem Sie vertrauen können.
10 Min. LesezeitVom Team von GUI Test Studio
Was ist ein KI-Testgenerator?
Definition
Ein KI-Testgenerator macht aus einer Anfrage in einfachen Worten einen automatisierten Test.
- Sie schreiben „anmelden und prüfen, ob das Dashboard meinen Namen zeigt“, und die KI erledigt den Rest.
- Er ersetzt stundenlanges Schreiben von Testskripten durch einen einzigen Satz.
Dieses Versprechen ist echt, und es verändert, wie Teams testen.Aber zwei Generatoren können denselben Satz nehmen und Ihnen ganz verschiedene Dinge hinterlassen.Die Frage ist nicht, ob ein Werkzeug einen Test erzeugen kann.Sie lautet, was Ihnen am Tag danach bleibt.
Drei Arten von KI-Testgeneratoren
KI-Testgeneratoren arbeiten auf eine von drei Arten.
Er schreibt Testcode
Die KI schreibt aus Ihrer Anfrage Testcode, und von da an gehört der Code Ihnen: Sie führen ihn aus, lesen ihn und reparieren ihn.
Er testet bei jedem Lauf
Ein KI-Agent führt den Test bei jedem Lauf selbst durch, schaut auf den Bildschirm und entscheidet, was zu tun ist.
Er zeichnet einen Test auf
Die KI führt den Ablauf einmal in der echten Anwendung aus, und was sie getan hat, wird zu einem aufgezeichneten Test, der von selbst wiedergegeben wird.
Wo die KI arbeitet: bei der Erstellung oder bei jedem Lauf
Erzeugt Testcode
KI schreibt CodeCode läuftCode läuftCode läuftSie pflegen den Code
Testet mit KI bei jedem Lauf
KI erkundetKI entscheidetKI entscheidetKI entscheidetAndere Antworten, Kosten bei jedem Lauf
Zeichnet einen Test auf, gibt ihn wieder
KI zeichnet aufTest wird wiedergegebenTest wird wiedergegebenTest wird wiedergegebenDieselbe Antwort bei jedem Lauf, nichts zu pflegen
| Frage | Generierter Code | KI bei jedem Lauf | Aufgezeichneter Test |
|---|---|---|---|
| Was bekommen Sie? | Ein Testskript in einer Programmiersprache. | Eine Beschreibung, der die KI jedes Mal folgt. | Einen Test, den Sie öffnen, lesen und bearbeiten können. |
| Wer pflegt es? | Ein Entwickler, wie jeden anderen Code. | Niemand, bis die KI anders entscheidet. | Jeder im Team, ohne Code. |
| Dieselbe Antwort bei jedem Lauf? | Ja, sobald es funktioniert. | Nicht garantiert. | Ja. |
| Kosten jedes Laufs | Die Zeit des Build-Rechners. | KI-Aufrufe, bei jedem Lauf. | Die Zeit des Build-Rechners. |
Was bei KI-generierten Tests schiefgeht
Teams, die KI-Testgenerierung ausprobiert haben, stoßen auf dieselben vier Probleme.
- Prüfungen werden erfunden, ohne ausprobiert zu werden: Ein Test erwartet eine Meldung, die die Anwendung nie zeigt, oder prüft etwas, das in jedem Fall bestehen würde.
- Generierter Code ist lang, und niemand hat ihn gelesen, also landet der erste kaputte Selektor nach einem Redesign bei einem Entwickler, der den Test nie gesehen hat.
- Eine KI, die bei jedem Lauf entscheidet, kann am Dienstag einen anderen Weg nehmen als am Montag, also kann ein rotes Ergebnis von der KI kommen und nicht von Ihrer Anwendung.
- Und jeder Lauf kostet KI-Aufrufe, was sich schnell summiert, sobald eine Suite bei jedem Build läuft.
Ein Test, der morgen vielleicht anders antwortet, ist kein Regressionstest.Er ist eine Meinung.
Das zählt noch mehr, wenn auch der getestete Code von einer KI geschrieben wurde.Ein unabhängiger Test, den ein Mensch verantwortet, ist das Sicherheitsnetz, wie der Artikel KI-generierten Code testen erklärt.
Was ein guter KI-Testgenerator tut
Fünf Eigenschaften unterscheiden einen Test, auf den Sie sich verlassen können, von einer Demo.
- Jede Prüfung wird auf dem echten Bildschirm ausprobiert, bevor sie behalten wird, und abgelehnt, wenn sie nicht bestehen könnte.
- Das Ergebnis ist ein Test, den ein Mensch ohne Code lesen und ändern kann.
- Der Test läuft jedes Mal gleich, ohne dass zur Laufzeit KI nötig ist.
- Nichts wird ohne Ihre Zustimmung geändert oder überschrieben.
- Und Sie wählen die KI: einen Cloud-Assistenten oder ein lokales Modell auf Ihrem eigenen Computer.
Vom Prompt zum Test mit GUI Test Studio
Mit GUI Test Studio erstellt ein KI-Assistent End-to-End-Tests von Web-Apps, Windows-Desktop-Apps und Android-Smartphones, und das Programm wurde rund um diese fünf Eigenschaften gebaut.
- 1
„Einen Test aus einem Prompt erstellen“ öffnen
Klicken Sie im GUI Test Runner-Recorder auf „Test aus Prompt erstellen“, neben „Aufzeichnen“.Geben Sie ein, was der Test tun soll, oder beginnen Sie mit einem der Beispiele: eine ganze App, ein Ablauf, mehrere Browser und Geräte, ein Figma-Design.
- 2
An Ihren KI-Assistenten senden
Claude Desktop, Claude Code, ChatGPT mit Codex und Copilot Chat in VS Code haben je eine Karte mit einer einzigen Schaltfläche: beim ersten Mal „Verbinden“, danach „Öffnen“.Kein Schlüssel und keine Einstellung: Der Connector wird mit GUI Test Studio installiert.
- 3
Zusehen, wie er auf Ihrem Bildschirm arbeitet
Der Assistent öffnet die App oder die Webseite, klickt und tippt wirklich und fügt nach jedem Schritt eine Prüfung hinzu, so wie es jemand aus dem Testteam täte.Jede Prüfung wird gleich dort auf dem Bildschirm ausprobiert und abgelehnt, wenn sie nicht bestehen könnte.Die Zeit, in der er nachdenkt, fließt nicht in den Test ein.
- 4
Den Test öffnen oder ausführen
Das Ergebnis ist ein gewöhnlicher Test von GUI Test Studio.Öffnen Sie ihn auf der Zeitleiste, um jeden Schritt und jede Prüfung zu sehen, führen Sie ihn im GUI Test Runner-Recorder aus, und lesen Sie seinen Konfidenzbericht.Nichts am Test verrät, dass ein Modell ihn erstellt hat.Siehe Einen Test aus einem Prompt erstellen.
Wie Sie einen Prompt schreiben, der einen guten Test ergibt
Ein guter Prompt liest sich wie ein Testfall: wo es losgeht, was zu tun ist und was am Ende zutreffen muss.Den letzten Teil vergessen die meisten, und genau er macht daraus einen Test.
Create a test for my app C:\Apps\Shop.exe: add a client named Atlas Textiles and verify it is listed.Test the sign-up form at https://shop.example/signup in Chrome, Edge and Firefox and on an iPhone 15.With GUI Test Studio, test the whole of C:\Apps\Shop.exe: list its main workflows and create one test per workflow, each verifying its outcome.Empfohlen
- Den Pfad der App oder die Adresse der Seite nennen
- Die Schritte in der Reihenfolge aufzählen, in der ein Nutzer sie geht
- Sagen, was am Ende zutreffen muss
- Mit „Mit GUI Test Studio“ beginnen, wenn der Assistent es auch anders machen könnte
Vermeiden
- „Die Kundenseite testen“, ohne erwartetes Ergebnis
- Zehn Abläufe in einem Test
- Die Maus benutzen, während der Assistent arbeitet
- Nach einem Testskript in einer Programmiersprache fragen
Keine Cloud-KI?Ein lokales Modell auf Ihrem eigenen Computer
Manche Teams dürfen ihre Bildschirme nicht an eine Cloud-KI senden.GUI Test Studio kann den Test stattdessen mit einem lokalen KI-Modell erstellen: einem von uns, einmal in seine eingebaute Engine heruntergeladen, oder einem eigenen, das Sie über LM Studio oder einen anderen OpenAI-kompatiblen lokalen Server einbinden.
Das lokale Modell nutzt genau dieselben Werkzeuge wie Claude und ChatGPT.
- Ihre Anfrage und Ihr Bildschirm bleiben auf Ihrem Computer.
- Ein Einrichtungsfenster empfiehlt das Modell, das zur Grafikkarte Ihres Computers passt.
- Ein lokales Modell ist langsamer als ein Cloud-Assistent und eignet sich am besten für kurze Abläufe.
Wohin Testdaten gehen und wie Sie sie im eigenen Haus behalten, ist das Thema von Datenschutz in der Testautomatisierung.
Einen Test per Prompt ändern, mit Ihrer Zustimmung
Derselbe Assistent ändert einen bestehenden Test an Ort und Stelle: eine Prüfung, die länger warten soll, ein Schritt, der ignoriert werden soll, eine neue Prüfung nach einem bestimmten Schritt.Nichts wird neu aufgezeichnet.
In the Checkout test, let the "Order confirmed" check wait 10 s and continue the test if it fails.Der Assistent kann auch einen Test aus einem Figma-Design erstellen, bevor die Funktion existiert, Tests ausführen, erklären, warum einer fehlgeschlagen ist, und den Fehlschlag nach Ihrer Bestätigung als Jira-Bug melden.Siehe Tests aus Figma-Designs.
Bei jedem Build ausführen, ganz ohne KI
Ein Test, der aus einem Prompt entstanden ist, ist ein Test wie jeder andere. gtr-cli führt ihn auf einem Windows-Build-Rechner aus, ohne Assistenten, ohne KI-Aufruf und ohne Schlüssel: Ein fehlgeschlagener Test lässt den Build fehlschlagen.
gtr-cli run tests --countdown 0 --junit results\junit.xmlDer Lauf prüft, was der Bildschirm zeigt, also schlägt er aus einem echten Grund fehl.
- Jedes Element wird zuerst über die Barrierefreiheitsinformationen der Anwendung gefunden und am Aussehen, wenn die Anwendung nichts sagt: Das ist die GTS Engine + AI.
- Harmlose Rendering-Unterschiede werden ignoriert, und ein geändertes Wort oder eine fehlende Schaltfläche wird erkannt.
- Wenn sich ein Bild unterscheidet, kann die Intelligente KI-Analyse den Unterschied erklären, als Option.
Sie beschreiben ihn
Ein Satz, in einfachen Worten
Die KI zeichnet ihn auf
Auf Ihrem Bildschirm, jede Prüfung ausprobiert
Ein Test, der Ihnen gehört
Ohne Code lesen und bearbeiten
Jeder Build
Ohne KI wiedergegeben
Das Wichtigste in Kürze
- 1Ein KI-Testgenerator wird an dem gemessen, was er hinterlässt, nicht an der Demo.
- 2Generierter Code muss gepflegt werden; eine KI bei jedem Lauf antwortet anders und kostet bei jedem Lauf.
- 3Jede Prüfung sollte auf dem echten Bildschirm ausprobiert werden, bevor sie behalten wird.
- 4Der beste Test wird einmal von der KI erstellt und ohne KI wiedergegeben, jedes Mal auf dieselbe Weise.
- 5Sie wählen die KI: Claude, ChatGPT, Copilot oder ein lokales Modell, eines von uns oder Ihr eigenes.
Fragen
Was ist ein KI-Testgenerator?
Ein KI-Testgenerator macht aus einer Beschreibung in einfachen Worten, etwa „anmelden und prüfen, ob das Dashboard meinen Namen zeigt“, einen automatisierten Test.Je nach Werkzeug ist das Ergebnis Testcode, der gepflegt werden muss, eine KI, die den Test bei jedem Lauf durchführt, oder ein aufgezeichneter Test, der von selbst wiedergegeben wird.
Kann KI End-to-End-Tests schreiben?
Ja.Ein KI-Assistent kann die Anwendung öffnen, einen Ablauf durchführen und die Prüfungen hinzufügen, die jemand aus dem Testteam hinzufügen würde.Entscheidend ist, was er hinterlässt: einen Test, dessen Prüfungen auf dem echten Bildschirm ausprobiert wurden, den ein Mensch lesen und ändern kann und der jedes Mal gleich läuft.
Braucht ein von KI erstellter Test KI, um zu laufen?
Nicht mit GUI Test Studio.Die KI erstellt den Test einmal, danach ist der Test eine gewöhnliche Datei, die der GUI Test Runner-Recorder oder gtr-cli ganz ohne KI wiedergibt: dieselben Schritte, dieselben Prüfungen, dieselbe Antwort bei jedem Lauf.
Welche KI-Assistenten können Tests für GUI Test Studio erstellen?
Claude Desktop, Claude Code, ChatGPT mit Codex und Copilot Chat in VS Code, über den Connector, der mit GUI Test Studio installiert wird.Ohne Assistenten erstellt ein lokales KI-Modell auf Ihrem eigenen Computer den Test mit denselben Werkzeugen: eines von uns, oder Ihr eigenes.
Kann ich Testfälle mit einem lokalen KI-Modell generieren?
Ja.GUI Test Studio kann einen Test mit einem lokalen KI-Modell erstellen, einem von uns in seiner eingebauten Engine oder einem eigenen, das Sie über LM Studio oder einen anderen OpenAI-kompatiblen lokalen Server einbinden.Ihre Anfrage und Ihr Bildschirm bleiben auf Ihrem Computer.Ein lokales Modell ist langsamer als ein Cloud-Assistent und eignet sich am besten für kurze Abläufe.
Wie schreibe ich einen guten Prompt für einen KI-Testgenerator?
Nennen Sie die Anwendung oder die Adresse, die Schritte in der Reihenfolge, in der ein Nutzer sie geht, und was am Ende zutreffen muss.„Einen Kunden namens Atlas Textiles hinzufügen und prüfen, ob er aufgelistet ist“ ergibt einen besseren Test als „die Kundenseite testen“, weil das erwartete Ergebnis Teil der Anfrage ist.
Kann KI Tests aus einem Figma-Design generieren?
Ja.Geben Sie dem Assistenten das Designpaket, das mit dem Figma-Plugin von GUI Test Studio exportiert wurde, und er erstellt daraus einen Test: Jeder Bildschirm wird zu einem Referenzbild, jedes Element zu einer Prüfung, und ein Prototyp-Ablauf wird zum Klickpfad, bevor die Funktion gebaut ist.
Claude, ChatGPT, Codex, Copilot, VS Code, LM Studio, OpenAI, Anthropic, Figma und Jira sind Marken ihrer jeweiligen Inhaber.
Bereit, Ihren ersten Test aufzuzeichnen?
Jede Funktion, 15 Tage lang.
Lieber an der Art von App sehen, die Sie testen?Buchen Sie ein kostenloses 30-minütiges Gespräch mit unserem Team.