Was ist Vibe Testing? So testen Sie eine App, die Sie mit KI gebaut haben

Vibe Testing: Beschreiben Sie, was Ihre App tun soll, und die KI erstellt die Tests und führt sie aus. So testen Sie eine Vibe-Coding-App, ohne ihren Code zu lesen.

Von Ait Nohaila, Business Development Representative 9 Min. Lesezeit

Vibe Testing heißt, eine App so zu prüfen, wie sie per Vibe Coding entstanden ist: Sie beschreiben in einfachen Worten, was passieren soll, und die KI erstellt die Tests und führt sie aus. Die Tests beurteilen, was der Nutzer sieht, nicht den Code.

Sie haben eine App gebaut, indem Sie mit einer KI gesprochen haben, und heute funktioniert sie auf Ihrem Bildschirm. Dann bitten Sie um eine weitere Änderung. Etwas, das gestern funktionierte, geht kaputt, und Sie erfahren es, wenn ein Nutzer es Ihnen sagt.

Was ist Vibe Coding?

Definition

Vibe Coding heißt, eine App zu bauen, indem Sie einer KI beschreiben, was Sie wollen, und den Code annehmen, den sie schreibt.

  • Sie reden, die KI programmiert, und Sie beurteilen das Ergebnis, indem Sie die App ausprobieren.
  • Oft liest überhaupt niemand den Code.

Der Begriff wurde im Februar 2025 vom Informatiker Andrej Karpathy geprägt, wie der Wikipedia-Artikel über Vibe Coding berichtet.Vibe Coding betreibt man mit KI-Programmierwerkzeugen wie Cursor, Claude Code und GitHub Copilot.Sie müssen dafür nicht programmieren können.

Was ist Vibe Testing?

Definition

Vibe Testing heißt, eine per Vibe Coding entwickelte App so zu prüfen, wie sie gebaut wurde: indem Sie beschreiben, was passieren soll, und die KI die Tests erstellen und ausführen lassen.

  • Sie sagen, dass sich ein neuer Nutzer registriert und eine Willkommensseite sieht, und ein Test beweist es.
  • Die App wird danach beurteilt, was ein Nutzer auf dem Bildschirm sieht.

Es eignet sich für alle, die ihre App beschreiben können, ob sie deren Code lesen können oder nicht.

Warum braucht eine per Vibe Coding entwickelte App Tests?

Drei Dinge machen eine per Vibe Coding entwickelte App zerbrechlich.

  • Niemand hat den Code gelesen, also weiß niemand, was eine Änderung berührt hat.
  • Jede neue Anfrage schreibt Teile der App neu, und eine Funktion, die funktionierte, kann wortlos aufhören zu funktionieren.
  • Von Hand testen Sie nur, woran Sie denken, und das ist meist die Funktion, um die Sie zuletzt gebeten haben.

Die Zahlen dazu, was KI-geschriebener Code anrichtet, sobald er bei den Nutzern ankommt, stehen in KI schreibt jetzt Ihren Code, jede mit ihrer Quelle.

Die Falle: Die KI, die den Code geschrieben hat, schreibt auch die Tests

Der naheliegende Schritt ist, dieselbe KI ihre eigene Arbeit testen zu lassen. Sie schreibt gern Tests. Aber diese Tests werden aus dem Code geschrieben, vom Autor des Codes, also stimmen sie mit dem Code überein, samt seinen Fehlern.

BeispielEine Summe, die zweimal falsch ist

Sie bitten um einen Warenkorb, der 20 % Steuer aufschlägt. Bei manchen Bestellungen schlägt der Code der KI die Steuer zweimal auf. Dann schreibt die KI einen Test, der die Zahl erwartet, die ihr eigener Code liefert. Der Test besteht, und die Summe ist immer noch falsch.

Die KI prüft ihre eigene Arbeit

Die KI schreibt den Code
Dieselbe KI schreibt den Test, aus dem Code
Der Test besteht

Die Summe auf dem Bildschirm ist immer noch falsch.

Ein unabhängiger Test des Bildschirms

Die KI schreibt den Code
Ein Test nutzt die laufende App, wie ein Nutzer
Der Test schlägt bei der Summe fehl

Sie erfahren von dem Fehler, bevor Ihre Nutzer es tun.

Ein aus dem Code geschriebener Test wiederholt den Fehler des Codes. Ein Test, der nur auf den Bildschirm schaut, kann ihn gar nicht teilen.
Ein aus dem Code geschriebener Test kann Ihnen nur sagen, dass der Code tut, was der Code tut.

Warum der Beweis von außerhalb des Codes kommen muss, erklärt KI-generierten Code testen.

Was macht einen guten Vibe-Test aus?

Ein guter Vibe-Test hat drei Eigenschaften.

Unabhängig

Er testet die laufende App über ihren echten Bildschirm, also teilt er die Fehler des Codes nicht.

Wiederholbar

Er führt bei jedem Lauf dieselben Schritte aus, also heißt ein Fehlschlag, dass sich die App geändert hat.

Lesbar

Er ist auch für jemanden lesbar, der keinen Code lesen kann, also wissen Sie, was er wirklich prüft.

EigenschaftFragen Sie sichWenn die Antwort Nein lautet
UnabhängigSchaut der Test auf den Bildschirm oder auf den Code?Er kann bestehen, während der Nutzer einen Fehler sieht.
WiederholbarMacht er morgen dieselben Schritte?Ein Fehlschlag kann an der KI liegen, nicht an Ihrer App.
LesbarKann ich jeden Schritt sehen und was er erwartet?Sie vertrauen einem Test, den Sie nicht prüfen können.

Warum die zweite Eigenschaft so wichtig ist, behandelt mit KI den Test erstellen, nicht jeden Lauf improvisieren.

Vibe Testing mit GUI Test Studio: beschreiben und einen echten Test bekommen

GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code. Sein Connector lässt Ihren KI-Assistenten das Testen für Sie übernehmen: Claude Desktop, Claude Code, ChatGPT mit Codex oder VS Code. Ein lokales KI-Modell kann das auch, eines von uns oder Ihr eigenes.

Das passiert, wenn Sie einen Ablauf beschreiben.

  • Der Assistent öffnet Ihre App oder Ihre Webseite und führt die Schritte als echte Klicks und Tastendrücke aus.
  • Nach jedem Schritt fügt er eine Prüfung dessen hinzu, was der Bildschirm zeigt, ein Bild oder einen Text, und probiert sie sofort aus.
  • Er speichert eine gewöhnliche Testdatei, die Ihnen gehört.
  • Von da an wird der Test von selbst wiedergegeben, ohne dass eine KI die App steuert.

Die Prüfungen schauen auf den Bildschirm: das Aussehen einer Schaltfläche, die Worte einer Meldung, eine Summe, die angezeigt werden muss. GUI Test Studio vergleicht wie ein menschliches Auge. Es bemerkt eine falsche Ziffer, ein fehlendes Symbol oder ein geändertes Wort und ignoriert, was niemand sehen würde.

  1. Sie beschreiben

    Einen Ablauf, in einem Satz

  2. Die KI zeichnet auf

    Auf Ihrem echten Bildschirm

  3. Der Test wird wiedergegeben

    Nach jeder Änderung

  4. Der Bericht sagt

    Was kaputtging, in einfachen Worten

So testen Sie Ihre App per Vibe Testing in fünf Schritten

  1. 1

    Aufschreiben, was Ihre App können muss

    Listen Sie drei bis fünf Dinge auf, die ein Nutzer immer tun können muss, jeweils mit dem Ergebnis: sich registrieren und die Willkommensseite sehen, einen Artikel hinzufügen und die Summe sehen, bezahlen und die Bestätigung sehen.

  2. 2

    Ihren KI-Assistenten verbinden

    Klicken Sie im GUI Test Runner-Recorder auf der Startseite auf Mit einem Prompt und dann auf der Karte Ihres Assistenten auf Verbinden.Ohne Assistenten erstellt die Karte Dieser Computer den Test mit einem lokalen KI-Modell, einem von uns oder Ihrem eigenen.

  3. 3

    Einen Ablauf beschreiben

    Schreiben Sie die Anfrage so, wie Sie es einem Tester erklären würden: wo es losgeht, was zu tun ist und was am Ende wahr sein muss. Senden Sie sie ab, und lassen Sie Maus und Tastatur in Ruhe, während der Assistent auf Ihrem Bildschirm arbeitet.

  4. 4

    Das Ergebnis und den Bericht lesen

    Der Assistent sagt Ihnen, wo der Test gespeichert wurde und ob sein Lauf bestanden hat.Der Konfidenzbericht zeigt jeden Schritt, was bestanden hat und was fehlgeschlagen ist.

  5. 5

    Ihre Tests nach jeder Änderung erneut ausführen

    Bitten Sie den Assistenten jedes Mal, wenn die KI Ihre App ändert, Ihre Tests erneut auszuführen, oder führen Sie sie selbst aus. Ein Test, der fehlschlägt, sagt Ihnen, was kaputtging, bevor ein Nutzer es tut.

Jedes Fenster des zweiten Schritts zeigt Einen Test aus einem Prompt erstellen.

Prompts für Vibe Testing zum Kopieren

Ersetzen Sie die Adresse, die Namen und das Ergebnis durch Ihre eigenen. Der Einstieg mit den Worten „With GUI Test Studio“ sagt dem Assistenten, dass er die Testwerkzeuge nutzen und kein Skript schreiben soll.

  • With GUI Test Studio, open my app at http://localhost:3000, sign up with the name Sam and the email sam@example.com, and verify the welcome page says "Welcome, Sam".
  • With GUI Test Studio, test my to-do app at http://localhost:5173: add the task "Buy milk", mark it done, and verify it is listed under Completed.
  • With GUI Test Studio, create a test for my app C:\Apps\Invoices.exe: create an invoice with three items and verify the total is shown.
  • With GUI Test Studio, test the sign-up form at http://localhost:3000/signup in Chrome, Edge and Firefox and on an iPhone 15.
  • I changed the checkout page. Run the Checkout test and tell me what failed.
  • Why did the Checkout test fail? Show me the difference.

Was einen Prompt ausmacht, aus dem ein guter Test wird, behandelt KI-Testgenerator: vom Prompt zum lauffähigen Test.

Was passiert, wenn die KI etwas kaputt macht?

Ein Test schlägt fehl, und der Konfidenzbericht öffnet sich. Er nennt den fehlgeschlagenen Schritt, zeigt, was erwartet wurde, neben dem, was gefunden wurde, und bewahrt das Video des Laufs auf. Ist die Intelligente KI-Analyse eingeschaltet, wird der Unterschied auch in einfachen Worten erklärt.

Checkout-Test, nach der letzten Änderung

Zwei Artikel in den Warenkorb legen

Bestanden

Der Warenkorb zeigt 2 Artikel

Bestanden

Die Summe wird angezeigt

Erwartet 24.00, gefunden 28.80

Die Änderung war ein Fehler

Sagen Sie Ihrem KI-Programmierwerkzeug, was der Bericht sagt, und lassen Sie es die App reparieren.

Die Änderung war gewollt

Übernehmen Sie das neue Ergebnis im Bericht, mit einem Klick.

Der Bericht nennt den fehlgeschlagenen Schritt und zeigt, was erwartet wurde, neben dem, was gefunden wurde. Sie entscheiden, welches von beiden falsch ist.

Wenn Ihr Assistent auch das Werkzeug ist, das Ihren Code schreibt, liest er den Fehlschlag und repariert die App in derselben Unterhaltung: siehe MCP-Server für Tests.Jeden Teil des Berichts erklärt Einen Testbericht lesen.

Können Sie eine App per Vibe Testing testen, wenn Sie nicht programmieren können?

Ja. Nichts an dieser Arbeitsweise verlangt, dass Sie Code lesen oder schreiben.

Was Sie tunWas Sie nie tun müssen
Einen Ablauf in einem Satz beschreiben.Ein Testskript schreiben.
Den Test auf einer Zeitleiste ansehen, wie ein Video.Den Code der App lesen.
Einen Bericht mit Bildern lesen.Fehlermeldungen lesen, die für Programmierer gedacht sind.
Eine gewollte Änderung mit einem Klick übernehmen.Dateien von Hand bearbeiten.

Wer die App als Gründer allein mit KI gebaut hat, kann sie auch allein testen.Später kann ein Tester dieselben Tests übernehmen, weil es gewöhnliche Dateien sind.Ihr erster Test zeigt den ganzen Weg mit Bildern.

Was Sie vor dem Start wissen sollten

GrenzeWas sie bedeutet
Die App muss laufenEin Test nutzt die echte App. Starten Sie sie zuerst, oder geben Sie die Adresse an, unter der sie läuft.
Der Assistent nutzt Ihren BildschirmLassen Sie Maus und Tastatur in Ruhe, während er aufzeichnet.
Ein Test prüft, was Sie beschrieben habenEin Ablauf, den Sie nie beschrieben haben, wird nicht getestet. Beginnen Sie mit denen, auf die Ihre Nutzer nicht verzichten können.

Das Wichtigste in Kürze

  • 1Vibe Testing ist die Testseite des Vibe Coding: Sie beschreiben, was passieren soll, und die KI erstellt die Tests und führt sie aus.
  • 2Eine per Vibe Coding entwickelte App braucht Tests am meisten, weil niemand den Code gelesen hat und jede Anfrage kaputt machen kann, was funktionierte.
  • 3Die KI, die den Code geschrieben hat, kann ihn schlecht beurteilen. Ihre Tests stimmen mit dem Code überein, samt seinen Fehlern.
  • 4Ein guter Vibe-Test ist unabhängig, wiederholbar und lesbar, auch für jemanden, der keinen Code lesen kann.
  • 5Mit GUI Test Studio wird aus einem Satz ein echter Test, der nach jeder Änderung von selbst wiedergegeben wird.

Fragen

Was ist Vibe Testing?

Vibe Testing heißt, eine App zu prüfen, indem Sie beschreiben, was passieren soll, und die KI die Tests erstellen und ausführen lassen. Es ist die Testseite des Vibe Coding. Die App wird danach beurteilt, was ein Nutzer auf dem Bildschirm sieht, nicht nach ihrem Code.

Was ist der Unterschied zwischen Vibe Coding und Vibe Testing?

Vibe Coding baut die App: Sie beschreiben, was Sie wollen, und nehmen den Code an, den die KI schreibt. Vibe Testing prüft die App: Sie beschreiben, was passieren soll, und die KI erstellt Tests, die es beweisen. Das eine macht die App, das andere sagt Ihnen, ob sie noch funktioniert.

Wie teste ich eine App, die ich mit KI gebaut habe?

Testen Sie die laufende App von außen, so wie ein Nutzer sie benutzt. Schreiben Sie auf, was ein Nutzer immer tun können muss, lassen Sie für jeden Punkt einen Test erstellen und führen Sie diese Tests nach jeder Änderung aus, die die KI macht. Mit GUI Test Studio beschreiben Sie jeden Ablauf in einem Prompt, und Ihr KI-Assistent zeichnet den Test auf dem echten Bildschirm auf.

Kann die KI, die meinen Code geschrieben hat, ihn auch testen?

Sie kann Tests schreiben, aber die reichen allein nicht aus. Tests, die der Autor des Codes aus dem Code schreibt, stimmen mit dem Code überein, samt seinen Fehlern. Ergänzen Sie Tests, die die laufende App über ihren Bildschirm betrachten, damit sie die Fehler des Codes nicht teilen.

Muss ich programmieren können, um per Vibe Testing zu testen?

Nein. Mit GUI Test Studio beschreiben Sie einen Ablauf in einem Satz, sehen den Test auf einer Zeitleiste wie ein Video an und lesen einen Bericht mit Bildern. Nichts verlangt, dass Sie Code lesen oder schreiben.

Sind Vibe-Tests zuverlässig?

Ja, wenn der Test einmal aufgezeichnet und dann von selbst wiedergegeben wird. Dieselben Schritte in derselben Reihenfolge geben bei jedem Lauf dieselbe Antwort, also heißt ein Fehlschlag, dass sich die App geändert hat. Ein Test, den eine KI bei jedem Lauf neu improvisiert, kann jedes Mal einen anderen Weg nehmen.

Wie oft sollte ich die Tests einer per Vibe Coding entwickelten App ausführen?

Nach jeder Änderung, die die KI an der App vornimmt. Eine per Vibe Coding entwickelte App ändert sich mit jeder Anfrage stark, und eine Funktion, die funktionierte, kann unbemerkt aufhören zu funktionieren. Tests, die von selbst wiedergegeben werden, erneut auszuführen kostet Sie nichts.

Welche KI-Assistenten kann ich für Vibe Testing mit GUI Test Studio nutzen?

Claude Desktop, Claude Code, ChatGPT mit Codex und VS Code lassen sich mit einem Klick verbinden. Ein lokales KI-Modell funktioniert auch: eines von uns, oder Ihr eigenes.

Claude, ChatGPT, Codex, VS Code, Cursor, GitHub Copilot, Chrome, Edge, Firefox, Android und iPhone sind Marken ihrer jeweiligen Inhaber.

Alle Artikel