Was sind End-to-End-Tests? Eine einfache Erklärung mit einem echten Beispiel
Was sind End-to-End-Tests? Eine einfache Definition und ein echtes Beispiel: eine Bestellung in einer Shop-App, vom ersten Klick bis zum Test bei jedem Build.
End-to-End-Tests prüfen einen ganzen Ablauf einer Anwendung über ihren echten Bildschirm, vom ersten Klick des Benutzers bis zum Endergebnis, wobei alle Teile dahinter zusammenarbeiten. Sie beweisen, dass der Benutzer bekommt, wofür er gekommen ist.
Jedes Team ist sich einig, dass diese Tests am wichtigsten sind, und die meisten Teams haben nur sehr wenige davon. Als Code geschrieben, kostet ein End-to-End-Test viel Zeit und bricht bei jedem Redesign, deshalb werden die Abläufe, von denen das Unternehmen lebt, vor jedem Release immer noch von Hand geprüft oder gar nicht.
Was sind End-to-End-Tests?
Definition
End-to-End-Tests, oft kurz E2E-Tests genannt, testen eine Anwendung so, wie ihre Benutzer sie verwenden: ein ganzer Ablauf, über den echten Bildschirm, von Anfang bis Ende.
- Der Test klickt, tippt und liest, was angezeigt wird, wie ein Mensch es tun würde.
- Alles hinter dem Bildschirm ist beteiligt: die Server, die Datenbank und die externen Dienste, die der Ablauf aufruft.
Der Test besteht nur, wenn das Endergebnis für den Benutzer stimmt.
Die beiden Enden im Namen sind die erste Aktion des Benutzers und sein Endergebnis.Dazwischen liegt die ganze Anwendung.Die Seite End-to-End-Tests zeigt, welche Arten von Apps das abdeckt, von Web-Apps über Windows-Desktop-Apps bis zu Smartphones.
Ein Beispiel für einen End-to-End-Test: eine Bestellung in einer Shop-App
Dieser Artikel verfolgt ein Beispiel von Anfang bis Ende: Ein Kunde eines Onlineshops bestellt eine Schreibtischlampe. Der Ablauf ist vier Bildschirme lang, und er ist der, dessen Ausfall sich der Shop nicht leisten kann.
Anmelden
Tippt E-Mail und Passwort.
Der Kontoname erscheint.
In den Warenkorb
Öffnet die Schreibtischlampe und legt sie hinein.
Der Warenkorb zeigt einen Artikel und seinen Preis.
Bezahlen
Tippt die Kartendaten und klickt auf Bezahlen.
Es erscheint keine Fehlermeldung.
Bestätigung
Liest die Bestätigungsseite.
Die Summe und eine Bestellnummer werden angezeigt.
Hinter dem Bildschirm muss all das funktionieren
Wer das von Hand testet, macht genau das: anmelden, die Lampe hinzufügen, mit einer Testkarte bezahlen und die Bestätigung lesen. Ein End-to-End-Test macht dasselbe, in derselben Reihenfolge, und prüft unterwegs dieselben Dinge.
Was ein End-to-End-Test abdeckt und kleinere Tests nicht
Kleinere Tests betrachten jeweils nur ein Teil: eine Funktion, einen Dienst, einen Bildschirm. Sie sind schnell und genau, und für ihr eigenes Teil haben sie recht. Was sie nicht sehen können, ist die Übergabe von einem Teil zum nächsten, so wie der Kunde sie erlebt.
Jedes Teil, für sich getestet
Die ganze Bestellung, über den Bildschirm
Die Bestätigungsseite zeigt keine Bestellnummer.
Ein End-to-End-Test der Bestellung deckt ab, was kein kleinerer Test abdeckt.
- Er beweist, dass die Anmeldung wirklich in den Shop führt, mit dem richtigen Konto.
- Er beweist, dass der Artikel, der auf dem einen Bildschirm hinzugefügt wurde, auch der ist, der auf dem nächsten berechnet wird.
- Er beweist, dass die erfolgreiche Zahlung eine Bestätigung erzeugt, die der Kunde lesen kann.
- Er beweist all das auf dem Bildschirm, wo ein richtiger Wert an der falschen Stelle immer noch ein Fehler ist.
Wie derselbe Fehler durch einen Test der Teile und durch einen Test des Bildschirms aussieht, ist das Thema von End-to-End-Tests und Integrationstests.Ein Test einer einzelnen Funktion, etwa eines Felds für Rabattcodes, wird in Was sind funktionale Tests erklärt.
Was bei jedem Schritt des Ablaufs zu prüfen ist
Ein End-to-End-Test, der sich durch vier Bildschirme klickt und nichts prüft, beweist nur, dass die App nicht abgestürzt ist. Jeder Schritt endet mit etwas, das sich der Benutzer ansehen würde.
| Schritt | Was der Test prüft | Mit welcher Prüfung |
|---|---|---|
| Anmelden | Der Kontoname erscheint oben auf der Seite. | Eine Text-Assertion, die die Wörter liest. |
| In den Warenkorb | Der Warenkorb zeigt einen Artikel, das Bild der Lampe und ihren Preis. | Eine Text-Assertion für den Preis, eine Bild-Assertion für das Bild. |
| Bezahlen | Das Ladesymbol verschwindet, und es erscheint keine Fehlermeldung. | Eine Bild-Abwesenheits-Assertion und eine Text-Abwesenheits-Assertion. |
| Bestätigung | Die Dankesnachricht, der gezahlte Betrag und die Bestellnummer. | Text-Assertionen und eine Dynamische Text-Assertion für die Nummer. |
Die Bestellnummer verdient einen genaueren Blick, denn an ihr scheitern viele End-to-End-Tests. Sie ist bei jedem Lauf anders, also schlägt eine Prüfung, die die Nummer aus der Aufzeichnung erwartet, schon am nächsten Tag fehl.
Eine Prüfung, die die aufgezeichnete Nummer erwartet
Sie scheitert bei jeder Bestellung nach der ersten, obwohl nichts kaputt ist.
Eine Dynamische Text-Assertion, die das Format erwartet
Sie besteht bei jeder echten Bestellnummer und schlägt bei einer kaputten trotzdem fehl.
Wann Sie einen End-to-End-Test schreiben sollten und wie viele
Schreiben Sie einen End-to-End-Test, wenn das Unternehmen einen Ablauf nicht verlieren darf.
- Er betrifft Geld, persönliche Daten oder die Anmeldung.
- Er führt durch mehrere Teile der Anwendung oder über einen externen Dienst.
- Ein Fehler darin würde Kunden oder Kollegen an ihrer Arbeit hindern.
Wie viele, ist schnell beantwortet: wenige. Beginnen Sie mit einem, dem Ablauf, dessen Ausfall am meisten schaden würde, und fügen Sie die anderen hinzu, die nicht ausfallen dürfen. Die meisten Anwendungen sind mit fünf bis fünfzehn davon gut geschützt, ausgeführt bei jedem Build.
Empfohlen
- Ein ganzer Ablauf pro Test, vom ersten Klick bis zum Ergebnis
- Auf jedem Bildschirm eine Prüfung dessen, was sich der Benutzer ansehen würde
- Eine Testumgebung, ein Testkonto und eine Testkarte für die Zahlung
Vermeiden
- Ein End-to-End-Test für jede Option jedes Bildschirms
- Ein Test, der sich durch den Ablauf klickt und nichts prüft
- Ein Test, der von Daten abhängt, die der gestrige Lauf hinterlassen hat
Die Optionen eines einzelnen Bildschirms gehören in kürzere Tests mit je einer Funktion.Und sobald Sie mehrere End-to-End-Tests haben, zeigt Smoke-Test, Sanity-Test und Regressionstest im Vergleich, welche davon bei jedem Build laufen und welche nachts.
Warum E2E-Tests als Code schwer am Leben zu halten sind
In einem programmierten Framework wie Playwright, Selenium oder Cypress ist der Bestelltest ein Programm. Ihn einmal zu schreiben ist der kleine Teil. Ihn am Leben zu halten ist der eigentliche Aufwand.
| Was der Bestelltest braucht | In einem programmierten Framework | In GUI Test Studio |
|---|---|---|
| Jedes Feld und jede Schaltfläche finden | Ein Selektor für jedes Element, von Hand geschrieben und repariert. | Zuerst über die Barrierefreiheitsinformationen der App gefunden und am Aussehen, wenn die App nichts sagt. |
| Auf jeden Bildschirm warten | Wartecode für jede Seite und jedes Ladesymbol oder feste Pausen. | Jede Prüfung wartet von selbst und besteht in dem Moment, in dem das Element da ist. |
| Die Bestellnummer | Ein im Code geschriebenes Muster. | Eine Dynamische Text-Assertion: Sie markieren die Nummer, und ihr Format wird erkannt. |
| Ein Redesign der Kasse | Skripte, die jemand aus der Entwicklung repariert, Selektor für Selektor. | Das neue Aussehen wird nach einer Durchsicht mit einem Klick im Bericht übernommen. |
| Wer ihn erstellen kann | Jemand, der programmiert. | Jeder, der den Ablauf von Hand durchführen kann. |
Ein End-to-End-Test lohnt sich nur, solange seine Pflege bezahlbar bleibt. Nehmen Sie den Code weg, und die Kosten verschwinden mit ihm.
Zwei dieser Zeilen verursachen die meisten Fehlschläge bei einer funktionierenden App: ein Element finden und darauf warten.Feste Wartezeiten in Tests zeigt, warum eine Pause fester Länge nie passt, und Flaky Tests und False Positives, was das Rauschen ein Team kostet.
So erstellen Sie diesen End-to-End-Test ohne Code, Schritt für Schritt
GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code. Hier ist der Bestelltest aus diesem Artikel, von null bis zu einem Test, der von selbst läuft. Die meiste Arbeit besteht darin, die Bestellung einmal durchzuführen.
- 1
Den Ausgangspunkt vorbereiten
Verwenden Sie eine Testumgebung mit einem Testkonto und einer Testkarte für die Zahlung. Bei einer Web-App öffnet der Test die Seite bei jedem Lauf selbst in einem sauberen Browserfenster, sodass jeder Lauf abgemeldet beginnt, wie ein neuer Besucher.
- 2
Die Bestellung einmal aufzeichnen
Klicken Sie im GUI Test Runner-Recorder auf „Aufzeichnen“, wählen Sie eine Web-App und geben Sie die Adresse des Shops ein. Melden Sie sich an, legen Sie die Schreibtischlampe in den Warenkorb, bezahlen Sie, warten Sie auf die Bestätigungsseite und drücken Sie dann Esc, um zu stoppen.
Arbeiten Sie in normalem Tempo und warten Sie, bis jede Seite fertig geladen ist, bevor Sie etwas darauf tun.Sie können den Ablauf auch in einem Prompt beschreiben, für Claude, für ChatGPT mit Codex oder für ein lokales KI-Modell, eines von uns oder Ihr eigenes: siehe Einen Test aus einem Prompt erstellen.
- 3
Wählen, was der Test prüft
Die Frage „Was soll dieser Test prüfen?“ entscheidet, welche Prüfungen der Test von selbst bekommt. Lassen Sie „Visuelle Elemente prüfen“ und „Erscheinendes prüfen“ eingeschaltet, schalten Sie „Text prüfen“ ein, damit Wörter als Wörter geprüft werden, und klicken Sie dann auf „Test speichern“.
Gestellt, sobald die Aufzeichnung beendet ist: die Prüfungen, die man bei sorgfältigem Testen machen würde, in einem einzigen Fenster gewählt. - 4
Der Bestellnummer eine Dynamische Text-Assertion geben
Öffnen Sie den Test in GUI Test Studio. Ziehen Sie eine Dynamische Text-Assertion aus der Assertionspalette an den Zeitpunkt, an dem die Bestätigung erscheint, und markieren Sie die Bestellnummer auf dem Frame. Der Editor wählt das Format des Werts, und ein eigenes Format beschreiben Sie einmal mit einem Muster.
Eine Dynamische Text-Assertion in ihrem Editor, hier bei einem Betrag: Der Wert ist markiert, sein Format ist gewählt, und der Editor sagt sofort, ob ein Lauf ihn finden würde. - 5
Ihn ausführen und den Konfidenzbericht lesen
Klicken Sie auf „Test ausführen“ und lassen Sie die Hände von Maus und Tastatur. Wenn der Lauf endet, nennt der Bericht das Ergebnis, dann jeden Schritt und jede Prüfung, mit dem Erwarteten neben dem Gefundenen.
Der Konfidenzbericht eines bestandenen Laufs: oben das Ergebnis, darunter jeder Schritt und jede Prüfung, am unteren Rand das Video des Laufs. - 6
Bei jedem Build ausführen
Auf dem Build-Rechner führt gtr-cli den Test nach jedem Build aus. Eine fehlgeschlagene Bestellung lässt den Build fehlschlagen, und der Bericht, das Video und die Bilder des Laufs bleiben erhalten.
Den End-to-End-Test bei jedem Build ausführen
Ein End-to-End-Test schützt die Bestellung nur, wenn er nach jeder Änderung läuft. Auf einem Build-Rechner führt gtr-cli ihn aus jedem CI/CD-Tool aus und antwortet so, wie eine Pipeline es erwartet.
gtr-cli run tests\Order.GTS --countdown 0 --junit results\order.xml --artifacts results\artifacts- Eine fehlgeschlagene Bestellung lässt den Build über den Exitcode fehlschlagen.
- Die Ergebnisdatei füllt den Test-Tab Ihres CI-Tools.
- Der Artefaktordner bewahrt das Video des Laufs, seinen Konfidenzbericht und die Bilder dessen auf, was fehlgeschlagen ist.
Wenn die Bestellung eines Morgens fehlschlägt, zeigt der Bericht den fehlgeschlagenen Schritt, das Erwartete neben dem Gefundenen und den letzten bestandenen Lauf.Einen Testbericht richtig lesen zeigt, worauf Sie zuerst schauen sollten, und Tests in Ihrer Pipeline ausführen hat für jedes CI-Tool ein fertiges Beispiel.
Derselbe Test für andere Browser, Geräte und Apps
Die Bestellung wurde einmal aufgezeichnet, in einem einzigen Browser.Für eine Web-App kann der GUI Test Runner-Recorder denselben Test für Chrome, Edge und Firefox sowie für emulierte Smartphones und Tablets erzeugen: siehe Cross-Browser-Testing aus einer einzigen Aufzeichnung.
Nichts in diesem Artikel gilt nur für einen Shop oder nur für das Web.Dieselben vier Schritte, aufzeichnen, wählen, was geprüft wird, ausführen, den Bericht lesen, ergeben einen End-to-End-Test einer Windows-Desktop-App, eines an den Computer angeschlossenen Android-Smartphones oder eines Spiels.Windows-Desktop-Apps testen, ohne Code zu schreiben folgt einem Desktop-Beispiel.
Was Sie vor dem Start wissen sollten
| Grenze | Was sie bedeutet |
|---|---|
| Der Test bezahlt wirklich | Er klickt auf Bezahlen, wie ein Kunde es tun würde. Führen Sie ihn in einer Testumgebung aus, mit einer Testkarte. |
| Derselbe Ausgangspunkt | Ein Test läuft von dem Zustand aus ab, in dem er aufgezeichnet wurde. Bringen Sie eine Desktop-App vor jedem Lauf wieder dorthin. |
| Ein Lauf nutzt den echten Bildschirm | Lassen Sie während eines Laufs die Hände von Maus und Tastatur, oder geben Sie dem Test einen Build-Rechner. Ein Webtest kann auch ohne Browserfenster laufen. |
| Ein Test prüft, was ihm aufgetragen wurde | Ein Bildschirm ohne Prüfung kann sich unbemerkt ändern. Jeder Schritt endet mit einer Prüfung. |
Das Wichtigste in Kürze
- 1End-to-End-Tests folgen einem ganzen Ablauf über den echten Bildschirm, vom ersten Klick des Benutzers bis zum Endergebnis.
- 2Sie decken die Übergaben zwischen den Teilen ab, die Tests einzelner Teile nicht sehen können.
- 3Jeder Schritt endet mit einer Prüfung, und ein veränderlicher Wert, etwa eine Bestellnummer, wird anhand seines Formats geprüft.
- 4Behalten Sie wenige davon: die Abläufe, die das Unternehmen nicht verlieren darf, ausgeführt bei jedem Build.
- 5Ohne Code entfällt der Aufwand, sie zu pflegen. GUI Test Studio zeichnet den Ablauf einmal auf und spielt ihn von selbst wieder ab.
Fragen
Was sind End-to-End-Tests, einfach erklärt?
End-to-End-Tests prüfen einen ganzen Ablauf einer Anwendung über ihren echten Bildschirm, so wie ein Benutzer ihn durchläuft. Der Test beginnt beim ersten Klick und endet mit dem Ergebnis, für das der Benutzer gekommen ist, etwa einer Bestellbestätigung.
Was ist ein Beispiel für einen End-to-End-Test?
Eine Bestellung in einer Shop-App ist das klassische Beispiel. Der Test meldet sich an, legt einen Artikel in den Warenkorb, bezahlt und prüft, dass die Bestätigungsseite die richtige Summe und eine Bestellnummer zeigt. Er besteht nur, wenn alle Teile hinter diesen Bildschirmen zusammengearbeitet haben.
Was ist der Unterschied zwischen End-to-End-Tests und funktionalen Tests?
Ein funktionaler Test prüft eine einzelne Funktion gegen das, was sie tun soll, etwa ein Feld für Rabattcodes. Ein End-to-End-Test folgt einem ganzen Ablauf, der durch viele Funktionen führt. Ein End-to-End-Test ist ein funktionaler Test mit dem größten Umfang.
Was ist der Unterschied zwischen End-to-End-Tests und Integrationstests?
Integrationstests prüfen, dass zwei oder mehr Teile einer Anwendung zusammenarbeiten, meist über Code. End-to-End-Tests prüfen die ganze Anwendung über ihren Bildschirm. Ein Integrationstest kann bestehen, während der Bildschirm das falsche Ergebnis zeigt.
Wie viele End-to-End-Tests sollte ein Team haben?
Wenige, und gut gewählte. Beginnen Sie mit dem einen Ablauf, dessen Ausfall dem Unternehmen am meisten schaden würde, und fügen Sie dann die anderen hinzu, die es nicht verlieren darf. Die meisten Anwendungen sind mit fünf bis fünfzehn davon gut geschützt, ausgeführt bei jedem Build.
Sind End-to-End-Tests dasselbe wie UI-Tests?
Nicht ganz. UI-Tests prüfen den Bildschirm selbst: dass seine Elemente da sind und richtig aussehen. End-to-End-Tests nutzen den Bildschirm, um einem ganzen Ablauf zu folgen und sein Ergebnis zu prüfen. Ein End-to-End-Test macht unterwegs meist auch UI-Prüfungen.
Wer schreibt End-to-End-Tests?
Traditionell Entwicklungsteams oder Fachleute für Testautomatisierung, weil die Tests Code waren. Wird ein Test aufgezeichnet statt programmiert, können ihn die Tester und Product Owner, die den Ablauf kennen, selbst erstellen und pflegen.
Lassen sich End-to-End-Tests automatisieren, ohne Code zu schreiben?
Ja. Mit GUI Test Studio führen Sie den Ablauf einmal in Ihrer Anwendung durch, während er aufgezeichnet wird, und wählen, was der Test prüft. Der Test läuft dann bei jedem Build von selbst ab, und es wird kein Testcode geschrieben oder gepflegt.
Playwright, Selenium, Cypress, Claude, ChatGPT, Chrome, Edge, Firefox, Android und Windows sind Marken ihrer jeweiligen Inhaber.
Weiterlesen
Alle Artikel
Testautomatisierung
Smoke-Test vs. Sanity-Test vs. Regressionstest: Welchen Sie wann ausführen
9 Min. Lesezeit

Testautomatisierung
Was sind funktionale Tests? Beispiele, Arten und der Unterschied zu End-to-End-Tests
9 Min. Lesezeit

Testautomatisierung
Manuelles Testen vs. automatisiertes Testen: Warum manuelles Testen bei End-to-End-Tests nicht reicht
15 Min. Lesezeit