Smoke-Test vs. Sanity-Test vs. Regressionstest: Welchen Sie wann ausführen
Smoke-Test, Sanity-Test und Regressionstest: was jeder prüft, wann er läuft und wie Sie alle drei aus denselben aufgezeichneten Tests ausführen.
Ein Smoke-Test prüft, dass ein neuer Build startet und seine Hauptfunktionen reagieren. Ein Sanity-Test prüft eine einzelne Korrektur oder Änderung in der Tiefe. Ein Regressionstest prüft, dass nichts kaputt ist, was vorher funktioniert hat. Sie unterscheiden sich in Breite, Tiefe und Zeitpunkt.
Die meisten Teams kennen die drei Namen und führen trotzdem alle drei von Hand aus, wenn gerade Zeit ist. Ist ein Release spät dran, wird der lange Regressionsdurchgang als Erstes gestrichen, und ein alter Fehler taucht vor den Augen eines Kunden wieder auf.
Smoke-Test, Sanity-Test, Regressionstest: die kurze Antwort
Stellen Sie sich Ihre App als Raster vor: ihre Funktionen von links nach rechts, und von oben nach unten, wie tief jede getestet wird. Die drei Testarten lassen verschiedene Teile dieses Rasters aufleuchten.
Smoke-Test
Breit und flach
Lohnt sich das Testen dieses Builds?
Sanity-Test
Schmal und tief
Funktioniert diese Korrektur?
Regressionstest
Breit und tief
Ist sonst etwas kaputtgegangen?
Was ist ein Smoke-Test?
Definition
Ein Smoke-Test ist ein kurzer Satz von Tests, der prüft, ob ein neuer Build stabil genug ist, um überhaupt getestet zu werden.
- Er startet die App und berührt jede Hauptfunktion einmal: Die App öffnet sich, ein Benutzer kann sich anmelden, die wichtigsten Bildschirme laden, die zentrale Aktion antwortet.
- Auf Details schaut er nicht.
Ein Build, der seinen Smoke-Test nicht besteht, geht sofort an die Entwicklung zurück, und niemand verliert einen Tag damit, ihn zu testen.
Ein Smoke-Test heißt auch Build-Verification-Test, weil er direkt nach dem Erstellen eines Builds läuft. Sein Wert liegt in seiner Geschwindigkeit: wenige Minuten, bei jedem Build, mit einem klaren Ja oder Nein am Ende.
Was ist ein Sanity-Test?
Definition
Ein Sanity-Test ist eine schnelle, schmale Prüfung, dass eine Korrektur oder eine kleine Änderung funktioniert und dass sich der Teil der App drumherum weiterhin vernünftig verhält.
- Er läuft auf einem Build, der eine Fehlerkorrektur oder eine kleine Änderung mitbringt.
- Er geht in diesem einen Bereich in die Tiefe und lässt den Rest in Ruhe.
Wenn er besteht, ist der Build den längeren Regressionslauf wert.
Von Hand gemacht, ist ein Sanity-Check oft improvisiert: Man klickt aus dem Gedächtnis im korrigierten Bereich herum. Das geht schnell, hinterlässt aber keinen Nachweis darüber, was angesehen wurde, und zwei Tester sehen sich selten dieselben Dinge an.
Was ist ein Regressionstest?
Definition
Ein Regressionstest führt die vorhandenen Tests nach einer Änderung erneut aus, um zu prüfen, dass nichts kaputt ist, was schon funktioniert hat.
- Er ist breit und tief: jeder wichtige Ablauf, mit geprüften Ergebnissen.
- Er ist der längste der drei, deshalb läuft er nachts oder vor einem Release.
Dieser Artikel hält es absichtlich kurz.Der vollständige Leitfaden, mit den Arten von Regressionstests und dem, was in eine Suite gehört, ist Was ist ein Regressionstest.
Smoke-Test, Sanity-Test und Regressionstest im Vergleich
| Was verglichen wird | Smoke-Test | Sanity-Test | Regressionstest |
|---|---|---|---|
| Die Frage, die er stellt | Lohnt sich das Testen dieses Builds? | Funktioniert diese Korrektur? | Ist sonst etwas kaputtgegangen? |
| Wie breit | Die ganze App | Eine Funktion oder eine Korrektur | Die ganze App |
| Wie tief | Flach: eine Berührung pro Funktion | Tief, an einer Stelle | Tief, überall, wo es zählt |
| Wann er läuft | Bei jedem Build | Nach einer Korrektur oder einer kleinen Änderung | Jede Nacht und vor einem Release |
| Wie lange er dauert | Wenige Minuten | Wenige Minuten | Eine Stunde oder mehr, unbeaufsichtigt |
| Was ein Fehlschlag bedeutet | Der Build wird zurückgewiesen | Die Korrektur geht zurück | Eine Regression wird gefunden, bevor Benutzer sie sehen |
Smoke-Test und Sanity-Test werden am häufigsten verwechselt. Auseinanderhalten lassen sie sich an dem, worauf sie schauen: Ein Smoke-Test schaut auf den ganzen Build, ein Sanity-Test auf eine einzelne Änderung.
Welchen Sie ausführen, und wann im Release
Die drei sind keine Konkurrenten. Jeder hat seinen Moment in einem Release, und jeder entscheidet, ob sich der nächste lohnt.
Jeder Build
Smoke-Suite
Wenige kurze Tests, wenige Minuten. Ein Fehlschlag weist den Build zurück.
Nach einer Korrektur oder einer kleinen Änderung
Sanity-Check
Der Test, der die Korrektur abdeckt, erneut ausgeführt, mit geprüftem Ergebnis.
Jede Nacht und vor einem Release
Regressionssuite
Jeder Test, unbeaufsichtigt. Der Bericht wird am Morgen gelesen.
Die Reihenfolge ist immer dieselbe.
- Zuerst Smoke: Wenn der Build nicht starten oder keinen Benutzer anmelden kann, lohnt sich nichts anderes.
- Dann Sanity: Wenn die Korrektur nicht funktioniert, geht der Build vor dem langen Lauf zurück.
- Zuletzt Regression: Sobald der Build stabil ist und die Korrektur stimmt, wird alles andere geprüft.
Eine Woche, eine App: die drei in der Praxis
Die Zahlen unten sind ein Beispiel, mit runden Werten.
| Wann | Was lief | Was gefunden wurde |
|---|---|---|
| Montag, ein neuer Build kommt an | Die Smoke-Suite: anmelden, einen Kunden öffnen, eine Rechnung erstellen, sie exportieren. Fünf Tests, vier Minuten. | Alle bestehen. Der Build ist es wert, getestet zu werden. |
| Dienstag, ein Rundungsfehler bei der Steuer wird behoben | Ein Sanity-Check: der Rechnungstest, erneut ausgeführt, mit geprüfter Summe. | Er besteht. Die Korrektur funktioniert. |
| Dienstagnacht | Die Regressionssuite: alle vierzig Tests. | Einer schlägt fehl: Die Summe einer Gutschrift ist falsch. Die Korrektur hat sich bis dorthin ausgewirkt. |
Der Fehler in der Gutschrift wird am Mittwochmorgen von einem Bericht gefunden, nicht drei Wochen später von einem Kunden. Ohne den nächtlichen Lauf wäre die Korrektur mit ihm ausgeliefert worden.
Warum der Regressionstest als Erstes gestrichen wird
Von Hand gemacht, konkurrieren die drei um dieselben Stunden.
- Ein Smoke-Durchgang bei jedem Build hält einen Tester mehrmals am Tag vom eigentlichen Testen ab.
- Ein Sanity-Check aus dem Gedächtnis hinterlässt keine Spur dessen, was angesehen wurde.
- Ein vollständiger Regressionsdurchgang dauert Tage, also schrumpft er auf die Bildschirme, an die sich jemand erinnert, wenn das Release spät dran ist.
- Die Fehler, die zurückkommen, stecken in den Bildschirmen, für die niemand Zeit hatte.
Niemand beschließt, den Regressionstest auszulassen. Er wird verdrängt, ein verspätetes Release nach dem anderen.
Die drei mit einem programmierten Framework wie Selenium oder Playwright zu automatisieren, verlagert die Arbeit zu denen, die programmieren: Jemand schreibt die Skripte, markiert sie im Code als Smoke oder Regression und repariert sie jedes Mal, wenn sich ein Bildschirm ändert.Die Tester, die das Produkt am besten kennen, können sie nicht anfassen.Manuelles Testen oder automatisiertes Testen sieht sich diesen Tausch im Detail an.
Mit aufgezeichneten Tests sind die drei dieselben Tests, nur anders gruppiert
GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code. Sie führen einen Ablauf einmal in Ihrer App durch, während der GUI Test Runner-Recorder ihn aufzeichnet, und der Test läuft dann von selbst ab: dieselben Schritte, in derselben Reihenfolge, bei jedem Lauf.
Sobald Ihre Abläufe aufgezeichnete Tests sind, sind Smoke, Sanity und Regression nicht mehr drei getrennte Arbeiten. Sie sind drei Arten, dieselben Testdateien zu gruppieren und auszuführen.
Smoke-Suite
3 von 6 Tests
Bei jedem Build
Sanity-Check
1 von 6 Tests
Nach einer Korrektur an der Kasse
Regressionssuite
6 von 6 Tests
Jede Nacht
| Art des Laufs | Was er mit aufgezeichneten Tests ist | Wie er läuft |
|---|---|---|
| Smoke-Suite | Wenige kurze Tests, einer pro Hauptfunktion. | Mit gtr-cli, bei jedem Build. |
| Sanity-Check | Der eine Test, der die Korrektur abdeckt, erneut ausgeführt. | Mit „Test ausführen“ oder ab der Mitte des Tests. |
| Regressionssuite | Jeder Test, den Sie haben. | Mit gtr-cli, jede Nacht und vor einem Release. |
Drei Dinge halten dieselben Tests in allen drei Rollen brauchbar.
- Jede Prüfung wartet auf das, was sie erwartet, und geht in dem Moment weiter, in dem es da ist, also bleibt ein kurzer Test kurz.
- Eine Gruppe von Schritten wie Anmelden ist ein Szenario, das andere Tests wiederverwenden, also wird sie nur einmal aufgezeichnet.
- Die GTS Engine findet jedes Element zuerst über die Barrierefreiheitsinformationen der App und am Aussehen, wenn die App nichts sagt, also übersteht ein Test kleine Änderungen des Bildschirms.
Warum eine Prüfung, die wartet, besser ist als eine Pause fester Länge, steht in Feste Wartezeiten in Tests, und Szenarien zeigt, wie die Schritte eines Tests in einem anderen wiederverwendet werden.
Ein Sanity-Check muss einen langen Test nicht von Anfang an abspielen.Setzen Sie in GUI Test Studio den Abspielkopf dorthin, wo der korrigierte Teil beginnt, und wählen Sie Speichern & ab Abspielkopf ausführen: Ist die App in den Zustand gebracht, den sie in diesem Moment hatte, laufen nur die Schritte ab dort.Einen Test ausführen erklärt es.
So bauen Sie aus denselben Tests eine Smoke-Suite und eine Regressionssuite
Die ganze Einrichtung besteht aus sechs kleinen Schritten, und nur der erste kostet wirklich Zeit.
- 1
Jeden Ablauf einmal aufzeichnen
Klicken Sie im GUI Test Runner-Recorder auf „Aufzeichnen“ und führen Sie den Ablauf in Ihrer App so durch, wie ein Benutzer es tun würde. Jeder Ablauf, der zählt, wird zu einer Testdatei, mit Prüfungen dessen, was der Bildschirm gezeigt hat.
- 2
Die gemeinsamen Schritte als Szenario teilen
Gruppieren Sie die Schritte, mit denen jeder Test beginnt, etwa die Anmeldung, zu einem Szenario namens Anmelden. Fügen Sie diesen Test den anderen als Szenario hinzu, damit die Anmeldung einmal aufgezeichnet und dann wiederverwendet wird.
- 3
Die Smoke-Tests auswählen
Wählen Sie einen kurzen Test pro Hauptfunktion: Die App öffnet sich, ein Benutzer meldet sich an, der Hauptbildschirm lädt, die zentrale Aktion antwortet. Legen Sie ihre Testdateien zusammen in einen Ordner, etwa tests\smoke.
- 4
Die tieferen Tests in einem zweiten Ordner halten
Legen Sie jeden anderen Test in einen Ordner wie tests\regression. Die Regressionssuite sind beide Ordner zusammen: jeder Test, den Sie haben.
- 5
Smoke bei jedem Build und alles in der Nacht ausführen
Auf dem Build-Rechner führt gtr-cli den Smoke-Ordner nach jedem Build aus und beide Ordner jede Nacht. Ein fehlgeschlagener Test lässt den Build fehlschlagen, und jeder Lauf bewahrt seinen Bericht, sein Video und seine Bilder auf.
- 6
Nach einer Korrektur einen Test erneut ausführen
Öffnen Sie den Test, der die Korrektur abdeckt, und klicken Sie auf „Test ausführen“: Das ist Ihr Sanity-Check. Starten Sie bei einem langen Test den Lauf in GUI Test Studio ab dem Abspielkopf, mit der App in dem Zustand, den sie in diesem Moment hatte.
Smoke-Tests bei jedem Build und Regressionstests jede Nacht ausführen
Auf einem Build-Rechner führt gtr-cli Tests von der Befehlszeile aus, in jedem CI/CD-Tool. Es nimmt Testdateien, Ordner und Dateimuster entgegen, so viele, wie Sie angeben. Bei einem Ordner laufen die Testdateien, die darin liegen.
gtr-cli run tests\smoke --countdown 0 --junit results\smoke.xml
gtr-cli run tests\smoke tests\regression --countdown 0 --junit results\regression.xml- Die erste Zeile gehört zum Build-Job, und ein fehlgeschlagener Test lässt den Build über den Exitcode fehlschlagen.
- Die zweite Zeile gehört zu einem nächtlichen Job.
- Jeder Lauf schreibt eine Ergebnisdatei, die Ihr CI-Tool liest, und bewahrt seinen Konfidenzbericht, sein Video und seine Bilder auf.
Am Morgen wird ein fehlgeschlagener Regressionstest gelesen, nicht erraten: Der Konfidenzbericht zeigt den fehlgeschlagenen Schritt, das Erwartete neben dem Gefundenen und den Verlauf der früheren Läufe.Einen Testbericht richtig lesen zeigt, worauf Sie zuerst schauen sollten, und Tests in Ihrer Pipeline ausführen listet jede Option von gtr-cli auf.
Was Sie vor dem Start wissen sollten
| Grenze | Was sie bedeutet |
|---|---|
| Ein Lauf nutzt den echten Bildschirm | Tests laufen auf einem Rechner nacheinander, außer ein Webtest läuft ohne Browserfenster. Geben Sie dem nächtlichen Regressionslauf einen Build-Rechner, den niemand benutzt. |
| Derselbe Ausgangspunkt | Ein Test läuft von dem Zustand aus ab, in dem er aufgezeichnet wurde. Jede Suite muss die App wieder dorthin bringen, und ein Webtest öffnet sein eigenes sauberes Browserfenster. |
| Ein Test prüft, was ihm aufgetragen wurde | Eine grüne Smoke-Suite sagt, dass die Hauptfunktionen reagieren. Sie sagt nicht, dass jedes Detail stimmt: Das ist die Aufgabe der Regressionssuite. |
Das Wichtigste in Kürze
- 1Ein Smoke-Test ist breit und flach. Er entscheidet in Minuten, ob sich das Testen eines Builds lohnt.
- 2Ein Sanity-Test ist schmal und tief. Er bestätigt eine Korrektur, bevor der lange Lauf beginnt.
- 3Ein Regressionstest ist breit und tief. Er beweist, dass die Änderung nichts kaputt gemacht hat, was funktioniert hat.
- 4Jeder hat seinen Moment: Smoke bei jedem Build, Sanity nach einer Korrektur, Regression jede Nacht und vor einem Release.
- 5Mit aufgezeichneten Tests sind sie ein einziger Satz Testdateien. GUI Test Studio gruppiert sie und führt sie auf drei Arten aus, ohne Code.
Fragen
Was ist der Unterschied zwischen Smoke-Test und Sanity-Test?
Ein Smoke-Test prüft den ganzen Build oberflächlich, um zu entscheiden, ob er stabil genug zum Testen ist. Ein Sanity-Test prüft eine Korrektur oder eine kleine Änderung in der Tiefe. Smoke kommt zuerst, bei jedem Build, und Sanity folgt auf einen Build, der eine Korrektur mitbringt.
Was ist der Unterschied zwischen Smoke-Test und Regressionstest?
Ein Smoke-Test berührt jede Hauptfunktion einmal und dauert Minuten. Ein Regressionstest führt jeden wichtigen Ablauf mit geprüften Ergebnissen aus und kann Stunden dauern. Ein Smoke-Test sagt, dass der Build lebt, und ein Regressionstest sagt, dass nichts kaputt ist, was funktioniert hat.
Ist der Sanity-Test ein Teil des Regressionstests?
In der Praxis ja. Ein Sanity-Check ist ein kleiner Ausschnitt der Regressionssuite: die Tests, die den geänderten Bereich abdecken. Er läuft direkt nach der Korrektur, und die vollständige Regressionssuite läuft später, nachts oder vor einem Release.
Was kommt zuerst: Smoke-Test, Sanity-Test oder Regressionstest?
Der Smoke-Test kommt zuerst, bei jedem neuen Build. Der Sanity-Test kommt als Nächstes, wenn der Build eine Korrektur oder eine kleine Änderung mitbringt. Der Regressionstest kommt zuletzt, nachts oder vor einem Release, weil er der längste der drei ist.
Was ist ein Build-Verification-Test?
Ein Build-Verification-Test ist ein anderer Name für einen Smoke-Test. Er läuft direkt nach dem Erstellen eines Builds und beantwortet eine einzige Frage: ob dieser Build stabil genug ist, um weiter getestet zu werden.
Wie viele Tests gehören in eine Smoke-Suite?
Wenige: ein kurzer Test pro Hauptfunktion, meist fünf bis zehn insgesamt, sodass die ganze Suite in wenigen Minuten läuft. Eine Smoke-Suite, die langsam wird, läuft irgendwann nicht mehr bei jedem Build, und dann schützt sie nichts mehr.
Sollte ein fehlgeschlagener Smoke-Test den Build fehlschlagen lassen?
Ja. Ein Build, der seinen Smoke-Test nicht besteht, ist es nicht wert, weiter getestet zu werden, also sollte die Pipeline anhalten und das Team informiert werden. Mit GUI Test Studio endet gtr-cli mit einem Exitcode, den die Pipeline liest, sodass ein fehlgeschlagener Test den Build fehlschlagen lässt.
Lassen sich Smoke-Tests und Regressionstests ohne Code automatisieren?
Ja. Mit GUI Test Studio zeichnen Sie jeden Ablauf einmal auf, indem Sie ihn in Ihrer App durchführen, und der Test läuft von selbst ab. Die Smoke-Suite und die Regressionssuite sind dann zwei Gruppen derselben Testdateien, die gtr-cli bei jedem Build und jede Nacht ausführt.
Selenium, Playwright und Windows sind Marken ihrer jeweiligen Inhaber.
Weiterlesen
Alle Artikel
Testautomatisierung
Was sind End-to-End-Tests? Eine einfache Erklärung mit einem echten Beispiel
10 Min. Lesezeit

Testautomatisierung
Was sind funktionale Tests? Beispiele, Arten und der Unterschied zu End-to-End-Tests
9 Min. Lesezeit

Testautomatisierung
Manuelles Testen vs. automatisiertes Testen: Warum manuelles Testen bei End-to-End-Tests nicht reicht
15 Min. Lesezeit