Smoke-Test vs. Sanity-Test vs. Regressionstest: Welchen Sie wann ausführen

Smoke-Test, Sanity-Test und Regressionstest: was jeder prüft, wann er läuft und wie Sie alle drei aus denselben aufgezeichneten Tests ausführen.

Von Ait Nohaila, Business Development Representative 9 Min. Lesezeit

Ein Smoke-Test prüft, dass ein neuer Build startet und seine Hauptfunktionen reagieren. Ein Sanity-Test prüft eine einzelne Korrektur oder Änderung in der Tiefe. Ein Regressionstest prüft, dass nichts kaputt ist, was vorher funktioniert hat. Sie unterscheiden sich in Breite, Tiefe und Zeitpunkt.

Die meisten Teams kennen die drei Namen und führen trotzdem alle drei von Hand aus, wenn gerade Zeit ist. Ist ein Release spät dran, wird der lange Regressionsdurchgang als Erstes gestrichen, und ein alter Fehler taucht vor den Augen eines Kunden wieder auf.

Smoke-Test, Sanity-Test, Regressionstest: die kurze Antwort

Stellen Sie sich Ihre App als Raster vor: ihre Funktionen von links nach rechts, und von oben nach unten, wie tief jede getestet wird. Die drei Testarten lassen verschiedene Teile dieses Rasters aufleuchten.

Smoke-Test

Breit und flach

Lohnt sich das Testen dieses Builds?

Sanity-Test

Schmal und tief

Funktioniert diese Korrektur?

Regressionstest

Breit und tief

Ist sonst etwas kaputtgegangen?

Jedes Raster ist dieselbe App: ihre Funktionen von links nach rechts, die Testtiefe von oben nach unten. Die leuchtenden Zellen zeigen, worauf jede Testart schaut.

Was ist ein Smoke-Test?

Definition

Ein Smoke-Test ist ein kurzer Satz von Tests, der prüft, ob ein neuer Build stabil genug ist, um überhaupt getestet zu werden.

  • Er startet die App und berührt jede Hauptfunktion einmal: Die App öffnet sich, ein Benutzer kann sich anmelden, die wichtigsten Bildschirme laden, die zentrale Aktion antwortet.
  • Auf Details schaut er nicht.

Ein Build, der seinen Smoke-Test nicht besteht, geht sofort an die Entwicklung zurück, und niemand verliert einen Tag damit, ihn zu testen.

Ein Smoke-Test heißt auch Build-Verification-Test, weil er direkt nach dem Erstellen eines Builds läuft. Sein Wert liegt in seiner Geschwindigkeit: wenige Minuten, bei jedem Build, mit einem klaren Ja oder Nein am Ende.

Was ist ein Sanity-Test?

Definition

Ein Sanity-Test ist eine schnelle, schmale Prüfung, dass eine Korrektur oder eine kleine Änderung funktioniert und dass sich der Teil der App drumherum weiterhin vernünftig verhält.

  • Er läuft auf einem Build, der eine Fehlerkorrektur oder eine kleine Änderung mitbringt.
  • Er geht in diesem einen Bereich in die Tiefe und lässt den Rest in Ruhe.

Wenn er besteht, ist der Build den längeren Regressionslauf wert.

Von Hand gemacht, ist ein Sanity-Check oft improvisiert: Man klickt aus dem Gedächtnis im korrigierten Bereich herum. Das geht schnell, hinterlässt aber keinen Nachweis darüber, was angesehen wurde, und zwei Tester sehen sich selten dieselben Dinge an.

Was ist ein Regressionstest?

Definition

Ein Regressionstest führt die vorhandenen Tests nach einer Änderung erneut aus, um zu prüfen, dass nichts kaputt ist, was schon funktioniert hat.

  • Er ist breit und tief: jeder wichtige Ablauf, mit geprüften Ergebnissen.
  • Er ist der längste der drei, deshalb läuft er nachts oder vor einem Release.

Dieser Artikel hält es absichtlich kurz.Der vollständige Leitfaden, mit den Arten von Regressionstests und dem, was in eine Suite gehört, ist Was ist ein Regressionstest.

Smoke-Test, Sanity-Test und Regressionstest im Vergleich

Was verglichen wirdSmoke-TestSanity-TestRegressionstest
Die Frage, die er stelltLohnt sich das Testen dieses Builds?Funktioniert diese Korrektur?Ist sonst etwas kaputtgegangen?
Wie breitDie ganze AppEine Funktion oder eine KorrekturDie ganze App
Wie tiefFlach: eine Berührung pro FunktionTief, an einer StelleTief, überall, wo es zählt
Wann er läuftBei jedem BuildNach einer Korrektur oder einer kleinen ÄnderungJede Nacht und vor einem Release
Wie lange er dauertWenige MinutenWenige MinutenEine Stunde oder mehr, unbeaufsichtigt
Was ein Fehlschlag bedeutetDer Build wird zurückgewiesenDie Korrektur geht zurückEine Regression wird gefunden, bevor Benutzer sie sehen

Smoke-Test und Sanity-Test werden am häufigsten verwechselt. Auseinanderhalten lassen sie sich an dem, worauf sie schauen: Ein Smoke-Test schaut auf den ganzen Build, ein Sanity-Test auf eine einzelne Änderung.

Welchen Sie ausführen, und wann im Release

Die drei sind keine Konkurrenten. Jeder hat seinen Moment in einem Release, und jeder entscheidet, ob sich der nächste lohnt.

Jeder Build

Smoke-Suite

Wenige kurze Tests, wenige Minuten. Ein Fehlschlag weist den Build zurück.

Nach einer Korrektur oder einer kleinen Änderung

Sanity-Check

Der Test, der die Korrektur abdeckt, erneut ausgeführt, mit geprüftem Ergebnis.

Jede Nacht und vor einem Release

Regressionssuite

Jeder Test, unbeaufsichtigt. Der Bericht wird am Morgen gelesen.

Je kürzer der Test, desto öfter läuft er. Der längste läuft, während niemand auf ihn wartet.

Die Reihenfolge ist immer dieselbe.

  • Zuerst Smoke: Wenn der Build nicht starten oder keinen Benutzer anmelden kann, lohnt sich nichts anderes.
  • Dann Sanity: Wenn die Korrektur nicht funktioniert, geht der Build vor dem langen Lauf zurück.
  • Zuletzt Regression: Sobald der Build stabil ist und die Korrektur stimmt, wird alles andere geprüft.

Eine Woche, eine App: die drei in der Praxis

BeispielEine Rechnungs-App, drei Tage

Die Zahlen unten sind ein Beispiel, mit runden Werten.

WannWas liefWas gefunden wurde
Montag, ein neuer Build kommt anDie Smoke-Suite: anmelden, einen Kunden öffnen, eine Rechnung erstellen, sie exportieren. Fünf Tests, vier Minuten.Alle bestehen. Der Build ist es wert, getestet zu werden.
Dienstag, ein Rundungsfehler bei der Steuer wird behobenEin Sanity-Check: der Rechnungstest, erneut ausgeführt, mit geprüfter Summe.Er besteht. Die Korrektur funktioniert.
DienstagnachtDie Regressionssuite: alle vierzig Tests.Einer schlägt fehl: Die Summe einer Gutschrift ist falsch. Die Korrektur hat sich bis dorthin ausgewirkt.

Der Fehler in der Gutschrift wird am Mittwochmorgen von einem Bericht gefunden, nicht drei Wochen später von einem Kunden. Ohne den nächtlichen Lauf wäre die Korrektur mit ihm ausgeliefert worden.

Warum der Regressionstest als Erstes gestrichen wird

Von Hand gemacht, konkurrieren die drei um dieselben Stunden.

  • Ein Smoke-Durchgang bei jedem Build hält einen Tester mehrmals am Tag vom eigentlichen Testen ab.
  • Ein Sanity-Check aus dem Gedächtnis hinterlässt keine Spur dessen, was angesehen wurde.
  • Ein vollständiger Regressionsdurchgang dauert Tage, also schrumpft er auf die Bildschirme, an die sich jemand erinnert, wenn das Release spät dran ist.
  • Die Fehler, die zurückkommen, stecken in den Bildschirmen, für die niemand Zeit hatte.
Niemand beschließt, den Regressionstest auszulassen. Er wird verdrängt, ein verspätetes Release nach dem anderen.

Die drei mit einem programmierten Framework wie Selenium oder Playwright zu automatisieren, verlagert die Arbeit zu denen, die programmieren: Jemand schreibt die Skripte, markiert sie im Code als Smoke oder Regression und repariert sie jedes Mal, wenn sich ein Bildschirm ändert.Die Tester, die das Produkt am besten kennen, können sie nicht anfassen.Manuelles Testen oder automatisiertes Testen sieht sich diesen Tausch im Detail an.

Mit aufgezeichneten Tests sind die drei dieselben Tests, nur anders gruppiert

GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code. Sie führen einen Ablauf einmal in Ihrer App durch, während der GUI Test Runner-Recorder ihn aufzeichnet, und der Test läuft dann von selbst ab: dieselben Schritte, in derselben Reihenfolge, bei jedem Lauf.

Sobald Ihre Abläufe aufgezeichnete Tests sind, sind Smoke, Sanity und Regression nicht mehr drei getrennte Arbeiten. Sie sind drei Arten, dieselben Testdateien zu gruppieren und auszuführen.

Smoke-Suite

3 von 6 Tests

AnmeldenProdukt suchenKasseBestellverlaufErstattungRechnungen exportieren

Bei jedem Build

Sanity-Check

1 von 6 Tests

AnmeldenProdukt suchenKasseBestellverlaufErstattungRechnungen exportieren

Nach einer Korrektur an der Kasse

Regressionssuite

6 von 6 Tests

AnmeldenProdukt suchenKasseBestellverlaufErstattungRechnungen exportieren

Jede Nacht

Sechs aufgezeichnete Tests, einmal erstellt. Eine Smoke-Suite, ein Sanity-Check und eine Regressionssuite sind drei Arten, unter ihnen auszuwählen.
Art des LaufsWas er mit aufgezeichneten Tests istWie er läuft
Smoke-SuiteWenige kurze Tests, einer pro Hauptfunktion.Mit gtr-cli, bei jedem Build.
Sanity-CheckDer eine Test, der die Korrektur abdeckt, erneut ausgeführt.Mit „Test ausführen“ oder ab der Mitte des Tests.
RegressionssuiteJeder Test, den Sie haben.Mit gtr-cli, jede Nacht und vor einem Release.

Drei Dinge halten dieselben Tests in allen drei Rollen brauchbar.

  • Jede Prüfung wartet auf das, was sie erwartet, und geht in dem Moment weiter, in dem es da ist, also bleibt ein kurzer Test kurz.
  • Eine Gruppe von Schritten wie Anmelden ist ein Szenario, das andere Tests wiederverwenden, also wird sie nur einmal aufgezeichnet.
  • Die GTS Engine findet jedes Element zuerst über die Barrierefreiheitsinformationen der App und am Aussehen, wenn die App nichts sagt, also übersteht ein Test kleine Änderungen des Bildschirms.

Warum eine Prüfung, die wartet, besser ist als eine Pause fester Länge, steht in Feste Wartezeiten in Tests, und Szenarien zeigt, wie die Schritte eines Tests in einem anderen wiederverwendet werden.

Ein Sanity-Check muss einen langen Test nicht von Anfang an abspielen.Setzen Sie in GUI Test Studio den Abspielkopf dorthin, wo der korrigierte Teil beginnt, und wählen Sie Speichern & ab Abspielkopf ausführen: Ist die App in den Zustand gebracht, den sie in diesem Moment hatte, laufen nur die Schritte ab dort.Einen Test ausführen erklärt es.

So bauen Sie aus denselben Tests eine Smoke-Suite und eine Regressionssuite

Die ganze Einrichtung besteht aus sechs kleinen Schritten, und nur der erste kostet wirklich Zeit.

  1. 1

    Jeden Ablauf einmal aufzeichnen

    Klicken Sie im GUI Test Runner-Recorder auf „Aufzeichnen“ und führen Sie den Ablauf in Ihrer App so durch, wie ein Benutzer es tun würde. Jeder Ablauf, der zählt, wird zu einer Testdatei, mit Prüfungen dessen, was der Bildschirm gezeigt hat.

  2. 2

    Die gemeinsamen Schritte als Szenario teilen

    Gruppieren Sie die Schritte, mit denen jeder Test beginnt, etwa die Anmeldung, zu einem Szenario namens Anmelden. Fügen Sie diesen Test den anderen als Szenario hinzu, damit die Anmeldung einmal aufgezeichnet und dann wiederverwendet wird.

  3. 3

    Die Smoke-Tests auswählen

    Wählen Sie einen kurzen Test pro Hauptfunktion: Die App öffnet sich, ein Benutzer meldet sich an, der Hauptbildschirm lädt, die zentrale Aktion antwortet. Legen Sie ihre Testdateien zusammen in einen Ordner, etwa tests\smoke.

  4. 4

    Die tieferen Tests in einem zweiten Ordner halten

    Legen Sie jeden anderen Test in einen Ordner wie tests\regression. Die Regressionssuite sind beide Ordner zusammen: jeder Test, den Sie haben.

  5. 5

    Smoke bei jedem Build und alles in der Nacht ausführen

    Auf dem Build-Rechner führt gtr-cli den Smoke-Ordner nach jedem Build aus und beide Ordner jede Nacht. Ein fehlgeschlagener Test lässt den Build fehlschlagen, und jeder Lauf bewahrt seinen Bericht, sein Video und seine Bilder auf.

  6. 6

    Nach einer Korrektur einen Test erneut ausführen

    Öffnen Sie den Test, der die Korrektur abdeckt, und klicken Sie auf „Test ausführen“: Das ist Ihr Sanity-Check. Starten Sie bei einem langen Test den Lauf in GUI Test Studio ab dem Abspielkopf, mit der App in dem Zustand, den sie in diesem Moment hatte.

Ein Sanity-Check ist ein Klick auf „Test ausführen“, und die Karte „Läufe“ hält das Ergebnis neben den früheren fest.

Smoke-Tests bei jedem Build und Regressionstests jede Nacht ausführen

Auf einem Build-Rechner führt gtr-cli Tests von der Befehlszeile aus, in jedem CI/CD-Tool. Es nimmt Testdateien, Ordner und Dateimuster entgegen, so viele, wie Sie angeben. Bei einem Ordner laufen die Testdateien, die darin liegen.

Dieselben Tests, zwei Zeitpunkte
gtr-cli run tests\smoke --countdown 0 --junit results\smoke.xml
gtr-cli run tests\smoke tests\regression --countdown 0 --junit results\regression.xml
  • Die erste Zeile gehört zum Build-Job, und ein fehlgeschlagener Test lässt den Build über den Exitcode fehlschlagen.
  • Die zweite Zeile gehört zu einem nächtlichen Job.
  • Jeder Lauf schreibt eine Ergebnisdatei, die Ihr CI-Tool liest, und bewahrt seinen Konfidenzbericht, sein Video und seine Bilder auf.

Am Morgen wird ein fehlgeschlagener Regressionstest gelesen, nicht erraten: Der Konfidenzbericht zeigt den fehlgeschlagenen Schritt, das Erwartete neben dem Gefundenen und den Verlauf der früheren Läufe.Einen Testbericht richtig lesen zeigt, worauf Sie zuerst schauen sollten, und Tests in Ihrer Pipeline ausführen listet jede Option von gtr-cli auf.

Was Sie vor dem Start wissen sollten

GrenzeWas sie bedeutet
Ein Lauf nutzt den echten BildschirmTests laufen auf einem Rechner nacheinander, außer ein Webtest läuft ohne Browserfenster. Geben Sie dem nächtlichen Regressionslauf einen Build-Rechner, den niemand benutzt.
Derselbe AusgangspunktEin Test läuft von dem Zustand aus ab, in dem er aufgezeichnet wurde. Jede Suite muss die App wieder dorthin bringen, und ein Webtest öffnet sein eigenes sauberes Browserfenster.
Ein Test prüft, was ihm aufgetragen wurdeEine grüne Smoke-Suite sagt, dass die Hauptfunktionen reagieren. Sie sagt nicht, dass jedes Detail stimmt: Das ist die Aufgabe der Regressionssuite.

Das Wichtigste in Kürze

  • 1Ein Smoke-Test ist breit und flach. Er entscheidet in Minuten, ob sich das Testen eines Builds lohnt.
  • 2Ein Sanity-Test ist schmal und tief. Er bestätigt eine Korrektur, bevor der lange Lauf beginnt.
  • 3Ein Regressionstest ist breit und tief. Er beweist, dass die Änderung nichts kaputt gemacht hat, was funktioniert hat.
  • 4Jeder hat seinen Moment: Smoke bei jedem Build, Sanity nach einer Korrektur, Regression jede Nacht und vor einem Release.
  • 5Mit aufgezeichneten Tests sind sie ein einziger Satz Testdateien. GUI Test Studio gruppiert sie und führt sie auf drei Arten aus, ohne Code.

Fragen

Was ist der Unterschied zwischen Smoke-Test und Sanity-Test?

Ein Smoke-Test prüft den ganzen Build oberflächlich, um zu entscheiden, ob er stabil genug zum Testen ist. Ein Sanity-Test prüft eine Korrektur oder eine kleine Änderung in der Tiefe. Smoke kommt zuerst, bei jedem Build, und Sanity folgt auf einen Build, der eine Korrektur mitbringt.

Was ist der Unterschied zwischen Smoke-Test und Regressionstest?

Ein Smoke-Test berührt jede Hauptfunktion einmal und dauert Minuten. Ein Regressionstest führt jeden wichtigen Ablauf mit geprüften Ergebnissen aus und kann Stunden dauern. Ein Smoke-Test sagt, dass der Build lebt, und ein Regressionstest sagt, dass nichts kaputt ist, was funktioniert hat.

Ist der Sanity-Test ein Teil des Regressionstests?

In der Praxis ja. Ein Sanity-Check ist ein kleiner Ausschnitt der Regressionssuite: die Tests, die den geänderten Bereich abdecken. Er läuft direkt nach der Korrektur, und die vollständige Regressionssuite läuft später, nachts oder vor einem Release.

Was kommt zuerst: Smoke-Test, Sanity-Test oder Regressionstest?

Der Smoke-Test kommt zuerst, bei jedem neuen Build. Der Sanity-Test kommt als Nächstes, wenn der Build eine Korrektur oder eine kleine Änderung mitbringt. Der Regressionstest kommt zuletzt, nachts oder vor einem Release, weil er der längste der drei ist.

Was ist ein Build-Verification-Test?

Ein Build-Verification-Test ist ein anderer Name für einen Smoke-Test. Er läuft direkt nach dem Erstellen eines Builds und beantwortet eine einzige Frage: ob dieser Build stabil genug ist, um weiter getestet zu werden.

Wie viele Tests gehören in eine Smoke-Suite?

Wenige: ein kurzer Test pro Hauptfunktion, meist fünf bis zehn insgesamt, sodass die ganze Suite in wenigen Minuten läuft. Eine Smoke-Suite, die langsam wird, läuft irgendwann nicht mehr bei jedem Build, und dann schützt sie nichts mehr.

Sollte ein fehlgeschlagener Smoke-Test den Build fehlschlagen lassen?

Ja. Ein Build, der seinen Smoke-Test nicht besteht, ist es nicht wert, weiter getestet zu werden, also sollte die Pipeline anhalten und das Team informiert werden. Mit GUI Test Studio endet gtr-cli mit einem Exitcode, den die Pipeline liest, sodass ein fehlgeschlagener Test den Build fehlschlagen lässt.

Lassen sich Smoke-Tests und Regressionstests ohne Code automatisieren?

Ja. Mit GUI Test Studio zeichnen Sie jeden Ablauf einmal auf, indem Sie ihn in Ihrer App durchführen, und der Test läuft von selbst ab. Die Smoke-Suite und die Regressionssuite sind dann zwei Gruppen derselben Testdateien, die gtr-cli bei jedem Build und jede Nacht ausführt.

Selenium, Playwright und Windows sind Marken ihrer jeweiligen Inhaber.

Alle Artikel