Was sind funktionale Tests? Beispiele, Arten und der Unterschied zu End-to-End-Tests

Was sind funktionale Tests? Eine einfache Definition, die Arten, ein Beispiel, der Unterschied zu End-to-End-Tests und wie Sie sie ohne Code automatisieren.

Von Ait Nohaila, Business Development Representative 9 Min. Lesezeit

Funktionale Tests prüfen, dass jede Funktion einer Anwendung tut, was sie soll: Bei einer gegebenen Eingabe ist das Ergebnis das erwartete. Sie schauen darauf, was die App tut, nicht darauf, wie sie gebaut ist.

Am besten wissen die Tester und die Product Owner, was jede Funktion tun soll. Doch wenn funktionale Tests als Code geschrieben werden, braucht es jemanden, der programmiert, um sie zu schreiben, und jedes Mal einen weiteren Nachmittag für Reparaturen, wenn sich ein Bildschirm ändert.

Was sind funktionale Tests?

Definition

Funktionale Tests, auch Funktionstests genannt, testen eine Anwendung gegen das, was sie tun soll.

  • Ein Tester gibt einer Funktion eine Eingabe, etwa einen Klick, einen Wert oder eine Datei, und vergleicht das Ergebnis mit dem erwarteten.
  • Dem Test ist egal, wie der Code geschrieben ist, es zählt nur, dass das Verhalten stimmt.

Deshalb spricht man oft von Black-Box-Tests: Der Tester betrachtet die Box von außen.

Eingabe

SAVE10

ins Codefeld getippt, dann Einlösen

Erwartetes Ergebnis

$90.00

die Summe, die 10 % Rabatt ergeben sollten

Tatsächliches Ergebnis

$90.00

die Summe, die der Bildschirm zeigt

Erwartet und tatsächlich stimmen überein: Der Test besteht.

Ein funktionaler Test besteht immer aus denselben drei Dingen: einer Eingabe, dem Ergebnis, das folgen sollte, und dem Ergebnis, das tatsächlich folgte.

Das erwartete Ergebnis ergibt sich aus den Anforderungen: einer Spezifikation, einer User Story oder dem einfachen Satz, den ein Product Owner sagen würde. Ein Code über 10 % auf einen Warenkorb von $100.00 ergibt eine Summe von $90.00. Zeigt der Bildschirm etwas anderes, hat die Funktion einen Fehler.

Funktionale und nicht-funktionale Tests im Vergleich

Die beiden beantworten unterschiedliche Fragen zu derselben Funktion.

Was verglichen wirdFunktionale TestsNicht-funktionale Tests
Die FrageTut sie das Richtige?Tut sie es gut genug?
GrundlageDie Anforderungen: was die Funktion tun soll.Die Qualitäten: wie schnell, wie sicher, wie leicht zu bedienen.
BeispieleDer Rabatt wird angewendet, die Bestellung wird gespeichert, die Fehlermeldung erscheint.Die Seite lädt rechtzeitig, die App hält unter Last stand, der Bildschirm funktioniert auf einem Smartphone.
Bestanden, wennDas Ergebnis ist das erwartete Ergebnis.Ein Messwert bleibt innerhalb seiner Grenze.

Die Arten funktionaler Tests

Die Arten unterscheiden sich in zwei Punkten: wie viel von der Anwendung ein Test betrachtet und wann er läuft.

ArtWas geprüft wirdWer sie meist schreibt
Unit-TestsEine Funktion des Codes, für sich allein.Entwickler
IntegrationstestsZwei oder mehr Teile, die zusammenarbeiten.Entwickler
SystemtestsDie ganze Anwendung, zusammengebaut, gegen ihre Anforderungen.Tester
AbnahmetestsDass die Anwendung tut, was das Unternehmen verlangt hat.Tester, Product Owner, Kunden
Smoke-TestsDass ein neuer Build startet und seine Hauptfunktionen reagieren.Tester, dann eine Pipeline
RegressionstestsDass eine Änderung nichts kaputt gemacht hat, was schon funktioniert hat.Tester, dann eine Pipeline

Die ersten vier sind Größen, vom kleinsten Teil bis zum ganzen Produkt.Die letzten beiden sind Zeitpunkte: Wann welcher läuft, steht in Smoke-Test, Sanity-Test und Regressionstest im Vergleich, und Was ist ein Regressionstest behandelt den längsten von ihnen.

Ein Beispiel für einen funktionalen Test: ein Feld für Rabattcodes

Nehmen wir eine kleine Funktion eines Onlineshops: das Feld, in das ein Kunde einen Rabattcode tippt. Die Anforderung passt in einen Satz: Der Code SAVE10 zieht 10 % vom Warenkorb ab. Ein Tester macht aus diesem Satz Testfälle.

FallEingabeErwartetes Ergebnis
Ein gültiger CodeSAVE10 bei einem Warenkorb von $100.00Eine Meldung sagt, dass der Rabatt angewendet wurde, und die Summe lautet $90.00.
Ein unbekannter CodeSAVE99Eine Meldung sagt, dass der Code ungültig ist, und die Summe bleibt $100.00.
Ein abgelaufener CodeEin Code vom letzten SommerEine Meldung sagt, dass der Code abgelaufen ist, und die Summe bleibt $100.00.
Ein leeres FeldEinlösen, ohne etwas zu tippenEine Meldung bittet um einen Code, und nichts wird angewendet.
Kleinbuchstabensave10Der Code wird wie SAVE10 akzeptiert.
Derselbe Code zweimalSAVE10, dann noch einmal SAVE10Der Rabatt wird nur einmal angewendet.
Ein Satz Anforderung, sechs Fälle. In den Fällen, die niemand aufgeschrieben hat, verstecken sich die Fehler.

Beachten Sie, dass nur der erste Fall der ist, den eine Demo zeigt. Die anderen fünf sind die, die ein Kunde findet, und deshalb prüft ein funktionaler Test das, was nicht funktionieren soll, genauso sorgfältig wie das, was funktionieren soll.

Wie funktionale Tests ablaufen, in vier Schritten

  1. Anforderung

    Was sie tun soll

  2. Testfälle

    Eingaben und Ergebnisse

  3. Ausführen

    In der App durchführen

  4. Vergleichen

    Soll und Ist

Die ersten beiden Schritte brauchen jemanden, der das Produkt kennt. Die letzten beiden sind bei jedem Build gleich, für jeden Fall, solange die Anwendung lebt. Genau diese Wiederholung macht es lohnend, funktionale Tests zu automatisieren.

Funktionale Tests und End-to-End-Tests im Vergleich

Ein funktionaler Test prüft eine Funktion gegen das, was sie tun soll. Ein End-to-End-Test folgt einem ganzen Ablauf über den echten Bildschirm, vom ersten Klick bis zum Endergebnis. Sie sind keine Gegensätze: Der eine ist eine Art des anderen.

Eine Funktion

Das Feld für Rabattcodes nimmt einen gültigen Code an.

Ein Bildschirm

Der Warenkorb zeigt die richtigen Artikel, den Rabatt und die Summe.

Ein ganzer Ablauf

Ein Kunde meldet sich an, füllt den Warenkorb, löst den Code ein, bezahlt und erhält eine Bestätigung.

Alle drei sind funktionale Tests. Der letzte ist zugleich ein End-to-End-Test: Breiter kann ein funktionaler Test nicht sein.
Was verglichen wirdEin funktionaler Test einer FunktionEin End-to-End-Test
Was er verfolgtEine Funktion, ein Fall.Ein ganzer Ablauf, wie ein Benutzer ihn durchläuft.
Was er brauchtDen Bildschirm dieser Funktion.Jedes Teil, durch das der Ablauf führt, im Zusammenspiel.
Wenn er fehlschlägtSie wissen, welche Funktion und welcher Fall.Sie wissen, dass der Ablauf kaputt ist, und der Bericht sagt, bei welchem Schritt.
Wie viele Sie behaltenViele: einer pro Fall.Wenige: einer pro Ablauf, den das Unternehmen nicht verlieren darf.

Viele End-to-End-Tests sind funktionale Tests mit dem größten Umfang.Was sind End-to-End-Tests folgt einem echten Ablauf von Anfang bis Ende, und End-to-End-Tests und Integrationstests zeigt, was nur ein Test des echten Bildschirms sehen kann.

Warum funktionale Tests als Code die Tester außen vor lassen

Die sechs Fälle oben zu automatisieren heißt meist, sie als Code zu schreiben, und das ändert, wer es tun kann.

  • Ein Skript schreibt jemand, der programmiert, nicht der Tester, der die Funktion kennt.
  • Jedes Feld und jede Schaltfläche wird über einen Locator im Code gefunden, der bricht, wenn der Bildschirm überarbeitet wird.
  • Das Warten auf die neue Summe braucht Wartecode oder eine feste Pause, die manchmal zu kurz ist.
  • Eine neue erwartete Meldung ist eine Änderung am Code, die hinter der Arbeit an neuen Funktionen warten muss.
Was ein Fall brauchtIn einem programmierten FrameworkIn GUI Test Studio
Ihn erstellenEin Skript pro Fall, in einem Framework wie Selenium, Playwright oder Cypress.Der Tester führt den Fall einmal durch, während er aufgezeichnet wird.
Das Feld und die Schaltfläche findenEin Locator im Code, repariert, wenn sich der Bildschirm ändert.Über die Barrierefreiheitsinformationen der App gefunden oder am Aussehen.
Auf das Ergebnis wartenWartecode oder eine feste Pause.Jede Prüfung wartet von selbst, bis zu ihrem Zeitlimit.
Das erwartete Ergebnis ändernEine Änderung am Code, durch jemanden, der programmiert.Eine Änderung am erwarteten Text der Prüfung, durch den Tester.

Das Ergebnis ist bekannt: Die Fälle bleiben manuell und werden immer seltener ausgeführt.Manuelles Testen oder automatisiertes Testen zeigt, was das bei jedem Release kostet.

Funktionale Tests ohne Code: die Funktion einmal aufzeichnen

GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code, und ein funktionaler Test einer einzelnen Funktion ist der kürzeste Test, den es erstellt. Hier ist der erste Fall des Rabattcodes, von null bis zu einem Test, der von selbst läuft.

  1. 1

    Die App dorthin bringen, wo die Funktion beginnt

    Öffnen Sie den Warenkorb mit einem Artikel für $100.00 darin. Ein Test läuft von dem Zustand aus ab, in dem er aufgezeichnet wurde, legen Sie diesen Ausgangspunkt also fest, bevor Sie aufzeichnen.

  2. 2

    Den Fall einmal aufzeichnen

    Klicken Sie im GUI Test Runner-Recorder auf „Aufzeichnen“. Tippen Sie den Code SAVE10, klicken Sie auf Einlösen, warten Sie auf die neue Summe und drücken Sie dann Esc, um zu stoppen.

  3. 3

    Wählen, was der Test prüft

    Beantworten Sie die Frage „Was soll dieser Test prüfen?“. Lassen Sie die visuellen Prüfungen und die Prüfungen dessen, was erscheint, eingeschaltet, und schalten Sie „Text prüfen“ ein, damit Wörter als Wörter geprüft werden.

  4. 4

    Das erwartete Ergebnis genau festlegen

    Öffnen Sie den Test in GUI Test Studio. Ziehen Sie eine Text-Assertion aus der Assertionspalette an den Zeitpunkt, an dem die Meldung erscheint, und markieren Sie die Meldung auf dem Frame. Machen Sie dasselbe für die Summe. Geben Sie einem Wert, der sich bei jedem Lauf ändert, etwa der Uhrzeit, eine Dynamische Text-Assertion.

  5. 5

    Ausführen und den Bericht lesen

    Klicken Sie auf „Test ausführen“. Der Konfidenzbericht listet jede Prüfung auf, mit dem Erwarteten neben dem Gefundenen, und sagt, warum eine Prüfung fehlgeschlagen ist.

  6. 6

    Die anderen Fälle genauso aufzeichnen

    Ein abgelaufener Code, ein leeres Feld, derselbe Code zweimal: Jeder Fall ist ein eigener kurzer Test. Die Schritte, die den Warenkorb öffnen, können ein Szenario sein, das jeder Fall wiederverwendet.

Eine Text-Assertion in ihrem Editor: Markieren Sie die Wörter auf dem aufgezeichneten Bildschirm, und der Editor sagt sofort, ob ein Lauf sie finden würde.

Sie können den Fall auch Ihrem KI-Assistenten in einem Prompt beschreiben, und der Test wird für Sie aufgezeichnet: siehe Einen Test aus einem Prompt erstellen.So oder so läuft der Test danach von selbst ab: Während eines Laufs steuert keine KI Ihre App, also gibt derselbe Test bei derselben App dieselbe Antwort.

Welche Prüfung für welches erwartete Ergebnis?

Ein erwartetes Ergebnis ist immer etwas, das der Bildschirm zeigt oder nicht mehr zeigt. Für jede Art gibt es die passende Prüfung.

Der Bildschirm nach einem gültigen Code

SAVE10Einlösen

Rabatt angewendet

Zwischensumme$100.00

Rabatt-$10.00

Summe$90.00

Heute um 14:02 aktualisiert

Text-Assertion

Die Meldung sagt, dass der Rabatt angewendet wurde.

Text-Assertion

Die Summe lautet $90.00.

Bild-Assertion

Der grüne Haken wird neben dem Code angezeigt.

Dynamische Text-Assertion

Die Uhrzeit der Änderung ist eine Uhrzeit, egal welche.

Alles, was der Bildschirm zeigt, bekommt die passende Prüfung: Wörter werden gelesen, ein Aussehen wird verglichen, und ein veränderlicher Wert wird nach seiner Art geprüft.
Was Sie erwartenDie Prüfung
Wörter erscheinen: eine Meldung, eine Beschriftung, eine Summe, die Sie kennenEine Text-Assertion liest die Wörter auf dem Bildschirm.
Wörter dürfen nicht erscheinen: eine FehlermeldungEine Text-Abwesenheits-Assertion besteht, sobald sie verschwunden sind.
Ein Wert, der sich bei jedem Lauf ändert: ein Datum, eine Uhrzeit, eine BestellnummerEine Dynamische Text-Assertion prüft die Art des Werts, nicht den Wert.
Ein Element sieht richtig aus: ein Symbol, eine Schaltfläche, eine FarbeEine Bild-Assertion vergleicht sein Aussehen, so wie ein Mensch es tun würde.
Etwas ist verschwunden: ein Ladesymbol, ein geschlossener DialogEine Bild-Abwesenheits-Assertion wartet, bis es den Bildschirm verlassen hat.
Alles steht dort, wo es hingehörtEine Layout-Assertion prüft die Anordnung.

Jede Prüfung wartet auf das, was sie erwartet, und besteht in dem Moment, in dem es da ist, sodass keine Pause geraten werden muss.Die richtige Prüfung wählen hilft Ihnen, mit einem Satz eine auszuwählen, und Textprüfungen erklärt die Prüfungen für Text ausführlich.

Die funktionalen Tests bei jedem Build ausführen

Ein funktionaler Test macht sich bezahlt, wenn er bei jeder Änderung erneut läuft. Auf einem Build-Rechner führt gtr-cli die aufgezeichneten Tests aus jedem CI/CD-Tool aus, lässt den Build fehlschlagen, wenn ein Test fehlschlägt, und bewahrt Bericht, Video und Bilder jedes Laufs auf.

Jeder Fall des Rabattcodes, bei jedem Build
gtr-cli run tests\discount --countdown 0 --junit results\functional.xml

Wenn ein Fall fehlschlägt, zeigt der Konfidenzbericht das erwartete Ergebnis neben dem tatsächlichen, sodass die Frage, die ein funktionaler Test stellt, auf einem einzigen Bildschirm beantwortet wird.Einen Testbericht richtig lesen geht ihn durch, und Tests in Ihrer Pipeline ausführen listet die Optionen von gtr-cli auf.

Was Sie vor dem Start wissen sollten

GrenzeWas sie bedeutet
Nur über den BildschirmGUI Test Studio testet, was auf einem Windows-Bildschirm angezeigt wird. Es ersetzt nicht die Unit-Tests, die Entwickler für den Code selbst schreiben.
Derselbe AusgangspunktEin Test läuft von dem Zustand aus ab, in dem er aufgezeichnet wurde. Ein Warenkorb, der schon einen Rabatt enthält, lässt den ersten Fall fehlschlagen.
Ein Test prüft, was ihm aufgetragen wurdeWenn keine Prüfung auf die Summe schaut, besteht auch eine falsche Summe. Jeder Fall endet mit einer Prüfung seines erwarteten Ergebnisses.

Das Wichtigste in Kürze

  • 1Funktionale Tests prüfen, was eine Anwendung tut: eine Eingabe, ein erwartetes Ergebnis und ein Vergleich mit dem tatsächlichen.
  • 2Nicht-funktionale Tests prüfen, wie gut sie es tut, und kommen erst, wenn die Funktion funktioniert.
  • 3Die Arten sind Größen und Zeitpunkte: Unit-, Integrations-, System- und Abnahmetests nach Größe, Smoke- und Regressionstests nach Zeitpunkt.
  • 4Ein End-to-End-Test ist ein funktionaler Test mit dem größten Umfang: ein ganzer Ablauf über den echten Bildschirm.
  • 5Als Code geschrieben, lassen funktionale Tests die Tester außen vor. Mit GUI Test Studio aufgezeichnet, erstellt der Tester sie selbst, und sie laufen bei jedem Build.

Fragen

Was sind funktionale Tests, einfach erklärt?

Funktionale Tests prüfen, dass jede Funktion einer Anwendung tut, was sie tun soll. Ein Tester gibt der Funktion eine Eingabe und vergleicht das Ergebnis mit dem erwarteten, ohne darauf zu schauen, wie der Code geschrieben ist.

Was ist der Unterschied zwischen funktionalen und nicht-funktionalen Tests?

Funktionale Tests prüfen, was die Anwendung tut: Der Rabatt wird angewendet, die Bestellung wird gespeichert. Nicht-funktionale Tests prüfen, wie gut sie es tut: wie schnell, wie sicher, wie gut bedienbar. Eine Funktion kann jeden funktionalen Test bestehen und trotzdem zu langsam sein, um sie zu benutzen.

Welche Arten funktionaler Tests gibt es?

Die wichtigsten Arten sind Unit-, Integrations-, System- und Abnahmetests, die sich darin unterscheiden, wie viel von der Anwendung sie betrachten. Auch Smoke-Tests und Regressionstests sind funktional. Sie unterscheiden sich darin, wann und warum sie laufen.

Sind End-to-End-Tests eine Art funktionaler Tests?

Überwiegend ja. Ein End-to-End-Test folgt einem ganzen Ablauf über den echten Bildschirm und prüft, dass er tut, was er soll, und das macht ihn zu einem funktionalen Test mit dem größten Umfang. Er ist der funktionale Test, der dem am nächsten kommt, was ein Benutzer wirklich tut.

Was ist ein Beispiel für einen funktionalen Test?

Ein Feld für Rabattcodes ist ein gutes Beispiel. Der Tester tippt einen gültigen Code und prüft, dass die Summe um den richtigen Betrag sinkt, probiert dann einen abgelaufenen Code, einen unbekannten Code und ein leeres Feld und prüft jeweils die Meldung.

Sind funktionale Tests manuell oder automatisiert?

Beides ist möglich. Eine neue Funktion wird meist zuerst von Hand getestet, solange sie sich noch ändert. Sobald sie funktioniert, lohnt es sich, ihre Fälle zu automatisieren, weil sie bei jedem Build erneut geprüft werden müssen.

Sind funktionale Tests dasselbe wie Black-Box-Tests?

Meistens ja. Ein funktionaler Test wird aus dem entworfen, was die Anwendung tun soll, nicht aus ihrem Code, und das ist die Idee des Black-Box-Tests. Unit-Tests sind die Ausnahme: Entwickler schreiben sie mit dem Code vor Augen.

Lassen sich funktionale Tests automatisieren, ohne Code zu schreiben?

Ja. Mit GUI Test Studio führt ein Tester den Fall einmal in der Anwendung durch, während er aufgezeichnet wird, und wählt dann, was der Bildschirm zeigen muss. Der Test läuft bei jedem Build von selbst ab, und es wird kein Testcode geschrieben oder gepflegt.

Selenium, Playwright, Cypress und Windows sind Marken ihrer jeweiligen Inhaber.

Alle Artikel