Self-Healing-Tests: Wenn ein Test, der sich selbst repariert, einen echten Fehler verbirgt
Self-Healing-Tests halten eine Suite grün, wenn sich die App ändert. Wie eine falsche Heilung einen echten Fehler verbirgt und jede Änderung sichtbar bleibt.
Self-Healing-Tests reparieren sich selbst, wenn sich die App ändert: Ein Test, der ein Element nicht findet, wählt ein ähnliches und macht weiter. Das spart Pflege, aber eine falsche Wahl lässt einen kaputten Ablauf bestehen, und niemand erfährt davon.
Sie kennen diesen Morgen. Ein neuer Build ist da, vierzig Tests sind rot, und keiner hat einen Fehler gefunden: Jeder hat eine Schaltfläche verloren, die er früher gefunden hat. Self-Healing verspricht, solche Morgen zu beenden. Die Frage ist, was es an dem Tag tut, an dem die Schaltfläche wirklich weg ist.
Was sind Self-Healing-Tests?
Definition
Ein Self-Healing-Test ist ein automatisierter Test, der sich selbst ändert, wenn er ein Element nicht mehr findet.
- Das Tool sucht den ähnlichsten Treffer auf dem Bildschirm und verwendet ihn stattdessen.
- Der Lauf geht weiter, als wäre nichts passiert.
Selbstheilende Testautomatisierung gibt es wegen einer bestimmten Art von Pflege. In einem programmierten Test wird jede Schaltfläche, jedes Feld und jeder Link über einen Locator gefunden: eine Zeile, die beschreibt, wo das Element in der Seite oder im Fenster sitzt. Benennt jemand aus der Entwicklung das Element um oder verschiebt es, passt der Locator nicht mehr, und der Test schlägt fehl, obwohl die App funktioniert.
Warum Locators so oft kaputtgehen, ist das Thema von „Element not found“: wenn Selektoren und Locators versagen.
Warum Teams selbstheilende Testautomatisierung wollen
Drei Schmerzpunkte machen Self-Healing attraktiv.
Rote Builds, die nichts gefunden haben
Eine kleine Änderung der App färbt Dutzende Tests rot, und keiner davon weist auf einen Fehler hin.
Stunden der Reparatur
Tester verbringen ihre Woche damit, Locators zu reparieren, statt das Produkt zu testen.
Eine Suite, der niemand traut
Nach genug Fehlalarmen schaut das Team gar nicht mehr auf rote Tests.
Der Wunsch dahinter ist berechtigt. Ein Test sollte eine Änderung überstehen, die kein Benutzer bemerken würde: eine umbenannte ID, eine leicht verschobene Schaltfläche, ein neuer Container um ein Formular. Nichts davon ist ein Fehler, und nichts davon sollte einen Morgen kosten.
Tests, die grundlos fehlschlagen, haben ihre eigenen Kosten, nachzulesen in Flaky Tests und False Positives.
Was ist eine falsche Heilung?
Definition
Eine falsche Heilung ist eine Reparatur, die das falsche Element wählt.
- Der Test macht weiter und klickt oder prüft etwas, das dem, wofür er gemacht wurde, nur ähnlich sieht.
- Dann besteht er.
Der Lauf ist grün über einem Ablauf, der kaputt ist.
Letzte Woche
Ihre Bestellung
Der Test klickt auf „Jetzt bezahlen“.
Diese Woche
Ihre Bestellung
„Jetzt bezahlen“ ist weg. Der Test heilt sich selbst und klickt auf „Später bezahlen“.
Was der Build meldet
Test bestanden
Was der Kunde bekommt
Eine Bestellung, die nie bezahlt wurde
Versehentlich ersetzt ein Release die Schaltfläche „Jetzt bezahlen“ durch „Später bezahlen“. Der Test findet „Jetzt bezahlen“ nicht. Seine Heilung findet eine Schaltfläche derselben Größe an derselben Stelle, mit einem ähnlichen Namen, und klickt darauf. Die Bestellung wird als unbezahlt gespeichert, der letzte Schritt sieht trotzdem eine Bestellseite, und der Lauf besteht. Der Erste, dem es auffällt, ist ein Kunde.
Ein fehlgeschlagener Test kostet ein paar Minuten. Eine falsche Heilung nimmt das eine Signal weg, für das der Test da war.
Ein Fehlalarm schlägt umsonst fehl. Eine falsche Heilung besteht umsonst, und das ist schlimmer: Niemand öffnet einen grünen Test, um ihn zu kontrollieren.
Wie ein Test ein Element findet und was er erwartet: zwei verschiedene Änderungen
Nicht jede Reparatur trägt dasselbe Risiko. Ein Test hält zwei Dinge über jedes Element fest, und die sollten nicht gleich behandelt werden.
Wie das Element gefunden wird
Der Benutzer sieht denselben Bildschirm.
Der Test darf von selbst folgen und sagen, wo er das Element gefunden hat.
Was die Prüfung erwartet
Der Benutzer sieht einen anderen Bildschirm.
Der Test schlägt fehl, und ein Mensch entscheidet.
| Was sich geändert hat | Beispiel | Wenn der Test still folgt |
|---|---|---|
| Wie das Element gefunden wird | Die Schaltfläche hat ihr Aussehen und ihre Aufgabe behalten, aber sie wurde verschoben oder hat eine andere ID bekommen. | Geringes Risiko: Der Benutzer sieht denselben Bildschirm. |
| Was der Test erwartet | Die Beschriftung, die Farbe oder der Zustand der Schaltfläche hat sich geändert, oder ein anderes Element ist an ihre Stelle getreten. | Hohes Risiko: Das ist eine Entscheidung über Ihr Produkt. |
Die Regel zählt noch mehr, wenn KI den getesteten Code schreibt, wie KI-generierten Code testen erklärt.
Zwei Fragen an jeden Self-Healing-Test
Bevor Sie sich auf einen Test verlassen, der sich selbst repariert, stellen Sie zwei Fragen.
Wer erfährt es?
Wenn sich ein Test selbst geändert hat, wer erfährt es, und kann diese Person sehen, wovon und wozu er sich geändert hat?
Wer hat entschieden?
Wer hat entschieden, dass die neue Version richtig ist: ein Mensch, der auf den Bildschirm geschaut hat, oder das Tool allein?
Lauten die ehrlichen Antworten „niemand“ und „das Tool“, braucht jeder grüne Lauf einen zweiten Blick, und die gesparte Zeit ist wieder weg.Dieselbe Gewohnheit, erst zu fragen und dann zu vertrauen, steckt hinter KI-Testtools: 7 Fragen, die Sie vor der Auswahl stellen sollten.
Weniger Brüche zu heilen: kein Locator zu pflegen
GUI Test Studio, das End-to-End-Tests jeder Anwendung ohne Code automatisiert, geht vom anderen Ende aus. Niemand schreibt einen Locator, also gibt es keinen, den Sie pflegen müssten. Sie zeichnen den Ablauf einmal auf oder beschreiben ihn in einem Prompt, und jede Prüfung betrifft das, was der Benutzer sieht.
Die GTS Engine + AI findet jedes Element auf zwei Wegen.
- Sie fragt zuerst die App, über deren Barrierefreiheitsinformationen.
- Wenn die App nichts sagt, findet sie das Element am Aussehen, auf dem Bildschirm.
- Eine verschobene Schaltfläche, ein breiteres Fenster oder eine gescrollte Liste wird dort gefunden, wo sie jetzt steht, und der Konfidenzbericht sagt, wo.
Auf einer Webseite hält ein aufgezeichneter Test mehrere Wege zu jedem Element fest.Wenn der erste nicht mehr funktioniert, findet der nächste dasselbe Element, und der Lauf vermerkt es.Wie GUI Test Studio Elemente findet erklärt beide Wege.
Diese zweite Hälfte ist der Grund, warum ein Doppelgänger nicht still durchrutscht. Steht „Später bezahlen“ dort, wo „Jetzt bezahlen“ stand, vergleicht die Prüfung es mit dem erwarteten „Jetzt bezahlen“ und schlägt fehl.
Wenn sich der Bildschirm wirklich geändert hat: ein Fehlschlag, den alle sehen
Manche Änderungen sind echt: neue Wörter auf einer Schaltfläche, eine neue Farbe, ein Feld, das verschwunden ist. GUI Test Studio entscheidet nicht für Sie, was sie bedeuten. Die Prüfung schlägt fehl, der Lauf ist rot, und der Konfidenzbericht öffnet sich bei dem, was passiert ist.
Der Bericht gibt Ihnen, was eine Entscheidung braucht.
- Das Soll-Bild steht neben dem Ist-Bild, und der Unterschied ist markiert.
- Ist die Intelligente KI-Analyse eingeschaltet, sagt ein Satz in einfachen Worten, was sich geändert hat, etwa eine Schaltfläche, die von aktiv zu deaktiviert gewechselt ist.
- Das Video des Laufs zeigt die Schritte, die dorthin geführt haben.
- Der Bericht wird mit dem Lauf gespeichert, also bleibt der Fehlschlag dokumentiert.
Der Leitfaden Der Konfidenzbericht erklärt alles, was ein Lauf zeigt, und Einen Testbericht richtig lesen führt durch einen Fehlschlag von der ersten Zeile bis zur Entscheidung.
Das neue Aussehen übernehmen oder den Fehler melden: Ein Mensch entscheidet
Prüfung fehlgeschlagen: Schaltfläche Bezahlen
Soll
Jetzt bezahlenIst
Später bezahlenDie Beschriftung der Schaltfläche hat sich von „Jetzt bezahlen“ zu „Später bezahlen“ geändert.
Niemand wollte das: Fehler melden
Ein Fehlerbericht mit den Schritten und beiden Bildern, als Datei oder als Jira-Issue.
Es war gewollt: neues Aussehen übernehmen
Ein Klick, rückgängig zu machen, dann im Test gespeichert.
Ansehen
Soll neben Ist
Ein Fehler?
Aus dem Bericht melden
Gewollt?
Neues Aussehen übernehmen
Speichern
In den Test
- 1
Die fehlgeschlagene Prüfung öffnen
Wählen Sie im Konfidenzbericht die fehlgeschlagene Prüfung aus. Ihr Soll-Bild steht neben dem Ist-Bild, und der Unterschied ist markiert.
- 2
Entscheiden: ein Fehler oder eine gewollte Änderung
Fragen Sie sich, ob das Team wollte, dass der Bildschirm so aussieht. Wenn niemand das wollte, ist es ein Fehler.
- 3
Ein Fehler: aus dem Bericht melden
Erstellen Sie einen Fehlerbericht als PDF- oder Excel-Datei oder als Jira-Issue. Die Schritte, die Bilder und der Grund werden aus dem Lauf übernommen.
- 4
Eine gewollte Änderung: das neue Aussehen übernehmen
Klicken Sie auf Ist als Soll übernehmen.Das neue Aussehen bleibt ausstehend, bis Sie speichern, und Strg+Z macht es rückgängig.
- 5
Speichern
Klicken Sie auf Speichern.Die Testdatei wird aktualisiert, und der nächste Lauf erwartet das neue Aussehen.
Nach einem Redesign schlagen viele Prüfungen aus demselben Grund fehl.Eine Übersicht listet jede fehlgeschlagene Prüfung mit ihren zwei Bildern auf: Entfernen Sie das Häkchen bei den echten Fehlern und übernehmen Sie den Rest gemeinsam.Einen Test nach einer Änderung aktualisieren zeigt jedes Fenster.
Stille Heilung oder sichtbare Entscheidung
| Frage | Eine stille Heilung | Eine sichtbare Entscheidung |
|---|---|---|
| Was passiert, wenn sich ein Element geändert hat? | Das Tool wählt ein ähnliches Element, und der Lauf geht weiter. | Die Prüfung schlägt fehl, und der Lauf sagt es. |
| Wer erfährt es? | Wer das Heilungsprotokoll liest, falls es jemand tut. | Alle, die den Build sehen. Der Bericht öffnet sich beim Fehlschlag. |
| Wer entscheidet, dass die neue Version richtig ist? | Das Tool. | Ein Mensch, der Soll neben Ist gesehen hat. |
| Wie sieht ein echter Fehler aus? | Ein grüner Test. | Ein roter Test, mit beiden Bildern. |
| Was bleibt danach? | Ein grüner Lauf und ein Test, der nicht mehr prüft, wofür er gemacht wurde. | Der gespeicherte Bericht des fehlgeschlagenen Laufs und das übernommene Aussehen im Test. |
| Was kostet es? | Heute nichts, später ein übersehener Fehler. | Ein Klick pro Änderung oder eine Durchsicht für viele. |
Ein Test, der sich zwischen zwei Läufen selbst ändert, ist nicht mehr derselbe Test.Warum derselbe Test zweimal dieselbe Antwort geben sollte, ist das Thema von Wiederholbare KI-Tests.
Was Sie vor dem Start wissen sollten
| Grenze | Was sie bedeutet |
|---|---|
| Übernehmen ist ein Klick pro Änderung | Ein Mensch sieht sich jedes neue Aussehen an. Nach einem Redesign können Sie in der Übersicht der fehlgeschlagenen Prüfungen viele gemeinsam übernehmen. |
| Ein Test prüft, was ihm aufgetragen wurde | Eine Änderung in einem Teil des Bildschirms, auf den keine Prüfung schaut, wird nicht gesehen. Setzen Sie dort eine Prüfung, wo es darauf ankommt. |
| KI kann einen kleinen Unterschied bestehen lassen | Ist die Intelligente KI-Analyse eingeschaltet, kann eine fehlgeschlagene Prüfung, die sich nur auf eine Weise unterscheidet, die ein Benutzer nicht bemerken würde, als bestanden gelten. Der Bericht sagt das, und die Testdatei wird nicht geändert. |
Das Wichtigste in Kürze
- 1Self-Healing-Tests reparieren sich selbst, indem sie ein ähnliches Element wählen, wenn ihres nicht gefunden wird.
- 2Eine falsche Heilung wählt das falsche Element: ein grüner Test über einem kaputten Ablauf, und niemand erfährt davon.
- 3Zwei Änderungen, zwei Regeln: Wie ein Element gefunden wird, darf sich anpassen, was eine Prüfung erwartet, ändert sich nur, wenn ein Mensch zustimmt.
- 4In GUI Test Studio gibt es keinen Locator, den Sie pflegen müssen: Jedes Element wird zuerst über die Barrierefreiheitsinformationen der App gefunden und am Aussehen, wenn die App nichts sagt.
- 5Eine echte Änderung schlägt für alle sichtbar fehl, und ein Mensch übernimmt das neue Aussehen mit einem Klick oder meldet den Fehler.
Fragen
Was sind Self-Healing-Tests?
Self-Healing-Tests sind automatisierte Tests, die sich selbst ändern, wenn sie ein Element nicht mehr finden. Das Tool sucht den ähnlichsten Treffer auf dem Bildschirm, verwendet ihn stattdessen und setzt den Lauf fort. Das Ziel ist, dem Team die Reparatur von Tests nach kleinen Änderungen der App zu ersparen.
Was ist eine falsche Heilung in der Testautomatisierung?
Eine falsche Heilung ist eine Reparatur, die das falsche Element wählt. Der Test klickt oder prüft etwas, das dem Element, für das er gemacht wurde, nur ähnlich sieht, und besteht. Das Ergebnis ist ein grüner Test über einem Ablauf, der kaputt ist.
Ist selbstheilende Testautomatisierung sicher?
Sie ist sicher, wenn sie nur ändert, wie ein Test ein Element findet, und Ihnen das jedes Mal sagt. Sie ist ein Risiko, wenn sie ändert, was der Test erwartet, oder ein anderes Element wählt, ohne dass ein Mensch hinschaut. Fragen Sie, wer es erfährt, wenn sich ein Test selbst geändert hat, und wer entschieden hat, dass die Änderung richtig war.
Warum brechen automatisierte Tests, wenn sich die App ändert?
Die meisten programmierten Tests finden jede Schaltfläche und jedes Feld über einen Locator, eine Zeile, die beschreibt, wo das Element in der Seite oder im Fenster sitzt. Benennt jemand aus der Entwicklung das Element um oder verschiebt es, passt der Locator nicht mehr, und der Test schlägt fehl, obwohl die App funktioniert.
Hat GUI Test Studio Self-Healing-Tests?
Es braucht weit weniger Heilung, und es lässt die Entscheidung bei einem Menschen. Es gibt keinen Locator, den Sie schreiben oder reparieren müssen: Jedes Element wird zuerst über die Barrierefreiheitsinformationen der App gefunden und am Aussehen, wenn die App nichts sagt. Wenn sich der Bildschirm wirklich geändert hat, schlägt die Prüfung im Konfidenzbericht fehl, und Sie übernehmen das neue Aussehen mit einem Klick oder melden den Fehler.
Wie aktualisiere ich einen Test nach einer gewollten Änderung?
Öffnen Sie die fehlgeschlagene Prüfung im Konfidenzbericht, sehen Sie sich das Soll- und das Ist-Bild an und klicken Sie auf „Ist als Soll übernehmen“. Strg+Z macht es rückgängig, bis Sie auf „Speichern“ klicken. Nach dem Speichern erwartet der Test das neue Aussehen.
Kann ich nach einem Redesign viele Änderungen auf einmal übernehmen?
Ja. Der Konfidenzbericht listet jede fehlgeschlagene Prüfung mit ihren zwei Bildern in einer Übersicht auf. Sie entfernen das Häkchen bei den echten Fehlern und übernehmen den Rest gemeinsam.
Wer sollte entscheiden, wenn sich ein Test ändert?
Ein Mensch, der gesehen hat, was sich geändert hat. Ein Test hält fest, was Ihr Team vom Produkt erwartet, also ist eine Änderung dessen, was er erwartet, eine Produktentscheidung. Ein Tool kann diese Entscheidung vorbereiten, indem es Soll neben Ist zeigt, aber es sollte sie nicht allein treffen.
Windows und Jira sind Marken ihrer jeweiligen Inhaber.
Weiterlesen
Alle Artikel
Testzuverlässigkeit
Testnachweise für Audits: Was ein Prüfer von einem automatisierten Test erwartet
11 Min. Lesezeit

Testzuverlässigkeit
Feste Wartezeiten in Tests: keine Zeit mehr raten, auf den Bildschirm warten
10 Min. Lesezeit

Testzuverlässigkeit
Schon wieder „element not found“? So testen Sie, wenn Selektoren und Locators versagen
14 Min. Lesezeit