Windows-Desktop-Apps testen, ohne Code zu schreiben

Windows-Desktop-Apps ohne Code testen: den Ablauf einmal aufzeichnen, wählen, was geprüft wird, und bei jedem Build ausführen. Keine Skripte, keine Element-IDs.

Von Ait Nohaila, Business Development Representative 10 Min. Lesezeit

Um eine Windows-Desktop-App zu testen, ohne Code zu schreiben, zeichnen Sie den Ablauf einmal auf, wählen, was der Test prüft, und führen ihn bei jedem Build aus. In GUI Test Studio wird die Aufzeichnung zum Test.

Sie haben nach dem Testen von Desktop-Anwendungen gesucht und Code-Bibliotheken gefunden. Jetzt schreiben Sie Skripte, untersuchen Elementbäume und justieren Wartezeiten, und die nächste Version der App wird die Hälfte davon kaputt machen. Dieser Artikel zeigt den Ausweg.

Warum ist das Testen von Windows-Desktop-Apps meist Programmierarbeit?

Definition

Desktop-Anwendungen mit einer Code-Bibliothek zu testen heißt, einem Skript die App zu beschreiben.

  • Für jeden Schritt muss das Skript ein Fenster finden, darin ein Element finden, warten, bis es bereit ist, etwas damit tun und ein Ergebnis zurücklesen.

Die Arbeit ist Programmieren, selbst wenn der Test nur aus drei Klicks besteht.

Bibliotheken wie pywinauto, FlaUI und WinAppDriver sind so gemacht, für Menschen, die jeden Tag Code schreiben. Ein Tester, der die App in- und auswendig kennt, aber nicht die Programmiersprache, muss auf jemanden aus der Entwicklung warten.

Ein Test als Code

  1. 1Die App starten und ihr Fenster finden
  2. 2Die Schaltfläche Speichern über ihre ID finden
  3. 3Warten, bis die Schaltfläche bereit ist
  4. 4Darauf klicken
  5. 5Die Meldung finden und ihren Text lesen
  6. 6Den Text mit dem vergleichen, was Sie erwarten

Sechs Dinge zu schreiben, für einen Klick und eine Prüfung.

Ein aufgezeichneter Test

Sie klicken auf Speichern und lesen die Meldung, einmal.

Die Aufzeichnung behält

Der Klick auf SpeichernEine Prüfung der Schaltfläche SpeichernEine Prüfung der Meldung

Nichts zu schreiben: Die Aufzeichnung wird zum Test.

Eine Code-Bibliothek verlangt, dass Sie jedes Element und jede Wartezeit beschreiben. Eine Aufzeichnung behält sie für Sie.

Fünf Dinge, die ein Team mit einer Code-Bibliothek ausbremsen

Jemand muss programmieren

Jeder Test ist ein Programm, also können die Menschen, die die Abläufe am besten kennen, ihn weder schreiben noch reparieren.

Elementbäume zum Untersuchen

Bevor ein Skript auf eine Schaltfläche klicken kann, öffnet jemand ein Inspektionstool und sucht nach der ID oder dem Namen der Schaltfläche.

Apps, die nichts sagen

Viele Apps beschreiben nur einen Teil ihres Bildschirms, sodass ein Diagramm, ein Canvas oder eine eigene Tabelle für ein Skript unerreichbar bleibt.

Timing-Code

Dem Skript muss gesagt werden, wie lange es auf jedes Fenster und jedes Ergebnis warten soll, und eine zu kurze Schätzung scheitert an einem langsamen Tag.

Pflege bei jeder Änderung

Wird ein Bildschirm neu gestaltet, ändern sich IDs und Namen, und die Skripte werden eines nach dem anderen repariert.

Allein das Timing steckt hinter vielen Tests, die grundlos fehlschlagen: siehe Feste Wartezeiten in Tests und Flaky Tests und False Positives.

Code-Bibliothek oder ohne Code: was Sie schreiben und pflegen

Das Ziel ist in beiden Fällen dasselbe: ein Test, der tut, was ein Benutzer tut, und prüft, was der Bildschirm zeigt. Was sich unterscheidet, ist, wie viel Sie dafür schreiben und pflegen.

Was ein Test brauchtIn einer Code-BibliothekIn GUI Test Studio
Die App startenCode, der das Programm startet und auf sein Fenster wartet.Ein Kästchen zum Ankreuzen: Der Test startet die App und beendet sie am Ende.
Jede Schaltfläche und jedes Feld findenEin Locator pro Element, durch Untersuchen der App gefunden, repariert, wenn sich der Bildschirm ändert.Nichts zu schreiben: Die Aufzeichnung behält, was die App über jedes Element sagt, und sein Bild.
Ein Steuerelement, das die App nicht beschreibtUnerreichbar, oder ein von Hand geschriebener Umweg.Am Aussehen gefunden, wie jedes andere Element.
Auf die App wartenEine Wartezeit, für jeden Schritt geschrieben und neu justiert, wenn die App langsamer wird.Jede Prüfung wartet von selbst und geht in dem Moment weiter, in dem das Element da ist.
Das Ergebnis prüfenIm Code geschriebene Assertionen, eine pro Wert.Prüfungen aus der Aufzeichnung, auf einer Zeitleiste geändert.
Einen Fehlschlag lesenEin Stacktrace und eine Zeilennummer.Ein Bericht mit Soll neben Ist und dem Video des Laufs.
Wer es kannJemand, der programmiert und die Bibliothek kennt.Jeder, der den Ablauf kennt.
Einen Test zu erstellen sollte Wissen über den Ablauf erfordern, nicht Wissen über eine Programmiersprache.

Windows-Desktop-Apps ohne Code testen: aufzeichnen, prüfen, ausführen

GUI Test Studio automatisiert End-to-End-Tests jeder Anwendung ohne Code. Es besteht aus zwei Apps. Der GUI Test Runner-Recorder zeichnet einen Test auf und führt ihn aus. GUI Test Studio bearbeitet ihn auf einer Zeitleiste, wie ein Video.

  1. Aufzeichnen

    Den Ablauf einmal durchführen

  2. Prüfen

    Wählen, was geprüft wird

  3. Ausführen

    Bei jedem Build

  4. Lesen

    Was bestanden hat, was sich geändert hat

Eine Aufzeichnung gibt Ihnen einen ganzen Test.

  • Jeder Klick und jede Taste, bei jedem Lauf in derselben Reihenfolge wiedergegeben.
  • Eine Prüfung jedes Elements, auf das Sie geklickt haben, vor dem Klick ausgeführt.
  • Prüfungen dessen, was auf dem Bildschirm erschienen ist, etwa ein Dialog oder eine Meldung.
  • Eine Datei, die Ihrem Team gehört, mit ihren Schritten, ihren Bildern und ihrer Aufzeichnung.

Welche Windows-Desktop-Anwendungen können Sie so testen?

Jedes Programm, das auf einem Windows-Bildschirm angezeigt wird, egal womit es gebaut wurde. Der App wird nichts hinzugefügt: kein Test-Build, keine Bibliothek und keine IDs.

WPF- und WinForms-Apps

Standard-Steuerelemente beschreiben sich selbst, ein Diagramm oder eine eigene Tabelle nicht.

Die App sagt esAm Aussehen

Qt und andere Toolkits

Was die App beschreibt, wird genutzt, und der Rest wird auf dem Bildschirm gefunden.

Die App sagt esAm Aussehen

Ältere Windows-Apps

Viele sagen wenig über ihre Bildschirme und werden trotzdem getestet.

Am Aussehen

Electron-Apps

Die Seite im Inneren und das Fenster drumherum, in einem Test.

Die App sagt esAm Aussehen

Apps, die ihre Steuerelemente selbst zeichnen

Ein Canvas, eine Zeitleiste, eine Karte, eine Zeichenfläche.

Am Aussehen

Eine App in einem Remotedesktop-Fenster

Auf Ihrem Bildschirm kommt nur ein Bild an, und ein Bild genügt.

Am Aussehen
Jedes Element wird über das gefunden, was die App darüber sagt, oder am Aussehen auf dem Bildschirm. Ein Test nutzt beides, Element für Element.

Drei Artikel gehen tiefer: Testautomatisierung für WPF und WinForms, Windows-Apps ohne Barrierefreiheitsbaum und Electron-Apps testen.Der Leitfaden Was Sie testen können behandelt alles andere, von Web-Apps bis zu einem Android-Smartphone.

Dateidialoge, mehrere Fenster, mehrere Monitore

Ein echter Ablauf bleibt selten in einem einzigen Fenster. Er öffnet einen Dateidialog, ein Einstellungsfenster oder ein Meldungsfeld, manchmal auf einem anderen Monitor.

1

Hauptfenster

Auf „Importieren“ klicken

2

Dateidialog

Die Datei wählen

3

Vorschaufenster

Die ersten Zeilen prüfen

4

Zweiter Monitor

Das Ergebnis lesen

Eine Aufzeichnung, ein Test

Die Aufzeichnung folgt dem Ablauf, wohin er auch führt, denn sie zeichnet den Bildschirm auf und nicht ein einzelnes Fenster.

Auf einem Computer mit mehreren Monitoren fragt der Recorder, welchen Bildschirm der Test verwendet: einen Monitor oder alle, für eine App, die ihre Fenster irgendwo öffnet.

Wie findet ein Test eine Schaltfläche ohne Skript?

Die GTS Engine + AI, die Engine in GUI Test Studio, hat zwei Wege, jedes Element zu finden. Sie fragt zuerst die App, über deren Barrierefreiheitsinformationen, dieselbe Beschreibung, die ein Screenreader nutzt. Wenn die App nichts sagt, findet sie das Element am Aussehen, so wie Sie es tun würden.

Ihre AppWie jedes Element gefunden wird
Beschreibt ihre SteuerelementeÜber das, was die App sagt, mit dem Bild des Elements als zweitem Weg.
Beschreibt einige davonJedes Element auf dem Weg, der bei ihm funktioniert, im selben Test.
Beschreibt nichtsAm Aussehen, auf dem Bildschirm.

Zwei Wege zu einem Element machen einen Test robust: Eine umbenannte ID bricht ihn nicht, und ein Steuerelement, das die App nie beschrieben hat, auch nicht.Sie wählen nichts und untersuchen nichts, denn die Aufzeichnung behält von selbst, was sie braucht.Wie GUI Test Studio Elemente findet erklärt beide Wege.

So automatisieren Sie einen Test einer Windows-Desktop-App ohne Code

Ein erster Test dauert wenige Minuten. Wählen Sie einen kurzen Ablauf, den Sie gut kennen: einen Datensatz öffnen, einen Wert ändern, speichern, die Bestätigung lesen.

  1. 1

    Die App auf ihren Startbildschirm bringen

    Öffnen Sie Ihre App auf dem Bildschirm, auf dem der Ablauf beginnt, in dem Zustand, von dem jeder Lauf ausgehen soll.

  2. 2

    Auf „Aufzeichnen“ klicken und „Eine App“ wählen

    Klicken Sie im GUI Test Runner-Recorder auf Aufzeichnen, wählen Sie Eine App und dann Ihr Programm.Aktivieren Sie das Kästchen, das die App mit dem Test startet und am Ende beendet.

    „Eine App“ beschränkt die automatischen Prüfungen auf die Fenster, Dialoge und Menüs Ihres Programms.
  3. 3

    Den Ablauf einmal durchführen

    Klicken, tippen und scrollen Sie wie ein Benutzer, in normalem Tempo. Drücken Sie die Stopptaste, wenn der Ablauf fertig ist.

  4. 4

    Wählen, was der Test prüft

    Beantworten Sie die Frage Was soll dieser Test prüfen? Lassen Sie die drei Karten für einen ersten Test, wie sie sind, und speichern Sie dann den Test.

    Drei Karten entscheiden, welche Prüfungen der Test von selbst bekommt.
  5. 5

    Ausführen und den Bericht lesen

    Bringen Sie die App wieder auf ihren Startbildschirm und klicken Sie auf Test ausführen.Der Konfidenzbericht öffnet sich und zeigt, was bestanden hat und was sich geändert hat.

  6. 6

    Bei jedem Build ausführen

    Fügen Sie Ihrer Pipeline einen einzigen gtr-cli-Befehl hinzu. Ein fehlgeschlagener Test lässt dann den Build fehlschlagen, mit dem Video und den Bildern des Laufs als Artefakten.

Ihr erster Test, Schritt für Schritt führt durch jeden Bildschirm, und Einen Test aufzeichnen erklärt jede Auswahl des Recorders.

Einen Test später ändern, ohne zu programmieren

Ein aufgezeichneter Test ist keine Blackbox. In GUI Test Studio öffnet er sich auf einer Zeitleiste: oben die Aufzeichnung, darunter die Klicks und Tasten, darunter die Prüfungen. Sie verschieben, ergänzen oder entfernen einen Block so, wie Sie ein Video bearbeiten würden.

Ein Test auf seiner Zeitleiste: Jeder Klick, jede Taste und jede Prüfung ist ein Block, den Sie auswählen und ändern können.
Sie möchtenWas Sie tun
Noch etwas prüfenZiehen Sie eine Prüfung aus der Assertionspalette auf die Zeitleiste und zeigen Sie ihr auf der Aufzeichnung, wonach sie suchen soll.
Einem langsamen Bildschirm mehr Zeit gebenErhöhen Sie das Zeitlimit der Prüfung in ihren Eigenschaften.
Einen anderen Wert tippenBearbeiten Sie den Text des Schritts Texteingabe.
Einer gewollten Änderung der App folgenÜbernehmen Sie das neue Aussehen im Konfidenzbericht, mit einem Klick.

Welche Prüfung zu welchem Bedarf passt, steht in Die richtige Prüfung wählen.Was Ihnen ein fehlgeschlagener Lauf sagt, steht in Einen Testbericht richtig lesen.

Die Desktop-Tests bei jedem Build ausführen

Ein Test zahlt sich aus, wenn er läuft, ohne dass ihn jemand startet. gtr-cli, der Runner für die Befehlszeile, führt denselben Test in jedem CI/CD-Tool aus. Ein fehlgeschlagener Test lässt den Build fehlschlagen, und die Ergebnisse kommen als JUnit, JSON oder Markdown an.

Jeder Test eines Ordners, bei jedem Build
gtr-cli run tests --countdown 0 --junit results\junit.xml --artifacts results\artifacts

Tests in Ihrer Pipeline ausführen listet jede Option auf.

Lieber den Test beschreiben? Nutzen Sie die KI Ihrer Wahl

Aufzeichnen ist eine von drei Möglichkeiten, einen Test zu erstellen.Sie können den Ablauf auch in einem Prompt beschreiben, für Claude, für ChatGPT mit Codex oder für ein lokales KI-Modell, eines von uns oder Ihr eigenes.Der Assistent zeichnet den Test auf, fügt die Prüfungen hinzu und führt ihn aus.

Welche KI verwendet wird, wenn überhaupt, bleibt die Entscheidung Ihres Teams.

  • Eine Cloud-KI, mit Ihrem eigenen Schlüssel.
  • Ein lokales KI-Modell, unseres oder Ihr eigenes.
  • Gar keine KI: Zum Aufzeichnen und Ausführen eines Tests braucht es keine.

In jedem Fall sind die Tests, die Aufzeichnungen und die Berichte Dateien auf Ihren Computern.KI-Souveränität im Softwaretest erklärt, warum das wichtig ist.

Was Sie vor dem Start wissen sollten

GrenzeWas sie bedeutet
Ein Lauf nutzt den echten BildschirmEin Desktop-Test gibt echte Klicks und Tasten wieder, also ist der Computer während eines Laufs belegt, und ein Build-Agent braucht eine entsperrte Desktop-Sitzung.
Derselbe AusgangspunktEin Test läuft von dort ab, wo die Aufzeichnung begonnen hat. Bringen Sie die App vor jedem Lauf wieder auf diesen Bildschirm, oder lassen Sie den Test die App selbst starten.
Ein Test prüft, was ihm aufgetragen wurdeEin Fehler außerhalb jeder Prüfung bleibt unbemerkt. Wählen Sie die Prüfungen sorgfältig, und fügen Sie eine hinzu, wenn ein Fehler durchrutscht.
Ein anderes Design oder eine andere BildschirmskalierungEin korrekter Bildschirm sieht dort anders aus.Geben Sie dem Test dafür eine Version, keine Kopie: siehe ein Test für den Dunkelmodus und jede Sprache.

Das Wichtigste in Kürze

  • 1Eine Code-Bibliothek macht aus dem Desktop-Testen Programmieren: Skripte, Element-IDs, Wartezeiten und Reparaturen bei jeder Änderung des Bildschirms.
  • 2GUI Test Studio braucht keinen Code: den Ablauf einmal aufzeichnen, wählen, was der Test prüft, ihn bei jedem Build ausführen.
  • 3Es testet jede Windows-Desktop-App, von WPF und WinForms bis zu Qt, Electron, älteren Apps und Steuerelementen, die eine App selbst zeichnet.
  • 4Jedes Element lässt sich auf zwei Wegen finden: über das, was die App darüber sagt, und am Aussehen, wenn die App nichts sagt.
  • 5Der Test bleibt in Ihrer Hand: eine Datei, die Ihrem Team gehört und die jeder, der den Ablauf kennt, auf einer Zeitleiste bearbeitet.

Fragen

Kann ich eine Windows-Desktop-App testen, ohne Code zu schreiben?

Ja. Zeichnen Sie den Ablauf einmal im GUI Test Runner-Recorder auf, wählen Sie, was der Test prüft, und führen Sie ihn aus. Die Aufzeichnung wird zu einem Test mit seinen Klicks, seinen Tasten und seinen Prüfungen, und niemand schreibt ein Skript.

Wie lässt sich eine Windows-Anwendung am einfachsten automatisieren?

Führen Sie den Ablauf einmal durch, während ein Recorder zusieht. In GUI Test Studio bleibt jeder Klick und jede Taste erhalten, jedes Element, auf das Sie geklickt haben, bekommt eine Prüfung, und der Test läuft bei jedem Build von selbst ab.

Muss ich den Elementbaum der App untersuchen oder die IDs ihrer Steuerelemente kennen?

Nein. Die Aufzeichnung behält von selbst, was die App über jedes Element sagt, und ein Bild davon. Sie öffnen nie ein Inspektionstool und tippen nie eine ID.

Funktioniert das mit WPF, WinForms, Qt und älteren Windows-Apps?

Ja. Jedes Programm, das auf einem Windows-Bildschirm angezeigt wird, lässt sich testen, egal womit es gebaut wurde. Der App wird nichts hinzugefügt: kein Test-Build, keine Bibliothek und keine IDs.

Was, wenn meine App ihre Steuerelemente selbst zeichnet und einem Testtool nichts sagt?

Der Test findet diese Steuerelemente am Aussehen, auf dem Bildschirm, so wie ein Mensch es tut. Ein Diagramm, ein Canvas oder eine eigene Tabelle wird in derselben Aufzeichnung getestet wie die Standardschaltflächen drumherum.

Kann ein ohne Code erstellter Desktop-Test in CI/CD laufen?

Ja. gtr-cli führt denselben Test von einer Befehlszeile aus, in jedem CI/CD-Tool. Ein fehlgeschlagener Test lässt den Build fehlschlagen, und das Video, die Bilder und die Ergebnisse des Laufs bleiben als Artefakte erhalten.

Brauche ich KI, um die Tests zu erstellen oder auszuführen?

Nein. Zum Aufzeichnen und Ausführen eines Tests braucht es keine KI. KI ist eine Wahl: eine Cloud-KI mit Ihrem eigenen Schlüssel, ein lokales KI-Modell, eines von uns oder Ihr eigenes, oder gar keine.

Wo liegen die Grenzen beim Testen einer Desktop-App ohne Code?

Ein Desktop-Test nutzt den echten Bildschirm, während er läuft. Ein Test prüft außerdem nur, was ihm aufgetragen wurde, es lohnt sich also, die Prüfungen sorgfältig zu wählen.

pywinauto, FlaUI, WinAppDriver, WPF, Windows Forms, Qt, Electron und Windows sind Namen oder Marken ihrer jeweiligen Inhaber.

Alle Artikel