コードを書かずに行う Windows デスクトップアプリのテスト

コードなしの Windows デスクトップアプリのテスト: ワークフローを一度記録し、検証する内容を選んで、ビルドのたびに実行します。スクリプトも要素 ID も不要です。

執筆: Ait Nohaila (事業開発担当) 読了 10 分

Windows デスクトップアプリをコードを書かずにテストするには、ワークフローを一度記録し、テストが検証する内容を選んで、ビルドのたびに実行します。GUI Test Studio では、記録がそのままテストになります。

デスクトップアプリケーションのテストを検索したら、見つかったのはコードライブラリでした。いまではスクリプトを書き、要素ツリーを調べ、待機を調整していますが、アプリの次のバージョンでその半分は壊れます。この記事では、そこから抜け出す方法を紹介します。

Windows デスクトップアプリのテストは、なぜたいていコーディングの仕事になるのか?

定義

コードライブラリでデスクトップアプリケーションをテストするとは、アプリをスクリプトに説明することです。ステップごとに、スクリプトはウィンドウを見つけ、その中の要素を見つけ、準備ができるまで待ち、操作し、結果を読み取らなければなりません。テスト自体がクリック 3 回でも、作業はプログラミングです。

pywinauto、FlaUI、WinAppDriver などのライブラリは、毎日コードを書く人のために、このように作られています。アプリは隅々まで知っていてもプログラミング言語は知らないテスターは、開発者の手が空くのを待つことになります。

コードで書いたテスト

  1. 1アプリを起動し、そのウィンドウを見つける
  2. 2「保存」ボタンを ID で見つける
  3. 3ボタンの準備ができるまで待つ
  4. 4クリックする
  5. 5メッセージを見つけ、そのテキストを読み取る
  6. 6テキストを期待する内容と比較する

1 回のクリックと 1 つのアサーションのために、書くものが 6 つ。

記録したテスト

「保存」をクリックしてメッセージを読む、それを一度だけ。

記録が残すもの

「保存」のクリック「保存」ボタンのアサーションメッセージのアサーション

書くものはありません: 記録がそのままテストになります。

コードライブラリでは、すべての要素とすべての待機を自分で記述しなければなりません。記録なら、それを代わりに残してくれます。

コードライブラリがチームの足を引っ張る 5 つの点

プログラマーが必要

どのテストもプログラムなので、ワークフローを最もよく知っている人が、それを書くことも直すこともできません。スクリプトがボタンをクリックできるようになる前に、誰かがインスペクターツールを開いて、そのボタンの ID や名前を探し回ります。多くのアプリは画面の一部しか説明しないため、チャート、キャンバス、カスタムグリッドにはスクリプトの手が届きません。スクリプトには、各ウィンドウや各結果をどれだけ待つかを指定しなければならず、短すぎる見積もりは動作の遅い日に失敗します。画面のデザインが変わると ID や名前も変わり、スクリプトを 1 つずつ直すことになります。

理由もなく失敗するテストの多くは、タイミングだけが原因です: テストの固定スリープと不安定なテストと誤検知をご覧ください。

コードライブラリかコードなしか: 書いて保守するもの

どちらの方法でも目標は同じです: ユーザーと同じ操作をし、画面に表示されるものを検証するテストです。違うのは、そこに至るまでに書いて保守する量です。

テストに必要なことコードライブラリGUI Test Studio
アプリを起動するプログラムを起動し、そのウィンドウを待つコード。チェックボックスを 1 つオンにするだけ: テストがアプリを起動し、最後に閉じます。
各ボタンと入力欄を見つけるアプリを調べて見つけ、画面が変わるたびに直す、要素ごとのロケーター。書くものはありません: 記録が、各要素についてアプリが伝える情報とその画像を残します。
アプリが説明しないコントロール手が届かないか、手作業で書いた回避策が必要。ほかの要素と同じように、見た目で見つけます。
アプリを待つステップごとに待機を書き、アプリが遅くなるたびに調整し直します。どのアサーションも自動で待ち、要素が現れた瞬間に先へ進みます。
結果を検証するコードで書いたアサーションを、値ごとに 1 つ。記録から作られ、タイムライン上で変更できるアサーション。
失敗を読むスタックトレースと行番号。期待と実際を並べたレポートと、実行の動画。
できる人そのライブラリを知っているプログラマー。ワークフローを知っている人なら誰でも。
テスト作りに必要なのは、プログラミング言語の知識ではなく、ワークフローの知識であるべきです。

コードなしの Windows デスクトップアプリのテスト: 記録、検証、実行

GUI Test Studio は、あらゆるアプリのエンドツーエンドテストをコードなしで自動化します。2 つのアプリでできています。GUI Test Runner-Recorder は、テストを記録して実行します。GUI Test Studio は、それを動画のようにタイムライン上で編集します。

  1. 記録

    ワークフローを一度行う

  2. 検証

    検証する内容を選ぶ

  3. 実行

    ビルドのたびに

  4. 読む

    合格したもの、変わったもの

  • 1 回の記録で、テストが丸ごと手に入ります。すべてのクリックとキー入力が、実行のたびに同じ順序で再生されます。クリックした各要素のアサーションが、クリックの前に行われます。ダイアログやメッセージなど、画面に現れたもののアサーションも付きます。ステップ、画像、記録を含む、チームが所有するファイルです。

この方法でテストできる Windows デスクトップアプリケーションは?

何で作られていても、Windows の画面に表示されるプログラムならどれでもテストできます。アプリには何も追加しません: テスト用ビルドも、ライブラリも、ID もいりません。

WPF と WinForms のアプリ

標準のコントロールは自分自身を説明しますが、チャートやカスタムグリッドは説明しません。

アプリが伝える情報で見た目で

Qt などのツールキット

アプリが説明するものはそれを使い、残りは画面上で見つけます。

アプリが伝える情報で見た目で

古い Windows アプリ

多くは画面についてほとんど何も伝えませんが、それでも同じようにテストできます。

見た目で

Electron アプリ

中のページとそれを囲むウィンドウを、1 件のテストで。

アプリが伝える情報で見た目で

コントロールを独自に描画するアプリ

キャンバス、タイムライン、地図、描画領域。

見た目で

リモートデスクトップのウィンドウ内のアプリ

画面に届くのは画像だけですが、画像があれば十分です。

見た目で
各要素は、アプリがその要素について伝える情報で、または画面上の見た目で見つけます。1 件のテストが、要素ごとに両方を使い分けます。

さらに詳しい記事が 3 つあります: WPF と WinForms のテスト自動化、アクセシビリティツリーのない Windows アプリ、Electron アプリのテストです。テストできるもののガイドでは、Web アプリから Android スマートフォンまで、それ以外のすべてを扱っています。

ファイルダイアログ、複数のウィンドウ、複数のディスプレイ

実際のワークフローが 1 つのウィンドウに収まることは、めったにありません。ファイルダイアログ、設定ウィンドウ、メッセージボックスを開き、ときには別のディスプレイに表示されます。

1

メインウィンドウ

「インポート」をクリックする

2

ファイルダイアログ

ファイルを選ぶ

3

プレビューウィンドウ

最初の数行を確認する

4

2 台目のディスプレイ

結果を読み取る

1 回の記録で、1 件のテスト

記録は 1 つのウィンドウではなく画面を記録するので、ワークフローがどこへ進んでも追いかけます。

複数のディスプレイがあるコンピューターでは、記録の前に、テストがどのディスプレイを使うかを尋ねられます: 1 台のディスプレイか、ウィンドウをどこにでも開くアプリのためにすべてのディスプレイかです。

スクリプトなしで、テストはどうやってボタンを見つけるのか?

GUI Test Studio の内部で動くエンジンである GTS Engine + AI には、各要素を見つける方法が 2 つあります。まずアプリに尋ねます: スクリーンリーダーが使うのと同じ説明である、アプリのアクセシビリティ情報を通してです。アプリが何も伝えないときは、人と同じように、見た目で要素を見つけます。

対象のアプリ各要素の見つけ方
コントロールを説明しているアプリが伝える情報で見つけ、要素の画像を第 2 の方法として使います。
一部だけ説明している同じテストの中で、要素ごとにうまくいく方法で見つけます。
何も説明していない画面上で、見た目で見つけます。

1 つの要素に 2 つの見つけ方があることで、テストは堅牢になります: ID の名前が変わっても壊れず、アプリが一度も説明しなかったコントロールでも壊れません。記録が必要なものを自動で残すので、何かを選ぶ必要も、調べる必要もありません。GUI Test Studio が要素を見つける方法で、両方の方法を説明しています。

Windows デスクトップアプリのテストをコードなしで自動化する方法

最初のテストは数分で作れます。よく知っている短いワークフローを選びましょう: データを 1 件開く、値を変更する、保存する、確認メッセージを読む、といったものです。

  1. 1

    アプリを開始画面にする

    ワークフローが始まる画面で、毎回の実行が開始すべき状態にして、アプリを開いておきます。

  2. 2

    「記録」をクリックして「アプリ」を選ぶ

    GUI Test Runner-Recorder で記録をクリックし、アプリを選んで、対象のプログラムを選択します。テストの最初にアプリを起動し、最後に閉じるチェックボックスをオンにします。

    「アプリ」を選ぶと、自動のアサーションは、そのプログラムのウィンドウ、ダイアログ、メニューに限られます。
  3. 3

    ワークフローを一度行う

    ユーザーと同じように、普段どおりの速さでクリックし、入力し、スクロールします。ワークフローが終わったら、停止キーを押します。

  4. 4

    テストで検証する内容を選ぶ

    このテストで何を検証しますか?の質問に答えます。最初のテストでは 3 枚のカードをそのままにして、テストを保存します。

    3 枚のカードで、テストが自動で持つアサーションが決まります。
  5. 5

    実行してレポートを読む

    アプリを開始画面に戻し、テストを実行をクリックします。信頼度レポートが開き、合格したものと変わったものが表示されます。

  6. 6

    ビルドのたびに実行する

    パイプラインに gtr-cli のコマンドを 1 つ追加します。これで、テストが失敗するとビルドが失敗し、実行の動画と画像がアーティファクトとして残ります。

最初のテストを順を追ってではすべての画面を順に案内し、テストを記録するでは記録時の各選択肢を説明しています。

あとからテストを変更する: プログラマーなしで

記録したテストはブラックボックスではありません。GUI Test Studio では、タイムライン上に開きます: いちばん上に記録、その下にクリックとキー入力、さらにその下にアサーションが並びます。動画を編集するように、ブロックを移動、追加、削除できます。

タイムライン上のテスト: すべてのクリック、キー入力、アサーションが、選択して変更できるブロックです。
したいこと行うこと
検証をもう 1 つ追加する「アサーション」パレットからアサーションをタイムラインへドラッグし、記録の上で何を探すかを示します。
遅い画面に、もっと時間を与えるアサーションの「プロパティ」でタイムアウトを長くします。
別の値を入力するテキスト入力ステップのテキストを編集します。
アプリの意図した変更に合わせる信頼度レポートで、新しい見た目を 1 クリックで採用します。

どの用途にどのアサーションが合うかは、適切なアサーションを選ぶにあります。失敗した実行から何が分かるかは、テストレポートの読み方にあります。

デスクトップのテストをビルドのたびに実行する

テストが元を取れるのは、誰も開始しなくても実行されるときです。コマンドラインからテストを実行するツールである gtr-cli は、同じテストをどの CI/CD ツールでも実行します。テストが失敗するとビルドが失敗し、結果は JUnit、JSON、Markdown で届きます。

フォルダー内のすべてのテストを、ビルドのたびに
gtr-cli run tests --countdown 0 --junit results\junit.xml --artifacts results\artifacts

パイプラインでテストを実行するに、すべてのオプションの一覧があります。

テストを言葉で説明したいですか? お好きな AI を使えます

記録は、テストを作成する 3 つの方法の 1 つです。Claude、Codex 付きの ChatGPT、またはローカル AI モデル (当社が提供するモデルか、独自のモデル) に、ワークフローをプロンプトで説明することもできます。アシスタントがテストを記録し、アサーションを追加して、実行します。

  • どの AI を使うか、そもそも使うかどうかは、チームが選べます。自分のキーで使うクラウド AI。当社のモデルか独自のモデルで動かす、ローカル AI モデル。AI をまったく使わないことも選べます: テストの記録と実行に AI は必要ありません。

どの場合でも、テスト、記録、レポートは自分のコンピューター上のファイルです。それがなぜ重要かは、ソフトウェアテストにおける AI 主権で説明しています。

始める前に知っておくこと

制限意味
実行は実際の画面を使うデスクトップのテストは実際のクリックとキー入力を再生するため、実行中はコンピューターを使えず、ビルドエージェントにはロックされていないデスクトップセッションが必要です。
同じ開始状態テストは、記録を開始した場所から再生されます。実行のたびにアプリをその画面に戻すか、テスト自身にアプリを起動させてください。
テストは指示されたものだけを検証するどのアサーションの対象にもなっていないバグは、気づかれずに通過します。アサーションは慎重に選び、バグがすり抜けたら 1 つ追加してください。
別のテーマや拡大率そこでは、正しい画面でも見た目が変わります。テストにはコピーではなく、そのためのバージョンを持たせてください: ダークモードとすべての言語に 1 件のテストで対応するをご覧ください。

要点

  • 1コードライブラリは、デスクトップのテストをプログラミングに変えます: スクリプト、要素 ID、待機、そして画面が変わるたびの修理です。
  • 2GUI Test Studio にコードは必要ありません: ワークフローを一度記録し、テストが検証する内容を選んで、ビルドのたびに実行します。
  • 3どんな Windows デスクトップアプリでも、WPF や WinForms から Qt、Electron、古いアプリ、アプリが独自に描画するコントロールまでテストできます。
  • 4各要素には 2 つの見つけ方があります: アプリがその要素について伝える情報と、アプリが何も伝えないときの見た目です。
  • 5テストはいつでも自分たちで変更できます: チームが所有するファイルで、ワークフローを知っている人なら誰でもタイムライン上で編集できます。

よくある質問

Windows デスクトップアプリを、コードを書かずにテストできますか?

はい。GUI Test Runner-Recorder でワークフローを一度記録し、テストが検証する内容を選んで、実行します。記録は、クリック、キー入力、アサーションを備えたテストになり、誰もスクリプトを書きません。

Windows アプリケーションを自動化する最も簡単な方法は?

記録しながら、ワークフローを一度行うことです。GUI Test Studio では、すべてのクリックとキー入力が残り、クリックした各要素にアサーションが付き、テストがビルドのたびに自動で再生されます。

アプリの要素ツリーを調べたり、コントロールの ID を知っておいたりする必要はありますか?

いいえ。記録が、各要素についてアプリが伝える情報とその画像を、自動で残します。インスペクターツールを開くことも、ID を入力することもありません。

WPF、WinForms、Qt、古い Windows アプリでも使えますか?

はい。何で作られていても、Windows の画面に表示されるプログラムならどれでもテストできます。アプリには何も追加しません: テスト用ビルドも、ライブラリも、ID もいりません。

アプリがコントロールを独自に描画していて、テストツールに何も伝えない場合は?

テストは、人と同じように、画面上の見た目でそうしたコントロールを見つけます。チャート、キャンバス、カスタムグリッドも、周囲の標準ボタンと同じ記録の中でテストできます。

コードなしで作ったデスクトップのテストは、CI/CD で実行できますか?

はい。gtr-cli が、同じテストをどの CI/CD ツールでもコマンドラインから実行します。テストが失敗するとビルドが失敗し、実行の動画、画像、結果がアーティファクトとして残ります。

テストの作成や実行に AI は必要ですか?

いいえ。テストの記録と実行に AI は必要ありません。AI は選択肢の 1 つです: 自分のキーで使うクラウド AI、ローカル AI モデル (当社が提供するモデルか、独自のモデル)、または AI をまったく使わないことも選べます。

コードなしでデスクトップアプリをテストする場合の制限は?

デスクトップのテストは実行中に実際の画面を使います。また、テストは指示されたものだけを検証するので、アサーションは慎重に選ぶ価値があります。

pywinauto、FlaUI、WinAppDriver、WPF、Windows Forms、Qt、Electron、Windows は、各所有者の名称または商標です。

すべての記事