ダークモードのテスト、別の言語、別の画面: すべてのバリエーションをまとめて 1 件のテストで

テストをコピーせずにダークモード、別の言語、別の画面をテストするには、アサーションがバリエーションごとのバージョンを持つ 1 件のテストを保ちます。実行がバリエーションを選び、ステップは同じままです。

これはテスト自動化で最もよくある問題の 1 つです。自分の机ではライトモードで合格するテストが、何も壊れていないのに、ダークモード、フランス語、同僚のノート PC では不合格になります。

何も壊れていないのに、ダークモードでテストが失敗するのはなぜ?

GUI Test Studio では、アサーションが期待するものは、ビジュアルアサーションのビジュアルターゲット、テキストアサーションの期待テキスト、動的テキストアサーションの形式、レイアウトアサーションの配置です。記録が各アサーションに最初の期待する見た目を与え、これを既定と呼びます。

ダークモード、別の言語、別の画面: 正しい画面で変わるもの

同じ画面でも、見た目が正当に異なることがあります。アプリが壊れているのではなく別のバリエーションで表示されているだけですが、バージョンを 1 つしか持たないアサーションにはその違いが分かりません。

バリエーションごとにテストをコピーしても長続きしない理由

正しい画面があるバリエーションで失敗し続けると、チームはたいてい 3 種類の近道のどれかに頼ります。

合格したテストでもユーザーが目にするものを見逃しうる理由は、自動テストが見逃すビジュアルバグで扱っています。理由もなく失敗するアサーションがアサーションなしより悪い理由は、不安定なテストと誤検知にあります。

コードで書くテストフレームワークで必要になること

Playwright、Selenium、Cypress のようなコードで書くフレームワークでは、バリエーションを自分でコードに作り込み、保守し続けます。

考え方は同じです: 1 つのバリエーションに、1 組の期待内容。違うのは、そこに至るまでに書いて保守する量です。

すべてのバリエーションをまとめて 1 件のテストで: ベースラインプロファイル

GUI Test Studio は、Windows のエンドツーエンドテストをコードなしで自動化し、すべてのバージョンをテストの中に保存します。ダークモード、フランス語、4K モニター、Windows 10 のように、バリエーションをベースラインプロファイルとして名前を付けます。すると各アサーションは、既定の隣に、プロファイルごとに期待する内容のバージョンを 1 つずつ持てます。

どの種類のアサーションもバージョンを持てます: ビジュアルアサーション、テキストアサーション、動的テキストアサーション、レイアウトアサーションです。グループアサーションでは、各メンバーがそれぞれのバージョンを持ちます。関係するすべてのウィンドウについては、ベースラインのガイドをご覧ください。

バリエーションごとに変わるもの、決して変わらないもの

プロファイルが変えるのは、アサーションが期待する内容です。アサーションがそれをどう探すかは決して変えません。

アプリを複数の言語でテストする: ステップも変わる

別の言語のテストでは、画像を変えるだけでは足りないことがよくあります。別の文字を入力し、別のアドレスを開き、別のファイルをアップロードします。そのため、テストの各ステップは、その動作についてプロファイルごとのバージョンを持てる一方、画面上の位置とタイミングは共有されたままです。

ショートカットも異なることがあります: フランス語版の Microsoft Word では太字は Ctrl+B ではなく Ctrl+G なので、キー押下ステップはフランス語版を持ちます。

テキストアサーションがテキストをどう読み取り、比較するかは、テキストアサーションで説明しています。

既存のテストにダークモードを追加する手順

プロファイルを埋める最も手早い方法は、そのプロファイルで実行することです。見た目が異なるアサーションが不合格になるので、それを確認し、正しいものを残します。

1. 1

   プロファイルに名前を付ける

   設定、プロジェクト設定で、ベースラインプロファイルカードに「ダークモード」という名前のベースラインプロファイルを追加します。プロファイルは、アサーションがそれぞれのバージョンを持つまでは、ただの名前です。

2. 2

   そのプロファイルでテストを実行する

   アプリをダークモードに切り替えます。GUI Test Runner-Recorder のテスト画面で、ベースライン行でダークモードを選び、テストを実行をクリックします。

   

   拡大

3. 3

   不合格の各アサーションを確認する

   アサーションはまだライトの見た目と比較するので、見た目が異なるものは不合格になります。信頼度レポートでそれぞれを開き、ダークの見た目が正しいかどうかを判断します。

4. 4

   正しいダークの見た目を採用する

   確認した各アサーションで実際の画像をダークモードのベースラインとして採用をクリックします。既定のライトの見た目はそのまま残ります。

   

   拡大

5. 5

   保存して、もう一度実行する

   レポートの変更をテストに保存し、ダークモードでもう一度実行します。これで各アサーションは、自身のダーク版と比較されます。

または GUI Test Studio でバージョンをキャプチャする

アサーションを選択し、そのベースラインタブを開いてプロファイルを選択します。「プロパティ」パネルのすべてのフィールドにそのプロファイルのバージョンが表示され、アサーションが期待する内容を編集すると、そのバージョンに反映されます。キャプチャ...はアサーションの領域を元の場所に描いた状態で画面キャプチャを開始し、同じ領域をキャプチャはまさにその場所からプロファイルの画像を取り込みます。

プロンプトからテストを作成するの方法で、AI アシスタントにプロファイルの追加やバージョンのキャプチャを頼むこともできます。

アプリを意図して変えたとき: 新しい見た目を 1 クリックで採用する

新しい見た目は、アプリを意図して変えたときに採用します。確認したものだけを採用し、元に戻せる手段を残しておきます。

変更後にテストを更新するではレポートでの採用の流れを順に説明し、信頼度レポートではレポートに表示されるすべてを説明しています。

CI/CD ですべてのバリエーションを実行する

実行では 1 つのプロファイルを使います。GUI Test Runner-Recorder では、テスト画面のベースライン行で選びます。ビルドエージェントでは、gtr-cli に --baseline-profile とプロファイル名を続けて指定します。

gtr-cli run tests\Checkout.GTS --junit results\default.xml
gtr-cli run tests\Checkout.GTS --baseline-profile "Dark mode" --junit results\dark.xml
gtr-cli run tests\Checkout.GTS --baseline-profile "French" --junit results\french.xml

gtr-cli のすべてのオプションはパイプラインでテストを実行するに一覧があります。

ブラウザーとデバイスは別の方法で扱う

Web テストには、ブラウザーやデバイスごとのプロファイルは必要ありません: GUI Test Runner-Recorder が、記録したテストのバージョンを Chrome、Edge、Firefox、エミュレートしたスマートフォンとタブレット向けに、それぞれから切り出した画像付きで生成します。1 回の記録からのクロスブラウザーテストをご覧ください。

ベースラインプロファイルは、同じ種類の画面で同じアプリの見た目を変えるもののためにあります: テーマ、言語、拡大率、Windows のバージョン、アプリのエディションなどです。これはデスクトップアプリ、Web アプリ、ゲーム、スマートフォンのいずれにも同じように使えます。

始める前に知っておくこと

要点

• 1見た目を 1 つしか期待しないテストは、正しい画面を不合格にします: ダークモード、別の言語、別の拡大率、別のバージョンの Windows で。
• 2コピーや緩めたアサーションは長続きしません: コピー同士は少しずつずれ、緩めたアサーションは本当のバグを隠します。
• 3GUI Test Studio はすべてのバリエーションを 1 件のテストに保ちます。すべてのアサーションとステップに、ベースラインプロファイルごとのバージョンを持たせます。
• 4どこを探すか、どれだけ待つか、どれだけ厳密に判定するかは共有のままです。どのバリエーションでもテストが甘くなることはありません。
• 5実行は 1 つのバリエーションを選びます。新しい見た目は、信頼度レポートで確認済みの結果を採用することで生まれます。

よくある質問

Playwright、Selenium、Cypress、Microsoft Word、Windows は各所有者の商標です。