決定論的エンドツーエンドテスト AI 時代のために。

!何が起こるか

コードで書いた確認は、要素があるかどうかをページのコードに尋ねます。ユーザーが見るのは画面だけです。次のバグはコードの確認を通過します:

• 今すぐ支払う

  Cookie を使用しています。OK

  覆われている

  • コード: ボタンがある。
  • ユーザーには: 見えないし、押せない。
• 注文が確定しました

  見えない

  • コード: テキストがある。
  • ユーザーには: 何も見えない。
• 注文の確認

  切れている

  • コード: 「Confirm your order」という完全なテキスト。
  • ユーザーには: 文の半分。

• 配送

  支払い

  重なっている

  • コード: 両方のカードがある。
  • ユーザーには: めちゃくちゃな画面。
• ホーム製品お問い合わせ

  注文が確定しました

  今すぐ支払う

  スタイルなし

  • コード: すべての要素はまだそこにある (スタイルシートの読み込みに失敗)。
  • ユーザーには: 壊れたサイト。
• 削除

  間違った色、壊れた画像

  • コード: ボタンと画像がある。
  • ユーザーには: 別の製品。

スクリーンショット比較でもこれらは検出できますが、ブラウザーとシステムごとのリファレンス画像と、マシン間で描画が異なるときの誤報が代償です。

!何が起こるか

コードで書いたテストはページのコードを指し示します。クラス名を変えたり、ボタンを新しいコンテナーに移したりすると、画面は同じに見えてもテストは失敗します。Playwright 自身のドキュメントも、そうしたロケーターは「DOM 構造が変わると壊れることがある」と警告しています。

コードで書いたテストがクリック #pay-btn

!何が起こるか

コードで書くツールは、操作対象をその役割、ラベル、テキスト、またはアプリのコードで見つけます。多くのアプリはチャートの棒、地図のピン、ゲーム、リモートデスクトップ全体など、自らピクセルを描きます。描かれたものには要素も役割もラベルもテキストもないので、どのロケーターにも見つけられません: テストは座標をクリックし、確認にはアプリ自身のコードかスクリーンショットが必要です。

標準的な Windows アプリ (WinForms、WPF、WinUI、Qt、Electron) の多くは、Windows に自分を説明します。GUI Test Studio はまずそれを使い、残りは見た目で見つけます。

!何が起こるか

すべてのテストはコードであり、アプリへのすべての変更はそのコードへの変更です: テストが増えるほど、動かし続けなければならないコードも増えます。何をテストすべきかを知っている人、つまりテスターやプロダクトオーナーは、それを書くことも直すこともできません。

!何が起こるか

生のスクリーンショット比較は、マシン間でフォントや描画が異なると失敗することがあります。Playwright 自身のドキュメントは、OS、その設定、ハードウェア、ヘッドレスモードを挙げています。

!何が起こるか

ゲームはメニュー、インベントリ、HUD を自らグラフィックスカード上に描画します。Unity (6.3 以降)、Unreal、Godot (4.5、実験的) がメニューをスクリーンリーダーに説明できるのは、スタジオが画面ごとにそれを組み込んだときだけで、ゲーム世界そのものが説明されることはありません。コードで書くツールはゲームパッドで遊ぶこともできません。

!何が起こるか

テスト画面には顧客名、価格、社内ツールが映ります。ビジュアルテストサービスはすべてのスクリーンショットを自社クラウドにアップロードします: Percy と Argos は常に、Applitools は既定で (オンプレミスのオプションは高い価格で販売されています)。

!何が起こるか

すべてのスクリーンショットが月間の枠を消費します。Percy と Argos はエントリープランで月 5,000 枚まで、Percy の Desktop プランは月額 $199 (年払い) で 10,000 枚、以降 1 枚 $0.036、Argos Pro は月額 $100 で 35,000 枚、以降 1 枚 $0.004、Applitools は月額 $667 (年払い) からです。ブラウザー、デバイス、実行が増えるほど請求額も増えます。

価格は 2026年10月28日 時点で各ベンダーが公開しているものです。

!何が起こるか

Selenium と Playwright は Web ページを、WinAppDriver は Windows アプリを、Appium はスマートフォンをテストします。3 つのツール、3 つのスキルセット、保守すべき 3 種類のテスト。

!何が起こるか

コードで書いたテストはスタックトレース、つまり開発者にしか読めないコードのページで失敗します。