自己修復テスト: 自分で直るテストが本物のバグを隠すとき

自己修復テスト (セルフヒーリング) は、アプリが変わってもテストスイートを緑に保ちます。誤った修復が本物のバグを隠す仕組みと、すべての変更を見える判断にする方法。

執筆: Ait Nohaila (事業開発担当) 読了 11 分

自己修復テストは、アプリが変わると自分で自分を修復します: 要素が見つからないテストは、似た要素を選んで先へ進みます。保守の手間は省けますが、選び間違えると壊れたワークフローが合格し、誰にも知らされません。

よくある朝の光景です。新しいビルドが届き、40 件のテストが赤になりましたが、どれもバグを見つけていません: それぞれが、いつも見つけていたボタンを見失っただけです。自己修復は、こうした朝を終わらせると約束します。問題は、ボタンが本当になくなった日に何をするかです。

自己修復テスト (セルフヒーリング) とは?

定義

自己修復テストとは、要素をもう見つけられなくなったときに、自分自身を変更する自動テストです。ツールは画面上で最も近い一致を探し、それを代わりに使います。実行は何事もなかったかのように続きます。

自己修復型のテスト自動化は、ある種の保守作業があるから存在します。コードで書くテストでは、ボタン、フィールド、リンクの 1 つ 1 つをロケーターで見つけます: ページやウィンドウの中で要素がどこにあるかを記述する 1 行です。開発者が要素の名前を変えたり移動したりすると、ロケーターは一致しなくなり、アプリは動いているのにテストが失敗します。

ロケーターがなぜこれほど頻繁に壊れるのかは、「element not found」: セレクターとロケーターが失敗するときで扱っています。

チームが自己修復型のテスト自動化を求める理由

何も見つけていない赤いビルド

自己修復が魅力的に見える理由は 3 つの悩みにあります。アプリの小さな変更で何十件ものテストが赤になり、そのどれもバグを指していません。テスターは製品をテストする代わりに、1 週間をロケーターの修正に費やします。誤報が重なると、チームは赤いテストをまったく見なくなります。

その裏にある願いはもっともです。テストは、どのユーザーも気づかない変更なら乗り越えるべきです: ID の名前の変更、少しだけ移動したボタン、フォームを囲む新しい要素などです。どれもバグではなく、どれにも朝の時間を費やすべきではありません。

理由もなく失敗するテストにはそれ自体のコストがあり、それは不安定なテストと誤検知で数えています。

誤修復とは?

定義

誤修復とは、間違った要素を選んでしまう修復です。テストは先へ進み、本来の対象に近く見えるだけのものをクリックしたり確認したりします。そして合格します。壊れているワークフローの上で、実行は緑になります。

先週

ご注文内容

今すぐ支払う

テストは「今すぐ支払う」をクリックします。

今週

ご注文内容

後で支払う

「今すぐ支払う」がなくなりました。テストは自己修復し、「後で支払う」をクリックします。

ビルドの結果

テストは合格

顧客が受け取るもの

支払われていない注文

誤修復: テストは別のボタンに自分を修復し、壊れた決済の上で実行は緑のままでした。
例「支払う」ボタンを失った決済

あるリリースで、誤って「今すぐ支払う」ボタンが「後で支払う」に置き換わります。テストは「今すぐ支払う」を見つけられません。修復機能は、同じ場所にある、同じ大きさで名前の似たボタンを見つけてクリックします。注文は未払いとして保存され、最後のステップでも注文ページが表示されるので、実行は合格します。最初に気づくのは顧客です。

失敗したテストのコストは数分です。誤修復は、テストが伝えるはずだった唯一の信号を消してしまいます。

誤報は理由もなく失敗します。誤修復は理由もなく合格し、そのほうが深刻です: 緑のテストを開いて確かめる人はいないからです。

テストが要素をどう見つけるか、何を期待するか: 2 種類の異なる変更

すべての修復が同じリスクを持つわけではありません。テストは各要素について 2 つのことを持っており、両者は同じように扱うべきではありません。

要素の見つけ方

新しい ID移動したボタン幅が広くなったウィンドウスクロールしたリスト

ユーザーには同じ画面が見えます。

テストは自分で追従してよく、どこで要素を見つけたかを伝えます。

アサーションが期待するもの

別の文言別の色欠けたアイコン別の要素

ユーザーには別の画面が見えます。

テストは不合格になり、人が判断します。

テストは各要素について 2 つのことを持っています。人が見ずに変わってよいのは、1 つ目だけです。
何が変わったか例テストが黙って追従した場合
要素の見つけ方ボタンは見た目も役割も変わっていないが、移動したか、別の ID になった。リスクは低い: ユーザーには同じ画面が見えます。
テストが期待するものボタンの文言、色、状態が変わった、または別の要素がその場所を占めた。リスクは高い: これは製品についての判断です。

このルールは、AI 生成コードのテスト方法で説明しているとおり、テスト対象のコードを AI が書く場合にさらに重要になります。

自己修復テストに必ず問うべき 2 つの質問

誰に知らされるか?

自分を修復するテストに頼る前に、2 つの質問をしてください。テストが自分を変えたとき、誰に知らされ、その人は何から何に変わったかを見られるのか? 新しいバージョンが正しいと決めたのは誰か: 画面を見た人なのか、ツールだけなのか?

正直な答えが「誰にも」と「ツール」なら、緑の実行をすべてもう一度見直す必要があり、節約した時間はまた費やされます。信用する前に問うという同じ習慣が、AI テストツール: 選ぶ前に確認したい 7 つの質問の背景にもあります。

修復すべき破損を減らす: 保守するロケーターがない

GUI Test Studio は、あらゆるアプリのエンドツーエンドテストをコードなしで自動化し、反対の側から出発します。ロケーターを書く人はいないので、保守すべきロケーターもありません。ワークフローを一度記録するか、プロンプトで説明すれば、どのアサーションもユーザーが目にするものについてのものになります。

  • GTS Engine + AI は、各要素を 2 つの方法で見つけます。まずアプリのアクセシビリティ情報を通じて、アプリに尋ねます。アプリが何も答えないときは、画面上で見て要素を見つけます。移動したボタン、幅が広くなったウィンドウ、スクロールしたリストは今ある場所で見つかり、信頼度レポートがその場所を示します。

Web ページでは、記録したテストが各要素への複数の道筋を持っています。最初の道筋が使えなくなると、次の道筋が同じ要素を見つけ、実行にそれが記録されます。両方の方法はGUI Test Studio が要素を見つける仕組みで説明しています。

この後半があるからこそ、似たものが黙ってすり抜けることはありません。「今すぐ支払う」があった場所に「後で支払う」があれば、アサーションはそれを期待する「今すぐ支払う」と比べ、不合格にします。

画面が本当に変わったとき: 誰の目にも見える不合格

本物の変更もあります: ボタンの新しい文言、新しい色、なくなったフィールドなどです。GUI Test Studio は、それが何を意味するかを代わりに決めません。アサーションは不合格になり、実行は赤になり、信頼度レポートが起きたことを開いて見せます。

信頼度レポートの不合格アサーション: 期待と実際が並び、何が変わったか、右側に「採用」ボタン。
  • レポートは、判断に必要なものをそろえて見せます。期待画像が実際の画像の隣に並び、違いに印が付きます。AI スマート分析をオンにすると、有効だったボタンが無効になったといったように、何が変わったかを平易な一文で伝えます。実行の動画で、そこに至るまでのステップを見られます。レポートは実行とともに保存されるので、不合格の記録は残ります。

信頼度レポートのガイドでは実行が示すすべてを説明し、テストレポートの読み方では不合格を最初の行から判断まで順にたどります。

新しい見た目を採用するか、バグを登録するか: 決めるのは人

アサーション不合格: 支払いボタン

期待

今すぐ支払う

実際

後で支払う

ボタンの文言が「今すぐ支払う」から「後で支払う」に変わりました。

誰も意図していない: バグを登録する

手順と 2 枚の画像が入ったバグレポートを、ファイルまたは Jira の課題として。

意図した変更: 新しい見た目を採用する

1 クリックで、元に戻すこともでき、そのあとテストに保存されます。

同じ変更が目に見える形になります: 実行は赤になり、2 つの見た目が画面に並び、人が選びます。
  1. 見る

    期待と実際を並べて

  2. バグ?

    レポートから登録

  3. 意図した変更?

    新しい見た目を採用

  4. 保存

    テストに

  1. 1

    不合格のアサーションを開く

    信頼度レポートで、不合格のアサーションを選択します。期待画像が実際の画像の隣に並び、違いに印が付いています。

  2. 2

    判断する: バグか、意図した変更か

    画面がこう見えることをチームが意図していたかどうかを考えます。誰も意図していなければ、それはバグです。

  3. 3

    バグの場合: レポートから登録する

    PDF または Excel ファイルとして、あるいは Jira の課題としてバグレポートを作成します。手順、画像、理由は実行の内容から入力されます。

  4. 4

    意図した変更の場合: 新しい見た目を採用する

    実際の画像を期待画像として採用をクリックします。新しい見た目は保存するまで保留中で、Ctrl+Z で取り消せます。

  5. 5

    保存

    保存をクリックします。テストファイルが更新され、次の実行は新しい見た目を期待します。

デザインを変更したあとは、多くのアサーションが同じ理由で不合格になります。1 枚のシートに、不合格のアサーションがすべて 2 枚の画像とともに並びます: 本物のバグのチェックを外し、残りをまとめて採用します。各ウィンドウは変更後にテストを更新するで紹介しています。

黙って行われる修復と、目に見える判断

質問黙って行われる修復目に見える判断
要素が変わったら何が起きるか?ツールが似た要素を選び、実行は続きます。アサーションが不合格になり、実行がそれを伝えます。
誰に知らされるか?修復ログを読む人がいれば、その人。ビルドを見る全員。レポートは不合格の箇所を開いて表示します。
新しいバージョンが正しいと決めるのは誰か?ツール。期待と実際を並べて見た人。
本物のバグはどう見えるか?緑のテスト。2 枚の画像が付いた、赤いテスト。
あとに何が残るか?緑の実行と、本来確認するはずのものをもう確認していないテスト。不合格になった実行の保存済みレポートと、テストに採用された見た目。
コストは?今日はゼロ、あとで見逃したバグ 1 件。変更ごとに 1 クリック、または多数の変更をまとめて 1 回の確認。

2 回の実行の間に自分を変えるテストは、もう同じテストではありません。同じテストが 2 回同じ答えを返すべき理由は、再現性のある AI テストのテーマです。

始める前に知っておくこと

制限意味
採用は変更ごとに 1 クリック新しい見た目は人が 1 つずつ確認します。デザインの変更後は、不合格のアサーションのシートで多くをまとめて採用できます。
テストは、確認するよう指示されたものを確認するどのアサーションも見ていない画面の部分の変更は、見えません。大事な場所にアサーションを追加してください。
AI は軽微な違いを合格にできるAI スマート分析をオンにすると、ユーザーが気づかないような違いしかない不合格のアサーションを合格にできます。レポートにはその旨が示され、テストファイルは変更されません。

要点

  • 1自己修復テストは、自分の要素が見つからないときに似た要素を選ぶことで、自分で自分を修復します。
  • 2誤修復は間違った要素を選びます: 壊れたワークフローの上に緑のテストが残り、誰にも知らされません。
  • 32 種類の変更に、2 つのルール: 要素の見つけ方は調整してよく、アサーションが期待するものは人が同意したときにだけ変わります。
  • 4GUI Test Studio には保守すべきロケーターがありません: 各要素はまずアプリのアクセシビリティ情報を通じて見つけ、アプリが何も答えないときは見て見つけます。
  • 5本物の変更は誰の目にも見える形で不合格になり、人が 1 クリックで新しい見た目を採用するか、バグを登録します。

よくある質問

自己修復テスト (セルフヒーリング) とは?

自己修復テストとは、要素をもう見つけられなくなったときに、自分自身を変更する自動テストです。ツールは画面上で最も近い一致を探し、それを代わりに使って実行を続けます。目的は、アプリの小さな変更のあとにテストを修正する手間をチームから省くことです。

テスト自動化における誤修復とは?

誤修復とは、間違った要素を選んでしまう修復です。テストは、本来の対象の要素に近く見えるだけのものをクリックしたり確認したりして、合格します。その結果、壊れているワークフローの上に緑のテストが残ります。

自己修復型のテスト自動化は安全ですか?

テストが要素を見つける方法だけを変え、そのたびに知らせてくれるなら安全です。人が見ずに、テストが期待するものを変えたり、別の要素を選んだりするならリスクがあります。テストが自分を変えたとき誰に知らされるのか、その変更が正しいと誰が決めたのかを問うてください。

アプリが変わると自動テストが壊れるのはなぜですか?

コードで書くテストの多くは、ボタンやフィールドの 1 つ 1 つを、ロケーター、つまりページやウィンドウの中で要素がどこにあるかを記述する 1 行で見つけます。開発者が要素の名前を変えたり移動したりすると、ロケーターは一致しなくなり、アプリは動いているのにテストが失敗します。

GUI Test Studio には自己修復テストがありますか?

修復が必要になることがずっと少なく、判断は人の手に残ります。書いたり修正したりするロケーターはありません: 各要素はまずアプリのアクセシビリティ情報を通じて見つけ、アプリが何も答えないときは見て見つけます。画面が本当に変わったときは、信頼度レポートでアサーションが不合格になり、1 クリックで新しい見た目を採用するか、バグを登録します。

意図した変更のあと、テストを更新するには?

信頼度レポートで不合格のアサーションを開き、期待画像と実際の画像を見て、「実際の画像を期待画像として採用」をクリックします。「保存」をクリックするまでは、Ctrl+Z で取り消せます。保存したあとは、テストは新しい見た目を期待します。

デザイン変更のあと、多くの変更をまとめて採用できますか?

はい。信頼度レポートは、不合格のアサーションをすべて、2 枚の画像とともに 1 枚のシートに並べます。本物のバグのチェックを外し、残りをまとめて採用します。

テストが変わるとき、誰が判断すべきですか?

何が変わったかを見た人です。テストはチームが製品に期待することを表しているので、テストが期待するものを変えることは製品についての判断です。ツールは期待と実際を並べて見せることで判断の準備はできますが、ツールだけで決めるべきではありません。

Windows と Jira は各所有者の商標です。

すべての記事