再現性のある AI テスト: AI はテストの作成に使い、毎回の実行を即興に任せない

再現性のある AI テスト: AI がテストを作成し、その後は毎回の実行で同じステップを再生します。テストが即興で動いてはならない理由と、それでも AI が役立つところ。

執筆: Ait Nohaila (事業開発担当) 読了 11 分

再現性のある AI テストとは、AI がテストの作成と変更を手伝い、テスト自体は実行のたびに同じステップを再生して同じ答えを返すことです。AI は判断が役立つところで働き、実行を即興で進めることは決してありません。

月曜日にビルドが赤くなり、火曜日には緑になりましたが、アプリは何も変わっていません。各実行のステップを AI が選んでいたのなら、アプリが壊れたのか、AI が別の道を選んだのか、区別がつきません。意味がないかもしれない赤いビルドは、すぐに無視されるようになります。

再現性のあるテストとは?

定義

再現性のあるテストは、同じアプリで実行するたびに同じ結果を返します。同じステップが同じ順序で行われます。各アサーションは同じルールで判定されます。だから結果が変わったときは、アプリが変わったということです。

この性質があるからこそ、テストはビルドのたびに役立ちます。赤い結果は、テストではなく製品についての事実です。これがリグレッションテストの核心です。

同じ質問に、AI が異なる 2 通りの答えを返すことがあるのはなぜ?

AI モデルは、答えをどこかから調べて取り出すわけではありません。尋ねられるたびに答えを組み立てるので、違う形に組み立てることがあります。アシスタントに同じ質問を 2 回すると、言い回しが 2 通りになることが多く、ときには結論まで 2 通りになります。

下書き、アイデア、説明が欲しいときには、それは強みです。答えが 300 回のビルドを通して変わってはならない判定であるときには、弱みになります。

テストは 2 回とも同じ答えを返さなければなりません。そうでなければ、赤いビルドには何の意味もありません。

テスト自動化で AI を使う 2 通りの方法

毎回の実行を AI が操作する

AI がテストの中で担う位置は 2 通りあります。1 つは、AI が指示を読み、実行のたびにアプリを改めて操作し、進みながらクリックを 1 回ずつ選ぶ方法です。もう 1 つは、テストの作成、変更、レビューという人が手を動かす場面で AI が手伝い、実行そのものは固定された記録である方法です。

毎回の実行を AI が操作する

実行 1

「注文」を開く新しい注文顧客名を入力保存

実行 2

「注文」を開く顧客を検索新しい注文保存

実行 3

「注文」を開く新しい注文ダイアログで停止

アプリが壊れたのか、AI が別の道を選んだのか?

保存されたテストを再生する

実行 1

「注文」を開く新しい注文顧客名を入力保存

実行 2

「注文」を開く新しい注文顧客名を入力保存

実行 300

「注文」を開く新しい注文顧客名を入力保存

赤い実行は、アプリが変わったことを意味します。

同じ依頼を 3 回実行した結果です。同じステップを再生するテストだけが、赤いビルドをアプリについての事実にします。
問い毎回の実行を AI が操作する保存されたテストを再生する
ステップは毎回の実行で同じですか?保証されません: 実行のたびに指示を新たに読み直します。はい: 同じステップを同じ順序で行います。
不合格を再現できますか?必ずしもできません: 次の実行は別の道筋をたどるかもしれません。はい: テストをもう一度実行するか、実行の動画を見ます。
1 回の実行にかかる費用は?すべてのテストの実行のたびに、AI の利用料がかかります。ビルドマシンの時間です。
実行の速さは?AI が各ステップの前に考えます。記録したワークフローと同じ速さです。
赤いビルドは何を意味しますか?アプリが変わったか、AI が別の選択をしたかのどちらかです。アプリが変わりました。

この 2 通りの方法には名前があり、エージェント型テストと AI 支援テストで並べて比較しています。

AI が役立つところ、テストが即興で動いてはならないところ

問うべきは、テストに AI を使うかどうかではありません。どこで使うかです。テストには判断が役立つ部分と、固定されていなければならない部分があります。

テストの工程そこで AI がすること理由
テストの作成手伝います: 1 つの文が、実際の画面で試したステップとアサーションになります。人が行うはずの作業を、より速く行います。
テストの変更手伝います: 確認すると、頼んだ変更を行います。決めるのは常に自分です。
ステップの実行何もしません: 保存されたテストが再生されます。毎回の実行で、同じステップが行われなければなりません。
各アサーションの判定何もしません: 毎回同じ比較を行います。同じ画面には、同じ判定が下されなければなりません。
不合格になったアサーション任意でもう一度見ます: そのアサーションの最終判定と、説明を示します。差異は、人が読み取るように読み取る必要があることもあります。
結果の読み取り手伝います: アシスタントが実行を読み、説明します。時間を節約でき、テストは何も変わりません。

信頼できる AI テスト自動化: GUI Test Studio の方法

あらゆるアプリのエンドツーエンドテストをコードなしで自動化する GUI Test Studio は、2 番目の方法の上に作られています。テストは、Claude、Codex 付きの ChatGPT、または当社が提供するか自分で用意するローカル AI モデルに、プロンプトで説明します。AI を一切使わずに、自分で記録することもできます。

プロンプト

Atlas Textiles の注文を作成し、合計を検証してください。

AI が働くのは一度だけ

画面上でワークフローを実行し、各アサーションをそこで試します。

保存されたテスト

Order.GTS

ステップ、画像、記録。

実行 1

  1. 1「注文」を開く
  2. 2新しい注文
  3. 3顧客名を入力
  4. 4保存
  5. 5合計を確認

実行 2

  1. 1「注文」を開く
  2. 2新しい注文
  3. 3顧客名を入力
  4. 4保存
  5. 5合計を確認

実行 300

  1. 1「注文」を開く
  2. 2新しい注文
  3. 3顧客名を入力
  4. 4保存
  5. 5合計を確認
AI がテストを作成するのは一度だけです。その後の実行はすべて、同じステップを同じ順序で再生し、AI がアプリを操作することはありません。
  1. 説明する

    1 つの文

  2. AI が記録する

    一度だけ、自分の画面で

  3. 保存されたテスト

    自分が所有するファイル

  4. 毎回の実行

    同じステップ

  • 実行を再現可能にするものは 3 点あります。AI が働くのは一度だけです: 実際の画面でワークフローを実行し、各アサーションを残す前にそこで試します。あとに残るのは保存されたテスト、つまりステップ、画像、記録を収めたファイルです。そのテストを実行すると、同じステップが同じ順序で再生され、AI がアプリを操作することはありません。

アプリが変わったときは、同じアシスタントが保存されたテストをその場で変更します: 期待テキストの差し替え、待機の延長、ステップの削除などです。アシスタントは変更内容を示し、書き込む前に確認を求めます。変更と変更の間、テストは同じファイルのままで、その実行も同じです。

プロンプトからテストを作成するでは各ウィンドウを紹介し、AI テストジェネレーター: プロンプトから実際に動くテストへでは良いテストになるプロンプトの書き方を説明しています。

各アサーションは毎回同じ方法で判定される

実行が再現可能なのは、判定が再現可能な場合だけです。ビジュアルのアサーションはどれも、決まった 2 点の問いに答えます: 要素は画面上に見つかったか、そして期待どおりに見えるか? 比較は、人の目と同じように知覚的に行われます。誤った数字、欠けたアイコン、変わった単語のように人が気づくものには気づき、誰にも見えないものは無視します。

  • 実行を安定させるものが、さらに 3 点あります。どのアサーションも要素を待ち、現れた瞬間に合格するので、画面が遅くても結果は変わりません。日付や注文番号のように性質上変化する値は、その形式で検証されます。各アサーションには、失敗時にテストを停止するか続行するかを指定します。

タイミングは、テストがランダムに合格したり不合格になったりする最大の原因です: テストの固定スリープ: 代わりに画面を待つと不安定なテストと誤検知をご覧ください。

アサーションが不合格になったとき: AI がもう一度見て、その答えは保存される

差異の中には、判断が必要なものがあります。わずかに太くなったタイトルはバグでしょうか? AI スマート分析は、GTS Engine + AI のオプションの AI 側の機能です。アサーションが不合格になったときだけ、そのアサーションをもう一度見て最終判定を下し、差異を分かりやすい言葉で説明します。

1 回の実行のアサーション

サインインのタイトル

合格: AI は見ません

顧客名

合格: AI は見ません

注文合計

合格: AI は見ません

「注文を確定」ボタン

不合格: AI が見るのはこれだけです

注文番号

合格: AI は見ません

AI スマート分析 (オンにしている場合)

不合格のアサーションをもう一度見る

最終判定: 不合格

「注文を確定」ボタンが有効から無効に変わりました。

実行とともに保存レポートに表示
AI に尋ねるのは、不合格のアサーションについてだけです。実行のそれ以外はすべて、モデルを使わずに毎回同じ方法で判定されます。
AI の判定とその理由が、判定したアサーションの横に表示されます。
  • この判断を所定の位置にとどめるルールが 4 点あります。AI がアプリを操作することはなく、合格したアサーションを見ることもありません。AI の判定は不合格のアサーション 1 件についてのもので、レポートは 2 枚の画像の横にその理由を示します。その答えは実行とともに保存されるので、レポートをもう一度開いても改めて尋ねることはありません。AI がオフなら、すべてのアサーションはそれ自身の比較だけで合格か不合格になります。

だから実行は毎回同じで、モデルが判断する唯一の場所は小さく、目に見え、自分でオフにできます。

分かりやすい言葉で AI を導く: AI への指示

想定内の差異もあり、どれがそうかを知っているのは本人だけです。アサーションには「AI への指示」を持たせることができます: 自分の言葉で書いた数語で、AI はそのアサーションを判定するときにそれに従います。

書く内容AI の動作
フォントサイズの変更は無視してください。大きくなった、または小さくなったテキストを差異から外します。
隅の日付は毎日変わります。日付を差異として数えません。
「保存」ボタンは緑のままでなければなりません。ボタンが別の色になっていれば、必ずアサーションを不合格にします。

レポートには、判定がどの指示のもとで下されたかが AI の答えの横に表示されるので、判断が謎になることはありません。すべての設定は AI スマート分析のガイドにあります。

AI は自分で選ぶ、または使わない

自分のキーで使うクラウド AI

もう一度見るのがどの AI かは自分で選べ、あとから変えることもできます。OpenAI または Anthropic のモデルは自分のアカウントを通じて答え、送られるのは不合格のアサーションの小さな画像 2 枚だけです。当社が提供するモデルまたは独自のモデルは自分のコンピューター上で動き、何も外に出ません。AI をまったく使わない場合は、テストを自分で記録し、すべてのアサーションはそれ自身の比較だけで合格か不合格になります。

どの場合も、テスト、記録、レポートは自分たちのコンピューター上のファイルです。その主導権がチームにとってどれほどの価値を持つかは、ソフトウェアテストにおける AI 主権で取り上げています。

勝手に変わらないテストは、AI がコードを書くときに必要な独立した検証でもあります: AI 生成コードのテスト方法をご覧ください。そして、実行の合間に自らを修復するテストも同じ問いを投げかけることは、自己修復テストが示すとおりです。

始める前に知っておくこと

制限意味
テストは、指示されたものだけを検証する再現性のあるテストは探索しません。1 本のワークフローとそのアサーションを繰り返すので、重要なワークフローにはそれぞれテストが必要です。
同じ開始状態が、同じ答えを生む実行の前に、アプリを記録開始時の状態に戻してください: 同じページ、同じデータ、同じ開いているウィンドウです。
AI がもう一度見た結果は、判断である境界線上の差異では、モデルの読み取りがぶれることがあります。AI に尋ねるのは不合格のアサーションについてだけで、理由は表示され、オフのままにもできます。
実行は実際の画面を使う実行は、Web テストをブラウザーウィンドウなしで実行する場合を除き、実際のマウスを動かし、実際のキーボードで入力します。

要点

  • 1テストは 2 回とも同じ答えを返さなければなりません。そうでなければ、赤いビルドには何の意味もありません。
  • 2毎回の実行を操作する AI は即興で動きます: 別の道筋、実行ごとの費用、再現できない不合格です。
  • 3GUI Test Studio では、AI がテストを作成し、頼まれたときに変更します。保存されたテストは同じステップを再生し、AI がアプリを操作することはありません。
  • 4各アサーションは毎回同じ方法で判定されます。AI がもう一度見るのは不合格のアサーションだけで、その答えは実行とともに保存されます。
  • 5AI は自分で選べます: 自分のキーで使うクラウド AI、ローカル AI モデル (当社が提供するもの、または独自のもの)、あるいは AI なしです。

よくある質問

再現性のあるテストとは?

再現性のあるテストとは、同じアプリで実行するたびにテストが同じ結果を返すことです。同じステップが同じ順序で行われ、各アサーションは同じルールで判定されます。結果が変わったときは、アプリが変わったということです。

AI テストに再現性はありますか?

AI がどこに位置するかによります。実行のたびにアプリを操作する AI は、毎回指示を新たに読み直し、別の道筋をたどることがあります。AI が一度作成し、自分で再生されるテストには再現性があります: 毎回の実行で同じステップ、同じアサーションです。

AI が操作するテストの結果が、実行のたびに変わるのはなぜですか?

AI モデルは尋ねられるたびに答えを組み立てるので、違う形に組み立てることがあるからです。実行中にモデルがクリックを 1 回ずつ選ぶなら、同じアプリでの 2 回の実行が 2 通りの道筋をたどることがあります。一度見た不合格は、再現しようとしても再び起きないかもしれません。

テスト自動化で AI を使いながら、再現可能な結果を得られますか?

はい。AI はテストの作成と、頼んだときの変更に使い、保存されたテストは自分で実行させます。GUI Test Studio では、プロンプトから作ったテストは実行のたびに同じステップを再生し、AI がアプリを操作することはありません。

GUI Test Studio はテストの実行中に AI を使いますか?

実行中に AI がアプリを操作することはありません: 保存されたテストがステップを再生します。AI スマート分析をオンにすると、不合格になったアサーションだけを見て、そのアサーションの最終判定を下し、差異を説明します。これはオプションです。

アサーションが不合格になると、AI スマート分析は何をしますか?

不合格のアサーションをもう一度見て、最終判定を下します。大きな変化がなければアサーションを合格とし、あれば不合格として、何が変わったかを分かりやすい言葉で伝えます。その答えは実行とともに保存されます。

AI をまったく使わずにテストを実行できますか?

はい。テストを自分で記録し、AI スマート分析をオフのままにしてください。すべてのステップが再生され、すべてのアサーションがそれ自身の比較だけで合格か不合格になり、どの時点でもモデルは関わりません。

アサーションで無視してほしいものを AI に伝えるには?

アサーションに「AI への指示」を与えます: 「フォントサイズの変更は無視してください」のような、自分の言葉で書いた数語です。AI はそのアサーションを判定するときにそれに従い、レポートは AI の答えの横にその指示を表示します。

Claude、ChatGPT、Codex、OpenAI、Anthropic、Windows は各所有者の商標です。

すべての記事