テストレポートの読み方: 何が不合格になり、なぜか、次に何をするか

テストレポートの読み方: 何が不合格になり、なぜか、そしてバグを報告するか、変更を採用するか、アサーションを編集するかを教えてくれる 5 つの問い。

執筆: Ait Nohaila (事業開発担当) 読了 10 分

テストレポートを読むには、5 つの質問をします: 合格したか、どこで止まったか、画面に何が表示されていたか、バグか意図した変更か、以前にも起きたか、です。良いレポートは 5 つすべてに答えます。

ほとんどのテスト結果は答えていません。赤と緑の壁、スタックトレース、そして「element not found at line 214」のような 1 行です。それを読んだあとも、テスターには、壊れたのがアプリなのかテストなのかが分かりません。

テスト結果の多くが読みにくいのはなぜ?

定義

テストレポートとは、テストの実行が、人が対応するために残すものです。その多くは、その人のためではなく、テストを実行したプログラムのために書かれています。読む人が知りたいのはユーザーに何が見えたはずかなのに、レポートはコードがどこで止まったかを伝えます。

結果の壁

FAILED: 決済テスト 42

Element not found at line 214

Assertion error: expected true, got false

Timeout exceeded

壊れたのはアプリか、テストか?

答えてくれるレポート

「注文を確定」のステップで不合格
ボタンは画面上で見つかった
見た目が違う: 青のはずがグレー
今日より前のすべての実行で合格していた

次に何をすべきかが分かります。

同じ不合格を 2 通りに示しています。1 つ目は、コードがどこで止まったかをプログラマーに伝えます。2 つ目は、ユーザーに何が見えたはずかを誰にでも伝えます。
得られるものまだ分からないこと
テスト名の付いた赤い行ワークフローのどのステップが失敗したか。
スタックトレースと行番号その瞬間、画面に何があったか。
Element not foundボタンがなくなったのか、移動したのか、名前が変わったのか、その日だけ遅かったのか。
実行の最後のスクリーンショット画面がどう見えるべきだったか。

そこで誰かが手でテストをもう一度実行し、画面を見て、何が起きたかを突き止めます。レポートは本来、その時間を省くためのものでした。

テストレポートが答えるべき 5 つの質問

テスト結果は、決まった順番で読むと楽になります。この 5 つの質問は、最も手早いものから最も深いものへと並んでいて、何をすべきか分かった時点で止めて構いません。

質問信頼度レポートで答えが見つかる場所
1. 合格したか?上部の判定: 合格、不合格、中止のいずれかと、合格したアサーションと操作の数。
2. どこで止まったか?バナーがステップを示し、リストのどの行にも、そのステップに付けた名前が表示されます。
3. 画面に何が表示されていたか?不合格のアサーションのパネル: 期待と実際の対比、強調表示された違い、その瞬間の実行の動画。
4. バグか、意図した変更か?アサーションごとの 2 つの答え (見つかったか、同じか) と、AI がオンのときの平易な言葉での説明。判断は自分の手に残ります。
5. 以前にも起きたか?履歴: テストのすべての実行と、そのアサーションが初めて不合格になった実行。

信頼度レポートは、GUI Test Studio が実行のたびに開くレポートです。GUI Test Studio は あらゆるアプリのエンドツーエンドテストをコードなしで自動化し、実行はこのレポートで読みます。すべてのボタンについては、ガイド信頼度レポートを読むで説明しています。

合格したか、どこで止まったか?

上部のバナーは、実行がどう終わったか、テストにあるアサーションと操作のうちいくつが合格したか、どれだけ時間がかかったかを示します。実行が不合格のときは、どこで不合格になったかを示します: ステップ、アサーション、そしてそれが属するテストの部分です。

実行の例: 上部に判定、中央にすべてのステップ、下に選択中のアサーション。
判定何が起きたか
合格すべてのステップが実行され、すべてのアサーションが合格しました。
不合格: 未検出アサーションが時間いっぱい待ち、期待したものを一度も見つけられませんでした。
不合格: 差異あり要素は見つかりましたが、テストが期待するものとは見た目が違います。
中止誰かが実行を止めたか、時間制限で終了しました。

バナーの下のリストには、すべての操作とすべてのアサーションが順番に、緑または赤の印付きで並びます。各行には GUI Test Studio でそのステップに付けた名前が表示されるので、不合格は行番号ではなく注文を確定のように表示されます。F8 で次の不合格に移動でき、フィルターで不合格の行だけを表示できます。

テスト失敗の分析: 見つかったか、同じに見えるか?

要素を見るアサーションは、2 つの質問に順番に答えます。まず、要素は画面上で見つかったか。次に、期待どおりに見えるか。

不合格のアサーション 1 件を、上から下へ読む

1

要素は見つかったか?

見つかった

画面上にあるので、アプリは正しい場所に到達しています。

2

同じに見えるか?

異なる

何かが変わった: 文言、色、またはアイコン。

3

何が変わったか、平易な言葉で?

AI (任意)

「注文を確定」ボタンが、有効から無効に変わりました。

どちらの答えが不合格だったかで、画像を 1 枚も開く前に、どんな種類の問題かが分かります。
どちらの答えが不合格だったか意味見る場所
未検出要素が一度も表示されなかったか、変わりすぎてもう認識できなくなりました。アプリは正しい画面にいたか? 何かが要素を覆っていないか? 削除されたか、デザインが変わったか?
見つかったが、異なる要素はそこにありますが、何かが変わりました: 文言、色、アイコン。要素そのもの。アプリにバグがあるか、意図して変えられたかのどちらかです。
例駅で友人と待ち合わせるように

新しいコートを着ていても、まず人混みの中で友人を見つけられます。次に近くで見て、新しい髪型に気づきます。最初の見方は寛容で、2 回目は注意深く、レポートはこの 2 つを分けて示します。

比較は人の目のように働きます。間違った数字や欠けたアイコンのように人が気づくものに気づき、誰にも見えないものは無視します。テキストアサーションはもっと単純です: レポートには、期待した言葉と読み取った言葉が並べて表示されます。遅い日に時間切れになったアサーションは別の話で、テストの固定スリープで扱っています。

画面に何が表示されていたか? 期待と実際を並べて

違いを説明する一文は、違いを目で見るほど速くはありません。不合格のアサーションをクリックするとパネルが開き、左に期待したもの、右に実行が見つけたものが表示されます。

左に期待、右に実際、その隣にアサーションの答え。
  • レポートには見方がいくつかあります。並べて表示する方法と、一方の画像をもう一方に重ねる方法。変わったところだけを強調表示し、目がすぐそこへ向かうビュー。実行のタイムラインには、動画のフレームと、それぞれの瞬間に印の付いたすべてのアサーションがあります。
レポートは、コードがどこで止まったかではなく、ユーザーに何が見えたはずかを示すべきです。

バグか、意図した変更か? 平易な言葉での説明

AI スマート分析をオンにすると、不合格のアサーションはもう一度見直されます。AI がそのアサーションの最終的な判定を下し、同僚が書くような一文を書きます: 「注文を確定」ボタンが、有効から無効に変わりました。

  • 説明は任意で、どの AI に書かせるかはチームが選べます。自分のキーを使うクラウドの AI。ローカル AI モデル (当社が提供するもの、または自分で用意したもの)。AI をまったく使わない場合も、画像が何が変わったかを示します。

レポート、画像、記録は、テストとともに自分のコンピューターに保存されるファイルです。そのため、エビデンスにもなります: 監査のためのテストエビデンスをご覧ください。

以前にも起きたか? 過去の実行の履歴

1 回の不合格は、過去がなければほとんど意味を持ちません。何週間も合格したあと今日初めて不合格になったアサーションは、昨日の変更を指しています。5 回に 1 回不合格になるアサーションは、タイミングを指しています。

履歴が示すものそれが伝えること
アサーションが初めて不合格になった実行どのビルド、どの日を調べればよいか。
合格と不合格を繰り返すアサーションタイミングの問題、または実行ごとに異なる何か。
2 回の実行の間に何が変わったかテストが編集されたのか、アプリだけが変わったのか。

各実行のレポートはテストとともに保存され、そのときのまま再び開くので、過去のどの実行でも読み直せます。理由もなく失敗するテストについては、不安定なテストと誤検知で扱っています。

次にすること: 3 つの選択肢

レポートを読み終えたら判断を下しますが、選択肢は 3 つだけです。

不合格のアサーションと、画面で見たもの

アプリが間違っている

バグレポートを登録する

実行の内容から入力された、PDF、Excel ファイル、または Jira の課題。

変更は意図したもの

新しい見た目を採用する

レポートで 1 クリック、元に戻すこともできます。

アサーションが間違ったことを確認している

アサーションを編集する

テストが GUI Test Studio で、まさにそのアサーションを選んだ状態で開きます。

レポートを読み終えたら、判断を下します。3 つのどれも、レポートそのものから実行できます。
見つけたものすること方法
アプリのバグバグレポートを登録します。「バグレポート」ボタンを押すと、実行の内容から入力されたフォームが開きます: タイトル、何が不合格になったか、再現手順、環境です。PDF または Excel ファイルとして保存するか、Jira の課題を作成します。
意図した変更新しい見た目を採用します。1 クリックで、実行が見つけたものが新しい期待する見た目になります。元に戻すこともでき、「保存」でテストに書き込まれます。
間違ったことを確認しているアサーションアサーションを編集します。テキストアサーションの期待する言葉をレポートで変更するか、そのアサーションを選んだ状態で GUI Test Studio でテストを開きます。
バグレポートは自動で書かれます。読んで、調整して、保存します。

それぞれの手順はバグレポートを作成するとアプリを意図して変えたときで順に説明しています。採用するのは目で確かめたものだけにしてください: 自己修復テストで説明しているように、すべての変更に自動で追従するテストは本物のバグを隠します。

不合格の実行を 5 つのステップで読む方法

  1. 1

    上部の判定を読む

    信頼度レポートのバナーには、実行がどう終わったか、いくつのアサーションと操作が合格したか、どのステップで不合格になったかが示されます。

  2. 2

    最初の不合格に移動する

    F8 を押すか、次の失敗をクリックします。その行にはステップに付けた名前が表示されるので、ワークフローのどの部分かが分かります。

  3. 3

    アサーションの 2 つの答えを読む

    要素は見つかったか、同じに見えるか。未検出ならアプリがいた画面を、差異ありなら要素そのものを疑います。

  4. 4

    画面に何が表示されていたかを見る

    期待と実際を並べて比べるか、変わったところをレポートに強調表示させます。AI スマート分析がオンなら、説明を読みます。

  5. 5

    次にすることを決める

    履歴を開いて、以前にも不合格になったかを確かめます。そのうえで、バグレポートを登録するか、変更が意図したものなら新しい見た目を採用するか、アサーションを編集します。

CI/CD パイプラインからのテスト結果

ビルドマシンでの実行も、同じように読みます。コマンドラインのランナーである gtr-cli は、CI ツールに結果を JUnit、JSON、Markdown で渡し、実行の動画、画像、保存されたレポートをアーティファクトとして残します。誰も見ていなかったからといって、実行の情報が失われることはありません。

不合格になったビルドは、手順と画像の付いた Jira の課題を自分で登録することもできます: 失敗したすべてのテストが Jira のバグになるをご覧ください。オプションの一覧はパイプラインでテストを実行するにあります。

始める前に知っておくこと

知っておくと便利なこと意味
レポートが示すのは、テストが確認したものどのアサーションの対象外でもある問題は、レポートに載りません。テストは、確認するよう指示されたものを確認します。
止まった実行は一部だけの実行残りが頼っている不合格のあとでは、それ以降のステップは実行されていません。最初の不合格を直してから、もう一度実行してください。
AI は実行のあとに答えるAI がオンのときは、不合格のアサーションが見直されている間、レポートに検証中である旨が表示され、すべての答えがそろうと判定が確定します。
判断には人が必要レポートは違いを示し、説明します。それがバグかどうかは、アプリが何をすべきかを知っている人が判断します。

要点

  • 1テストレポートは対応しなければならない人のためのものなので、コードがどこで止まったかではなく、ユーザーに何が見えたはずかを伝える必要があります。
  • 25 つの質問を順番に: 合格したか、どこで止まったか、画面に何が表示されていたか、バグか意図した変更か、以前にも起きたか。
  • 3各アサーションは 2 つの答えを返します: 未検出ならアプリがいた画面を、差異ありなら要素そのものを指しています。
  • 4信頼度レポートは期待と実際を並べて示し、自分で付けたステップ名、実行の動画、過去の実行の履歴も表示します。
  • 5読み終えたら、3 つの対応のどれかで終わります: 自動で入力されたバグレポート、1 クリックで採用した新しい見た目、または編集したアサーション。

よくある質問

テストレポートはどう読めばよいですか?

判定から始めて、最初の不合格に移動します。そのステップについて、画面に何が表示されていたか、違いはバグか意図した変更か、以前にも起きたかを問います。そのうえで、バグを登録するか、変更を採用するか、アサーションを編集します。

良いテストレポートには何が含まれるべきですか?

5 つの質問への答えです: 実行は合格したか、どこで止まったか、画面に何が表示されていたか、バグか意図した変更か、以前にも起きたか。赤と緑の行のリストが答えるのは、最初の 1 つだけです。

壊れたのがアプリかテストかを見分けるには?

不合格になったステップで画面に表示されていたものを、期待したものと並べて見ます。画面が間違っていれば、アプリが壊れています。画面が正しく、ただ新しく見えるだけなら、アプリが意図して変わったので、テストを追従させるべきです。

不合格のアサーションの「未検出」と「差異あり」の違いは何ですか?

未検出は、アサーションが待っている間に要素が一度も表示されなかったことを意味します。差異ありは、要素はあったものの、文言、色、アイコンなど何かが変わったことを意味します。前者はアプリがいた画面を、後者は要素そのものを調べるよう促します。

不合格のテストを理解するのに AI は必要ですか?

いいえ。信頼度レポートは、AI を使わなくても、期待と実際を並べて違いを強調表示します。AI スマート分析は任意です: 自分のキーを使うクラウドの AI、またはローカル AI モデル (当社が提供するもの、または自分で用意したもの) で、平易な言葉の説明を加えます。

アプリを意図して変えたためにテストが不合格になったら、どうすればよいですか?

新しい見た目を採用します。信頼度レポートでは、1 クリックで実行が見つけたものがそのアサーションの新しい期待する見た目になり、元に戻すこともでき、「保存」でテストに書き込まれます。

不合格のテストを、そのままバグレポートにできますか?

はい。信頼度レポートの「バグレポート」ボタンを押すと、実行の内容からすでに入力されたフォームが開きます: タイトル、何が不合格になったか、再現手順、環境です。PDF または Excel ファイルとして保存するか、そこから Jira の課題を作成します。

過去の実行のレポートはどこにありますか?

テストとともにあります。各実行の信頼度レポートはテストファイルの隣に保存され、画像も含めてそのときのまま再び開きます。テストの履歴にはすべての実行が並び、どれでも開けます。

Jira と Excel は各所有者の商標です。

すべての記事