信頼度レポートを読む
何が合格し、何が不合格だったか、その理由、各アサーションがどこまで近かったか。
レポートを開く
信頼度レポートは、実行のたびにひとりでに開きます。後でもう一度見るには、GUI Test Runner-Recorder でテストを開いて信頼度レポート (Ctrl+Shift+R) をクリックしてください。すべての実行のレポートはテストと一緒に保存され、当時のままの状態で開き直せます。
上部の判定
バナーは、実行がどう終わったか、テストが持つアサーションと操作のうちいくつが合格したか、どれだけ時間がかかったかを示します。実行が不合格のときは、その場所も示します: ステップ、アサーション、そのシナリオです。
その弱点の欄は、最も小さな余裕で合格したアサーションを指します。次に不合格になる可能性が最も高いアサーションなので、そうなる前に見ておく価値があります。
テストのキーが、このコンピューターにないキーボードレイアウトで記録されていたときは、レポートのバナーにその旨が表示されます。実行はそのまま続き、それだけで不合格になることはありません。
バナーのボタン
| ボタン | 動作 |
|---|---|
| バグレポート | 実行の内容があらかじめ入力されたバグレポートのフォームを開きます。送り先は 2 種類あります: PDF または Excel のファイルか、Jira の課題です。バグレポートを作成するを参照してください。 |
| Jira に接続 | このコンピューターに Jira サイトが接続されていない間だけ表示されます: 一度接続すれば、以後はバグレポートが Jira を提示します。この実行が報告されると、代わりに課題のキーがここに表示され、クリックすると Jira でその課題が開くか、別の課題を作成できます。 |
| フォルダー | 実行のファイルが保存されているフォルダーを開きます。 |
| 履歴を消去 | テストの履歴から以前の実行を削除し、読んでいる実行は残ります。 |
| 判定 | 起きたこと |
|---|---|
| 合格 | すべてのステップが実行され、すべてのアサーションが合格しました。 |
| 不合格: 見つかりません | アサーションがタイムアウトまで待ち続けても、期待する内容が見つかりませんでした。ビジュアルアサーションでは、これが検索フェーズです。 |
| 不合格: 異なります | 要素は見つかりましたが、記録と見た目が異なります。これが検証フェーズです。 |
| 中止 | 誰かが中止キーを押したか、時間制限で実行が終了しました。 |
ビジュアルアサーションの 2 フェーズ
すべてのビジュアルアサーションは 2 フェーズで判定され、レポートは両方を示します。どちらのフェーズが不合格だったかを知れば、どんな種類の問題があるかが分かります。
| フェーズ | 答える問い | 不合格になるとき | 見るべきところ |
|---|---|---|---|
| 検索フェーズ | 要素は画面上にありますか? テストの実行中、アサーションのタイムアウトまで要素を探します。 | 見つかりません: 要素が現れなかったか、認識できないほど大きく変わりました。 | アプリは正しい画面にありますか? 何かが要素を覆っていませんか? 要素が削除されたり、デザインが変わったりしていませんか? |
| 検証フェーズ | 期待どおりの見た目ですか? 見つかった要素は、テストが期待する内容と細かく比較されます。 | 異なります: 要素はありますが、語句、色、アイコンなど、何かが変わりました。 | アプリにバグがあるか、アプリが意図的に変わって新しい見た目を採用するか、どちらかです。 |
まず人混みの中に友人を見つけ、新しいコートを着ていても見分けられます: これが検索フェーズです。次に近くでよく見て、髪型が変わったことに気づきます: これが検証フェーズです。
検索フェーズは、わざと寛大に作られています: 要素は認識できればよく、小さな変化で見失うことはありません。検証フェーズが厳密なほうです: 目に見えない違いは除外し、本当に変わった点を報告します。
アサーションのパネルでは、フェーズが上から下へ並びます: 見つかったかどうか、次に一致するか異なるかです。その背後には、2 種類の設定があります。検索がどれだけ寛大かは、プロジェクト設定にあるテストの検索感度です。比較がどれだけ厳密かは、各アサーションの検証の厳密さです。既定値はほとんどのテストに合います: 知っておきたい設定を参照してください。
テキストアサーションとレイアウトアサーションはもっと単純です。テストの実行中に 1 段階で判定されます: テキストが読み取られるか要素の位置が特定され、アサーションは合格または不合格になります。
すべてのステップを順番に
一覧には、実行のすべての操作とすべてのアサーションが、緑または赤の印と共に表示されます。種類 (ビジュアル、テキスト、レイアウト、イベント)、結果 (不合格のみ)、シナリオ、またはテストの一部で絞り込めます: 実行のタイムラインをドラッグすると、その区間だけを見られます。
各行には、GUI Test Studio でそのブロックに付けた名前が表示されます。テストにシナリオがあると、そのステップはシナリオの色の見出しの下に一覧表示されます。見出しを折りたたむと、今見ていないステップを隠せます。
| 目的 | 操作 |
|---|---|
| 次の失敗に移動する | F8 |
| ステップを探す | 検索ボックスに入力してください: 名前、語句、シナリオ |
| ステップを表として見る | 一覧の上部で表示を切り替えてください |
ツールバーの中央には、前の失敗と次の失敗の間に失敗の数が表示されます。右端の履歴は、この実行のステップとテストの履歴を切り替えます。
実行のタイムライン
一覧の下の実行のタイムラインには、すべてのステップがその瞬間に、動画のフレームと共に表示されます。すべてのアサーションがその瞬間に印で示され、不合格のものは赤です: 印をクリックするとそのアサーションが開きます。他の瞬間をクリックするとそのステップが開き、方向キーでステップからステップへ移動できます。
タイムラインはウィンドウの下部にあります。タイトルバーをドラッグして他の端に移動したり、ウィンドウの外に出して独立させたりできます。
アサーションを 1 件ずつ見る
アサーションをクリックすると、その下にパネルが開きます。左に画像があります。中央の 3 行が、検索フェーズ、検証フェーズ、AI スマート分析の各フェーズの判定を分かりやすい言葉で示します。右には、それに対してできることがあります。
画像はパルスで開きます: 現在の画面の上で変化した箇所が光るので、目がまっすぐそこに向かいます。
2 枚の画像を比較する
画像の上のボタンで表示を切り替えます: 並べて表示、ドラッグできる分割、重ね合わせ、差分表示、そしてパルスです。どの画像も、拡大ボタンで大きく開けます。
「ビジュアル検証が不合格でした。Save ボタンで、1 か所に集中した大きなビジュアルの差異が検出されました。」 差分表示がその領域を示します: ラベルが「Save draft」になっています。アプリにバグがあるか、アプリが意図的に変わって新しい見た目を採用するか、どちらかです。
テキストアサーションとレイアウトアサーション
テキストアサーションは、期待した語句と読み取った語句を左右に並べて示します。レイアウトアサーションは、各要素の期待する位置を緑、実際にあった位置を赤で示したフレームと、移動した各要素の名前を示します。
デスクトップアプリが自分のテキストの内容を Windows に伝えているときは、テキストアサーションはまずアプリに尋ね、レポートにはアプリの答えが画面から読み取った内容の横に表示されます。
検索範囲の外で見つかりました
検索範囲の外まで探してようやく要素を見つけたアサーションは、その旨を表示し、GUI Test Studio で検索範囲を広げる...を提示します。そのアサーションのエディターでテストが開くので、ひと手間で範囲を広げられます。
履歴: いつから不合格になったか
レポートのツールバーの履歴は、テストのすべての実行にわたって各アサーションを追います: どの実行で最初に不合格になったか、各アサーションの余裕が時間と共にどう変わったか、2 件の実行の間で何が変わったかです。過去のどの実行のレポートも、そこから開けます。
別のブラウザーやデバイス
複数のブラウザーとデバイス向けに作った Web テストでは、それぞれが自分のレポートと履歴を持ちます。レポートのツールバーのブラウザーとデバイスボタンが、最後の判定と共にすべてを一覧表示し、選んだもののレポートを開きます。1 回の記録からすべてのブラウザーとデバイスへを参照してください。
次へ: アプリが意図的に変わったとき、またはバグレポートを作成する。
まだ解決しませんか?何をしようとしていたかをお知らせください。1 営業日以内に回答します。Ask our team