監査のためのテストエビデンス: 監査人が自動テストに求めるもの

監査のためのテストエビデンス: 監査人が自動テストに何を求めるか、そして各実行がレポート、動画、画像、履歴を証拠として自動で残す仕組み。

執筆: Ait Nohaila (事業開発担当) 読了 11 分

テストエビデンスとは、テストが本当に実行されたことの証拠です: 何をテストしたか、いつ、どのバージョンで、どんな結果だったか、そして画面に何が表示されていたかです。監査人は、すべての実行について、数か月後でも読めるエビデンスを求めます。

銀行、医療ソフトウェアのサプライヤー、公共サービス、あるいは監査を受けるどんな企業でも、「テストは合格しました」は答えになりません。監査人は、それを見せるよう求めます。すると、テスターは監査前の数日を費やして、何週間も前に実行したテストのスクリーンショットをドキュメントに貼り付けることになります。

テストエビデンスとは?

定義

テストエビデンスとは、その場にいなかった人が、テストが実行されたことと、そこで何が見つかったかを確かめられるもののすべてです。エビデンスは、テストとそれが検証する内容を示します。日付、バージョン、結果を示します。不合格になったステップだけでなく、合格したステップについても、画面がどう見えていたかを示します。良いエビデンスは、アプリを一度も見たことのない人が 1 年後に開いても理解できます。

テストの監査証跡は、同じ考え方を時間軸に広げたものです: すべての実行のエビデンスを順番に残し、リリースからリリースへと何がテストされたかを誰でもたどれるようにします。

ビルドログの緑のチェックマークがエビデンスにならない理由

緑で終わったパイプラインが証明するのは 1 つだけです: コマンドが実行され、エラーなしで終わったことです。どのステップが実行されたか、各アサーションが何を比較したか、そのとき画面に何が表示されていたかは何も示しません。

ビルドログ

tests: passed
どのステップが実行されたか?
各アサーションは何を比較したか?
画面には何が表示されていたか?

主張だけで、開いて確かめるものがありません。

同じ実行のエビデンス

すべてのステップとすべてのアサーション、その判定とともに
期待画像と実際の画像を並べて
実行全体の動画

あとから誰でも開ける証拠。

同じ実行を 2 通りに伝えたものです。監査人が受け入れるのは 2 つ目です。
結果は主張です。エビデンスは、ほかの人がその主張を確かめられるようにするものです。

この差が最も重要になるのは、何かがうまくいかなかった日です。不具合が顧客に届いたとき、問われるのはもはやテストが合格したかどうかではありません。テストが正確に何を見ていたかであり、それはチェックマークからは誰にも答えられません。

監査人が尋ねること、そしてそれに答えるエビデンス

監査の対象が財務統制でも、医療ソフトウェアの品質システムでも、情報セキュリティでも、テストについての問いは同じ形をしています。どの問いにも、問われた時点ですでに存在しているべき答えがあります。

監査人が尋ねることそれに答えるエビデンス
何をテストしたか?テストそのもの: すべてのステップとすべてのアサーションを収め、分かりやすい言葉で読めるファイルです。
いつ実行したか?レポートに表示され、結果とともに保存される実行の日時。
どのバージョンで?テストを実行したパイプラインのビルド (エビデンスはそのビルドのアーティファクトとして保存)。
結果はどうだったか?実行とすべてのアサーションの判定: 合格、または不合格とその理由。
画面には何が表示されていたか?実行の動画と、期待画像と実行で見つかったものの比較。
以前は合格していたか?同じテストの過去の実行の履歴。
不合格はその後どうなったか?再現手順つきのバグレポート、またはそれをもとに課題管理ツールで作られた課題。
合格と判断したのは誰か?毎回同じ、アサーション自身の比較、または説明とともに保存された AI の判定。
テストが期待する内容を変えたのは誰か?バージョン管理にあるテストファイルの履歴: 変更ごとに作成者と日付が残ります。

手作業でのテストエビデンス集めが続かない理由

多くのチームは、これらの問いにドキュメントで答えています: テスターがシナリオを実行し、各画面のスクリーンショットを撮り、ステップの下に貼り付けて、ページに署名します。

  • 1 回のリリースならうまくいきますが、やがてコストが見えてきます。監査やリリースのたびに、何日もかかる作業が戻ってきます。誰かが撮ろうと思った画面しか残らず、その間の画面は決して残りません。後からでも作れてしまい、それこそ監査人が疑うことを仕事にしている点です。丁寧な一人の担当者に頼りきりで、その人が不在になると止まります。

GUI Test Studio が実行ごとに自動で残すもの

GUI Test Studio は、あらゆるアプリのエンドツーエンドテストをコードなしで自動化します: ワークフローを一度記録するか、プロンプトで説明すれば、テストがそれを再生します。手元の実行でもパイプラインでの実行でも、誰が求めなくても、毎回同じエビデンスが残ります。

1 回の実行

テスト日時判定

信頼度レポート

すべてのステップ、何が合格し、何が不合格になったか、その理由

実行の動画

合格したものも含め、すべてのステップ

画像

期待したものと、実行で見つかったものを並べて

結果ファイル

JUnit と JSON、パイプライン用

履歴

同じテストの過去の実行

バグレポート

PDF または Excel、再現手順つき

1 回の実行のエビデンスフォルダーです。実行がそのすべてを、自分で選んだフォルダーにファイルとして自動で書き出します。
エビデンス含まれるもの
信頼度レポート判定、続いてすべてのステップが順番に: 何が合格し、何が不合格になったか、その理由。実行とともに保存され、開き直すとそのままの状態で表示されます。
実行の動画最初のステップから最後のステップまで実行全体を収めているので、合格したステップも確認できます。
期待結果と実際の結果ビジュアルのアサーションでは、テストが期待する画像と実行で見つかったものを並べ、変化した部分を強調して表示します。
結果ファイルgtr-cli が書き出す、CI ツール用の JUnit ファイルと独自のスクリプト用の JSON ファイル。
履歴同じテストの過去のすべての実行を、アサーションごとに。
バグレポート不合格の場合: 再現手順と画像を含む PDF または Excel ブック。
合格した実行もエビデンスです: すべてのステップとすべてのアサーションが、その判定とともにテストと一緒に保存されます。

信頼度レポートのガイドではレポートに表示されるすべてを説明し、テストレポートの読み方では不合格を判定から次のステップまで順にたどります。

テストの監査証跡: すべての実行の履歴

1 回の実行が答えるのは、今日何が起きたかです。監査が尋ねるのは、1 年間に何が起きたかです。レポートのツールバーにある履歴は、テストのすべての実行にわたって各アサーションを追跡します: どの実行で最初に不合格になったか、各アサーションが時間とともにどう推移したか、2 つの実行の間で何が変わったかです。過去のどの実行のレポートも、そこから開けます。

テストのすべての実行を順番に。各アサーションが最初に不合格になった日付が記されます。
  • テストそのものにも証跡があります。テストは 1 つのファイルなので、チームがすでに使っているバージョン管理やバックアップされたストレージにそのまま収まります。そうすれば、テストが期待する内容の変更ごとに、作成者と日付が残ります。コマンドラインからの実行がテストファイルを変更することはないので、実行されたものはレビューされたものと同じです。

誰が判断したのか? 監査人が確認できるアサーションと AI の判定

テストに AI が入ってきた途端、監査人は新しい問いを投げかけます: これを合格と判断したのは誰か? その答えは、人が開いて読めるものでなければなりません。

実行中: 記録したステップがそれだけで再生され、AI がアプリを操作することはありません。

AI オフ

各アサーションは、それぞれの比較だけで判定します

同じ画面なら、毎回の実行で同じ判定になります。

AI スマート分析オン

不合格のアサーションをもう一度見る

AI の判定とその説明が、実行とともに保存されます。

どちらの場合も、各アサーションを誰が判定したかがレポートに示されます。AI はチームが選ぶものであり、オフのままにしておけます。
設定アサーションを判定するもの保存されるもの
AI オフ (インストール時の状態)アサーション自身の比較。毎回の実行で同じように合格または不合格になります。判定と画像。
AI スマート分析オン不合格のアサーションについて、AI がもう一度見て、そのアサーションの最終判定を下します。判定、分かりやすい言葉での説明、見つかったすべての違い、そして AI に与えられた指示。

AI は任意で、選ぶのはチームです: 自分のキーで使うクラウド AI、ローカル AI モデル (当社が提供するもの、または独自のもの)、または AI なし。答えは実行とともに保存されるので、レポートを開き直しても AI に何かを尋ね直すことはなく、履歴には過去の各実行で AI が何と言ったかが表示されます。AI スマート分析をご覧ください。

自分たちのコンピューター上にとどまるエビデンス

監査人の次の問いは、エビデンスがどこにあり、誰がアクセスできるかです。GUI Test Studio では、テスト、記録、実行、レポートは自分たちのコンピューター上のファイルです。すべての実行は、テスト自身のフォルダーの中にある結果フォルダーに保存されます。

  • そのため、3 つの決定がチームの手に残ります。エビデンスをどれだけ保管するかは、プロバイダーの規則ではなく自社の保管規則に従います。誰が開けるかは、自社のフォルダーとビルドサーバーのアクセス権に従います。どこにアーカイブするかは、ほかの記録をすでに保管している場所で決まります。

動画には画面に表示されたものがそのまま映るので、テストはテスト用アカウントと架空のデータで実行してください。テスト自動化におけるデータプライバシーでは本物の記録をスクリーンショットから締め出す方法を説明し、ソフトウェアテストにおける AI 主権では、どの AI に画面を見せるかを誰が決めるかを取り上げています。

パイプラインですべての実行のエビデンスを残す方法

コマンドラインのランナーである gtr-cli は、同じテストをどの CI/CD ツールでも実行し、指定した場所にエビデンスを書き出します。パイプラインでテストを実行するに、すべてのオプションの一覧があります。

  1. 1

    パイプラインが読める場所にテストを置く

    テストは 1 つのファイルです。プロジェクトと一緒に、バージョン管理か、ビルドマシンが読める共有フォルダーに置いておけば、テストが期待する内容の変更ごとに作成者と日付が残ります。

  2. 2

    gtr-cli でテストを実行し、結果ファイルを出力する

    パイプラインにこのコマンドを追加します。JUnit ファイルは CI ツールのテスト結果ページに取り込まれ、JSON ファイルには同じ結果が独自のスクリプトやダッシュボード用に入ります。

    フォルダー内のすべてのテストを実行し、そのエビデンスを残す
    gtr-cli run tests --junit results\tests.xml --json results\tests.json --artifacts evidence --bug-report pdf
  3. 3

    エビデンスを 1 つのフォルダーに集める

    アーティファクトのオプションは、各テストの動画、信頼度レポート、不合格時の画像を、指定したフォルダーに集めます。

  4. 4

    不合格になったテストごとにバグレポートを出力する

    バグレポートのオプションは、不合格になったテストごとに、再現手順を含む入力済みのレポートを PDF で書き出します。

  5. 5

    フォルダーをビルドのアーティファクトとして保存する

    結果とエビデンスのフォルダーをアーティファクトとして保存するよう CI ツールに指定します。そうすればビルド番号がエビデンスとテストしたバージョンを結びつけ、CI ツールの保管期間が適用されます。

  6. 6

    求められたら実行をもう一度開く

    パイプラインでの実行も、各テストの結果フォルダーに保存されます。GUI Test Runner-Recorder でテストを開くと、履歴にそれらが手元の実行と並んで表示されます。過去のどの実行のレポートも、そのままの状態で開き直せます。

オプション残すもの
--junitCI ツールがテスト結果ページのために読み込む結果ファイル。
--json同じ結果を、独自のダッシュボードやスクリプト用に。
--artifacts各テストの動画、信頼度レポート、不合格時の画像を 1 つのフォルダーに。
--bug-report pdf不合格になったテストごとの、入力済みのバグレポート。

実行が不合格になったとき: バグレポートもエビデンスになる

監査は、すべてのテストが合格することを求めてはいません。すべての不合格がフォローされていることを求めます。不合格になった実行には、そのために必要なものがすでにそろっています: そこに至ったステップ、期待した内容、代わりに表示された内容、そして以前に何回不合格になったかです。

バグレポートは実行の内容から入力されます。読んで、調整して、保存します。

レポートのバナーにあるバグレポートで、画像の zip を添えた PDF または Excel ブックとして書き出すか、自社の Jira サイトに課題を作成します。バグレポートを作成すると、不合格の実行がどんな課題になるかについてはJira を信頼度レポートにつなぐをご覧ください。

例1 件の不合格を、最初から最後まで追う

ビルド 418 が注文概要で不合格になります。そのビルドのエビデンスフォルダーには、レポート、動画、PDF のバグレポートが入っています。開発者が合計を修正し、ビルド 419 は合格し、そのレポートも同じように保存されます。1 年後でも、不合格、バグ、修正、修正の証拠という一連の経緯をすべて開いて確かめられます。

始める前に知っておくこと

制限その意味
コンプライアンスを満たしてくれるわけではないGUI Test Studio は、示すためのエビデンスを提供します。それが正しいエビデンスか、適切な期間保管されているかは、自社の規則で決まります。
アプリのバージョンは把握していない把握しているのはパイプラインです。エビデンスをテストしたビルドのアーティファクトとして保存すれば、ビルド番号が両者を結びつけます。
テストは、検証するよう言われたことを検証するエビデンスが証明するのは、それらのアサーションが実行されたことと、何が見つかったかであり、ほかに何も問題がないことではありません。
ファイルの保管はチームの仕事エビデンスはチームのものです: バックアップを取り、誰が実行を削除したりテストの履歴を消去したりしてよいかを決めてください。

要点

  • 1テストエビデンスとは、ほかの人が開ける証拠です: 何をテストしたか、いつ、どのバージョンで、どんな結果だったか、そして画面に何が表示されていたかです。
  • 2緑のチェックマークは主張にすぎず、手作業で集めたエビデンスは何日もかかるうえ、いつでも疑われかねません。
  • 3GUI Test Studio は、実行ごとのエビデンスを自動で残します: 保存されたレポート、動画、画像、結果ファイル、そして履歴です。
  • 4誰が判断したかを監査人が確認できます: 各アサーション自身の比較か、説明とともに保存された AI の判定で、AI はオフのままにもできます。
  • 5エビデンスは自分たちのコンピューター上のファイルなので、保管期間とアクセスは自社の規則に従います。コンプライアンスを満たしてくれるわけではありません: 示すべきものを提供します。

よくある質問

テストエビデンスとは?

テストエビデンスとは、テストが本当に実行されたことと、何が見つかったかの証拠です。何をテストしたか、いつ、どのバージョンで、どんな結果だったかを伝え、画面がどう見えていたかを示します。「合格」と書かれた 1 行は主張であり、それを裏付けるのがエビデンスです。

監査人は自動テストから何を見たいのですか?

監査人が見たいのは、各テストが何を検証しているか、いつ実行されたか、ソフトウェアのどのバージョンで、結果はどうだったか、そしてあとから開ける証拠です。不合格については、それに対して何が行われたかも見たいと考えます。

合格したビルドだけで、テストの証拠として十分ですか?

いいえ。合格したビルドが証明するのは、何かが実行され、エラーなしで終わったことです。どのステップが実行されたか、各アサーションが何を比較したか、画面に何が表示されていたかは示しません。実行のレポート、動画、結果ファイルをビルドとともに保存してください。

自動テストの監査証跡はどう作ればよいですか?

実行ごとに 3 つのものを残します: その時点のテスト、実行の結果、そしてそれらが属するビルドです。GUI Test Studio では、gtr-cli が結果ファイルを書き出し、レポート、動画、画像を 1 つのフォルダーに集め、パイプラインがそのフォルダーをビルドのアーティファクトとして保存します。

テストエビデンスはどれくらいの期間保管すべきですか?

自社の規則が定める期間です。決めるのは、監査の基準となるフレームワーク、契約、品質システムであって、テストツールではありません。GUI Test Studio はエビデンスを自分たちのコンピューター上のファイルとして書き出すので、ほかの記録ですでに使っている保管規則をそのまま適用できます。

監査を受けるテストで AI を使えますか?

はい、その役割が明確で、答えが保存されていれば使えます。GUI Test Studio では、実行中に AI がアプリを操作することはありません。AI スマート分析は任意で、不合格のアサーションだけを見て、その判定と説明は実行とともに保存されます。オフにすれば、各アサーションはそれぞれの比較だけで合格か不合格かが決まります。

GUI Test Studio を使えば、チームはコンプライアンスを満たせますか?

いいえ。コンプライアンスは監査人が自社のプロセスに照らして判断するもので、どのツールにも与えることはできません。GUI Test Studio は示すべきエビデンスを提供します: 実行ごとに、保存されたレポート、動画、画像、結果ファイル、そして履歴です。

テストエビデンスはどこに保存されますか?

自分たちのコンピューター上に、ファイルとして保存されます。すべての実行はテスト自身のフォルダーの中にある結果フォルダーに保存され、パイプラインでの実行では、指定したフォルダーにすべてを集めることもできます。それらのファイルを誰が開けるか、どれだけ保管するかは、チームが決めます。

Jira と Windows は、それぞれの所有者の商標です。

すべての記事