スモークテスト、サニティテスト、リグレッションテストの違い: どれをいつ実行するか

スモークテスト、サニティテスト、リグレッションテストの違い: それぞれが何を確認し、いつ実行するか、そして記録した同じテストで 3 つすべてを実行する方法。

執筆: Ait Nohaila (事業開発担当) 読了 9 分

スモークテストは、新しいビルドが起動し、主要な機能が応答することを確認します。サニティテストは、1 件の修正や変更を深く確認します。リグレッションテストは、これまで動いていたものが何も壊れていないことを確認します。3 つの違いは、広さ、深さ、タイミングです。

ほとんどのチームはこの 3 つの名前を知っていながら、3 つとも、時間があるときに手作業で実行しています。リリースが遅れると、時間のかかるリグレッションテストが真っ先に削られ、昔のバグが顧客の目の前で再発します。

スモークテスト、サニティテスト、リグレッションテストの違い: 短い答え

アプリをグリッドとして思い浮かべてください: 左から右へ機能が並び、上から下へ各機能をどこまで深くテストするかを表します。3 種類のテストは、そのグリッドの別々の部分を照らします。

スモークテスト

広く浅く

このビルドはテストする価値があるか?

サニティテスト

狭く深く

この修正は正しく動くか?

リグレッションテスト

広く深く

ほかに何か壊れていないか?

どのグリッドも同じアプリを表します: 左から右へ機能、上から下へテストの深さです。光っているセルが、それぞれのテストが見る部分です。

スモークテストとは?

定義

スモークテストは、新しいビルドがそもそもテストできるほど安定しているかを確認する、短いテストのセットです。アプリを起動し、主要な機能に 1 回ずつ触れます: アプリが開く、ユーザーがサインインできる、主要な画面が読み込まれる、重要な操作が応答する、といった点です。細部は見ません。スモークテストに失敗したビルドはすぐに開発者へ差し戻されるので、そのテストに誰かが 1 日を無駄にすることはありません。

スモークテストは、ビルドが作られた直後に実行するため、ビルド検証テスト (BVT) とも呼ばれます。その価値は速さにあります: 数分で終わり、ビルドのたびに実行でき、最後にはっきりとした合否が出ます。

サニティテストとは?

定義

サニティテストは、1 件の修正や小さな変更が動くこと、そしてアプリのその周辺が引き続き妥当に動作することを、すばやく狭く確認するテストです。バグ修正や小さな変更を含むビルドに対して実行します。その 1 か所を深く掘り下げ、ほかの部分には触れません。合格すれば、そのビルドは時間のかかるリグレッションテストを実行する価値があります。

手作業のサニティチェックは、その場の思いつきで行われがちです: テスターが修正箇所の周辺を、記憶に頼ってクリックして回ります。手早く済みますが、何を見たかの記録は残らず、2 人のテスターが同じところを見ることはめったにありません。

リグレッションテスト (回帰テスト) とは?

定義

リグレッションテスト (回帰テスト) は、変更のあとに既存のテストをもう一度実行し、すでに動いていたものが何も壊れていないことを確認します。広く、深く行います: 重要なワークフローをすべて、結果を検証しながら実行します。3 つの中で最も時間がかかるため、夜間やリリース前に実行します。

この記事では、あえて短くまとめています。リグレッションテストの種類やスイートに入れるべきものを含む詳しいガイドは、リグレッションテストとはをご覧ください。

スモークテスト、サニティテスト、リグレッションテストを並べて比較

比べる点スモークテストサニティテストリグレッションテスト
問いかけることこのビルドはテストする価値があるか?この修正は正しく動くか?ほかに何か壊れていないか?
広さアプリ全体1 つの機能または 1 件の修正アプリ全体
深さ浅い: 機能ごとに 1 回触れる1 か所を深く重要なところはどこでも深く
いつ実行するかビルドのたびに修正や小さな変更のあと毎晩とリリース前
かかる時間数分数分1 時間以上、無人で
失敗の意味ビルドを差し戻す修正を差し戻すユーザーが目にする前にリグレッションを検出

スモークテストとサニティテストは、最も混同されやすい組み合わせです。見分け方は、何を見るかです: スモークテストはビルド全体を見て、サニティテストは 1 件の変更を見ます。

どれを、リリースのどの時点で実行するか

この 3 つは競い合うものではありません。それぞれにリリースの中での出番があり、それぞれが次のテストを実行する価値があるかを決めます。

ビルドのたびに

スモークスイート

短いテストを数件、数分で。失敗すればビルドを差し戻します。

修正や小さな変更のあと

サニティチェック

修正をカバーするテストをもう一度実行し、その結果を確認します。

毎晩、そしてリリース前

リグレッションスイート

すべてのテストを、無人で。レポートは朝に読みます。

テストが短いほど、頻繁に実行します。最も長いものは、誰も待っていない間に実行します。
  • 順序はいつも同じです。まずスモーク: ビルドが起動できない、またはユーザーがサインインできないなら、ほかを実行する意味はありません。次にサニティ: 修正が動かないなら、長い実行の前にビルドを差し戻します。最後にリグレッション: ビルドが安定し、修正が正しいと分かってから、残りすべてを確認します。

1 週間、1 つのアプリ: 3 つのテストの実際

例請求書アプリの 3 日間

以下の数字は、切りのよい値を使った例です。

いつ実行したもの分かったこと
月曜日、新しいビルドが届くスモークスイート: サインインし、顧客を開き、請求書を作成し、エクスポートします。5 件のテストで 4 分。すべて合格。このビルドはテストする価値があります。
火曜日、税額の端数処理のバグを修正サニティチェック: 請求書のテストをもう一度実行し、合計を確認します。合格。修正は正しく動いています。
火曜日の夜リグレッションスイート: 40 件のテストすべて。1 件が不合格: クレジットノートの合計が間違っています。修正の影響がそこまで及んでいました。

クレジットノートのバグは、3 週間後に顧客が見つけるのではなく、水曜日の朝にレポートで見つかります。夜間の実行がなければ、修正はこのバグを抱えたままリリースされていたはずです。

リグレッションテストが真っ先に省かれる理由

  • 手作業では、この 3 つが同じ時間を奪い合います。ビルドのたびにスモークテストを行うと、テスターは 1 日に何度も本来のテストから引き離されます。記憶に頼ったサニティチェックは、何を見たかの痕跡を残しません。リグレッションテストを全部行うには何日もかかるため、リリースが遅れると、誰かが覚えている画面だけに縮んでしまいます。再発するバグは、誰にも見る時間がなかった画面に潜んでいます。
リグレッションテストを省こうと決める人はいません。リリースが遅れるたびに、少しずつ押し出されていくのです。

Selenium や Playwright のようなコードで書くフレームワークでこの 3 つを自動化すると、作業はプログラマーに移ります: 誰かがスクリプトを書き、コードの中でスモークかリグレッションかの印を付け、画面が変わるたびに直します。製品を最もよく知るテスターは、それに手を出せません。手動テストと自動テストの比較では、この引き換えを詳しく見ています。

記録済みテストなら、3 つは同じテストで、グループ分けが違うだけ

GUI Test Studio は、あらゆるアプリのエンドツーエンドテストをコードなしで自動化します。GUI Test Runner-Recorder が記録している間にアプリでワークフローを一度行うと、あとはテストが自動で再生されます: 毎回の実行で、同じステップを同じ順序で行います。

ワークフローが記録済みのテストになれば、スモーク、サニティ、リグレッションは 3 つの別々の作業ではなくなります。同じテストファイルをグループ分けして実行する、3 通りの方法になります。

スモークスイート

6 件中 3 件のテスト

サインイン商品を検索決済注文履歴返金請求書をエクスポート

ビルドのたびに

サニティチェック

6 件中 1 件のテスト

サインイン商品を検索決済注文履歴返金請求書をエクスポート

決済の修正後

リグレッションスイート

6 件中 6 件のテスト

サインイン商品を検索決済注文履歴返金請求書をエクスポート

毎晩

一度作った、6 件の記録済みテスト。スモークスイート、サニティチェック、リグレッションスイートは、その中からテストを選ぶ 3 通りの方法です。
実行の種類記録済みテストでの中身実行方法
スモークスイート主要な機能ごとに 1 件ずつの、短いテスト数件。gtr-cli で、ビルドのたびに。
サニティチェック修正をカバーする 1 件のテストを、もう一度実行。「テストを実行」で、またはテストの途中から。
リグレッションスイート手元にあるすべてのテスト。gtr-cli で、毎晩とリリース前に。
  • 同じテストを 3 つの役割すべてで使えるのは、3 つの仕組みのおかげです。どのアサーションも期待するものを待ち、現れた瞬間に先へ進むので、短いテストは短いままです。「サインイン」のようなステップのまとまりは、ほかのテストが再利用できるシナリオなので、記録は一度で済みます。GTS Engine は、まずアプリのアクセシビリティ情報で、アプリが何も伝えないときは見た目で各要素を見つけるので、画面の小さな変更ではテストは壊れません。

待つアサーションが固定の長さの待ち時間に勝る理由はテストの固定スリープに、あるテストのステップを別のテストで再利用する方法はシナリオにあります。

サニティチェックのために、長いテストを最初から再生する必要はありません。GUI Test Studio で、修正した部分が始まる位置に再生ヘッドを置き、保存して再生ヘッド位置から実行を選びます: アプリをその時点の状態にしておけば、そこから先のステップだけが実行されます。テストを実行するで説明しています。

同じテストからスモークスイートとリグレッションスイートを作る方法

準備は全部で 6 つの小さな手順で、本当に時間がかかるのは最初の 1 つだけです。

  1. 1

    各ワークフローを一度記録する

    GUI Test Runner-Recorder で「記録」をクリックし、ユーザーと同じようにアプリでワークフローを行います。重要なワークフローがそれぞれ 1 つのテストファイルになり、画面に表示された内容のアサーションが付きます。

  2. 2

    共通のステップをシナリオとして共有する

    サインインのように、どのテストも最初に行うステップを、「サインイン」という名前のシナリオにグループ化します。そのテストをほかのテストにシナリオとして追加すれば、サインインは一度記録するだけで再利用できます。

  3. 3

    スモークテストを選ぶ

    主要な機能ごとに短いテストを 1 件選びます: アプリが開く、ユーザーがサインインする、メイン画面が読み込まれる、重要な操作が応答する、といったものです。それらのテストファイルは、tests\smoke のような 1 つのフォルダーにまとめておきます。

  4. 4

    より深いテストは 2 つ目のフォルダーに置く

    ほかのテストはすべて、tests\regression のようなフォルダーに入れます。リグレッションスイートは、両方のフォルダーを合わせたものです: 手元にあるすべてのテストです。

  5. 5

    スモークはビルドのたびに、すべては夜間に実行する

    ビルドマシンでは、gtr-cli がビルドのたびに smoke フォルダーを、毎晩両方のフォルダーを実行します。テストが失敗するとビルドが失敗し、どの実行もレポート、動画、画像を残します。

  6. 6

    修正のあとは、1 件のテストをもう一度実行する

    修正をカバーするテストを開き、「テストを実行」をクリックします: これがサニティチェックです。長いテストでは、アプリをその時点の状態にしておき、GUI Test Studio で再生ヘッドから実行を開始します。

サニティチェックは「テストを実行」を 1 回クリックするだけで、「実行」カードが結果を過去の結果と並べて残します。

スモークテストはビルドのたびに、リグレッションテストは毎晩実行する

ビルドマシンでは、gtr-cli がどの CI/CD ツールでもコマンドラインからテストを実行します。テストファイル、フォルダー、パターンを、いくつでも指定できます。フォルダーを指定すると、その中のテストファイルが実行されます。

同じテストを、2 つのタイミングで
gtr-cli run tests\smoke --countdown 0 --junit results\smoke.xml
gtr-cli run tests\smoke tests\regression --countdown 0 --junit results\regression.xml
  • 1 行目はビルドジョブ用で、テストが失敗すると終了コードによってビルドが失敗します。2 行目は夜間ジョブ用です。どの実行も、CI ツールが読み取る結果ファイルを書き出し、信頼度レポート、動画、画像を残します。

朝、不合格になったリグレッションテストは、推測するのではなく読んで確かめます: 信頼度レポートには、失敗したステップ、期待した内容と実際に見つかった内容の対比、過去の実行の履歴が示されます。テストレポートの読み方では最初に見るべき点を説明し、パイプラインでテストを実行するには gtr-cli のすべてのオプションの一覧があります。

始める前に知っておくこと

制限意味
実行は実際の画面を使うWeb テストをブラウザーウィンドウなしで実行する場合を除き、テストは 1 台のマシンで 1 件ずつ順番に実行されます。夜間のリグレッション実行には、誰も使っていないビルドマシンを用意してください。
同じ開始状態テストは、記録したときの状態から再生されます。各スイートはアプリをその状態に戻す必要があり、Web テストは専用のまっさらなブラウザーウィンドウを自分で開きます。
テストは指示されたものだけを検証するスモークスイートがすべて合格なら、主要な機能が応答するということです。細部まですべて正しいとは言っていません: それはリグレッションスイートの仕事です。

要点

  • 1スモークテストは広く浅く。ビルドがテストする価値があるかを数分で判断します。
  • 2サニティテストは狭く深く。長い実行が始まる前に、1 件の修正を確認します。
  • 3リグレッションテストは広く深く。変更によって、動いていたものが何も壊れなかったことを証明します。
  • 4それぞれに出番があります: スモークはビルドのたびに、サニティは修正のあとに、リグレッションは毎晩とリリース前に。
  • 5記録済みテストなら、3 つは 1 組のテストファイルです。GUI Test Studio は、コードなしで、それを 3 通りにグループ分けして実行します。

よくある質問

スモークテストとサニティテストの違いは何ですか?

スモークテストは、ビルド全体を浅く確認し、テストできるほど安定しているかを判断します。サニティテストは、1 件の修正や小さな変更を深く確認します。スモークが先で、ビルドのたびに実行し、サニティは修正を含むビルドのあとに続きます。

スモークテストとリグレッションテストの違いは何ですか?

スモークテストは主要な機能に 1 回ずつ触れ、数分で終わります。リグレッションテストは重要なワークフローをすべて、結果を検証しながら実行し、数時間かかることもあります。スモークテストはビルドが生きていることを、リグレッションテストは動いていたものが何も壊れていないことを伝えます。

サニティテストはリグレッションテストの一部ですか?

実際には、そうです。サニティチェックは、リグレッションスイートの小さな一部分です: 変更された箇所をカバーするテストです。修正の直後に実行し、リグレッションスイート全体は、あとで夜間やリリース前に実行します。

スモーク、サニティ、リグレッションテストは、どの順番で実行しますか?

スモークテストが最初で、新しいビルドのたびに実行します。次がサニティテストで、ビルドに修正や小さな変更が含まれるときに実行します。リグレッションテストは 3 つの中で最も時間がかかるため最後で、夜間やリリース前に実行します。

ビルド検証テスト (BVT) とは何ですか?

ビルド検証テストは、スモークテストの別名です。ビルドが作られた直後に実行し、1 つの問いに答えます: このビルドは、さらにテストを進められるほど安定しているか。

スモークスイートには何件のテストを入れるべきですか?

少数です: 主要な機能ごとに短いテストを 1 件、たいてい全部で 5 件から 10 件にして、スイート全体が数分で終わるようにします。遅くなったスモークスイートはビルドのたびに実行されなくなり、そうなると何も守れません。

スモークテストが失敗したら、ビルドを失敗にすべきですか?

はい。スモークテストに失敗したビルドは、それ以上テストする価値がないので、パイプラインを止めてチームに知らせるべきです。GUI Test Studio では、gtr-cli がパイプラインの読み取る終了コードで終了するので、テストが失敗すればビルドも失敗します。

スモークテストとリグレッションテストは、コードなしで自動化できますか?

はい。GUI Test Studio では、アプリで実際に操作して各ワークフローを一度記録すると、テストが自動で再生されます。スモークスイートとリグレッションスイートは、同じテストファイルの 2 つのグループになり、gtr-cli がビルドのたびに、そして毎晩実行します。

Selenium、Playwright、Windows は各所有者の商標です。

すべての記事