テストの固定スリープ: 時間を当て推量するのをやめ、代わりに画面を待つ

テストの固定スリープは、テストスイートを遅く不安定にします。各スリープを、画面を待って要素が現れた瞬間に合格するアサーションに置き換えましょう。

執筆: Ait Nohaila (事業開発担当) 読了 10 分

テストの固定スリープは当て推量です: 短すぎれば遅い日にテストが失敗し、長すぎればどの実行も時間を無駄にします。代わりに、要素が表示されたときに合格するアサーションで画面を待ちましょう。

よくあるパターンです。ビルドマシンでテストが失敗し、誰かが 2 秒のスリープを足すと、合格するようになります。1 か月後にまた失敗し、スリープは 5 秒になります。スイートは遅くなる一方で、安定はしません。

テストの固定スリープとは?

定義

固定スリープ (固定の待機) とは、次の操作の前に、決まった時間だけテストを止めるステップです。アプリに少し時間が必要なので置かれます: ページが読み込まれる、ダイアログが開く、検索結果が返ってくる、などです。この待ち時間はアプリを見ていないので、その時間が過ぎたかどうかを知ることができません。

テストコードでは、2 秒のスリープのような 1 行です。記録したテストでは、失敗のあとに誰かが手で足した待ち時間です。どちらにしても、人が数字を当て推量で決めています。

固定スリープが必ず間違う理由: 短すぎるか、長すぎるか

アプリが同じ時間で動くことは二度とありません。ビルドマシンは混み合い、ネットワークは遅く、データベースは先月より大きくなっています。1 つの固定の数字が毎日に合うことはありません。

3 秒の固定スリープ

速い日: ページの準備が 1 秒で整う

テストは 3 秒待ちます: そのうち 2 秒は無駄です。

遅い日: ページの準備が 5 秒で整う

テストは 3 秒後にクリックしますが、早すぎて失敗します。

最大 10 秒待つアサーション

速い日: ページの準備が 1 秒で整う

アサーションは 1 秒後に合格し、テストは先に進みます。

遅い日: ページの準備が 5 秒で整う

アサーションは 5 秒後に合格し、テストは先に進みます。

各バーは、テストが待機に費やした時間です。スリープはどちらの日も間違っています。アサーションは画面に合わせて動くので、どちらの日も正しく動きます。
推測した時間が何が起きるかチームに見えること
短すぎる画面の準備ができる前にテストがクリックします。遅い日に失敗し、もう一度実行すると合格するテスト: 不安定なテストです。
長すぎる画面の準備ができたあとも、テストが待ち続けます。速い日も含めて、実行のたびに時間がかかるスイート。
今日はちょうどいいアプリが変わり、推測はまた外れます。誰かが数字を増やし、スイートはまた少し遅くなります。

タイミングは、何も壊れていないのにテストが失敗する主な理由の 1 つです。ほかの理由は不安定なテストと誤検知にあります。

固定の待機がテストスイートにもたらすコスト: 簡単な計算

2 秒のスリープ 1 個は無害に見えます。スイートにはそれが何百個もあり、実行のたびにそのすべての分を払います。

200 件のテストそれぞれにスリープが 3 個スリープ 1 個につき 2 秒毎回の実行のうち 20 分
統計ではなく計算の例です: 自分の数字を当てはめてみてください。アプリに必要だったかどうかに関係なく、この時間は費やされます。
例遅くて、しかも不安定なテスト

200 件のテストに、それぞれ 2 秒のスリープが 3 個あるとします。合計 1,200 秒、つまり実行のたびに 20 分を待機に費やします。1 日 10 回実行すれば、何も起きないまま 3 時間以上が過ぎます。それでも、ページに 3 秒かかる日には、テストは失敗します。

固定スリープは、どの実行にも最も遅い日の分を払わせ、それでもその日をカバーできません。

コードで書くフレームワークの明示的な待機: 自分で書く解決策

Selenium、Playwright、Cypress のようなコードで書くフレームワークでは、固定スリープへの答えは、コードで条件を待つこと、よく明示的な待機と呼ばれるものです: 要素を指定し、条件を指定し、上限を設定します。考え方は正しいものです。ただし、書いて、読んで、保守し続けるコードでもあります。

必要なことコードで書くフレームワークGUI Test Studio
要素が表示されるのを待つ要素と条件を指定する 1 行のコード。書くものはありません: 要素を探すアサーションがそのまま待機です。
スピナーが消えるのを待つ逆の条件を書いた、もう 1 行。スピナーに対するビジュアル不在アサーション。
待つ時間を設定するコードの中、または設定ファイルの中の数字。アサーションのフィールドの 1 つで、複数のアサーションをまとめて変更できます。
遅くなったアプリに合わせるコードの中の待機を探して調整します。タイムアウトを延ばします。速い日にはコストはゼロです。

GUI Test Studio では、すべてのアサーションが待機になる

GUI Test Studio は、あらゆるアプリのエンドツーエンドテストをコードなしで自動化します。ワークフローを記録すると、テストは記録からアサーションを得ます。アサーションは一度見ただけであきらめることはありません。期待するものが画面に現れるまで探し続け、現れればテストはすぐに先へ進みます。

  • どのアサーションにも 3 つのことが当てはまります。待つ最大の時間であるタイムアウトを持ち、既定では 5 秒です。タイムアウトの終わりではなく、要素が現れた瞬間に合格します。要素が現れないままタイムアウトが終わったときにだけ不合格になります。
タイムアウトはアサーションのフィールドの 1 つです。上部のカードには言葉で示されます: 最大 5 秒待ちます。

記録がこれを自動で行います。クリックしたすべての要素に、そのクリックの前にアサーションが置かれるので、テストはボタンがあることを確かめてからクリックします。記録のあとの質問ではタイムアウトを最大待ち時間と呼び、GUI Test Studio ではタイムアウトと呼びます。詳しくはタイムアウト、検索範囲、失敗をご覧ください。

Web アプリでもデスクトップアプリでも、コードを使う場面は一度もありません: コードを書かずに行う Windows デスクトップアプリのテストをご覧ください。

何を待っていますか? 使うべきアサーション

すべてのスリープの裏には、作成者が待っていた何かがあります。それに名前を付ければ、アサーションも決まります。

表示されるのを待つ

エクスポート

ビジュアルアサーションまたはテキストアサーション

要素が画面に現れた瞬間に合格します。

消えるのを待つ

読み込み中

ビジュアル不在アサーションまたはテキスト不在アサーション

スピナーが消えた瞬間に合格します。

正しい種類の値を待つ

ORD-20418

動的テキストアサーション

その形式の値が表示された瞬間に、値が何であっても合格します。

何を待つにしても、アサーションは画面がそう示した瞬間に待機を終えます。時間を推測することはありません。
何を待っているか使うべきアサーション合格するタイミング
ボタン、アイコン、画像が表示されることビジュアルアサーション要素が画面に現れ、正しく見えた瞬間。
メッセージやタイトルが表示されることテキストアサーションその言葉が画面に表示された瞬間。
スピナーやプログレスバーが消えることビジュアル不在アサーションそれが画面から消えた瞬間。
「読み込み中」などの言葉が消えることテキスト不在アサーションその言葉がもう表示されなくなった瞬間。
合計、日付、注文番号が表示されること動的テキストアサーション値が何であれ、正しい形式の値が表示された瞬間。
リストに正しい数の行があることビジュアルカウントアサーションまたはテキストカウントアサーション数がカウントルールを満たした瞬間。
画面に一度も表示されないもの待機ステップ指定した固定の時間のあと。

適切なアサーションを選ぶでは、9 種類すべてのアサーションについて、同じ問いから始めます。

読み込み中のスピナーが消えるのを待つには?

何かが消えたときに合格するアサーションを使います。スピナーは、アプリがまだ準備できていないと伝えるものです。だから最良の待機は、スピナー自身が終わるのを待つことです。

例2 ~ 20 秒かかるレポート

「レポートを生成」をクリックすると、スピナーが 2 ~ 20 秒回ります。固定スリープなら、毎回 20 秒にする必要があります。タイムアウトを 30 秒にしたスピナーのビジュアル不在アサーションなら、レポートの準備ができた瞬間にテストは先へ進みます。

実行のたびに変わる値も、同じ方法で待ちます。動的テキストアサーションは、1 つの合計や 1 つの日付を期待しません: 金額や注文番号のように、正しい形式の値を待ちます。それぞれについてはビジュアルアサーションとテキストアサーションで説明しています。

時間切れになったらどうなるか: 停止か続行か

要素が現れないまま終わった待機は不合格で、その不合格で何が起きるかはアサーションごとに決まっています。

失敗時向いているもの
テストを停止クリックの前のボタンのアサーションのように、次のクリックが頼っているアサーション。先に進むと、間違った場所をクリックしてしまいます。
テストを続行画面に表示されているものを確かめるだけのアサーション。こうすれば、1 回の実行で見つかった問題をすべて報告できます。

どちらの場合も、あとで推測する必要はありません。レポートには、どのアサーションが時間切れになったかが示され、その瞬間の画面が表示されます: テストレポートの読み方をご覧ください。

固定スリープを、待つアサーションに置き換える方法

記録したテストには、固定の待ち時間はほとんどありません。これは、うまくいかなかった日のあとに誰かが足した待機や、アプリが遅いときに今も失敗するステップのための手順です。

  1. 1

    固定の待ち時間を見つける

    GUI Test Studio でテストを開き、タイムルーラー上の待機、または遅い日に失敗するステップを見つけます。

  2. 2

    その待ち時間が何を待っていたかを考える

    その瞬間の記録を見て、アプリの準備ができたことを示すものに名前を付けます: ボタン、メッセージ、または消えたスピナーです。

  3. 3

    それを待つアサーションを追加する

    アサーションパレットから合うアサーションを、その瞬間のアサーショントラックにドラッグし、記録の上で何を探すかを示します。

  4. 4

    待てる時間を設定する

    アサーションのタイムアウトを、許容できる最も遅い日に合わせて設定します。速い日には、アサーションはやはりすぐに合格します。

  5. 5

    不合格で何が起きるかを決める

    次のステップがそのアサーションに頼っているならテストを停止を、画面に表示されているものを確かめるだけならテストを続行を選びます。

  6. 6

    待機を削除してテストを実行する

    待機の無視にチェックを入れるか、待機を削除してから、テストを実行します。これで実行は、画面の準備ができた瞬間に先へ進みます。

変更をプロンプトで、AI アシスタントやローカル AI モデル (当社が提供するもの、または自分で用意したもの) に頼むこともできます: アサーションのタイムアウトを延ばす、待機を追加する、不合格のときに何が起きるかを決める、などです。プロンプトからテストを作成するをご覧ください。

本物の待機ステップが正しい選択になるとき

アプリが時間を必要としながら、その間に何も表示しないことがあります。画面にないものを待てるアサーションはありません。そのためにあるのが待機ステップです。

  • 固定の待機が正しい場面は、いくつかしかありません。次のステップが読む前に、ファイルがバックグラウンドで書き込まれる場合。画面に進行状況が出ないまま、サーバーのジョブが動く場合。アプリの外のツールが起動するのに少し時間が必要な場合です。

待機は「イベント」パレットのテストフローにあります。タイムラインにドロップすると、その瞬間のタイムルーラー上に置かれます。詳しくはテストフロー: 待機、アプリ、スマートフォン、スクリプトで説明しています。

待機で重要な設定は 1 つだけです: どれだけ待つかです。

始める前に知っておくこと

知っておくと便利なこと意味
不合格になるアサーションはタイムアウトをすべて使う不合格になるアサーションは、最後まで待ってからそれを伝えます。各タイムアウトは、許容できる最も遅い日に合わせ、それを大きく超えないように設定してください。
アサーションには見るものが必要アプリの準備ができたことを画面が何も示さないときは、待機ステップを使います。
まだ表示されている途中の画面メニューがフェードインしている途中や、ページが読み込まれている途中でも、要素が見つかることがあります。ビジュアルアサーションは、見つかったあとの短い時間の中で最も良い瞬間と比較されます: 精度向上パスをご覧ください。
テストは、確認するよう指示されたものを確認する待機が証明するのは、1 つの要素が現れたことです。その画面のほかのものは、アサーションがそれを見たときにだけ確認されます。

要点

  • 1固定スリープは当て推量であり、当て推量は遅い日には短すぎ、それ以外の日には長すぎます。
  • 2スリープはスイートを遅く、しかも不安定にします: 実行のたびにその分を払い、それでも最も遅い日には失敗します。
  • 3代わりに画面を待ちましょう: 要素が表示されるのを、消えるのを、正しい種類の値が表示されるのを待ちます。
  • 4GUI Test Studio では、すべてのアサーションがこの待機で、既定で最大 5 秒待ち、要素が現れた瞬間に合格します。
  • 5待機ステップは、どのアサーションにも見えないもの、たとえばバックグラウンドで書き込まれるファイルのためにとっておきます。

よくある質問

テストの固定スリープはなぜ悪いのですか?

固定スリープは当て推量だからです。アプリが推測より遅いと、テストは早すぎる操作をして失敗します。アプリが速いと、テストは実行のたびに何もないのに待ちます。

テストでスリープの代わりに何を使えばよいですか?

アプリの準備ができたときに画面に表示されるものを待ちます: ボタン、メッセージ、または消えたスピナーです。GUI Test Studio では、アサーションがそれを自動で行います: タイムアウトまで探し続け、要素が現れた瞬間に合格します。

固定の待機と明示的な待機の違いは何ですか?

固定の待機は、アプリが何をしていても、決まった時間だけ止まります。明示的な待機は、上限まで、条件が満たされるまで止まるので、アプリの準備ができ次第終わります。コードで書くフレームワークでは要素ごとにそれを書き、GUI Test Studio ではアサーション 1 つ 1 つがそれにあたります。

テストは要素をどれだけ待つべきですか?

許容できる最も遅い日と同じだけです。GUI Test Studio のアサーションは既定で最大 5 秒待ち、遅い画面ではそれを延ばします。上限に達するのは、要素が一度も現れないときだけです。

タイムアウトを長くするとテストは遅くなりますか?

いいえ、テストが合格するときは遅くなりません。アサーションは要素が現れた瞬間に先へ進むので、30 秒のタイムアウトでも、画面に 1 秒かかる日のコストは 1 秒です。タイムアウトをすべて使うのは、不合格になるアサーションだけです。

読み込み中のスピナーが消えるのを待つには?

何かが消えたときに合格するアサーションを使います。GUI Test Studio では、スピナーに対するビジュアル不在アサーションが、スピナーが画面から消えた瞬間に合格し、テキスト不在アサーションが「読み込み中」などの言葉について同じことを行います。

固定の待機が今も正しい選択になるのはどんなときですか?

アプリが時間を必要とし、その間に何も表示しないときです: バックグラウンドで書き込まれるファイルや、画面に進行状況が出ないサーバーのジョブなどです。GUI Test Studio には、そのための待機ステップがあります。

記録したテストに、待機を自分で追加する必要はありますか?

いいえ。記録では、クリックしたすべての要素に、そのクリックの前にアサーションが置かれ、そのアサーションが要素を待ちます。タイムアウトを調整するのは、ある画面がいつもより遅いときだけです。

Selenium、Playwright、Cypress は各所有者の商標です。

すべての記事