バイブテストとは? AI で作ったアプリをテストする方法

バイブテストとは、アプリが何をすべきかを説明し、AI にテストを作成させて実行させることです。コードを読まずに、バイブコーディングで作ったアプリをテストする方法。

執筆: Ait Nohaila (事業開発担当) 読了 9 分

バイブテストとは、バイブコーディングで作ったのと同じやり方でアプリを確認することです: 何が起きるべきかを分かりやすい言葉で説明し、AI がテストを作成して実行します。テストが判定するのは、コードではなく、ユーザーが目にするものです。

AI と対話しながらアプリを作り、今日は自分の画面で動いています。そこで、もう 1 件だけ変更を頼みます。昨日は動いていたものが壊れ、ユーザーに言われて初めてそれに気づきます。

バイブコーディングとは?

定義

バイブコーディングとは、欲しいものを AI に説明し、AI が書いたコードを受け入れてアプリを作ることです。人が話し、AI がプログラムを書き、人はアプリを試して結果を判断します。多くの場合、コードは誰にもまったく読まれません。

この言葉は、バイブコーディングに関する Wikipedia の記事が伝えるとおり、2025 年 2 月にコンピューター科学者の Andrej Karpathy 氏が作りました。バイブコーディングには、Cursor、Claude Code、GitHub Copilot などの AI コーディングツールが使われます。プログラマーである必要はありません。

バイブテストとは?

定義

バイブテストとは、バイブコーディングで作ったアプリを、作ったときと同じやり方で確認することです: 何が起きるべきかを説明し、AI にテストの作成と実行を任せます。新しいユーザーがサインアップしてウェルカムページを見る、と伝えれば、テストがそれを証明します。アプリは、ユーザーが画面で目にするもので判定されます。コードを読めるかどうかにかかわらず、自分のアプリを説明できる人なら誰にでも向いています。

バイブコーディングで作ったアプリにテストが必要なのはなぜ?

  • バイブコーディングで作ったアプリを壊れやすくする要因は 3 点あります。誰もコードを読んでいないので、変更が何に影響したかを誰も知りません。新しい依頼のたびにアプリの一部が書き直され、動いていた機能が何の前触れもなく動かなくなることがあります。手作業でテストするのは思いついたものだけで、たいていは最後に頼んだ機能です。

AI が書いたコードがユーザーに届いたあと何が起きるかについての数字は、それぞれ出典付きで今やコードは AI が書くにあります。

落とし穴: コードを書いた AI がテストも書く

すぐに思いつく手は、同じ AI に自分の仕事をテストさせることです。AI は喜んでテストを書きます。しかし、そのテストはコードの作者がコードから書いたものなので、バグも含めてコードと一致します。

例2 回とも間違っている合計

20% の税を加算するカートを頼みます。一部の注文で、AI のコードが税を 2 回加算します。そのあと AI は、自分のコードが出す数字を期待するテストを書きます。テストは合格し、合計は間違ったままです。

AI が自分の仕事を確認する

AI がコードを書く
同じ AI が、コードからテストを書く
テストが合格する

画面の合計は、間違ったままです。

画面を見る独立したテスト

AI がコードを書く
テストは、ユーザーのように実行中のアプリを使う
テストは合計で不合格になる

ユーザーより先に、バグを知ることができます。

コードから書かれたテストは、コードの誤りを繰り返します。画面だけを見るテストは、その誤りを共有しようがありません。
コードから書かれたテストが教えてくれるのは、コードがコードのとおりに動くということだけです。

証明がコードの外から来なければならない理由は、AI 生成コードのテスト方法で説明しています。

良いバイブテストの条件とは?

独立している

良いバイブテストには 3 点の性質があります。実行中のアプリを実際の画面を通してテストするので、コードの誤りを共有しません。実行のたびに同じステップを行うので、不合格はアプリが変わったことを意味します。コードを読めない人にも読めるので、本当は何を検証しているのかが分かります。

性質自分に問うこと答えが「いいえ」なら
独立しているテストは画面を見ているか、それともコードを見ているか?ユーザーがバグを目にしていても、合格することがあります。
再現できる明日も同じステップを行うか?不合格の原因が、アプリではなく AI かもしれません。
読める各ステップと、それが期待するものを見られるか?確かめられないテストを信頼していることになります。

2 番目の性質がなぜそれほど重要なのかは、AI はテストの作成に使い、毎回の実行を即興に任せないで取り上げています。

GUI Test Studio でバイブテスト: 説明すれば、本物のテストが手に入る

GUI Test Studio は、あらゆるアプリのエンドツーエンドテストをコードなしで自動化します。そのコネクターを使えば、AI アシスタントが代わりにテストを行います: Claude Desktop、Claude Code、Codex 付きの ChatGPT、VS Code です。ローカル AI モデルでも行えます: 当社が提供するものか、自分で用意するものです。

  • ワークフローを説明すると、次のことが起きます。アシスタントがアプリまたは Web ページを開き、本物のクリックとキー入力としてステップを実行します。各ステップのあとに、画面に表示されるもの (画像またはテキスト) のアサーションを追加し、その場で試します。そして、自分が所有するごく普通のテストファイルを保存します。それ以降、テストは自分で再生され、AI がアプリを操作することはありません。

アサーションは画面を見ます: ボタンの見た目、メッセージの言葉、表示されるべき合計です。GUI Test Studio は人の目のように比較します。誤った数字、欠けたアイコン、変わった単語には気づき、誰にも見えないものは無視します。

  1. 説明する

    1 つのワークフローを、1 文で

  2. AI が記録する

    実際の画面で

  3. テストが再生される

    変更のたびに

  4. レポートが伝える

    何が壊れたかを、分かりやすい言葉で

5 段階でアプリをバイブテストする方法

  1. 1

    アプリがしなければならないことを書き出す

    ユーザーが必ずできなければならないことを 3 ~ 5 項目、それぞれ結果とともに挙げます: サインアップしてウェルカムページを見る、商品を追加して合計を見る、支払って確認メッセージを見る、などです。

  2. 2

    AI アシスタントを接続する

    GUI Test Runner-Recorder で、ホーム画面のプロンプトでをクリックし、アシスタントのカードで接続をクリックします。アシスタントがない場合は、このコンピューターカードが、当社が提供するか自分で用意するローカル AI モデルでテストを作成します。

  3. 3

    ワークフローを 1 つ説明する

    テスターに説明するつもりで依頼を書きます: どこから始めるか、何をするか、最後に何が成り立っていなければならないかです。送信したら、アシスタントが画面で作業している間は、マウスとキーボードに触れないでください。

  4. 4

    判定とレポートを読む

    アシスタントが、テストの保存場所と、実行が合格したかどうかを伝えます。信頼度レポートには、すべてのステップと、何が合格し何が不合格だったかが表示されます。

  5. 5

    変更のたびにテストをもう一度実行する

    AI がアプリを変更するたびに、アシスタントにテストをもう一度実行するよう頼むか、自分で実行してください。不合格になったテストが、ユーザーより先に、何が壊れたかを教えてくれます。

2 番目の手順のすべてのウィンドウは、プロンプトからテストを作成するに載っています。

コピーして使えるバイブテスト用プロンプト

アドレス、名前、結果を自分のものに置き換えてください。「With GUI Test Studio」という言葉で始めると、スクリプトを書くのではなくテストツールを使うように、アシスタントに伝わります。

  • With GUI Test Studio, open my app at http://localhost:3000, sign up with the name Sam and the email sam@example.com, and verify the welcome page says "Welcome, Sam".
  • With GUI Test Studio, test my to-do app at http://localhost:5173: add the task "Buy milk", mark it done, and verify it is listed under Completed.
  • With GUI Test Studio, create a test for my app C:\Apps\Invoices.exe: create an invoice with three items and verify the total is shown.
  • With GUI Test Studio, test the sign-up form at http://localhost:3000/signup in Chrome, Edge and Firefox and on an iPhone 15.
  • I changed the checkout page. Run the Checkout test and tell me what failed.
  • Why did the Checkout test fail? Show me the difference.

良いテストになるプロンプトの条件は、AI テストジェネレーター: プロンプトから実際に動くテストへで取り上げています。

AI が何かを壊したら、どうなる?

テストが不合格になり、信頼度レポートが開きます。レポートは不合格になったステップを示し、期待されていたものと実際に見つかったものを並べて表示し、実行の動画を残します。AI スマート分析をオンにしていれば、差異が分かりやすい言葉でも説明されます。

最後の変更後の、決済のテスト

カートに商品を 2 点追加する

合格

カートに 2 点の商品が表示される

合格

合計が表示される

期待 24.00、実際 28.80

変更は誤りだった

レポートの内容を AI コーディングツールに伝え、アプリを修理させます。

変更は意図したものだった

レポートで、新しい結果を 1 クリックで採用します。

レポートは不合格になったステップを示し、期待されていたものと実際に見つかったものを並べて表示します。どちらが間違っているかは、自分で判断します。

アシスタントがコードを書くツールでもある場合は、同じ会話の中で不合格を読み、アプリを修理します: テスト用の MCP サーバーをご覧ください。レポートのすべての部分は、テストレポートの読み方で説明しています。

プログラミングができなくても、アプリをバイブテストできる?

はい。このやり方には、コードを読んだり書いたりする必要は一切ありません。

することしなくてよいこと
ワークフローを 1 文で説明する。テストスクリプトを書く。
動画のように、タイムライン上でテストを見る。アプリのコードを読む。
画像付きのレポートを読む。プログラマー向けのエラーメッセージを読む。
意図した変更を 1 クリックで採用する。ファイルを手作業で編集する。

AI を使って一人でアプリを作った創業者は、テストも一人でできます。あとでテスターが同じテストを引き継ぐこともできます: テストはごく普通のファイルだからです。最初のテストでは、道のり全体を画像付きで紹介しています。

始める前に知っておくこと

制限意味
アプリは実行中でなければならないテストは実際のアプリを使います。先にアプリを起動するか、アプリが動いているアドレスを伝えてください。
アシスタントは実際の画面を使う記録している間は、マウスとキーボードに触れないでください。
テストは、説明したものだけを検証する説明しなかったワークフローはテストされません。ユーザーにとって欠かせないものから始めてください。

要点

  • 1バイブテストは、バイブコーディングのテスト側です: 何が起きるべきかを説明し、AI がテストを作成して実行します。
  • 2バイブコーディングで作ったアプリにこそ、テストが最も必要です。誰もコードを読んでおらず、依頼のたびに動いていたものが壊れうるからです。
  • 3コードを書いた AI は、そのコードの審判には向きません。そのテストは、バグも含めてコードと一致します。
  • 4良いバイブテストは、独立していて、再現可能で、コードを読めない人にも読めます。
  • 5GUI Test Studio では、1 つの文が本物のテストになり、変更のたびに自分で再生されます。

よくある質問

バイブテストとは?

バイブテストとは、何が起きるべきかを説明し、AI にテストの作成と実行を任せてアプリを確認することです。バイブコーディングのテスト側にあたります。アプリは、コードではなく、ユーザーが画面で目にするもので判定されます。

バイブコーディングとバイブテストの違いは何ですか?

バイブコーディングはアプリを作ります: 欲しいものを説明し、AI が書いたコードを受け入れます。バイブテストはアプリを確認します: 何が起きるべきかを説明し、AI がそれを証明するテストを作成します。一方はアプリを作り、もう一方はアプリがまだ動くかどうかを教えてくれます。

AI で作ったアプリはどうテストすればよいですか?

実行中のアプリを、ユーザーが使うのと同じように外側からテストしてください。ユーザーが必ずできなければならないことを書き出し、それぞれにテストを作成させ、AI が変更を加えるたびにそのテストを実行します。GUI Test Studio では、各ワークフローをプロンプトで説明すると、AI アシスタントが実際の画面でテストを記録します。

コードを書いた AI に、そのテストもさせられますか?

テストを書くことはできますが、それだけでは不十分です。コードの作者がコードから書いたテストは、バグも含めてコードと一致します。実行中のアプリを画面を通して見るテストを追加すれば、コードの誤りを共有しません。

バイブテストにコーディングの知識は必要ですか?

いいえ。GUI Test Studio では、ワークフローを 1 文で説明し、動画のようにタイムライン上でテストを見て、画像付きのレポートを読みます。コードを読んだり書いたりする必要は一切ありません。

バイブテストは信頼できますか?

テストが一度記録され、そのあと自分で再生されるなら、信頼できます。同じステップが同じ順序で行われれば実行のたびに同じ答えが返るので、不合格はアプリが変わったことを意味します。AI が実行のたびに即興でやり直すテストは、毎回別の道筋をたどることがあります。

バイブコーディングで作ったアプリのテストは、どのくらいの頻度で実行すべきですか?

AI がアプリに変更を加えるたびに実行してください。バイブコーディングで作ったアプリは依頼のたびに大きく変わり、動いていた機能が何の前触れもなく動かなくなることがあります。自分で再生されるテストなら、もう一度実行しても何のコストもかかりません。

GUI Test Studio のバイブテストには、どの AI アシスタントを使えますか?

Claude Desktop、Claude Code、Codex 付きの ChatGPT、VS Code は 1 クリックで接続できます。ローカル AI モデルも使えます: 当社が提供するものか、自分で用意するものです。

Claude、ChatGPT、Codex、VS Code、Cursor、GitHub Copilot、Chrome、Edge、Firefox、Android、iPhone は各所有者の商標です。

すべての記事