AI スマート分析

何をするか

AI スマート分析は、画面上のものを見つけて比較するエンジン GTS Engine + AI の、AI の側面です。

ビジュアルアサーションが異なるピクセルを見つけたとき、またはテキストアサーションがテキストを読み取れなかったとき、AI スマート分析がもう一度見直して最終判定を下します。大きな変化がなければアサーションを合格にし、変化があれば不合格にして、人が書くような一文を添えます: 何が、どこで変わり、どれほど重要かです。

拡大

拡大

AI が無視するもの

マウスポインターと点滅するテキストカーソルは、差異として数えられることはありません。テキストアサーションでは、AI は文言だけを読みます: 色、フォント、スタイルは問いません。

軽微な差異

AI が大きな変化を見つけなければ、アサーションは合格します。ユーザーが気づかないかもしれない小さな変化だけが見つかった場合、レポートには「軽微な差異のみが見つかりました」と表示されます。そのようなアサーションを不合格にしたいときは、AI の設定 (このコンピューターのすべてのテスト向け) または各テストのプロジェクト設定 (そのテスト向け) で軽微な差異を不合格として数えるをオンにしてください。

テキストアサーション

テキストアサーションの種類ごとに、別の質問が用意されています。カウントでは、AI がテキストの出現回数を数え、テストのカウントルールが判定します。変化する値では、日付、時刻、独自の形式など、選んだテキストの種類が AI に伝えられ、その種類の値であれば合格になります。

アサーションへの自分の指示

想定内の差異もあり、どれがそうかを知っているのは本人だけです。アサーションに「AI への指示」を与えてください: 自分の言葉で書いた数語を、AI はそのアサーションを判定するときに、通常のルールより優先して従います。

1. 1

   GUI Test Studio でアサーションを選択する

   ビジュアルアサーション、グループのメンバー、または任意の種類のテキストアサーション: AI が見るアサーションです。

2. 2

   「詳細設定」を開いて指示を入力する

   AI への指示欄は、そのアサーションのプロパティのタブにある詳細設定の下にあります。Ctrl+Enter を押すか、別の場所をクリックすると保存されます。同じ種類のアサーションを複数選択すると、同じ言葉を一度に与えられます。

レポートには、AI の答えの横に、その判定が下されたときの指示が表示されます。指示を変更すると、次のレポートは以前の答えを再利用せず、AI にもう一度尋ねます。

どの AI モデルを使うかは自由

GUI Test Studio は、特定の AI モデルに縛りません。GTS Engine + AI は、どのモデルを選んでも同じ質問をして同じ種類の答えを返すので、コスト、プライバシー、会社のルールで選べますし、いつでも変更できます。

どこから始めればよいか迷いますか?お問い合わせください: 選択をお手伝いします。サブスクリプションとは別料金の任意サービスとして、クラウドモデルを代わりに提供することもできます。

クラウドかローカルか

クラウドでセットアップする

1. 1

   AI の設定を開く

   どちらかのアプリの右上にある AI 分析を有効化ボタンをクリックするか、設定、環境設定、AIを開きます。この設定は両方のアプリで共通です。

2. 2

   オンにして「クラウド」を選ぶ

   プロバイダーを選びます: OpenAI または Anthropic です。

3. 3

   API キーを貼り付ける

   キーがまだありませんか? キー欄の下のリンクでプロバイダーのキーのページがブラウザーで開き、欄の横の ?が作成手順を案内します。

   プロバイダーのアカウントでキーを作成し、貼り付けます。プロバイダーがキーを受け付けると横の点が緑になり、モデルのリストが自動で埋まります。キーは暗号化して保存され、この Windows アカウントだけが使えます。

   

   拡大

自分のコンピューターでセットアップする

ローカルモデルは自分のコンピューター上で動きます: 何も外に出ず、キーもアカウントも不要です。当社が提供するモデルを使うことも、LM Studio や OpenAI 互換のローカルサーバーを通じて自分のモデルを持ち込むこともできます。当社が提供するモデルなら、インストールするものはありません: 実行に必要なものはすべて GUI Test Studio の一部で、モデル自体は求めたときに一度だけダウンロードされます。

1. 1

   「このコンピューター」を選ぶ

   同じ AI の設定の、「AI の実行」の下です。

2. 2

   「おまかせで設定」をクリックする

   設定がコンピューターのグラフィックスカードとメモリを調べ、快適に動く最良のモデルを推奨します。おまかせで設定がそのモデルをダウンロードして選択します。進行状況バーで進み具合が分かり、キャンセルしたダウンロードは止まったところから再開します。

3. 3

   これで完了

   モデルは、実行に必要になると自動で起動します。別のモデルを使うにはモデルをダウンロードの下で選び、削除...は不要になったモデルを消してディスク領域を返します。

ローカルモデルの選び方

ローカルモデルの働きは 2 点で決まります: グラフィックスカードのメモリに収まるかどうかと、モデルの大きさです。大きなモデルほど、小さな文字や微妙な変化をよく読み取ります。グラフィックスカードに完全に収まるモデルは、数秒で答えます。

リストには、このコンピューターでの各モデルの状態が示されます: グラフィックスカードで動く、一部がプロセッサーで動く、または大きすぎる、です。グラフィックスカードで動く範囲で最も大きなモデルを選んでください。推奨はそれを代わりに行います。

精度

いくつかのモデルには複数の精度があり、一致精度の下に並びます。「標準」はダウンロードが最も小さく、最も速い設定です。高い精度は少し正確になり、グラフィックスカードのメモリをより多く使い、答えが遅くなります。カードのメモリに余裕がない限り「標準」のままにしてください。

モデルをダウンロードの下のリストには、実行できるすべてのモデルが、サイズと、グラフィックスカードに収まるかどうかとともに表示されます。どれかを選んでダウンロードをクリックすると、モデルリストに現れます。

ローカル AI サーバーをもうお持ちですか?

プロバイダーのリストでローカルサーバーを選び、そのアドレスを入力します。LM Studio、Ollama、vLLM などのツールはこの方法で使えます。

モデルを自分で実行したくありませんか?

任意のサービスとして、当社のサービス上でチームのために AI スマート分析を実行できます: ダウンロードもセットアップも不要です。これは独自の価格を持つ別サービスで、どのプランの月額サブスクリプションにも含まれません。お問い合わせいただければ手配します。

レポートでの表示

説明は、何かを開く前に、実行が終わるとすぐに始まり、開いたアサーションが優先されます。不合格の行には AI のマークが付き、アサーションのパネルには評価、要約、見つかったすべての差異が表示されます: どれほど重要か、どんな種類の変化か、何が期待され、何が見つかったかです。

結果は、クラウドでも自分のコンピューターでも、どのモデルが答えても同じ形になります。

拡大

説明は実行と一緒に保存されるので、レポートを開き直しても何も尋ね直さず、履歴には過去の各実行で AI が述べたことが表示されて比較できます。説明はバグレポートとコマンドライン実行の結果にも現れます。

プライバシー

AI スマート分析は、オンにするまでオフのままです。クラウドプロバイダーでは、不合格アサーションの 2 枚の小さな画像だけが、自分のキーで、コンピューターから選んだプロバイダーへ直接送られます: 当社には決して送られません。合格したアサーションは決して送られません。ローカルモデルなら、当社のものでも自分のものでも、コンピューターから何も出ません。