Testes repetíveis com IA: use a IA para criar o teste, não para improvisar a cada execução
Testes repetíveis com IA: a IA cria o teste, e as mesmas etapas se repetem a cada execução. Por que um teste não pode improvisar, e onde a IA ainda ajuda.
Testes repetíveis com IA são aqueles em que a IA ajuda a criar e a alterar um teste, enquanto o próprio teste reproduz as mesmas etapas e dá a mesma resposta em todas as execuções. A IA trabalha onde o julgamento ajuda, e nunca improvisa a execução.
Um build fica vermelho na segunda e verde na terça, e nada mudou no aplicativo. Se uma IA escolheu as etapas de cada execução, você não tem como saber se o aplicativo quebrou ou se a IA pegou outro caminho. Um build vermelho que pode não significar nada logo passa a ser ignorado.
O que é teste repetível?
Definição
Um teste repetível dá o mesmo resultado toda vez que é executado no mesmo aplicativo.
- As mesmas etapas acontecem na mesma ordem.
- Cada asserção é decidida pela mesma regra.
Então, quando o resultado muda, foi o aplicativo que mudou.
É essa propriedade que torna um teste útil a cada build.Um resultado vermelho é um fato sobre o seu produto, não sobre o teste.É todo o sentido do teste de regressão.
Por que uma IA pode dar duas respostas diferentes para a mesma pergunta?
Um modelo de IA não consulta uma resposta pronta. Ele compõe uma resposta a cada vez que é perguntado, e pode compô-la de outro jeito. Faça a mesma pergunta duas vezes a um assistente e muitas vezes você recebe duas redações, às vezes duas conclusões.
Isso é uma força quando você quer um rascunho, uma ideia ou uma explicação. É uma fraqueza quando a resposta é um veredito que precisa valer por trezentos builds.
Um teste precisa dar a mesma resposta duas vezes. Senão, um build vermelho não significa nada.
Duas formas de usar IA na automação de testes
A IA pode ficar em dois lugares em um teste.
A IA conduz cada execução
Uma IA lê as suas instruções e conduz o aplicativo de novo a cada execução, escolhendo cada clique pelo caminho.
A IA ajuda, o teste roda sozinho
Ou a IA ajuda onde uma pessoa ajudaria, quando o teste é criado, alterado ou revisado, e a execução em si é uma gravação fixa.
Uma IA conduz cada execução
Execução 1
Execução 2
Execução 3
O aplicativo quebrou, ou a IA pegou outro caminho?
Um teste salvo se reproduz
Execução 1
Execução 2
Execução 300
Uma execução vermelha significa que o aplicativo mudou.
| Pergunta | Uma IA conduz cada execução | Um teste salvo se reproduz |
|---|---|---|
| As etapas são as mesmas em todas as execuções? | Não é garantido: cada execução é uma nova leitura das instruções. | Sim: as mesmas etapas na mesma ordem. |
| Dá para reproduzir uma falha? | Nem sempre: a próxima execução pode seguir outro caminho. | Sim: execute o teste de novo, ou assista ao vídeo da execução. |
| Quanto custa uma execução? | Uso de IA em cada execução de cada teste. | O tempo da máquina de build. |
| Quão rápida é uma execução? | A IA pensa antes de cada etapa. | Tão rápida quanto o fluxo gravado. |
| O que significa um build vermelho? | O aplicativo mudou, ou a IA escolheu diferente. | O aplicativo mudou. |
As duas formas têm nome, e são colocadas lado a lado em teste agêntico vs teste assistido por IA.
Onde a IA ajuda, e onde um teste não pode improvisar
A pergunta não é se você deve usar IA nos testes. É onde. Algumas partes do trabalho de teste ganham com o julgamento, e outras precisam ficar fixas.
| Parte do trabalho de teste | O que a IA faz ali | Por quê |
|---|---|---|
| Criar o teste | Ela ajuda: uma frase vira etapas e asserções, experimentadas na tela real. | É o trabalho que uma pessoa faria, feito mais rápido. |
| Alterar o teste | Ela ajuda: faz a alteração que você pede, depois que você confirma. | A decisão continua sendo sua. |
| Executar as etapas | Nada: o teste salvo se reproduz. | As mesmas etapas precisam acontecer em todas as execuções. |
| Decidir cada asserção | Nada: a mesma comparação todas as vezes. | A mesma tela precisa receber o mesmo veredito. |
| Uma asserção que falhou | Um segundo olhar opcional: um veredito final sobre essa asserção, e uma explicação. | Uma diferença às vezes precisa ser lida, como uma pessoa a leria. |
| Ler os resultados | Ela ajuda: o seu assistente lê uma execução e a explica. | Poupa o seu tempo e não muda nada no teste. |
Automação de testes com IA em que você pode confiar: como o GUI Test Studio faz
O GUI Test Studio, que automatiza testes de ponta a ponta de qualquer aplicativo sem código, é construído sobre a segunda forma. Você descreve o teste em um prompt para o Claude, para o ChatGPT com Codex ou para um modelo de IA local que fornecemos ou que você traz. Você também pode gravá-lo por conta própria, sem IA em nenhum momento.
O seu prompt
Crie um pedido para a Atlas Textiles e verifique o total.
A IA trabalha uma vez
Ela executa o fluxo na sua tela e experimenta cada asserção ali.
Um teste salvo
Order.GTS
As etapas, as imagens e a gravação dele.
Execução 1
- 1Abrir Pedidos
- 2Novo pedido
- 3Digitar o cliente
- 4Salvar
- 5Verificar o total
Execução 2
- 1Abrir Pedidos
- 2Novo pedido
- 3Digitar o cliente
- 4Salvar
- 5Verificar o total
Execução 300
- 1Abrir Pedidos
- 2Novo pedido
- 3Digitar o cliente
- 4Salvar
- 5Verificar o total
Você descreve
Uma frase
A IA grava
Uma vez, na sua tela
Um teste salvo
Um arquivo que é seu
Cada execução
As mesmas etapas
Três coisas tornam a execução repetível.
- A IA trabalha uma vez: ela executa o fluxo na sua tela real e experimenta cada asserção ali antes de mantê-la.
- O que ela deixa é um teste salvo, um arquivo com as etapas, as imagens e a gravação dele.
- Quando esse teste é executado, ele reproduz as mesmas etapas na mesma ordem, e nenhuma IA conduz o aplicativo.
Quando o aplicativo muda, o mesmo assistente altera o teste salvo no próprio arquivo: outro texto esperado, uma espera mais longa, uma etapa removida. Ele mostra a alteração e pede a sua confirmação antes de escrever. Entre duas alterações, o teste é o mesmo arquivo, e a execução dele também é a mesma.
Criar um teste a partir de um prompt mostra cada janela, e gerador de testes com IA: de um prompt a um teste que roda conta como escrever um prompt que gera um bom teste.
Cada asserção é decidida do mesmo jeito todas as vezes
Uma execução só é repetível se os vereditos dela também forem. Cada asserção visual responde a duas perguntas fixas: o elemento foi encontrado na tela, e ele tem a aparência esperada? A comparação é perceptiva, como a de um olho humano. Ela nota o que uma pessoa notaria, como um dígito errado, um ícone ausente ou uma palavra alterada, e ignora o que ninguém vê.
Mais três coisas mantêm uma execução estável.
- Cada asserção aguarda o seu elemento e é aprovada no instante em que ele aparece, então uma tela lenta não muda o resultado.
- Um valor que muda por natureza, como uma data ou um número de pedido, é verificado pelo formato.
- Cada asserção diz o que uma falha faz: parar o teste ou continuar.
O tempo de espera é a primeira causa de testes que passam e falham ao acaso: veja sleeps fixos nos testes: espere pela tela e testes instáveis e falsos positivos.
Quando uma asserção falha: a IA dá um segundo olhar, e a resposta dela fica guardada
Algumas diferenças pedem julgamento. Um título um pouco mais em negrito é um bug? A Análise inteligente com IA é o lado opcional de IA do GTS Engine + AI. Só quando uma asserção falha, ela dá um segundo olhar para essa asserção, dá o veredito final sobre ela e explica a diferença em palavras simples.
As asserções de uma execução
Título do login
Aprovada: nenhuma IA olha para ela
Nome do cliente
Aprovada: nenhuma IA olha para ela
Total do pedido
Aprovada: nenhuma IA olha para ela
Botão Confirmar pedido
Reprovada: a única para a qual a IA olha
Número do pedido
Aprovada: nenhuma IA olha para ela
Análise inteligente com IA, se você a ativou
Um segundo olhar para a asserção reprovada
Veredito final: reprovada
O botão Confirmar pedido mudou de ativo para desativado.
Quatro regras mantêm esse julgamento no lugar dele.
- A IA nunca conduz o aplicativo, e nunca olha para uma asserção aprovada.
- O veredito dela diz respeito a uma única asserção reprovada, e o relatório mostra os motivos ao lado das duas imagens.
- A resposta dela fica guardada com a execução, então abrir o relatório de novo não pergunta nada outra vez.
- Com a IA desativada, cada asserção é aprovada ou reprovada pela própria comparação.
Assim, a execução é a mesma todas as vezes, e o único lugar em que um modelo julga é pequeno, visível e pode ser desativado por você.
Oriente a IA em palavras simples: as Instruções para a IA
Algumas diferenças são esperadas, e só você sabe quais. Uma asserção pode levar Instruções para a IA: algumas palavras no seu próprio idioma que a IA segue ao julgar essa asserção.
| Você escreve | A IA |
|---|---|
| Ignore mudanças no tamanho da fonte. | Deixa um texto maior ou menor fora das diferenças. |
| A data no canto muda todos os dias. | Não conta a data como uma diferença. |
| O botão Salvar deve continuar verde. | Reprova a asserção sempre que o botão estiver de outra cor. |
O relatório mostra as instruções sob as quais um veredito foi dado, ao lado da resposta da IA, então um julgamento nunca é um mistério.O guia da Análise inteligente com IA traz todas as configurações.
Você escolhe a IA, ou nenhuma
Qual IA dá esse segundo olhar é escolha sua, e você pode mudar de ideia.
Uma IA na nuvem, com a sua própria chave
Um modelo da OpenAI ou da Anthropic responde pela sua própria conta, e só as duas imagens pequenas de uma asserção reprovada viajam até ele.
Um modelo de IA local
Um modelo que fornecemos ou o seu próprio roda no seu computador, e nada sai dele.
Nenhuma IA
Sem nenhuma IA, você mesmo grava os testes, e cada asserção é aprovada ou reprovada pela própria comparação.
Testes, gravações e relatórios são arquivos nos seus computadores em todos os casos.O que esse controle vale para uma equipe é o assunto de soberania de IA em testes de software.
Um teste que não muda sozinho é também a conferência independente de que você precisa quando a IA escreve o código: veja como testar código gerado por IA.E um teste que se conserta sozinho entre as execuções levanta a mesma questão, como mostra testes self-healing.
O que saber antes de começar
| Limite | O que significa |
|---|---|
| Um teste verifica o que você mandou verificar | Um teste repetível não explora. Ele repete um fluxo e as asserções dele, então cada fluxo que importa precisa do seu teste. |
| O mesmo começo dá a mesma resposta | Antes de uma execução, coloque o aplicativo de volta onde a gravação começou: a mesma página, os mesmos dados, as mesmas janelas abertas. |
| O segundo olhar da IA é um julgamento | Em uma diferença que fica no limite, a leitura de um modelo pode variar. Ele só é consultado sobre asserções reprovadas, os motivos dele são mostrados, e ele pode ficar desativado. |
| Uma execução usa a tela real | Uma execução move o mouse real e digita no teclado real, a menos que um teste web seja executado sem janela de navegador. |
Principais conclusões
- 1Um teste precisa dar a mesma resposta duas vezes, ou um build vermelho não significa nada.
- 2Uma IA que conduz cada execução improvisa: outro caminho, um custo por execução, uma falha que você não consegue reproduzir.
- 3No GUI Test Studio, a IA cria o teste e o altera quando você pede. O teste salvo reproduz as mesmas etapas, sem nenhuma IA conduzindo o aplicativo.
- 4Cada asserção é decidida do mesmo jeito todas as vezes. Só uma asserção reprovada pode receber o segundo olhar de uma IA, e a resposta fica guardada com a execução.
- 5Você escolhe a IA: uma IA na nuvem com a sua própria chave, um modelo de IA local, nosso ou seu, ou nenhuma.
Perguntas
O que é teste repetível?
Teste repetível significa que um teste dá o mesmo resultado toda vez que é executado no mesmo aplicativo. As mesmas etapas acontecem na mesma ordem, e cada asserção é decidida pela mesma regra. Quando o resultado muda, foi o aplicativo que mudou.
Os testes com IA são repetíveis?
Depende de onde a IA fica. Uma IA que conduz o aplicativo a cada execução lê as instruções de novo a cada vez e pode seguir outro caminho. Um teste que a IA criou uma vez e que se reproduz sozinho é repetível: as mesmas etapas e as mesmas asserções em todas as execuções.
Por que os testes conduzidos por IA dão resultados diferentes de uma execução para outra?
Porque um modelo de IA compõe a resposta a cada vez que é perguntado, e pode compô-la de outro jeito. Se o modelo escolhe cada clique durante a execução, duas execuções no mesmo aplicativo podem seguir dois caminhos. Uma falha vista uma vez pode não voltar quando você tenta reproduzi-la.
Posso usar IA na automação de testes e ainda assim ter resultados repetíveis?
Sim. Use a IA para criar o teste e para alterá-lo quando você pedir, e deixe o teste salvo rodar sozinho. No GUI Test Studio, um teste feito a partir de um prompt reproduz as mesmas etapas em todas as execuções, sem nenhuma IA conduzindo o aplicativo.
O GUI Test Studio usa IA durante a execução de um teste?
Nenhuma IA conduz o aplicativo durante uma execução: o teste salvo reproduz as etapas dele. Se você ativar a Análise inteligente com IA, ela olha apenas para uma asserção que falhou, dá o veredito final sobre essa asserção e explica a diferença. Ela é opcional.
O que a Análise inteligente com IA faz quando uma asserção falha?
Ela dá um segundo olhar para a asserção que falhou e dá o veredito final. Ela aprova a asserção quando nada importante mudou, reprova quando algo importante mudou, e diz o que mudou em palavras simples. A resposta dela fica guardada com a execução.
Posso executar os meus testes sem nenhuma IA?
Sim. Grave o teste por conta própria e deixe a Análise inteligente com IA desativada. Cada etapa se reproduz e cada asserção é aprovada ou reprovada pela própria comparação, sem nenhum modelo envolvido em nenhum momento.
Como dizer à IA o que ignorar em uma asserção?
Dê à asserção Instruções para a IA, algumas palavras no seu próprio idioma, como “ignore mudanças no tamanho da fonte”. A IA as segue ao julgar essa asserção, e o relatório mostra as instruções ao lado da resposta dela.
Claude, ChatGPT, Codex, OpenAI, Anthropic e Windows são marcas de seus respectivos proprietários.
Continue lendo
Todos os artigos
Testes com IA
Ferramentas de teste com IA: 7 perguntas para fazer antes de escolher uma
12 min de leitura

Testes com IA
O que é vibe testing? Como testar um aplicativo que você criou com IA
9 min de leitura

Testes com IA
Testadores de QA e IA: o que um testador faz quando a IA escreve os testes
11 min de leitura