Testes repetíveis com IA: use a IA para criar o teste, não para improvisar a cada execução

Testes repetíveis com IA: a IA cria o teste, e as mesmas etapas se repetem a cada execução. Por que um teste não pode improvisar, e onde a IA ainda ajuda.

Por Ait Nohaila, Representante de desenvolvimento de negócios 11 min de leitura

Testes repetíveis com IA são aqueles em que a IA ajuda a criar e a alterar um teste, enquanto o próprio teste reproduz as mesmas etapas e dá a mesma resposta em todas as execuções. A IA trabalha onde o julgamento ajuda, e nunca improvisa a execução.

Um build fica vermelho na segunda e verde na terça, e nada mudou no aplicativo. Se uma IA escolheu as etapas de cada execução, você não tem como saber se o aplicativo quebrou ou se a IA pegou outro caminho. Um build vermelho que pode não significar nada logo passa a ser ignorado.

O que é teste repetível?

Definição

Um teste repetível dá o mesmo resultado toda vez que é executado no mesmo aplicativo.

  • As mesmas etapas acontecem na mesma ordem.
  • Cada asserção é decidida pela mesma regra.

Então, quando o resultado muda, foi o aplicativo que mudou.

É essa propriedade que torna um teste útil a cada build.Um resultado vermelho é um fato sobre o seu produto, não sobre o teste.É todo o sentido do teste de regressão.

Por que uma IA pode dar duas respostas diferentes para a mesma pergunta?

Um modelo de IA não consulta uma resposta pronta. Ele compõe uma resposta a cada vez que é perguntado, e pode compô-la de outro jeito. Faça a mesma pergunta duas vezes a um assistente e muitas vezes você recebe duas redações, às vezes duas conclusões.

Isso é uma força quando você quer um rascunho, uma ideia ou uma explicação. É uma fraqueza quando a resposta é um veredito que precisa valer por trezentos builds.

Um teste precisa dar a mesma resposta duas vezes. Senão, um build vermelho não significa nada.

Duas formas de usar IA na automação de testes

A IA pode ficar em dois lugares em um teste.

A IA conduz cada execução

Uma IA lê as suas instruções e conduz o aplicativo de novo a cada execução, escolhendo cada clique pelo caminho.

A IA ajuda, o teste roda sozinho

Ou a IA ajuda onde uma pessoa ajudaria, quando o teste é criado, alterado ou revisado, e a execução em si é uma gravação fixa.

Uma IA conduz cada execução

Execução 1

Abrir PedidosNovo pedidoDigitar o clienteSalvar

Execução 2

Abrir PedidosBuscar o clienteNovo pedidoSalvar

Execução 3

Abrir PedidosNovo pedidoParou em uma caixa de diálogo

O aplicativo quebrou, ou a IA pegou outro caminho?

Um teste salvo se reproduz

Execução 1

Abrir PedidosNovo pedidoDigitar o clienteSalvar

Execução 2

Abrir PedidosNovo pedidoDigitar o clienteSalvar

Execução 300

Abrir PedidosNovo pedidoDigitar o clienteSalvar

Uma execução vermelha significa que o aplicativo mudou.

O mesmo pedido, executado três vezes. Só um teste que reproduz as mesmas etapas faz de um build vermelho um fato sobre o seu aplicativo.
PerguntaUma IA conduz cada execuçãoUm teste salvo se reproduz
As etapas são as mesmas em todas as execuções?Não é garantido: cada execução é uma nova leitura das instruções.Sim: as mesmas etapas na mesma ordem.
Dá para reproduzir uma falha?Nem sempre: a próxima execução pode seguir outro caminho.Sim: execute o teste de novo, ou assista ao vídeo da execução.
Quanto custa uma execução?Uso de IA em cada execução de cada teste.O tempo da máquina de build.
Quão rápida é uma execução?A IA pensa antes de cada etapa.Tão rápida quanto o fluxo gravado.
O que significa um build vermelho?O aplicativo mudou, ou a IA escolheu diferente.O aplicativo mudou.

As duas formas têm nome, e são colocadas lado a lado em teste agêntico vs teste assistido por IA.

Onde a IA ajuda, e onde um teste não pode improvisar

A pergunta não é se você deve usar IA nos testes. É onde. Algumas partes do trabalho de teste ganham com o julgamento, e outras precisam ficar fixas.

Parte do trabalho de testeO que a IA faz aliPor quê
Criar o testeEla ajuda: uma frase vira etapas e asserções, experimentadas na tela real.É o trabalho que uma pessoa faria, feito mais rápido.
Alterar o testeEla ajuda: faz a alteração que você pede, depois que você confirma.A decisão continua sendo sua.
Executar as etapasNada: o teste salvo se reproduz.As mesmas etapas precisam acontecer em todas as execuções.
Decidir cada asserçãoNada: a mesma comparação todas as vezes.A mesma tela precisa receber o mesmo veredito.
Uma asserção que falhouUm segundo olhar opcional: um veredito final sobre essa asserção, e uma explicação.Uma diferença às vezes precisa ser lida, como uma pessoa a leria.
Ler os resultadosEla ajuda: o seu assistente lê uma execução e a explica.Poupa o seu tempo e não muda nada no teste.

Automação de testes com IA em que você pode confiar: como o GUI Test Studio faz

O GUI Test Studio, que automatiza testes de ponta a ponta de qualquer aplicativo sem código, é construído sobre a segunda forma. Você descreve o teste em um prompt para o Claude, para o ChatGPT com Codex ou para um modelo de IA local que fornecemos ou que você traz. Você também pode gravá-lo por conta própria, sem IA em nenhum momento.

O seu prompt

Crie um pedido para a Atlas Textiles e verifique o total.

A IA trabalha uma vez

Ela executa o fluxo na sua tela e experimenta cada asserção ali.

Um teste salvo

Order.GTS

As etapas, as imagens e a gravação dele.

Execução 1

  1. 1Abrir Pedidos
  2. 2Novo pedido
  3. 3Digitar o cliente
  4. 4Salvar
  5. 5Verificar o total

Execução 2

  1. 1Abrir Pedidos
  2. 2Novo pedido
  3. 3Digitar o cliente
  4. 4Salvar
  5. 5Verificar o total

Execução 300

  1. 1Abrir Pedidos
  2. 2Novo pedido
  3. 3Digitar o cliente
  4. 4Salvar
  5. 5Verificar o total
A IA cria o teste uma vez. Depois disso, cada execução reproduz as mesmas etapas na mesma ordem, sem nenhuma IA conduzindo o aplicativo.
  1. Você descreve

    Uma frase

  2. A IA grava

    Uma vez, na sua tela

  3. Um teste salvo

    Um arquivo que é seu

  4. Cada execução

    As mesmas etapas

Três coisas tornam a execução repetível.

  • A IA trabalha uma vez: ela executa o fluxo na sua tela real e experimenta cada asserção ali antes de mantê-la.
  • O que ela deixa é um teste salvo, um arquivo com as etapas, as imagens e a gravação dele.
  • Quando esse teste é executado, ele reproduz as mesmas etapas na mesma ordem, e nenhuma IA conduz o aplicativo.

Quando o aplicativo muda, o mesmo assistente altera o teste salvo no próprio arquivo: outro texto esperado, uma espera mais longa, uma etapa removida. Ele mostra a alteração e pede a sua confirmação antes de escrever. Entre duas alterações, o teste é o mesmo arquivo, e a execução dele também é a mesma.

Criar um teste a partir de um prompt mostra cada janela, e gerador de testes com IA: de um prompt a um teste que roda conta como escrever um prompt que gera um bom teste.

Cada asserção é decidida do mesmo jeito todas as vezes

Uma execução só é repetível se os vereditos dela também forem. Cada asserção visual responde a duas perguntas fixas: o elemento foi encontrado na tela, e ele tem a aparência esperada? A comparação é perceptiva, como a de um olho humano. Ela nota o que uma pessoa notaria, como um dígito errado, um ícone ausente ou uma palavra alterada, e ignora o que ninguém vê.

Mais três coisas mantêm uma execução estável.

  • Cada asserção aguarda o seu elemento e é aprovada no instante em que ele aparece, então uma tela lenta não muda o resultado.
  • Um valor que muda por natureza, como uma data ou um número de pedido, é verificado pelo formato.
  • Cada asserção diz o que uma falha faz: parar o teste ou continuar.

O tempo de espera é a primeira causa de testes que passam e falham ao acaso: veja sleeps fixos nos testes: espere pela tela e testes instáveis e falsos positivos.

Quando uma asserção falha: a IA dá um segundo olhar, e a resposta dela fica guardada

Algumas diferenças pedem julgamento. Um título um pouco mais em negrito é um bug? A Análise inteligente com IA é o lado opcional de IA do GTS Engine + AI. Só quando uma asserção falha, ela dá um segundo olhar para essa asserção, dá o veredito final sobre ela e explica a diferença em palavras simples.

As asserções de uma execução

Título do login

Aprovada: nenhuma IA olha para ela

Nome do cliente

Aprovada: nenhuma IA olha para ela

Total do pedido

Aprovada: nenhuma IA olha para ela

Botão Confirmar pedido

Reprovada: a única para a qual a IA olha

Número do pedido

Aprovada: nenhuma IA olha para ela

Análise inteligente com IA, se você a ativou

Um segundo olhar para a asserção reprovada

Veredito final: reprovada

O botão Confirmar pedido mudou de ativo para desativado.

Guardado com a execuçãoMostrado no relatório
A IA só é consultada sobre uma asserção reprovada. Todo o resto da execução é decidido do mesmo jeito todas as vezes, sem nenhum modelo.
O veredito da IA e os motivos dela, ao lado da asserção que ela julgou.

Quatro regras mantêm esse julgamento no lugar dele.

  • A IA nunca conduz o aplicativo, e nunca olha para uma asserção aprovada.
  • O veredito dela diz respeito a uma única asserção reprovada, e o relatório mostra os motivos ao lado das duas imagens.
  • A resposta dela fica guardada com a execução, então abrir o relatório de novo não pergunta nada outra vez.
  • Com a IA desativada, cada asserção é aprovada ou reprovada pela própria comparação.

Assim, a execução é a mesma todas as vezes, e o único lugar em que um modelo julga é pequeno, visível e pode ser desativado por você.

Oriente a IA em palavras simples: as Instruções para a IA

Algumas diferenças são esperadas, e só você sabe quais. Uma asserção pode levar Instruções para a IA: algumas palavras no seu próprio idioma que a IA segue ao julgar essa asserção.

Você escreveA IA
Ignore mudanças no tamanho da fonte.Deixa um texto maior ou menor fora das diferenças.
A data no canto muda todos os dias.Não conta a data como uma diferença.
O botão Salvar deve continuar verde.Reprova a asserção sempre que o botão estiver de outra cor.

O relatório mostra as instruções sob as quais um veredito foi dado, ao lado da resposta da IA, então um julgamento nunca é um mistério.O guia da Análise inteligente com IA traz todas as configurações.

Você escolhe a IA, ou nenhuma

Qual IA dá esse segundo olhar é escolha sua, e você pode mudar de ideia.

Uma IA na nuvem, com a sua própria chave

Um modelo da OpenAI ou da Anthropic responde pela sua própria conta, e só as duas imagens pequenas de uma asserção reprovada viajam até ele.

Um modelo de IA local

Um modelo que fornecemos ou o seu próprio roda no seu computador, e nada sai dele.

Nenhuma IA

Sem nenhuma IA, você mesmo grava os testes, e cada asserção é aprovada ou reprovada pela própria comparação.

Testes, gravações e relatórios são arquivos nos seus computadores em todos os casos.O que esse controle vale para uma equipe é o assunto de soberania de IA em testes de software.

Um teste que não muda sozinho é também a conferência independente de que você precisa quando a IA escreve o código: veja como testar código gerado por IA.E um teste que se conserta sozinho entre as execuções levanta a mesma questão, como mostra testes self-healing.

O que saber antes de começar

LimiteO que significa
Um teste verifica o que você mandou verificarUm teste repetível não explora. Ele repete um fluxo e as asserções dele, então cada fluxo que importa precisa do seu teste.
O mesmo começo dá a mesma respostaAntes de uma execução, coloque o aplicativo de volta onde a gravação começou: a mesma página, os mesmos dados, as mesmas janelas abertas.
O segundo olhar da IA é um julgamentoEm uma diferença que fica no limite, a leitura de um modelo pode variar. Ele só é consultado sobre asserções reprovadas, os motivos dele são mostrados, e ele pode ficar desativado.
Uma execução usa a tela realUma execução move o mouse real e digita no teclado real, a menos que um teste web seja executado sem janela de navegador.

Principais conclusões

  • 1Um teste precisa dar a mesma resposta duas vezes, ou um build vermelho não significa nada.
  • 2Uma IA que conduz cada execução improvisa: outro caminho, um custo por execução, uma falha que você não consegue reproduzir.
  • 3No GUI Test Studio, a IA cria o teste e o altera quando você pede. O teste salvo reproduz as mesmas etapas, sem nenhuma IA conduzindo o aplicativo.
  • 4Cada asserção é decidida do mesmo jeito todas as vezes. Só uma asserção reprovada pode receber o segundo olhar de uma IA, e a resposta fica guardada com a execução.
  • 5Você escolhe a IA: uma IA na nuvem com a sua própria chave, um modelo de IA local, nosso ou seu, ou nenhuma.

Perguntas

O que é teste repetível?

Teste repetível significa que um teste dá o mesmo resultado toda vez que é executado no mesmo aplicativo. As mesmas etapas acontecem na mesma ordem, e cada asserção é decidida pela mesma regra. Quando o resultado muda, foi o aplicativo que mudou.

Os testes com IA são repetíveis?

Depende de onde a IA fica. Uma IA que conduz o aplicativo a cada execução lê as instruções de novo a cada vez e pode seguir outro caminho. Um teste que a IA criou uma vez e que se reproduz sozinho é repetível: as mesmas etapas e as mesmas asserções em todas as execuções.

Por que os testes conduzidos por IA dão resultados diferentes de uma execução para outra?

Porque um modelo de IA compõe a resposta a cada vez que é perguntado, e pode compô-la de outro jeito. Se o modelo escolhe cada clique durante a execução, duas execuções no mesmo aplicativo podem seguir dois caminhos. Uma falha vista uma vez pode não voltar quando você tenta reproduzi-la.

Posso usar IA na automação de testes e ainda assim ter resultados repetíveis?

Sim. Use a IA para criar o teste e para alterá-lo quando você pedir, e deixe o teste salvo rodar sozinho. No GUI Test Studio, um teste feito a partir de um prompt reproduz as mesmas etapas em todas as execuções, sem nenhuma IA conduzindo o aplicativo.

O GUI Test Studio usa IA durante a execução de um teste?

Nenhuma IA conduz o aplicativo durante uma execução: o teste salvo reproduz as etapas dele. Se você ativar a Análise inteligente com IA, ela olha apenas para uma asserção que falhou, dá o veredito final sobre essa asserção e explica a diferença. Ela é opcional.

O que a Análise inteligente com IA faz quando uma asserção falha?

Ela dá um segundo olhar para a asserção que falhou e dá o veredito final. Ela aprova a asserção quando nada importante mudou, reprova quando algo importante mudou, e diz o que mudou em palavras simples. A resposta dela fica guardada com a execução.

Posso executar os meus testes sem nenhuma IA?

Sim. Grave o teste por conta própria e deixe a Análise inteligente com IA desativada. Cada etapa se reproduz e cada asserção é aprovada ou reprovada pela própria comparação, sem nenhum modelo envolvido em nenhum momento.

Como dizer à IA o que ignorar em uma asserção?

Dê à asserção Instruções para a IA, algumas palavras no seu próprio idioma, como “ignore mudanças no tamanho da fonte”. A IA as segue ao julgar essa asserção, e o relatório mostra as instruções ao lado da resposta dela.

Claude, ChatGPT, Codex, OpenAI, Anthropic e Windows são marcas de seus respectivos proprietários.

Todos os artigos