Como ler um relatório de teste: o que falhou, por quê e o que fazer em seguida

Como ler um relatório de teste: cinco perguntas que dizem o que falhou, por quê, e se é para registrar um bug, aceitar a mudança ou editar a asserção.

Por Ait Nohaila, Representante de desenvolvimento de negócios 10 min de leitura

Para ler um relatório de teste, faça cinco perguntas: foi aprovado, onde parou, o que a tela mostrou, é um bug ou uma mudança intencional, e já aconteceu antes. Um bom relatório responde às cinco.

A maioria dos resultados de teste não responde. Eles são uma parede de vermelho e verde, um stack trace e uma linha como element not found at line 214. Depois de lê-los, o testador ainda não sabe se quem quebrou foi o aplicativo ou o teste.

Por que a maioria dos resultados de teste é difícil de ler?

Definição

Um relatório de teste é o que uma execução de teste deixa para uma pessoa agir.

  • Muitos são escritos para o programa que executou o teste, não para essa pessoa.

Eles dizem onde o código parou, quando o leitor precisa saber o que o usuário teria visto.

Uma parede de resultados

FAILED: teste de checkout 42

Element not found at line 214

Assertion error: expected true, got false

Timeout exceeded

O aplicativo quebrou, ou o teste?

Um relatório que responde

Falhou na etapa Confirmar pedido
O botão foi encontrado na tela
Ele parece diferente: cinza, onde era esperado azul
Ele foi aprovado em todas as execuções antes de hoje

Você sabe o que fazer em seguida.

A mesma falha, duas vezes. A primeira diz a um programador onde o código parou. A segunda diz a qualquer pessoa o que o usuário teria visto.
O que você recebeO que você ainda não sabe
Uma linha vermelha com o nome do testeQual etapa do fluxo falhou.
Um stack trace e um número de linhaO que estava na tela naquele momento.
Element not foundSe o botão sumiu, mudou de lugar, foi renomeado ou só estava lento naquele dia.
Uma captura de tela do fim da execuçãoComo a tela deveria estar.

Então alguém executa o teste de novo à mão, observa a tela e descobre o que aconteceu. O relatório deveria poupar esse tempo.

As cinco perguntas que um relatório de teste precisa responder

Ler resultados de teste fica mais fácil com uma ordem fixa. Estas cinco perguntas vão da mais rápida à mais profunda, e você pode parar assim que souber o que fazer.

PerguntaOnde o Relatório de confiança responde
1. Foi aprovado?O veredito no topo: aprovado, reprovado ou interrompido, com quantas asserções e ações foram aprovadas.
2. Onde parou?O banner nomeia a etapa, e cada linha da lista traz o nome que você deu a essa etapa.
3. O que a tela mostrou?O painel da asserção reprovada: o esperado ao lado do obtido, a diferença destacada e o vídeo da execução naquele momento.
4. É um bug ou uma mudança intencional?Duas respostas por asserção, encontrado e igual, e uma explicação em palavras simples quando a IA está ativada. A decisão continua sendo sua.
5. Já aconteceu antes?Histórico: cada execução do teste, e a execução em que a asserção falhou pela primeira vez.

O Relatório de confiança é o relatório que o GUI Test Studio abre depois de cada execução.O GUI Test Studio automatiza testes de ponta a ponta de qualquer aplicativo sem código, e é nesse relatório que uma execução é lida.O guia Ler o Relatório de confiança descreve cada botão.

Foi aprovado, e onde parou?

O banner no topo diz como a execução terminou, quantas asserções e ações foram aprovadas do total que o teste contém, e quanto tempo levou. Quando uma execução falhou, ele diz onde: a etapa, a asserção e a parte do teste a que ela pertence.

Uma execução de exemplo: o veredito no topo, cada etapa no meio, a asserção selecionada embaixo.
VereditoO que aconteceu
AprovadoCada etapa foi executada e cada asserção foi aprovada.
Reprovado: não encontradoUma asserção aguardou todo o tempo dela e nunca encontrou o que esperava.
Reprovado: diferenteO elemento foi encontrado, mas parece diferente do que o teste espera.
InterrompidoAlguém parou a execução, ou um tempo limite a encerrou.

Embaixo do banner, a lista mostra cada ação e cada asserção em ordem, com uma marca verde ou vermelha.Cada linha traz o nome que você deu à etapa no GUI Test Studio, então uma falha aparece como Confirmar pedido e não como um número de linha.F8 pula para a próxima falha, e um filtro mostra só as linhas reprovadas.

Análise de falhas de teste: foi encontrado, parece igual?

Uma asserção que olha para um elemento responde a duas perguntas, uma depois da outra. Primeiro, se o elemento foi encontrado na tela. Depois, se ele parece igual ao esperado.

Uma asserção reprovada, lida de cima para baixo

1

O elemento foi encontrado?

Encontrado

Ele está na tela, então o aplicativo chegou ao lugar certo.

2

Ele parece igual?

Diferente

Algo nele mudou: uma palavra, uma cor ou um ícone.

3

O que mudou, em palavras simples?

IA opcional

O botão Confirmar pedido passou de ativo para desativado.

Qual resposta falhou diz que tipo de problema você tem, antes mesmo de abrir uma única imagem.
Qual resposta falhouO que significaOnde olhar
Não encontradoO elemento nunca apareceu, ou mudou tanto que não é mais reconhecido.O aplicativo está na tela certa? Tem algo cobrindo o elemento? Ele foi removido ou redesenhado?
Encontrado, mas diferenteO elemento está lá, e algo nele mudou: uma palavra, uma cor, um ícone.O próprio elemento. Ou o aplicativo tem um bug, ou ele mudou de propósito.
ExemploComo encontrar um amigo em uma estação

Primeiro você reconhece o seu amigo no meio da multidão, e um casaco novo não atrapalha. Depois você olha mais de perto e repara no corte de cabelo novo. O primeiro olhar é tolerante, o segundo é cuidadoso, e o relatório mantém os dois separados.

A comparação funciona como um olho humano.Ela nota o que uma pessoa notaria, como um dígito errado ou um ícone faltando, e ignora o que ninguém vê.As asserções de texto são mais simples: o relatório mostra as palavras esperadas ao lado das palavras lidas.Uma asserção que ficou sem tempo em um dia lento é outra história, contada em sleeps fixos nos testes.

O que a tela mostrou? O esperado ao lado do obtido

Uma frase sobre uma diferença nunca é tão rápida quanto vê-la. Clique em uma asserção reprovada e o painel dela abre: o que era esperado à esquerda, o que a execução encontrou à direita.

O esperado à esquerda, o obtido à direita, e as respostas da asserção ao lado deles.

O relatório dá várias formas de olhar.

  • Lado a lado, ou uma imagem sobreposta à outra.
  • Uma visualização que destaca só o que mudou, para o seu olho ir direto até lá.
  • A linha do tempo da execução, com os quadros do vídeo e cada asserção marcada no seu momento.
Um relatório deveria mostrar o que o usuário teria visto, não onde o código parou.

É um bug ou uma mudança intencional? Uma explicação em palavras simples

Com a Análise inteligente com IA ativada, uma asserção reprovada ganha um segundo olhar.A IA dá o veredito final sobre essa asserção e escreve a frase que um colega escreveria: o botão Confirmar pedido passou de ativo para desativado.

A explicação é opcional, e qual IA a escreve é escolha da sua equipe.

  • Uma IA na nuvem, com a sua própria chave.
  • Um modelo de IA local, um dos nossos ou um que você traz.
  • Nenhuma IA: as imagens continuam mostrando o que mudou.

Os relatórios, as imagens e as gravações são arquivos nos seus computadores, guardados com o teste.Isso também faz deles evidências: veja evidências de teste para auditorias.

Já aconteceu antes? O histórico das execuções anteriores

Uma falha diz pouco sem o passado dela. Uma asserção que falhou hoje pela primeira vez, depois de semanas sendo aprovada, aponta para a mudança de ontem. Uma asserção que falha uma execução em cada cinco aponta para um problema de tempo.

O que o Histórico mostraO que isso diz a você
A execução em que uma asserção falhou pela primeira vezQual build ou qual dia olhar.
Uma asserção que ora é aprovada, ora é reprovadaUm problema de tempo, ou algo que difere de uma execução para outra.
O que mudou entre duas execuçõesSe o teste foi editado, ou se só o aplicativo mudou.

O relatório de cada execução é salvo com o teste e reabre exatamente como estava, então qualquer execução anterior pode ser lida de novo.Os testes que falham sem motivo são o assunto de testes instáveis e falsos positivos.

O que fazer em seguida: três escolhas

Ler um relatório termina em uma decisão, e só existem três.

Uma asserção reprovada, e o que você viu na tela

O aplicativo está errado

Registrar um relatório de bug

Um PDF, um arquivo Excel ou uma issue do Jira, preenchidos a partir da execução.

A mudança foi intencional

Aceitar o novo visual

Um clique no relatório, e ele pode ser desfeito.

A asserção pergunta a coisa errada

Editar a asserção

O teste abre no GUI Test Studio exatamente nessa asserção.

Ler um relatório termina em uma decisão. Cada uma das três é tomada a partir do próprio relatório.
Você encontrouO que fazerComo
Um bug no aplicativoRegistre um relatório de bug.O botão Relatório de bug abre um formulário preenchido a partir da execução: o título, o que falhou, as etapas para reproduzir, o ambiente. Salve-o como PDF ou arquivo Excel, ou crie uma issue do Jira.
Uma mudança intencionalAceite o novo visual.Um clique transforma o que a execução encontrou no novo visual esperado. Isso pode ser desfeito, e Salvar o escreve no teste.
Uma asserção que pergunta a coisa erradaEdite a asserção.Altere as palavras esperadas de uma asserção de texto no relatório, ou abra o teste no GUI Test Studio nessa asserção.
O relatório de bug é escrito para você. Você lê, ajusta e salva.

Criar um relatório de bug e Quando o aplicativo muda de propósito mostram cada um passo a passo.Aceite só o que você olhou: um teste que acompanha sozinho cada mudança esconde bugs reais, como explica testes self-healing.

Como ler uma execução que falhou em cinco etapas

  1. 1

    Ler o veredito no topo

    O banner do Relatório de confiança diz como a execução terminou, quantas asserções e ações foram aprovadas e a etapa em que ela falhou.

  2. 2

    Ir até a primeira falha

    Pressione F8 ou clique em Próxima falha.A linha traz o nome que você deu a essa etapa, então você sabe qual parte do fluxo ela é.

  3. 3

    Ler as duas respostas da asserção

    O elemento foi encontrado, e parece igual. Não encontrado aponta para a tela em que o aplicativo estava, diferente aponta para o próprio elemento.

  4. 4

    Olhar o que a tela mostrou

    Compare o esperado e o obtido lado a lado, ou deixe o relatório destacar o que mudou. Leia a explicação quando a Análise inteligente com IA estiver ativada.

  5. 5

    Decidir o que fazer em seguida

    Abra o Histórico para ver se ela falhou antes.Depois, registre um relatório de bug, aceite o novo visual quando a mudança for intencional, ou edite a asserção.

Resultados de teste de um pipeline de CI/CD

Uma execução em uma máquina de build é lida do mesmo jeito. O gtr-cli, o executor de linha de comando, entrega os resultados à ferramenta de CI em JUnit, JSON ou Markdown, e guarda o vídeo da execução, as imagens e o relatório salvo como artefatos. Nada de uma execução se perde porque ninguém estava olhando.

Um build que falha também pode registrar a própria issue do Jira, com as etapas e as imagens: veja cada teste que falha vira um bug no Jira.Executar testes no seu pipeline lista as opções.

O que saber antes de começar

Bom saberO que significa
Um relatório mostra o que o teste verificouUm problema fora de todas as asserções não aparece nele. Um teste verifica o que mandaram verificar.
Uma execução interrompida é uma execução parcialDepois de uma falha da qual o resto depende, as etapas seguintes não foram executadas. Corrija a primeira falha e execute de novo.
A IA responde depois da execuçãoCom a IA ativada, o relatório diz que está verificando enquanto as asserções reprovadas ganham o segundo olhar, e o veredito se fixa quando todas as respostas chegam.
A decisão precisa de uma pessoaO relatório mostra e explica a diferença. Se é um bug, quem diz é alguém que sabe o que o aplicativo deveria fazer.

Principais conclusões

  • 1Um relatório de teste é para uma pessoa que precisa agir, então ele precisa dizer o que o usuário teria visto, não onde o código parou.
  • 2Faça cinco perguntas, em ordem: foi aprovado, onde parou, o que a tela mostrou, é um bug ou uma mudança intencional, já aconteceu antes.
  • 3Cada asserção dá duas respostas: não encontrado aponta para a tela em que o aplicativo estava, diferente aponta para o próprio elemento.
  • 4O Relatório de confiança mostra o esperado ao lado do obtido, com os nomes das suas etapas, o vídeo da execução e o histórico das execuções anteriores.
  • 5Cada leitura termina em uma de três ações: um relatório de bug preenchido para você, um novo visual aceito com um clique ou uma asserção editada.

Perguntas

Como ler um relatório de teste?

Comece pelo veredito, depois vá até a primeira falha. Para essa etapa, pergunte o que a tela mostrou, se a diferença é um bug ou uma mudança intencional, e se já aconteceu antes. Depois, registre um bug, aceite a mudança ou edite a asserção.

O que um bom relatório de teste deve conter?

A resposta a cinco perguntas: a execução foi aprovada, onde parou, o que a tela mostrou, é um bug ou uma mudança intencional, e já aconteceu antes. Uma lista de linhas vermelhas e verdes responde só à primeira.

Como saber se quem quebrou foi o aplicativo ou o teste?

Olhe o que a tela mostrou na etapa que falhou, ao lado do que era esperado. Se a tela está errada, o aplicativo quebrou. Se a tela está certa e só parece nova, o aplicativo mudou de propósito e o teste deve acompanhar.

Qual é a diferença entre não encontrado e diferente em uma asserção reprovada?

Não encontrado significa que o elemento nunca apareceu enquanto a asserção aguardava. Diferente significa que o elemento estava lá, mas algo nele mudou, como uma palavra, uma cor ou um ícone. O primeiro leva você à tela em que o aplicativo estava, o segundo ao próprio elemento.

Preciso de IA para entender um teste que falhou?

Não. O Relatório de confiança mostra o esperado ao lado do obtido com a diferença destacada, sem nenhuma IA. A Análise inteligente com IA é opcional: ela acrescenta uma explicação em palavras simples, com uma IA na nuvem e a sua própria chave, ou com um modelo de IA local, um dos nossos ou um que você traz.

O que fazer quando um teste falha porque o aplicativo mudou de propósito?

Aceite o novo visual. No Relatório de confiança, um clique transforma o que a execução encontrou no novo visual esperado dessa asserção, isso pode ser desfeito, e Salvar o escreve no teste.

Um teste que falhou pode virar um relatório de bug sozinho?

Sim. O botão Relatório de bug do Relatório de confiança abre um formulário já preenchido a partir da execução: o título, o que falhou, as etapas para reproduzir e o ambiente. Você o salva como PDF ou arquivo Excel, ou cria uma issue do Jira a partir dele.

Onde fica o relatório de uma execução antiga?

Com o teste. O Relatório de confiança de cada execução é salvo ao lado do arquivo de teste e reabre exatamente como estava, com as imagens. O Histórico do teste lista cada execução e abre qualquer uma delas.

Jira e Excel são marcas de seus respectivos proprietários.

Todos os artigos