Cómo leer un informe de pruebas: qué falló, por qué y qué hacer después

Cómo leer un informe de pruebas: cinco preguntas que le dicen qué falló, por qué y si debe registrar un error, aceptar el cambio o editar la comprobación.

Por Ait Nohaila, Representante de desarrollo de negocio 10 min de lectura

Para leer un informe de pruebas, hágase cinco preguntas: si se superó, dónde se detuvo, qué mostraba la pantalla, si es un error o un cambio intencionado, y si ha pasado antes. Un buen informe responde a las cinco.

La mayoría de los resultados de pruebas no lo hacen. Son un muro de rojo y verde, una traza de pila y una línea como «element not found at line 214». Después de leerlos, un tester sigue sin saber si se rompió la aplicación o la prueba.

¿Por qué cuesta tanto leer la mayoría de los resultados de pruebas?

Definición

Un informe de pruebas es lo que una ejecución deja a una persona para que actúe.

  • Muchos están escritos para el programa que ejecutó la prueba, no para esa persona.

Dicen dónde se detuvo el código, cuando el lector necesita saber lo que habría visto el usuario.

Un muro de resultados

FAILED: checkout test 42

Element not found at line 214

Assertion error: expected true, got false

Timeout exceeded

¿Se rompió la aplicación, o la prueba?

Un informe que responde

Falló en el paso Confirmar pedido
El botón se encontró en la pantalla
Se ve distinto: gris, donde se esperaba azul
Se superó en todas las ejecuciones hasta hoy

Usted sabe qué hacer después.

El mismo fallo, dos veces. El primero le dice a un programador dónde se detuvo el código. El segundo le dice a cualquiera lo que habría visto el usuario.
Lo que obtieneLo que sigue sin saber
Una línea roja con el nombre de la pruebaQué paso del flujo falló.
Una traza de pila y un número de líneaQué había en la pantalla en ese momento.
Element not foundSi el botón ha desaparecido, se ha movido, ha cambiado de nombre o ese día iba lento.
Una captura de pantalla del final de la ejecuciónCómo debería haberse visto la pantalla.

Así que alguien vuelve a ejecutar la prueba a mano, mira la pantalla y averigua qué pasó. El informe debía ahorrar ese tiempo.

Las cinco preguntas que debe responder un informe de pruebas

Leer resultados de pruebas es más fácil con un orden fijo. Estas cinco preguntas van de la más rápida a la más profunda, y puede detenerse en cuanto sepa qué hacer.

PreguntaDónde responde el informe de confianza
1. ¿Se superó?El veredicto arriba: superada, fallida o abortada, con cuántas comprobaciones y acciones se superaron.
2. ¿Dónde se detuvo?El banner nombra el paso, y cada fila de la lista lleva el nombre que usted dio a ese paso.
3. ¿Qué mostraba la pantalla?El panel de la comprobación fallida: lo esperado junto a lo real, la diferencia resaltada y el vídeo de la ejecución en ese momento.
4. ¿Es un error o un cambio intencionado?Dos respuestas por comprobación, encontrado e igual, y una explicación con palabras sencillas cuando la IA está activada. La decisión sigue siendo suya.
5. ¿Ha pasado antes?Historial: cada ejecución de la prueba, y la ejecución en la que la comprobación falló por primera vez.

El informe de confianza es el informe que GUI Test Studio abre después de cada ejecución.GUI Test Studio automatiza pruebas de extremo a extremo de cualquier aplicación sin código, y este informe es donde se lee una ejecución.La guía Leer el Informe de confianza describe cada botón.

¿Se superó, y dónde se detuvo?

El banner de arriba dice cómo terminó la ejecución, cuántas comprobaciones y acciones se superaron del total que contiene la prueba, y cuánto duró. Cuando una ejecución falló, dice dónde: el paso, la comprobación y la parte de la prueba a la que pertenece.

Una ejecución de ejemplo: el veredicto arriba, cada paso en el centro, la comprobación seleccionada debajo.
VeredictoLo que pasó
SuperadaSe ejecutaron todos los pasos y se superaron todas las comprobaciones.
Fallida: no encontradoUna comprobación esperó todo su tiempo y nunca encontró lo que esperaba.
Fallida: distintoEl elemento se encontró, pero se ve distinto de lo que espera la prueba.
AbortadaAlguien detuvo la ejecución, o la terminó un límite de tiempo.

Debajo del banner, la lista muestra cada acción y cada comprobación en orden, con una marca verde o roja.Cada fila lleva el nombre que usted dio a su paso en GUI Test Studio, así que un fallo dice Confirmar pedido y no un número de línea.F8 salta al fallo siguiente, y un filtro muestra solo las filas fallidas.

Análisis de fallos de pruebas: ¿se encontró, se ve igual?

Una comprobación que mira un elemento responde a dos preguntas, una tras otra. Primero, si el elemento se encontró en la pantalla. Después, si se ve igual que lo esperado.

Una comprobación fallida, leída de arriba abajo

1

¿Se encontró el elemento?

Encontrado

Está en la pantalla, así que la aplicación llegó al lugar correcto.

2

¿Se ve igual?

Distinto

Algo en él cambió: una palabra, un color o un icono.

3

¿Qué cambió, con palabras sencillas?

IA opcional

El botón Confirmar pedido pasó de activo a desactivado.

Qué respuesta falló le dice qué tipo de problema tiene, antes de abrir una sola imagen.
Qué respuesta fallóLo que significaDónde mirar
No encontradoEl elemento nunca apareció, o cambió tanto que ya no se reconoce.¿Está la aplicación en la pantalla correcta? ¿Hay algo que tapa el elemento? ¿Se eliminó o se rediseñó?
Encontrado, pero distintoEl elemento está ahí, y algo en él cambió: una palabra, un color, un icono.El propio elemento. O la aplicación tiene un error, o cambió a propósito.
EjemploComo encontrarse con un amigo en una estación

Primero localiza a su amigo entre la multitud, y un abrigo nuevo no se lo impide. Luego mira más de cerca y nota el corte de pelo nuevo. La primera mirada es indulgente, la segunda es minuciosa, y el informe mantiene las dos separadas.

La comparación funciona como un ojo humano.Nota lo que notaría una persona, como un dígito equivocado o un icono que falta, e ignora lo que nadie ve.Las comprobaciones de texto son más sencillas: el informe muestra las palabras esperadas junto a las palabras leídas.Una comprobación que se quedó sin tiempo en un día lento es otra historia, contada en las pausas fijas en las pruebas.

¿Qué mostraba la pantalla? Lo esperado junto a lo real

Una frase sobre una diferencia nunca es tan rápida como verla. Haga clic en una comprobación fallida y se abre su panel: lo esperado a la izquierda, lo que encontró la ejecución a la derecha.

Lo esperado a la izquierda, lo real a la derecha, y las respuestas de la comprobación al lado.

El informe le ofrece varias maneras de mirar.

  • Una al lado de la otra, o una imagen superpuesta a la otra.
  • Una vista que resalta solo lo que cambió, para que su mirada vaya directamente ahí.
  • La línea de tiempo de la ejecución, con los fotogramas de su vídeo y cada comprobación marcada en su momento.
Un informe debe mostrar lo que habría visto el usuario, no dónde se detuvo el código.

¿Es un error o un cambio intencionado? Una explicación con palabras sencillas

Con el Análisis inteligente con IA activado, una comprobación fallida recibe un segundo vistazo.La IA da el veredicto final sobre esa comprobación y escribe la frase que escribiría un compañero: el botón Confirmar pedido ha pasado de activo a desactivado.

La explicación es opcional, y qué IA la escribe lo elige su equipo.

  • Una IA en la nube, con su propia clave.
  • Un modelo de IA local, uno que proporcionamos nosotros o uno que trae usted.
  • Ninguna IA: las imágenes siguen mostrando lo que cambió.

Los informes, las imágenes y las grabaciones son archivos en sus equipos, guardados con la prueba.Eso también los convierte en evidencias: consulte evidencias de pruebas para auditorías.

¿Ha pasado antes? El historial de ejecuciones anteriores

Un fallo significa poco sin su pasado. Una comprobación que hoy falló por primera vez, tras semanas superándose, apunta al cambio de ayer. Una comprobación que falla una de cada cinco ejecuciones apunta a un problema de tiempos.

Lo que muestra el historialLo que le dice
La ejecución en la que una comprobación falló por primera vezQué compilación o qué día hay que mirar.
Una comprobación que se supera y falla alternativamenteUn problema de tiempos, o algo que difiere de una ejecución a otra.
Qué cambió entre dos ejecucionesSi se editó la prueba, o solo cambió la aplicación.

El informe de cada ejecución se guarda con la prueba y se vuelve a abrir exactamente como estaba, así que cualquier ejecución anterior se puede volver a leer.Las pruebas que fallan sin motivo son el tema de pruebas inestables y falsos positivos.

Qué hacer después: tres opciones

La lectura de un informe termina en una decisión, y solo hay tres.

Una comprobación fallida, y lo que usted vio en la pantalla

La aplicación está mal

Registrar un informe de defecto

Un PDF, un archivo de Excel o una incidencia de Jira, rellenados a partir de la ejecución.

El cambio era intencionado

Aceptar el nuevo aspecto

Un clic en el informe, y se puede deshacer.

La comprobación pregunta lo que no es

Editar la comprobación

La prueba se abre en GUI Test Studio justo en esa comprobación.

La lectura de un informe termina en una decisión. Cada una de las tres se toma desde el propio informe.
Ha encontradoLo que haceCómo
Un error en la aplicaciónRegistre un informe de defecto.El botón Informe de defecto abre un formulario rellenado a partir de la ejecución: el título, lo que falló, los pasos para reproducir y el entorno. Guárdelo como PDF o como archivo de Excel, o cree una incidencia de Jira.
Un cambio intencionadoAcepte el nuevo aspecto.Un clic convierte lo que encontró la ejecución en el nuevo aspecto esperado. Se puede deshacer, y Guardar lo escribe en la prueba.
Una comprobación que pregunta lo que no esEdite la comprobación.Cambie en el informe las palabras esperadas de una comprobación de texto, o abra la prueba en GUI Test Studio en esa comprobación.
El informe de defecto se escribe por usted. Usted lo lee, lo ajusta y lo guarda.

Crear un informe de defecto y Cuando la aplicación cambia a propósito explican cada uno paso a paso.Acepte solo lo que haya mirado: una prueba que sigue sola cada cambio oculta errores reales, como explica pruebas self-healing.

Cómo leer una ejecución fallida en cinco pasos

  1. 1

    Leer el veredicto de arriba

    El banner del informe de confianza dice cómo terminó la ejecución, cuántas comprobaciones y acciones se superaron, y el paso en el que falló.

  2. 2

    Ir al primer fallo

    Pulse F8 o haga clic en Fallo siguiente.La fila lleva el nombre que usted dio a ese paso, así que sabe qué parte del flujo es.

  3. 3

    Leer las dos respuestas de la comprobación

    Si el elemento se encontró, y si se ve igual. «No encontrado» apunta a la pantalla en la que estaba la aplicación, «distinto» apunta al propio elemento.

  4. 4

    Mirar lo que mostraba la pantalla

    Compare lo esperado y lo real uno al lado del otro, o deje que el informe resalte lo que cambió. Lea la explicación cuando el Análisis inteligente con IA esté activado.

  5. 5

    Decidir qué hacer después

    Abra Historial para ver si falló antes.Después registre un informe de defecto, acepte el nuevo aspecto si el cambio era intencionado, o edite la comprobación.

Resultados de pruebas de un pipeline de CI/CD

Una ejecución en una máquina de compilación se lee de la misma manera. gtr-cli, el ejecutor de línea de comandos, da a la herramienta de CI sus resultados en JUnit, JSON o Markdown, y conserva el vídeo de la ejecución, sus imágenes y su informe guardado como artefactos. Nada de una ejecución se pierde porque nadie la estuviera mirando.

Una compilación fallida también puede registrar su propia incidencia de Jira, con los pasos y las imágenes: consulte cada prueba fallida se convierte en un bug de Jira.Ejecutar pruebas en su pipeline enumera las opciones.

Lo que debe saber antes de empezar

Conviene saberLo que significa
Un informe muestra lo que comprobó la pruebaUn problema fuera de todas las comprobaciones no aparece en él. Una prueba comprueba lo que se le pidió comprobar.
Una ejecución detenida es una ejecución parcialDespués de un fallo del que depende el resto, los pasos posteriores no se ejecutaron. Corrija el primer fallo y vuelva a ejecutar.
La IA responde después de la ejecuciónCon la IA activada, el informe indica que está verificando mientras las comprobaciones fallidas reciben su segundo vistazo, y el veredicto se asienta cuando han llegado todas las respuestas.
La decisión necesita a una personaEl informe muestra y explica la diferencia. Si es un error lo decide alguien que sabe lo que debe hacer la aplicación.

Lo esencial

  • 1Un informe de pruebas es para una persona que tiene que actuar, así que debe decir lo que habría visto el usuario, no dónde se detuvo el código.
  • 2Hágase cinco preguntas en orden: si se superó, dónde se detuvo, qué mostraba la pantalla, si es un error o un cambio intencionado, y si ha pasado antes.
  • 3Cada comprobación da dos respuestas: «no encontrado» apunta a la pantalla en la que estaba la aplicación, «distinto» apunta al propio elemento.
  • 4El informe de confianza muestra lo esperado junto a lo real, con los nombres de sus propios pasos, el vídeo de la ejecución y el historial de ejecuciones anteriores.
  • 5Cada lectura termina en una de tres acciones: un informe de defecto ya rellenado, un nuevo aspecto aceptado con un clic, o una comprobación editada.

Preguntas

¿Cómo se lee un informe de pruebas?

Empiece por el veredicto, y luego vaya al primer fallo. Para ese paso, pregúntese qué mostraba la pantalla, si la diferencia es un error o un cambio intencionado, y si ha pasado antes. Después registre un error, acepte el cambio o edite la comprobación.

¿Qué debe contener un buen informe de pruebas?

La respuesta a cinco preguntas: si la ejecución se superó, dónde se detuvo, qué mostraba la pantalla, si es un error o un cambio intencionado, y si ha pasado antes. Una lista de líneas rojas y verdes solo responde a la primera.

¿Cómo sé si se rompió la aplicación o la prueba?

Mire lo que mostraba la pantalla en el paso fallido, junto a lo que se esperaba. Si la pantalla está mal, se rompió la aplicación. Si la pantalla está bien y solo se ve nueva, la aplicación cambió a propósito y la prueba debe seguirla.

¿Qué diferencia hay entre «no encontrado» y «distinto» en una comprobación fallida?

«No encontrado» significa que el elemento nunca apareció mientras la comprobación esperaba. «Distinto» significa que el elemento estaba ahí, pero algo en él cambió, como una palabra, un color o un icono. El primero le lleva a la pantalla en la que estaba la aplicación, el segundo al propio elemento.

¿Necesito IA para entender una prueba fallida?

No. El informe de confianza muestra lo esperado junto a lo real con la diferencia resaltada, sin ninguna IA. El Análisis inteligente con IA es opcional: añade una explicación con palabras sencillas, con una IA en la nube y su propia clave, o con un modelo de IA local que proporcionamos nosotros o que trae usted.

¿Qué hago cuando una prueba falla porque la aplicación cambió a propósito?

Acepte el nuevo aspecto. En el informe de confianza, un clic convierte lo que encontró la ejecución en el nuevo aspecto esperado de esa comprobación, se puede deshacer, y Guardar lo escribe en la prueba.

¿Puede una prueba fallida convertirse por sí sola en un informe de defecto?

Sí. El botón Informe de defecto del informe de confianza abre un formulario ya rellenado a partir de la ejecución: el título, lo que falló, los pasos para reproducir y el entorno. Usted lo guarda como PDF o como archivo de Excel, o crea a partir de él una incidencia de Jira.

¿Dónde está el informe de una ejecución antigua?

Con la prueba. El informe de confianza de cada ejecución se guarda junto al archivo de la prueba y se vuelve a abrir exactamente como estaba, con sus imágenes. El historial de la prueba enumera cada ejecución y abre cualquiera de ellas.

Jira y Excel son marcas comerciales de sus respectivos propietarios.