Pruebas self-healing: cuando una prueba que se repara sola oculta un error real

Las pruebas self-healing mantienen la suite en verde cuando cambia la aplicación. Cómo una falsa reparación oculta un error real, y cómo hacer visible cada cambio.

Por Ait Nohaila, Representante de desarrollo de negocio 11 min de lectura

Las pruebas self-healing se reparan solas cuando cambia la aplicación: una prueba que no encuentra un elemento elige uno parecido y sigue adelante. Eso ahorra mantenimiento, pero una elección equivocada da por bueno un flujo roto, y nadie se entera.

Ya conoce esa mañana. Ha llegado una compilación nueva, hay cuarenta pruebas en rojo y ninguna ha encontrado un error: cada una perdió un botón que antes encontraba. El self-healing promete acabar con esas mañanas. La cuestión es qué hace el día en que el botón ha desaparecido de verdad.

¿Qué son las pruebas self-healing?

Definición

Una prueba self-healing es una prueba automatizada que se cambia a sí misma cuando ya no encuentra un elemento.

  • La herramienta busca en la pantalla lo que más se le parece y lo usa en su lugar.
  • La ejecución sigue como si no hubiera pasado nada.

La automatización de pruebas self-healing existe por un tipo concreto de mantenimiento. En una prueba con código, cada botón, campo y enlace se encuentra mediante un localizador: una línea que describe dónde está el elemento en la página o en la ventana. Cuando un desarrollador cambia el nombre del elemento o lo mueve, el localizador deja de coincidir, y la prueba falla aunque la aplicación funcione.

Por qué los localizadores se rompen tan a menudo es el tema de «element not found»: cuando fallan los selectores y los localizadores.

Por qué los equipos quieren automatización de pruebas self-healing

Tres molestias hacen atractivo el self-healing.

Compilaciones en rojo que no encontraron nada

Un pequeño cambio de la aplicación pone en rojo decenas de pruebas, y ninguna señala un error.

Horas de reparación

Los testers pasan la semana reparando localizadores en lugar de probar el producto.

Una batería de pruebas en la que nadie confía

Después de suficientes falsas alarmas, el equipo deja de mirar las pruebas en rojo.

El deseo que hay detrás es razonable. Una prueba debería sobrevivir a un cambio que ningún usuario notaría: un identificador renombrado, un botón movido un poco, un nuevo contenedor alrededor de un formulario. Nada de eso es un error, y nada de eso debería costar una mañana.

Las pruebas que fallan sin motivo tienen un coste propio, contado en pruebas inestables y falsos positivos.

¿Qué es una falsa reparación?

Definición

Una falsa reparación es una reparación que elige el elemento equivocado.

  • La prueba sigue adelante y hace clic en algo, o comprueba algo, que solo se parece a aquello para lo que fue creada.
  • Y luego se supera.

La ejecución está en verde sobre un flujo que está roto.

La semana pasada

Su pedido

Pagar ahora

La prueba hace clic en Pagar ahora.

Esta semana

Su pedido

Pagar más tarde

Pagar ahora ha desaparecido. La prueba se repara sola y hace clic en Pagar más tarde.

Lo que dice la compilación

Prueba superada

Lo que recibe el cliente

Un pedido que nunca se pagó

Una falsa reparación: la prueba se reparó sobre otro botón, y la ejecución siguió en verde sobre un proceso de pago roto.
EjemploUn proceso de pago que perdió su botón Pagar

Por error, una versión sustituye el botón Pagar ahora por Pagar más tarde. La prueba no encuentra Pagar ahora. Su reparación encuentra un botón del mismo tamaño en el mismo sitio, con un nombre parecido, y hace clic en él. El pedido se guarda sin pagar, el último paso sigue viendo una página de pedido y la ejecución se supera. El primero en darse cuenta es un cliente.

Una prueba fallida cuesta unos minutos. Una falsa reparación elimina la única señal que la prueba estaba ahí para dar.

Una falsa alarma falla por nada. Una falsa reparación se supera por nada, y eso es peor: nadie abre una prueba en verde para revisarla.

Cómo encuentra una prueba un elemento, y qué espera de él: dos cambios distintos

No todas las reparaciones conllevan el mismo riesgo. Una prueba guarda dos cosas sobre cada elemento, y no conviene tratarlas igual.

Cómo se encuentra el elemento

Un nuevo identificadorUn botón que se movióUna ventana más anchaUna lista que se desplazó

El usuario ve la misma pantalla.

La prueba puede adaptarse sola, y decir dónde encontró el elemento.

Lo que espera la comprobación

Otras palabrasOtro colorUn icono que faltaOtro elemento

El usuario ve otra pantalla.

La prueba falla, y una persona decide.

Una prueba guarda dos cosas sobre cada elemento. Solo la primera puede cambiar sin que una persona lo mire.
Lo que cambióEjemploSi la prueba se adapta en silencio
Cómo se encuentra el elementoEl botón conservó su aspecto y su función, pero se movió o recibió otro identificador.Riesgo bajo: el usuario ve la misma pantalla.
Lo que espera la pruebaLas palabras, el color o el estado del botón cambiaron, u otro elemento ocupó su lugar.Riesgo alto: es una decisión sobre su producto.

La regla importa todavía más cuando la IA escribe el código que se prueba, como explica cómo probar código generado por IA.

Dos preguntas que hacer a cualquier prueba self-healing

Antes de confiar en una prueba que se repara sola, haga dos preguntas.

¿A quién se avisa?

Cuando una prueba se cambió a sí misma, ¿a quién se avisa, y puede ver de qué a qué cambió?

¿Quién lo decidió?

¿Quién decidió que la nueva versión era correcta: una persona que miró la pantalla, o la herramienta sola?

Si las respuestas sinceras son «nadie» y «la herramienta», cada ejecución en verde necesita una segunda mirada, y el tiempo ahorrado se vuelve a gastar.El mismo hábito de preguntar antes de confiar está detrás de herramientas de pruebas con IA: 7 preguntas antes de elegir una.

Menos roturas que reparar: ningún localizador que mantener

GUI Test Studio, que automatiza pruebas de extremo a extremo de cualquier aplicación sin código, parte del extremo opuesto. Nadie escribe un localizador, así que no hay ninguno que usted tenga que mantener. Graba el flujo de trabajo una vez, o lo describe en una petición, y cada comprobación trata de lo que ve el usuario.

El GTS Engine + AI encuentra cada elemento de dos maneras.

  • Primero pregunta a la aplicación, mediante su información de accesibilidad.
  • Cuando la aplicación no dice nada, encuentra el elemento visualmente, en la pantalla.
  • Un botón que se movió, una ventana más ancha o una lista que se desplazó se encuentran donde están ahora, y el informe de confianza dice dónde.

En una página web, una prueba grabada guarda varias maneras de llegar a cada elemento.Cuando la primera deja de funcionar, la siguiente encuentra el mismo elemento, y la ejecución lo anota.Cómo encuentra los elementos GUI Test Studio explica las dos maneras.

Esa segunda mitad es la razón por la que algo parecido no se cuela en silencio. Si Pagar más tarde está donde estaba Pagar ahora, la comprobación lo compara con el Pagar ahora que espera, y falla.

Cuando la pantalla cambió de verdad: un fallo que todos pueden ver

Algunos cambios son reales: palabras nuevas en un botón, un color nuevo, un campo que ha desaparecido. GUI Test Studio no decide por usted lo que significan. La comprobación falla, la ejecución queda en rojo y el informe de confianza se abre en lo que ocurrió.

Una comprobación fallida en el informe de confianza: lo esperado junto a lo real, lo que cambió y el botón Aceptar a la derecha.

El informe le da lo que necesita una decisión.

  • La imagen esperada está junto a la real, y la diferencia está marcada.
  • Con el Análisis inteligente con IA activado, una frase dice con palabras sencillas qué cambió, por ejemplo un botón que pasó de activo a desactivado.
  • El vídeo de la ejecución muestra los pasos que llevaron hasta ahí.
  • El informe se guarda con la ejecución, así que el fallo queda registrado.

La guía El informe de confianza explica todo lo que muestra una ejecución, y cómo leer un informe de pruebas recorre un fallo desde la primera línea hasta la decisión.

Aceptar el nuevo aspecto o registrar el error: decide una persona

Comprobación fallida: botón Pagar

Esperado

Pagar ahora

Real

Pagar más tarde

Las palabras del botón cambiaron de «Pagar ahora» a «Pagar más tarde».

Nadie lo quería: registre el error

Un informe de defecto con los pasos y las dos imágenes, como archivo o como incidencia de Jira.

Era intencionado: acepte el nuevo aspecto

Un clic, que se puede deshacer, y luego se guarda en la prueba.

El mismo cambio, hecho visible: la ejecución está en rojo, los dos aspectos están en pantalla, y una persona elige.
  1. Mirar

    Lo esperado junto a lo real

  2. ¿Un error?

    Regístrelo desde el informe

  3. ¿Intencionado?

    Acepte el nuevo aspecto

  4. Guardar

    En la prueba

  1. 1

    Abrir la comprobación fallida

    En el informe de confianza, seleccione la comprobación fallida. Su imagen esperada está junto a la real, y la diferencia está marcada.

  2. 2

    Decidir: un error, o un cambio hecho a propósito

    Pregúntese si el equipo quería que la pantalla se viera así. Si nadie lo quería, es un error.

  3. 3

    Un error: regístrelo desde el informe

    Cree un informe de defecto en PDF o en Excel, o como incidencia de Jira. Los pasos, las imágenes y el motivo se rellenan a partir de la ejecución.

  4. 4

    Un cambio a propósito: acepte el nuevo aspecto

    Haga clic en Aceptar la imagen real como esperada.El nuevo aspecto queda pendiente hasta que guarde, y Ctrl+Z lo deshace.

  5. 5

    Guardar

    Haga clic en Guardar.El archivo de la prueba se actualiza, y la siguiente ejecución espera el nuevo aspecto.

Después de un rediseño, muchas comprobaciones fallan por el mismo motivo.Una hoja reúne todas las comprobaciones fallidas con sus dos imágenes: desmarque los errores reales y acepte el resto de una vez.Actualizar una prueba tras un cambio muestra cada ventana.

Una reparación silenciosa frente a una decisión visible

PreguntaUna reparación silenciosaUna decisión visible
¿Qué pasa cuando un elemento ha cambiado?La herramienta elige un elemento parecido, y la ejecución sigue.La comprobación falla, y la ejecución lo dice.
¿A quién se avisa?Quien lea el registro de reparaciones, si alguien lo lee.Todos los que ven la compilación. El informe se abre en el fallo.
¿Quién decide que la nueva versión es correcta?La herramienta.Una persona que vio lo esperado junto a lo real.
¿Qué aspecto tiene un error real?Una prueba en verde.Una prueba en rojo, con las dos imágenes.
¿Qué queda después?Una ejecución en verde, y una prueba que ya no comprueba aquello para lo que se creó.El informe guardado de la ejecución fallida, y el aspecto aceptado en la prueba.
¿Cuánto cuesta?Nada hoy, y un error que se escapa mañana.Un clic por cambio, o una sola revisión para muchos.

Una prueba que se cambia a sí misma entre dos ejecuciones ya no es la misma prueba.Por qué la misma prueba debe dar la misma respuesta dos veces es el tema de las pruebas repetibles con IA.

Lo que debe saber antes de empezar

LímiteLo que significa
Aceptar es un clic por cambioUna persona revisa cada aspecto nuevo. Después de un rediseño, la hoja de comprobaciones fallidas le permite aceptar muchas de una vez.
Una prueba comprueba lo que se le pidió comprobarUn cambio en una parte de la pantalla que ninguna comprobación mira no se ve. Añada una comprobación donde importe.
La IA puede dar por buena una diferencia menorCon el Análisis inteligente con IA activado, una comprobación fallida que solo difiere en detalles que un usuario no notaría puede darse por superada. El informe lo dice, y el archivo de la prueba no cambia.

Lo esencial

  • 1Las pruebas self-healing se reparan solas eligiendo un elemento parecido cuando no encuentran el suyo.
  • 2Una falsa reparación elige el elemento equivocado: una prueba en verde sobre un flujo roto, y nadie se entera.
  • 3Dos cambios, dos reglas: la forma de encontrar un elemento puede adaptarse, lo que espera una comprobación solo cambia cuando una persona está de acuerdo.
  • 4En GUI Test Studio no hay ningún localizador que usted tenga que mantener: cada elemento se encuentra primero mediante la información de accesibilidad de la aplicación, y visualmente cuando la aplicación no dice nada.
  • 5Un cambio real falla a la vista de todos, y una persona acepta el nuevo aspecto con un clic o registra el error.

Preguntas

¿Qué son las pruebas self-healing?

Las pruebas self-healing son pruebas automatizadas que se cambian a sí mismas cuando ya no encuentran un elemento. La herramienta busca en la pantalla lo que más se le parece, lo usa en su lugar y sigue con la ejecución. El objetivo es ahorrar al equipo la reparación de las pruebas tras pequeños cambios de la aplicación.

¿Qué es una falsa reparación en la automatización de pruebas?

Una falsa reparación es una reparación que elige el elemento equivocado. La prueba hace clic en algo, o comprueba algo, que solo se parece al elemento para el que fue creada, y se supera. El resultado es una prueba en verde sobre un flujo que está roto.

¿Es segura la automatización de pruebas self-healing?

Es segura cuando solo cambia la forma en que una prueba encuentra un elemento y le avisa cada vez. Es un riesgo cuando cambia lo que espera la prueba, o elige otro elemento, sin que una persona lo mire. Pregunte a quién se avisa cuando una prueba se cambió a sí misma, y quién decidió que el cambio era correcto.

¿Por qué se rompen las pruebas automatizadas cuando cambia la aplicación?

La mayoría de las pruebas con código encuentran cada botón y cada campo mediante un localizador, una línea que describe dónde está el elemento en la página o en la ventana. Cuando un desarrollador cambia el nombre del elemento o lo mueve, el localizador deja de coincidir y la prueba falla, aunque la aplicación funcione.

¿Tiene GUI Test Studio pruebas self-healing?

Necesita mucha menos reparación, y deja la decisión en manos de una persona. No hay ningún localizador que usted tenga que escribir o reparar: cada elemento se encuentra primero mediante la información de accesibilidad de la aplicación, y visualmente cuando la aplicación no dice nada. Cuando la pantalla cambió de verdad, la comprobación falla en el informe de confianza, y usted acepta el nuevo aspecto con un clic o registra el error.

¿Cómo actualizo una prueba tras un cambio intencionado?

Abra la comprobación fallida en el informe de confianza, mire la imagen esperada y la real, y haga clic en Aceptar la imagen real como esperada. Ctrl+Z lo deshace hasta que haga clic en Guardar. Después de guardar, la prueba espera el nuevo aspecto.

¿Puedo aceptar muchos cambios a la vez después de un rediseño?

Sí. El informe de confianza reúne en una hoja todas las comprobaciones fallidas con sus dos imágenes. Usted desmarca las que son errores reales y acepta el resto de una vez.

¿Quién debería decidir cuando una prueba cambia?

Una persona que haya visto lo que cambió. Una prueba expresa lo que su equipo espera del producto, así que un cambio en lo que espera es una decisión de producto. Una herramienta puede preparar esa decisión mostrando lo esperado junto a lo real, pero no debería tomarla sola.

Windows y Jira son marcas comerciales de sus respectivos propietarios.