Pruebas repetibles con IA: use la IA para crear la prueba, no para improvisar cada ejecución

Pruebas repetibles con IA: la IA crea la prueba y los mismos pasos se reproducen en cada ejecución. Por qué una prueba no debe improvisar, y dónde ayuda la IA.

Por Ait Nohaila, Representante de desarrollo de negocio 11 min de lectura

Las pruebas repetibles con IA consisten en que la IA ayuda a crear y a cambiar una prueba, mientras que la prueba en sí reproduce los mismos pasos y da la misma respuesta en cada ejecución. La IA trabaja donde el criterio ayuda, y nunca improvisa la ejecución.

Un build se pone en rojo el lunes y en verde el martes, y nada cambió en la aplicación. Si una IA eligió los pasos de cada ejecución, usted no puede saber si la aplicación se rompió o si la IA tomó otro camino. Un build en rojo que quizá no signifique nada pronto deja de mirarse.

¿Qué son las pruebas repetibles?

Definición

Una prueba repetible da el mismo resultado cada vez que se ejecuta sobre la misma aplicación.

  • Los mismos pasos ocurren en el mismo orden.
  • Cada comprobación se decide con la misma regla.

Así que, cuando el resultado cambia, es que la aplicación cambió.

Esa propiedad es lo que hace útil una prueba en cada build.Un resultado en rojo es un hecho sobre su producto, no sobre la prueba.Es toda la razón de ser de las pruebas de regresión.

¿Por qué una IA puede dar dos respuestas distintas a la misma pregunta?

Un modelo de IA no consulta una respuesta ya escrita. La compone cada vez que se le pregunta, y puede componerla de otra manera. Haga la misma pregunta dos veces a un asistente y a menudo obtendrá dos redacciones, a veces dos conclusiones.

Eso es una virtud cuando se quiere un borrador, una idea o una explicación. Es una debilidad cuando la respuesta es un veredicto que debe mantenerse durante trescientos builds.

Una prueba debe dar la misma respuesta dos veces. Si no, un build en rojo no significa nada.

Dos maneras de usar la IA en la automatización de pruebas

La IA puede ocupar dos lugares en una prueba.

La IA maneja cada ejecución

Una IA lee sus instrucciones y vuelve a manejar la aplicación en cada ejecución, eligiendo cada clic sobre la marcha.

La IA ayuda, la prueba se ejecuta sola

O bien la IA ayuda donde lo haría una persona, cuando la prueba se crea, se cambia o se revisa, y la ejecución en sí es una grabación fija.

Una IA maneja cada ejecución

Ejecución 1

Abrir PedidosNuevo pedidoEscribir el clienteGuardar

Ejecución 2

Abrir PedidosBuscar el clienteNuevo pedidoGuardar

Ejecución 3

Abrir PedidosNuevo pedidoDetenida en un cuadro de diálogo

¿Se rompió la aplicación, o la IA tomó otro camino?

Una prueba guardada se reproduce

Ejecución 1

Abrir PedidosNuevo pedidoEscribir el clienteGuardar

Ejecución 2

Abrir PedidosNuevo pedidoEscribir el clienteGuardar

Ejecución 300

Abrir PedidosNuevo pedidoEscribir el clienteGuardar

Una ejecución en rojo significa que la aplicación cambió.

La misma petición, ejecutada tres veces. Solo una prueba que reproduce los mismos pasos convierte un build en rojo en un hecho sobre su aplicación.
PreguntaUna IA maneja cada ejecuciónUna prueba guardada se reproduce
¿Los pasos son los mismos en cada ejecución?No está garantizado: cada ejecución es una nueva lectura de las instrucciones.Sí: los mismos pasos en el mismo orden.
¿Se puede reproducir un fallo?No siempre: la siguiente ejecución puede tomar otro camino.Sí: vuelva a ejecutar la prueba, o vea el vídeo de la ejecución.
¿Cuánto cuesta una ejecución?Uso de IA en cada ejecución de cada prueba.El tiempo de la máquina de build.
¿Cuánto tarda una ejecución?La IA piensa antes de cada paso.Lo mismo que el flujo de trabajo grabado.
¿Qué significa un build en rojo?La aplicación cambió, o la IA eligió otra cosa.La aplicación cambió.

Las dos maneras tienen nombre, y se comparan en pruebas agénticas frente a pruebas asistidas por IA.

Dónde ayuda la IA, y dónde una prueba no debe improvisar

La pregunta no es si usar IA en las pruebas. Es dónde. Algunas partes de las pruebas ganan con el criterio, y otras deben permanecer fijas.

Parte de las pruebasLo que hace la IA ahíPor qué
Crear la pruebaAyuda: una frase se convierte en pasos y comprobaciones, probados en la pantalla real.Es el trabajo que haría una persona, hecho más rápido.
Cambiar la pruebaAyuda: hace el cambio que usted pide, una vez que lo confirma.La decisión sigue siendo suya.
Ejecutar los pasosNada: la prueba guardada se reproduce.Los mismos pasos deben ocurrir en cada ejecución.
Decidir cada comprobaciónNada: la misma comparación todas las veces.La misma pantalla debe recibir el mismo veredicto.
Una comprobación que fallóUn segundo vistazo opcional: un veredicto final sobre esa comprobación, y una explicación.Una diferencia a veces necesita leerse, como la leería una persona.
Leer los resultadosAyuda: su asistente lee una ejecución y la explica.Le ahorra tiempo y no cambia nada en la prueba.

Automatización de pruebas con IA en la que se puede confiar: cómo lo hace GUI Test Studio

GUI Test Studio, que automatiza pruebas de extremo a extremo de cualquier aplicación sin código, se basa en la segunda manera. Usted describe la prueba en una petición a Claude, a ChatGPT con Codex, o a un modelo de IA local que proporcionamos nosotros o que aporta usted. También puede grabarla usted mismo, sin IA en ningún momento.

Su petición

Cree un pedido para Atlas Textiles y verifique el total.

La IA trabaja una sola vez

Realiza el flujo de trabajo en su pantalla y prueba allí cada comprobación.

Una prueba guardada

Order.GTS

Sus pasos, sus imágenes, su grabación.

Ejecución 1

  1. 1Abrir Pedidos
  2. 2Nuevo pedido
  3. 3Escribir el cliente
  4. 4Guardar
  5. 5Comprobar el total

Ejecución 2

  1. 1Abrir Pedidos
  2. 2Nuevo pedido
  3. 3Escribir el cliente
  4. 4Guardar
  5. 5Comprobar el total

Ejecución 300

  1. 1Abrir Pedidos
  2. 2Nuevo pedido
  3. 3Escribir el cliente
  4. 4Guardar
  5. 5Comprobar el total
La IA crea la prueba una sola vez. Cada ejecución posterior reproduce los mismos pasos en el mismo orden, sin ninguna IA manejando la aplicación.
  1. Usted la describe

    Una frase

  2. La IA la graba

    Una sola vez, en su pantalla

  3. Una prueba guardada

    Un archivo que es suyo

  4. Cada ejecución

    Los mismos pasos

Tres cosas hacen que la ejecución sea repetible.

  • La IA trabaja una sola vez: realiza el flujo de trabajo en su pantalla real y prueba allí cada comprobación antes de conservarla.
  • Lo que deja es una prueba guardada, un archivo con sus pasos, sus imágenes y su grabación.
  • Cuando esa prueba se ejecuta, reproduce los mismos pasos en el mismo orden, y ninguna IA maneja la aplicación.

Cuando la aplicación cambia, el mismo asistente cambia la prueba guardada en el sitio: otro texto esperado, una espera más larga, un paso eliminado. Muestra el cambio y le pide que lo confirme antes de escribir. Entre dos cambios, la prueba es el mismo archivo, y su ejecución también.

Crear una prueba desde una petición muestra cada ventana, y Generador de pruebas con IA: de una petición a una prueba que se ejecuta explica cómo escribir una petición que dé lugar a una buena prueba.

Cada comprobación se decide igual todas las veces

Una ejecución solo es repetible si sus veredictos lo son. Cada comprobación visual responde a dos preguntas fijas: ¿se encontró el elemento en la pantalla y tiene el aspecto esperado? La comparación es perceptual, como un ojo humano. Nota lo que notaría una persona, como un dígito equivocado, un icono que falta o una palabra cambiada, e ignora lo que nadie ve.

Otras tres cosas mantienen estable una ejecución.

  • Cada comprobación espera a su elemento y se supera en cuanto aparece, así que una pantalla lenta no cambia el resultado.
  • Un valor que cambia por naturaleza, como una fecha o un número de pedido, se comprueba por su formato.
  • Cada comprobación indica qué ocurre si falla: detener la prueba, o continuar.

Los tiempos son la primera causa de las pruebas que pasan y fallan al azar: consulte esperas fijas en las pruebas: espere a la pantalla y pruebas inestables y falsos positivos.

Cuando una comprobación falla: la IA echa un segundo vistazo, y su respuesta se conserva

Algunas diferencias requieren criterio. ¿Un título ligeramente más grueso es un error? El Análisis inteligente con IA es la parte opcional de IA del GTS Engine + AI. Solo cuando una comprobación falla, echa un segundo vistazo a esa comprobación, da el veredicto final sobre ella y explica la diferencia con palabras sencillas.

Las comprobaciones de una ejecución

Título de inicio de sesión

Superada: ninguna IA la mira

Nombre del cliente

Superada: ninguna IA la mira

Total del pedido

Superada: ninguna IA la mira

Botón Confirmar pedido

Fallida: la única que mira la IA

Número de pedido

Superada: ninguna IA la mira

Análisis inteligente con IA, si usted lo activó

Un segundo vistazo a la comprobación fallida

Veredicto final: fallida

El botón Confirmar pedido ha pasado de activo a deshabilitado.

Conservado con la ejecuciónMostrado en el informe
A la IA solo se le pregunta por una comprobación fallida. Todo lo demás en la ejecución se decide igual todas las veces, sin ningún modelo.
El veredicto de la IA y sus motivos, junto a la comprobación que juzgó.

Cuatro reglas mantienen ese juicio en su sitio.

  • La IA nunca maneja la aplicación, y nunca mira una comprobación superada.
  • Su veredicto se refiere a una sola comprobación fallida, y el informe muestra sus motivos junto a las dos imágenes.
  • Su respuesta se conserva con la ejecución, así que volver a abrir el informe no pregunta nada de nuevo.
  • Con la IA desactivada, cada comprobación se supera o falla según su propia comparación.

Así, la ejecución es la misma todas las veces, y el único lugar donde un modelo juzga es pequeño, visible y usted puede desactivarlo.

Guiar a la IA con palabras sencillas: las Instrucciones para la IA

Algunas diferencias son esperadas, y solo usted sabe cuáles. Una comprobación puede llevar Instrucciones para la IA: unas pocas palabras en su propio idioma que la IA sigue cuando juzga esa comprobación.

Usted escribeLa IA
Ignore los cambios en el tamaño de la fuente.Deja fuera de las diferencias un texto más grande o más pequeño.
La fecha de la esquina cambia cada día.No cuenta la fecha como una diferencia.
El botón Guardar debe seguir siendo verde.Hace fallar la comprobación siempre que el botón sea de otro color.

El informe muestra las instrucciones con las que se dio un veredicto, junto a la respuesta de la IA, así que un juicio nunca es un misterio.La guía del Análisis inteligente con IA recoge todos los ajustes.

Usted elige la IA, o ninguna

Qué IA echa ese segundo vistazo lo elige usted, y puede cambiar de opinión.

Una IA en la nube, con su propia clave

Un modelo de OpenAI o de Anthropic responde a través de su propia cuenta, y solo viajan hasta él las dos pequeñas imágenes de una comprobación fallida.

Un modelo de IA local

Un modelo que proporcionamos nosotros o uno suyo se ejecuta en su equipo, y nada sale de él.

Ninguna IA

Sin ninguna IA, usted graba las pruebas por sí mismo, y cada comprobación se supera o falla según su propia comparación.

Las pruebas, las grabaciones y los informes son archivos en sus equipos en todos los casos.Lo que ese control vale para un equipo es el tema de la soberanía de la IA en las pruebas de software.

Una prueba que no cambia por sí sola es también la comprobación independiente que hace falta cuando la IA escribe el código: consulte cómo probar código generado por IA.Y una prueba que se repara sola entre ejecuciones plantea la misma pregunta, como muestra pruebas self-healing.

Lo que debe saber antes de empezar

LímiteLo que significa
Una prueba comprueba lo que se le dijo que comprobaraUna prueba repetible no explora. Repite un flujo de trabajo y sus comprobaciones, así que cada flujo que importa necesita su prueba.
El mismo punto de partida da la misma respuestaAntes de una ejecución, deje la aplicación donde empezó la grabación: la misma página, los mismos datos, las mismas ventanas abiertas.
El segundo vistazo de la IA es un juicioAnte una diferencia dudosa, la lectura de un modelo puede variar. Solo se le pregunta por las comprobaciones fallidas, sus motivos se muestran y puede quedarse desactivado.
Una ejecución usa la pantalla realUna ejecución mueve el ratón real y escribe con el teclado real, salvo que una prueba web se ejecute sin ventana de navegador.

Lo esencial

  • 1Una prueba debe dar la misma respuesta dos veces, o un build en rojo no significa nada.
  • 2Una IA que maneja cada ejecución improvisa: otro camino, un coste por ejecución, un fallo que no se puede reproducir.
  • 3En GUI Test Studio, la IA crea la prueba y la cambia cuando se le pide. La prueba guardada reproduce los mismos pasos, sin ninguna IA manejando la aplicación.
  • 4Cada comprobación se decide igual todas las veces. Solo una comprobación fallida puede recibir el segundo vistazo de una IA, y su respuesta se conserva con la ejecución.
  • 5Usted elige la IA: una IA en la nube con su propia clave, un modelo de IA local, nuestro o suyo, o ninguna.

Preguntas

¿Qué son las pruebas repetibles?

Hablamos de pruebas repetibles cuando una prueba da el mismo resultado cada vez que se ejecuta sobre la misma aplicación. Los mismos pasos ocurren en el mismo orden, y cada comprobación se decide con la misma regla. Cuando el resultado cambia, es que la aplicación cambió.

¿Son repetibles las pruebas con IA?

Depende de dónde esté la IA. Una IA que maneja la aplicación en cada ejecución lee sus instrucciones de nuevo cada vez y puede tomar otro camino. Una prueba que la IA creó una sola vez y que se reproduce sola es repetible: los mismos pasos y las mismas comprobaciones en cada ejecución.

¿Por qué las pruebas manejadas por IA dan resultados distintos de una ejecución a otra?

Porque un modelo de IA compone su respuesta cada vez que se le pregunta, y puede componerla de otra manera. Si el modelo elige cada clic durante la ejecución, dos ejecuciones sobre la misma aplicación pueden seguir dos caminos. Un fallo visto una vez puede no volver cuando usted intenta reproducirlo.

¿Puedo usar IA en la automatización de pruebas y aun así obtener resultados repetibles?

Sí. Use la IA para crear la prueba y para cambiarla cuando usted lo pida, y deje que la prueba guardada se ejecute sola. En GUI Test Studio, una prueba hecha a partir de una petición reproduce los mismos pasos en cada ejecución, sin ninguna IA manejando la aplicación.

¿GUI Test Studio usa IA durante la ejecución de una prueba?

Ninguna IA maneja la aplicación durante una ejecución: la prueba guardada reproduce sus pasos. Si usted activa el Análisis inteligente con IA, este solo mira una comprobación que falló, da el veredicto final sobre esa comprobación y explica la diferencia. Es opcional.

¿Qué hace el Análisis inteligente con IA cuando una comprobación falla?

Echa un segundo vistazo a la comprobación fallida y da su veredicto final. Da por superada la comprobación cuando no cambió nada importante, la da por fallida cuando sí, y dice qué cambió con palabras sencillas. Su respuesta se conserva con la ejecución.

¿Puedo ejecutar mis pruebas sin ninguna IA?

Sí. Grabe la prueba usted mismo y deje desactivado el Análisis inteligente con IA. Cada paso se reproduce y cada comprobación se supera o falla según su propia comparación, sin ningún modelo en ningún momento.

¿Cómo le digo a la IA qué debe ignorar en una comprobación?

Dé a la comprobación Instrucciones para la IA, unas pocas palabras en su propio idioma como «ignore los cambios en el tamaño de la fuente». La IA las sigue cuando juzga esa comprobación, y el informe muestra las instrucciones junto a su respuesta.

Claude, ChatGPT, Codex, OpenAI, Anthropic y Windows son marcas comerciales de sus respectivos propietarios.