Pruebas repetibles con IA: use la IA para crear la prueba, no para improvisar cada ejecución
Pruebas repetibles con IA: la IA crea la prueba y los mismos pasos se reproducen en cada ejecución. Por qué una prueba no debe improvisar, y dónde ayuda la IA.
Las pruebas repetibles con IA consisten en que la IA ayuda a crear y a cambiar una prueba, mientras que la prueba en sí reproduce los mismos pasos y da la misma respuesta en cada ejecución. La IA trabaja donde el criterio ayuda, y nunca improvisa la ejecución.
Un build se pone en rojo el lunes y en verde el martes, y nada cambió en la aplicación. Si una IA eligió los pasos de cada ejecución, usted no puede saber si la aplicación se rompió o si la IA tomó otro camino. Un build en rojo que quizá no signifique nada pronto deja de mirarse.
¿Qué son las pruebas repetibles?
Definición
Una prueba repetible da el mismo resultado cada vez que se ejecuta sobre la misma aplicación.
- Los mismos pasos ocurren en el mismo orden.
- Cada comprobación se decide con la misma regla.
Así que, cuando el resultado cambia, es que la aplicación cambió.
Esa propiedad es lo que hace útil una prueba en cada build.Un resultado en rojo es un hecho sobre su producto, no sobre la prueba.Es toda la razón de ser de las pruebas de regresión.
¿Por qué una IA puede dar dos respuestas distintas a la misma pregunta?
Un modelo de IA no consulta una respuesta ya escrita. La compone cada vez que se le pregunta, y puede componerla de otra manera. Haga la misma pregunta dos veces a un asistente y a menudo obtendrá dos redacciones, a veces dos conclusiones.
Eso es una virtud cuando se quiere un borrador, una idea o una explicación. Es una debilidad cuando la respuesta es un veredicto que debe mantenerse durante trescientos builds.
Una prueba debe dar la misma respuesta dos veces. Si no, un build en rojo no significa nada.
Dos maneras de usar la IA en la automatización de pruebas
La IA puede ocupar dos lugares en una prueba.
La IA maneja cada ejecución
Una IA lee sus instrucciones y vuelve a manejar la aplicación en cada ejecución, eligiendo cada clic sobre la marcha.
La IA ayuda, la prueba se ejecuta sola
O bien la IA ayuda donde lo haría una persona, cuando la prueba se crea, se cambia o se revisa, y la ejecución en sí es una grabación fija.
Una IA maneja cada ejecución
Ejecución 1
Ejecución 2
Ejecución 3
¿Se rompió la aplicación, o la IA tomó otro camino?
Una prueba guardada se reproduce
Ejecución 1
Ejecución 2
Ejecución 300
Una ejecución en rojo significa que la aplicación cambió.
| Pregunta | Una IA maneja cada ejecución | Una prueba guardada se reproduce |
|---|---|---|
| ¿Los pasos son los mismos en cada ejecución? | No está garantizado: cada ejecución es una nueva lectura de las instrucciones. | Sí: los mismos pasos en el mismo orden. |
| ¿Se puede reproducir un fallo? | No siempre: la siguiente ejecución puede tomar otro camino. | Sí: vuelva a ejecutar la prueba, o vea el vídeo de la ejecución. |
| ¿Cuánto cuesta una ejecución? | Uso de IA en cada ejecución de cada prueba. | El tiempo de la máquina de build. |
| ¿Cuánto tarda una ejecución? | La IA piensa antes de cada paso. | Lo mismo que el flujo de trabajo grabado. |
| ¿Qué significa un build en rojo? | La aplicación cambió, o la IA eligió otra cosa. | La aplicación cambió. |
Las dos maneras tienen nombre, y se comparan en pruebas agénticas frente a pruebas asistidas por IA.
Dónde ayuda la IA, y dónde una prueba no debe improvisar
La pregunta no es si usar IA en las pruebas. Es dónde. Algunas partes de las pruebas ganan con el criterio, y otras deben permanecer fijas.
| Parte de las pruebas | Lo que hace la IA ahí | Por qué |
|---|---|---|
| Crear la prueba | Ayuda: una frase se convierte en pasos y comprobaciones, probados en la pantalla real. | Es el trabajo que haría una persona, hecho más rápido. |
| Cambiar la prueba | Ayuda: hace el cambio que usted pide, una vez que lo confirma. | La decisión sigue siendo suya. |
| Ejecutar los pasos | Nada: la prueba guardada se reproduce. | Los mismos pasos deben ocurrir en cada ejecución. |
| Decidir cada comprobación | Nada: la misma comparación todas las veces. | La misma pantalla debe recibir el mismo veredicto. |
| Una comprobación que falló | Un segundo vistazo opcional: un veredicto final sobre esa comprobación, y una explicación. | Una diferencia a veces necesita leerse, como la leería una persona. |
| Leer los resultados | Ayuda: su asistente lee una ejecución y la explica. | Le ahorra tiempo y no cambia nada en la prueba. |
Automatización de pruebas con IA en la que se puede confiar: cómo lo hace GUI Test Studio
GUI Test Studio, que automatiza pruebas de extremo a extremo de cualquier aplicación sin código, se basa en la segunda manera. Usted describe la prueba en una petición a Claude, a ChatGPT con Codex, o a un modelo de IA local que proporcionamos nosotros o que aporta usted. También puede grabarla usted mismo, sin IA en ningún momento.
Su petición
Cree un pedido para Atlas Textiles y verifique el total.
La IA trabaja una sola vez
Realiza el flujo de trabajo en su pantalla y prueba allí cada comprobación.
Una prueba guardada
Order.GTS
Sus pasos, sus imágenes, su grabación.
Ejecución 1
- 1Abrir Pedidos
- 2Nuevo pedido
- 3Escribir el cliente
- 4Guardar
- 5Comprobar el total
Ejecución 2
- 1Abrir Pedidos
- 2Nuevo pedido
- 3Escribir el cliente
- 4Guardar
- 5Comprobar el total
Ejecución 300
- 1Abrir Pedidos
- 2Nuevo pedido
- 3Escribir el cliente
- 4Guardar
- 5Comprobar el total
Usted la describe
Una frase
La IA la graba
Una sola vez, en su pantalla
Una prueba guardada
Un archivo que es suyo
Cada ejecución
Los mismos pasos
Tres cosas hacen que la ejecución sea repetible.
- La IA trabaja una sola vez: realiza el flujo de trabajo en su pantalla real y prueba allí cada comprobación antes de conservarla.
- Lo que deja es una prueba guardada, un archivo con sus pasos, sus imágenes y su grabación.
- Cuando esa prueba se ejecuta, reproduce los mismos pasos en el mismo orden, y ninguna IA maneja la aplicación.
Cuando la aplicación cambia, el mismo asistente cambia la prueba guardada en el sitio: otro texto esperado, una espera más larga, un paso eliminado. Muestra el cambio y le pide que lo confirme antes de escribir. Entre dos cambios, la prueba es el mismo archivo, y su ejecución también.
Crear una prueba desde una petición muestra cada ventana, y Generador de pruebas con IA: de una petición a una prueba que se ejecuta explica cómo escribir una petición que dé lugar a una buena prueba.
Cada comprobación se decide igual todas las veces
Una ejecución solo es repetible si sus veredictos lo son. Cada comprobación visual responde a dos preguntas fijas: ¿se encontró el elemento en la pantalla y tiene el aspecto esperado? La comparación es perceptual, como un ojo humano. Nota lo que notaría una persona, como un dígito equivocado, un icono que falta o una palabra cambiada, e ignora lo que nadie ve.
Otras tres cosas mantienen estable una ejecución.
- Cada comprobación espera a su elemento y se supera en cuanto aparece, así que una pantalla lenta no cambia el resultado.
- Un valor que cambia por naturaleza, como una fecha o un número de pedido, se comprueba por su formato.
- Cada comprobación indica qué ocurre si falla: detener la prueba, o continuar.
Los tiempos son la primera causa de las pruebas que pasan y fallan al azar: consulte esperas fijas en las pruebas: espere a la pantalla y pruebas inestables y falsos positivos.
Cuando una comprobación falla: la IA echa un segundo vistazo, y su respuesta se conserva
Algunas diferencias requieren criterio. ¿Un título ligeramente más grueso es un error? El Análisis inteligente con IA es la parte opcional de IA del GTS Engine + AI. Solo cuando una comprobación falla, echa un segundo vistazo a esa comprobación, da el veredicto final sobre ella y explica la diferencia con palabras sencillas.
Las comprobaciones de una ejecución
Título de inicio de sesión
Superada: ninguna IA la mira
Nombre del cliente
Superada: ninguna IA la mira
Total del pedido
Superada: ninguna IA la mira
Botón Confirmar pedido
Fallida: la única que mira la IA
Número de pedido
Superada: ninguna IA la mira
Análisis inteligente con IA, si usted lo activó
Un segundo vistazo a la comprobación fallida
Veredicto final: fallida
El botón Confirmar pedido ha pasado de activo a deshabilitado.
Cuatro reglas mantienen ese juicio en su sitio.
- La IA nunca maneja la aplicación, y nunca mira una comprobación superada.
- Su veredicto se refiere a una sola comprobación fallida, y el informe muestra sus motivos junto a las dos imágenes.
- Su respuesta se conserva con la ejecución, así que volver a abrir el informe no pregunta nada de nuevo.
- Con la IA desactivada, cada comprobación se supera o falla según su propia comparación.
Así, la ejecución es la misma todas las veces, y el único lugar donde un modelo juzga es pequeño, visible y usted puede desactivarlo.
Guiar a la IA con palabras sencillas: las Instrucciones para la IA
Algunas diferencias son esperadas, y solo usted sabe cuáles. Una comprobación puede llevar Instrucciones para la IA: unas pocas palabras en su propio idioma que la IA sigue cuando juzga esa comprobación.
| Usted escribe | La IA |
|---|---|
| Ignore los cambios en el tamaño de la fuente. | Deja fuera de las diferencias un texto más grande o más pequeño. |
| La fecha de la esquina cambia cada día. | No cuenta la fecha como una diferencia. |
| El botón Guardar debe seguir siendo verde. | Hace fallar la comprobación siempre que el botón sea de otro color. |
El informe muestra las instrucciones con las que se dio un veredicto, junto a la respuesta de la IA, así que un juicio nunca es un misterio.La guía del Análisis inteligente con IA recoge todos los ajustes.
Usted elige la IA, o ninguna
Qué IA echa ese segundo vistazo lo elige usted, y puede cambiar de opinión.
Una IA en la nube, con su propia clave
Un modelo de OpenAI o de Anthropic responde a través de su propia cuenta, y solo viajan hasta él las dos pequeñas imágenes de una comprobación fallida.
Un modelo de IA local
Un modelo que proporcionamos nosotros o uno suyo se ejecuta en su equipo, y nada sale de él.
Ninguna IA
Sin ninguna IA, usted graba las pruebas por sí mismo, y cada comprobación se supera o falla según su propia comparación.
Las pruebas, las grabaciones y los informes son archivos en sus equipos en todos los casos.Lo que ese control vale para un equipo es el tema de la soberanía de la IA en las pruebas de software.
Una prueba que no cambia por sí sola es también la comprobación independiente que hace falta cuando la IA escribe el código: consulte cómo probar código generado por IA.Y una prueba que se repara sola entre ejecuciones plantea la misma pregunta, como muestra pruebas self-healing.
Lo que debe saber antes de empezar
| Límite | Lo que significa |
|---|---|
| Una prueba comprueba lo que se le dijo que comprobara | Una prueba repetible no explora. Repite un flujo de trabajo y sus comprobaciones, así que cada flujo que importa necesita su prueba. |
| El mismo punto de partida da la misma respuesta | Antes de una ejecución, deje la aplicación donde empezó la grabación: la misma página, los mismos datos, las mismas ventanas abiertas. |
| El segundo vistazo de la IA es un juicio | Ante una diferencia dudosa, la lectura de un modelo puede variar. Solo se le pregunta por las comprobaciones fallidas, sus motivos se muestran y puede quedarse desactivado. |
| Una ejecución usa la pantalla real | Una ejecución mueve el ratón real y escribe con el teclado real, salvo que una prueba web se ejecute sin ventana de navegador. |
Lo esencial
- 1Una prueba debe dar la misma respuesta dos veces, o un build en rojo no significa nada.
- 2Una IA que maneja cada ejecución improvisa: otro camino, un coste por ejecución, un fallo que no se puede reproducir.
- 3En GUI Test Studio, la IA crea la prueba y la cambia cuando se le pide. La prueba guardada reproduce los mismos pasos, sin ninguna IA manejando la aplicación.
- 4Cada comprobación se decide igual todas las veces. Solo una comprobación fallida puede recibir el segundo vistazo de una IA, y su respuesta se conserva con la ejecución.
- 5Usted elige la IA: una IA en la nube con su propia clave, un modelo de IA local, nuestro o suyo, o ninguna.
Preguntas
¿Qué son las pruebas repetibles?
Hablamos de pruebas repetibles cuando una prueba da el mismo resultado cada vez que se ejecuta sobre la misma aplicación. Los mismos pasos ocurren en el mismo orden, y cada comprobación se decide con la misma regla. Cuando el resultado cambia, es que la aplicación cambió.
¿Son repetibles las pruebas con IA?
Depende de dónde esté la IA. Una IA que maneja la aplicación en cada ejecución lee sus instrucciones de nuevo cada vez y puede tomar otro camino. Una prueba que la IA creó una sola vez y que se reproduce sola es repetible: los mismos pasos y las mismas comprobaciones en cada ejecución.
¿Por qué las pruebas manejadas por IA dan resultados distintos de una ejecución a otra?
Porque un modelo de IA compone su respuesta cada vez que se le pregunta, y puede componerla de otra manera. Si el modelo elige cada clic durante la ejecución, dos ejecuciones sobre la misma aplicación pueden seguir dos caminos. Un fallo visto una vez puede no volver cuando usted intenta reproducirlo.
¿Puedo usar IA en la automatización de pruebas y aun así obtener resultados repetibles?
Sí. Use la IA para crear la prueba y para cambiarla cuando usted lo pida, y deje que la prueba guardada se ejecute sola. En GUI Test Studio, una prueba hecha a partir de una petición reproduce los mismos pasos en cada ejecución, sin ninguna IA manejando la aplicación.
¿GUI Test Studio usa IA durante la ejecución de una prueba?
Ninguna IA maneja la aplicación durante una ejecución: la prueba guardada reproduce sus pasos. Si usted activa el Análisis inteligente con IA, este solo mira una comprobación que falló, da el veredicto final sobre esa comprobación y explica la diferencia. Es opcional.
¿Qué hace el Análisis inteligente con IA cuando una comprobación falla?
Echa un segundo vistazo a la comprobación fallida y da su veredicto final. Da por superada la comprobación cuando no cambió nada importante, la da por fallida cuando sí, y dice qué cambió con palabras sencillas. Su respuesta se conserva con la ejecución.
¿Puedo ejecutar mis pruebas sin ninguna IA?
Sí. Grabe la prueba usted mismo y deje desactivado el Análisis inteligente con IA. Cada paso se reproduce y cada comprobación se supera o falla según su propia comparación, sin ningún modelo en ningún momento.
¿Cómo le digo a la IA qué debe ignorar en una comprobación?
Dé a la comprobación Instrucciones para la IA, unas pocas palabras en su propio idioma como «ignore los cambios en el tamaño de la fuente». La IA las sigue cuando juzga esa comprobación, y el informe muestra las instrucciones junto a su respuesta.
Claude, ChatGPT, Codex, OpenAI, Anthropic y Windows son marcas comerciales de sus respectivos propietarios.


