Evidencias de pruebas para auditorías: lo que un auditor quiere de una prueba automatizada
Evidencias de pruebas para auditorías: lo que un auditor pide a una prueba automatizada, y cómo cada ejecución guarda su informe, vídeo, imágenes e historial.
Las evidencias de pruebas son la demostración de que una prueba se ejecutó de verdad: qué se probó, cuándo, en qué versión, con qué resultado y qué mostraba la pantalla. Un auditor las quiere para cada ejecución, legibles meses después.
En un banco, en un proveedor de software sanitario, en un servicio público o en cualquier empresa que se audita, «las pruebas se superaron» no es una respuesta. El auditor pide verlo. Entonces un tester pasa los días previos a la auditoría pegando capturas de pantalla en un documento, para pruebas que se ejecutaron hace semanas.
¿Qué son las evidencias de pruebas?
Definición
Las evidencias de pruebas son todo lo que permite a alguien que no estaba presente comprobar que una prueba se ejecutó y lo que encontró.
- Nombran la prueba y lo que comprueba.
- Dan la fecha, la versión y el resultado.
- Muestran cómo se veía la pantalla, tanto en los pasos que se superaron como en el que falló.
Unas buenas evidencias se pueden abrir un año después, por una persona que nunca ha visto la aplicación.
Una pista de auditoría para las pruebas es la misma idea a lo largo del tiempo: las evidencias de cada ejecución, en orden, para que cualquiera pueda seguir lo que se probó de una versión a la siguiente.
Por qué un tick verde en el registro de una compilación no es una evidencia
Un pipeline que termina en verde demuestra una sola cosa: un comando se ejecutó y terminó sin error. No dice qué pasos se ejecutaron, qué comparó cada comprobación ni qué mostraba la pantalla en ese momento.
Un registro de compilación
Una afirmación, sin nada que abrir.
Las evidencias de la misma ejecución
Una constancia que cualquiera puede abrir más adelante.
Un resultado es una afirmación. Las evidencias son lo que permite a otra persona comprobar esa afirmación.
Esa diferencia pesa más que nunca el día en que algo sale mal. Cuando un defecto llega a los clientes, la pregunta ya no es si las pruebas se superaron. Es qué miraron exactamente, y nadie puede responder a eso con un tick.
Lo que pregunta un auditor, y las evidencias que le responden
Tanto si la auditoría trata de controles financieros, de un sistema de calidad para software médico o de seguridad de la información, las preguntas sobre las pruebas tienen la misma forma. Cada una tiene una respuesta que ya debería existir cuando llega la pregunta.
| Lo que pregunta el auditor | Las evidencias que responden |
|---|---|
| ¿Qué se probó? | La propia prueba: un archivo que guarda cada paso y cada comprobación, legible en palabras sencillas. |
| ¿Cuándo se ejecutó? | La fecha y la hora de la ejecución, que se muestran en su informe y se conservan con sus resultados. |
| ¿En qué versión? | La compilación de su pipeline que ejecutó la prueba, con las evidencias conservadas como artefacto de esa compilación. |
| ¿Cuál fue el resultado? | El veredicto de la ejecución y de cada comprobación: superada, o fallida y por qué. |
| ¿Qué mostraba la pantalla? | El vídeo de la ejecución, y la imagen esperada junto a lo que encontró la ejecución. |
| ¿Se superaba antes? | El historial de las ejecuciones anteriores de la misma prueba. |
| ¿Qué se hizo con el fallo? | Un informe de defecto con los pasos para reproducir, o la incidencia en la que se convirtió en su gestor de incidencias. |
| ¿Quién decidió que se superaba? | La propia comparación de la comprobación, igual en cada ejecución, o un veredicto de la IA que se guarda con su explicación. |
| ¿Quién cambió lo que espera la prueba? | El historial del archivo de la prueba en su control de versiones: un autor y una fecha para cada cambio. |
Por qué reunir evidencias de pruebas a mano no se sostiene
Muchos equipos responden a estas preguntas con un documento: un tester ejecuta el escenario, hace una captura de cada pantalla, la pega bajo el paso y firma la página.
Funciona para una versión, y después aparecen los costes.
- Cuesta días que vuelven antes de cada auditoría y de cada versión.
- Solo muestra las pantallas que a alguien se le ocurrió capturar, nunca las intermedias.
- Se puede hacer a posteriori, que es justo lo que a un auditor le pagan por poner en duda.
- Depende de una persona cuidadosa, y se detiene cuando esa persona no está.
Lo que GUI Test Studio conserva de cada ejecución, por sí solo
GUI Test Studio automatiza pruebas de extremo a extremo de cualquier aplicación sin código: usted graba un flujo de trabajo una vez, o lo describe en una petición, y la prueba lo reproduce. Cada ejecución, en su equipo o en un pipeline, deja las mismas evidencias sin que nadie las pida.
Una ejecución
Informe de confianza
Cada paso, qué se superó, qué falló y por qué
Vídeo de la ejecución
Cada paso, también los que se superaron
Imágenes
Lo que se esperaba, junto a lo que encontró la ejecución
Archivos de resultados
JUnit y JSON, para su pipeline
Historial
Las ejecuciones anteriores de la misma prueba
Informe de defecto
PDF o Excel, con los pasos para reproducir
| Evidencia | Lo que contiene |
|---|---|
| El informe de confianza | El veredicto, y luego cada paso en orden: qué se superó, qué falló y por qué. Se guarda con la ejecución y se vuelve a abrir exactamente como estaba. |
| El vídeo de la ejecución | Toda la ejecución, del primer paso al último, para que también se vean los pasos que se superaron. |
| Lo esperado junto a lo real | En una comprobación visual, la imagen que espera la prueba junto a lo que encontró la ejecución, con lo que cambió resaltado. |
| Los archivos de resultados | Un archivo JUnit para su herramienta de CI y un archivo JSON para sus propios scripts, escritos por gtr-cli. |
| El historial | Cada ejecución anterior de la misma prueba, comprobación por comprobación. |
| El informe de defecto | Para un fallo: un PDF o un libro de Excel con los pasos para reproducir y las imágenes. |
La guía El informe de confianza explica todo lo que muestra el informe, y cómo leer un informe de pruebas recorre un fallo desde el veredicto hasta el paso siguiente.
Una pista de auditoría para las pruebas: el historial de cada ejecución
Una ejecución responde a lo que pasó hoy.Una auditoría pregunta lo que pasó durante un año.Historial, en la barra de herramientas del informe, sigue cada comprobación a lo largo de todas las ejecuciones de una prueba: qué ejecución falló primero, cómo evolucionó cada comprobación y qué cambió entre dos ejecuciones.El informe de cualquier ejecución anterior se abre desde ahí.
La propia prueba también deja su rastro.
- Una prueba es un solo archivo, así que cabe en el control de versiones o en el almacenamiento con copia de seguridad que su equipo ya usa.
- Cada cambio de lo que espera una prueba tiene entonces un autor y una fecha.
- Una ejecución desde la línea de comandos nunca cambia el archivo de la prueba, así que lo que se ejecutó es lo que se revisó.
¿Quién decidió? Comprobaciones y veredictos de IA que un auditor puede examinar
En cuanto la IA entra en las pruebas, un auditor hace una pregunta nueva: ¿quién decidió que esto se superaba? La respuesta tiene que ser algo que una persona pueda abrir y leer.
Durante la ejecución: los pasos grabados se reproducen solos, y ninguna IA maneja la aplicación.
IA desactivada
Cada comprobación decide con su propia comparación
La misma pantalla da el mismo veredicto en cada ejecución.
Análisis inteligente con IA activado
Una comprobación fallida recibe un segundo vistazo
El veredicto de la IA y su explicación se guardan con la ejecución.
| Su configuración | Quién decide una comprobación | Lo que se conserva |
|---|---|---|
| IA desactivada, como viene instalado | La propia comparación de la comprobación. Se supera o falla igual en cada ejecución. | El veredicto y las imágenes. |
| Análisis inteligente con IA activado | En una comprobación fallida, la IA echa un segundo vistazo y da el veredicto final de esa comprobación. | El veredicto, la explicación en palabras sencillas, cada diferencia encontrada y las instrucciones que recibió la IA. |
La IA es opcional, y la elección es suya: una IA en la nube con su propia clave, un modelo de IA local, nuestro o suyo, o ninguna.Las respuestas se conservan con la ejecución, así que al volver a abrir un informe no se pregunta nada de nuevo, y el historial muestra lo que dijo la IA en cada ejecución anterior.Consulte Análisis inteligente con IA.
Evidencias que se quedan en sus propios equipos
La siguiente pregunta de un auditor es dónde están las evidencias y quién puede acceder a ellas. Con GUI Test Studio, las pruebas, las grabaciones, las ejecuciones y los informes son archivos en sus propios equipos. Cada ejecución se conserva en la carpeta de resultados, dentro de la carpeta de la propia prueba.
Eso hace suyas tres decisiones.
- Cuánto tiempo se conservan las evidencias depende de sus propias normas de conservación, no de las de un proveedor.
- Quién puede abrirlas depende de los permisos de sus propias carpetas y de su servidor de compilación.
- Dónde se archivan es allí donde ya guarda otros registros.
Un vídeo muestra todo lo que mostraba la pantalla, así que ejecute sus pruebas con cuentas de prueba y datos inventados.La privacidad de datos en la automatización de pruebas explica cómo mantener los registros reales fuera de cada captura, y la soberanía de la IA en las pruebas de software trata de quién decide qué IA ve sus pantallas.
Cómo conservar las evidencias de cada ejecución en su pipeline
gtr-cli, el ejecutor de línea de comandos, ejecuta las mismas pruebas en cualquier herramienta de CI/CD y escribe las evidencias donde usted le indique.Ejecutar pruebas en su pipeline enumera todas las opciones.
- 1
Guardar las pruebas donde su pipeline pueda leerlas
Una prueba es un archivo. Guárdela con su proyecto, en el control de versiones o en una carpeta compartida que lea la máquina de compilación, para que cada cambio de lo que espera una prueba tenga un autor y una fecha.
- 2
Ejecutar las pruebas con gtr-cli y pedir los archivos de resultados
Añada el comando a su pipeline. El archivo JUnit alimenta la página de resultados de pruebas de su herramienta de CI, y el archivo JSON contiene los mismos resultados para sus propios scripts y paneles.
Ejecutar todas las pruebas de una carpeta y conservar sus evidenciasgtr-cli run tests --junit results\tests.xml --json results\tests.json --artifacts evidence --bug-report pdf - 3
Reunir las evidencias en una sola carpeta
La opción de artefactos reúne el vídeo, el informe de confianza y las imágenes del fallo de cada prueba en la carpeta que usted indique.
- 4
Pedir un informe de defecto para cada prueba fallida
La opción de informe de defecto escribe un informe ya rellenado en PDF para cada prueba que falló, con los pasos para reproducir.
- 5
Conservar la carpeta como artefacto de la compilación
Indique a su herramienta de CI que conserve las carpetas de resultados y de evidencias como artefactos. El número de compilación vincula entonces las evidencias con la versión que se probó, y se aplica la conservación de su herramienta de CI.
- 6
Volver a abrir una ejecución cuando alguien lo pida
Las ejecuciones del pipeline también llegan a la carpeta de resultados de cada prueba. Abra la prueba en GUI Test Runner-Recorder, y el historial las muestra junto a las suyas. El informe de cualquier ejecución anterior se vuelve a abrir exactamente como estaba.
| Opción | Lo que conserva |
|---|---|
| --junit | El archivo de resultados que su herramienta de CI lee para su página de resultados de pruebas. |
| --json | Los mismos resultados, para sus propios paneles y scripts. |
| --artifacts | El vídeo, el informe de confianza y las imágenes del fallo de cada prueba, en una sola carpeta. |
| --bug-report pdf | Un informe de defecto ya rellenado para cada prueba fallida. |
Cuando una ejecución falla: el informe de defecto también es una evidencia
Una auditoría no espera que todas las pruebas se superen. Espera que se dé seguimiento a cada fallo. Una ejecución fallida ya contiene lo que hace falta: los pasos que llevaron hasta ahí, lo que se esperaba, lo que apareció en su lugar y cuántas veces falló antes.
Informe de defecto, en el banner del informe, lo escribe como PDF o como libro de Excel, con un zip de las imágenes al lado, o crea una incidencia en su propio sitio de Jira.Consulte Crear un informe de defecto, y Conectar Jira al informe de confianza para la incidencia en la que se convierte una ejecución fallida.
La compilación 418 falla en el resumen del pedido. La carpeta de evidencias de esa compilación contiene el informe, el vídeo y un informe de defecto en PDF. El desarrollador corrige el total, la compilación 419 se supera, y su informe se conserva de la misma manera. Un año después, se puede abrir toda la historia: el fallo, el error, la corrección y la demostración de la corrección.
Lo que debe saber antes de empezar
| Límite | Lo que significa |
|---|---|
| No le hace cumplir la normativa | GUI Test Studio le da las evidencias que mostrar. Si son las evidencias adecuadas, conservadas durante el tiempo adecuado, lo deciden sus propias normas. |
| No conoce la versión de su aplicación | Su pipeline sí. Conserve las evidencias como artefacto de la compilación que se probó, y el número de compilación une ambas cosas. |
| Una prueba comprueba lo que se le pidió comprobar | Las evidencias demuestran que esas comprobaciones se ejecutaron y lo que encontraron, no que no haya nada más mal. |
| Conservar los archivos es tarea suya | Las evidencias son suyas: haga copias de seguridad, y decida quién puede eliminar una ejecución o borrar el historial de una prueba. |
Lo esencial
- 1Las evidencias de pruebas son una constancia que otra persona puede abrir: qué se probó, cuándo, en qué versión, con qué resultado y qué mostraba la pantalla.
- 2Un tick verde es una afirmación, y las evidencias reunidas a mano cuestan días y siempre se pueden poner en duda.
- 3GUI Test Studio conserva por sí solo las evidencias de cada ejecución: un informe guardado, un vídeo, imágenes, archivos de resultados y un historial.
- 4Un auditor puede ver quién decidió: la propia comparación de cada comprobación, o un veredicto de la IA guardado con su explicación, y la IA puede quedarse desactivada.
- 5Las evidencias son archivos en sus propios equipos, así que la conservación y el acceso siguen sus normas.No le hace cumplir la normativa: le da lo que mostrar.
Preguntas
¿Qué son las evidencias de pruebas?
Las evidencias de pruebas son la demostración de que una prueba se ejecutó de verdad y de lo que encontró. Dicen qué se probó, cuándo, en qué versión y con qué resultado, y muestran cómo se veía la pantalla. Una línea que dice «passed» es una afirmación, y las evidencias son lo que la respalda.
¿Qué quiere ver un auditor de las pruebas automatizadas?
Un auditor quiere ver qué comprueba cada prueba, cuándo se ejecutó, en qué versión del software, cuál fue el resultado, y una constancia que se pueda abrir más adelante. Para un fallo, el auditor también quiere ver qué se hizo al respecto.
¿Basta una compilación superada como demostración de las pruebas?
No. Una compilación superada demuestra que algo se ejecutó y terminó sin error. No muestra qué pasos se ejecutaron, qué comparó cada comprobación ni qué mostraba la pantalla. Conserve el informe, el vídeo y los archivos de resultados de la ejecución junto con la compilación.
¿Cómo creo una pista de auditoría para las pruebas automatizadas?
Conserve tres cosas de cada ejecución: la prueba tal como estaba, los resultados de la ejecución y la compilación a la que pertenecen. Con GUI Test Studio, gtr-cli escribe los archivos de resultados y reúne el informe, el vídeo y las imágenes en una sola carpeta, y su pipeline conserva esa carpeta como artefacto de la compilación.
¿Cuánto tiempo deben conservarse las evidencias de pruebas?
El tiempo que digan sus propias normas. Lo deciden el marco con el que se le audita, sus contratos y su sistema de calidad, no la herramienta de pruebas. GUI Test Studio escribe las evidencias como archivos en sus equipos, así que usted aplica la conservación que ya usa para otros registros.
¿Se puede usar la IA en pruebas que se auditan?
Sí, cuando su papel está claro y sus respuestas se conservan. En GUI Test Studio ninguna IA maneja una ejecución. El Análisis inteligente con IA es opcional, solo mira las comprobaciones fallidas, y su veredicto y su explicación se guardan con la ejecución. Con él desactivado, cada comprobación se supera o falla con su propia comparación.
¿GUI Test Studio hace que mi equipo cumpla la normativa?
No. El cumplimiento lo decide su auditor frente a sus propios procesos, y ninguna herramienta puede concederlo. GUI Test Studio le da las evidencias que mostrar: un informe guardado, un vídeo, imágenes, archivos de resultados y un historial de cada ejecución.
¿Dónde se guardan las evidencias de pruebas?
En sus propios equipos, como archivos. Cada ejecución se conserva en la carpeta de resultados, dentro de la carpeta de la propia prueba, y una ejecución en un pipeline también puede reunirlo todo en una carpeta que usted indique. Quién puede abrir esos archivos y cuánto tiempo se conservan es decisión de su equipo.
Jira y Windows son marcas comerciales de sus respectivos propietarios.
Sigue leyendo
Todos los artículos
Fiabilidad de las pruebas
Pruebas self-healing: cuando una prueba que se repara sola oculta un error real
11 min de lectura

Fiabilidad de las pruebas
Pausas fijas en las pruebas: deje de adivinar un tiempo y espere a la pantalla
10 min de lectura

Fiabilidad de las pruebas
¿Otra vez «element not found»? Cómo probar cuando fallan los selectores y los localizadores
14 min de lectura