Come leggere un report di test: cosa è fallito, perché e cosa fare dopo
Come leggere un report di test: cinque domande che vi dicono cosa è fallito, perché, e se segnalare un bug, accettare la modifica o modificare il controllo.
Per leggere un report di test, fatevi cinque domande: è stato superato, dove si è fermato, cosa mostrava lo schermo, è un bug o una modifica voluta, ed è già successo. Un buon report risponde a tutte e cinque.
La maggior parte dei risultati dei test non lo fa. Sono un muro di rosso e di verde, uno stack trace e una riga come «element not found at line 214». Dopo averli letti, un tester non sa ancora se si è rotta l'app o il test.
Perché la maggior parte dei risultati dei test è difficile da leggere?
Definizione
Un report di test è ciò che un'esecuzione lascia a una persona perché possa agire.
- Molti sono scritti per il programma che ha eseguito il test, non per quella persona.
Dicono dove si è fermato il codice, quando chi legge ha bisogno di sapere cosa avrebbe visto l'utente.
Un muro di risultati
FAILED: checkout test 42
Element not found at line 214
Assertion error: expected true, got false
Timeout exceeded
Si è rotta l'app, o il test?
Un report che risponde
Sapete cosa fare dopo.
| Cosa ottenete | Cosa ancora non sapete |
|---|---|
| Una riga rossa con il nome del test | Quale passaggio del flusso è fallito. |
| Uno stack trace e un numero di riga | Cosa c'era sullo schermo in quel momento. |
| Element not found | Se il pulsante è sparito, si è spostato, è stato rinominato o quel giorno era lento. |
| Uno screenshot della fine dell'esecuzione | Che aspetto avrebbe dovuto avere lo schermo. |
Così qualcuno riesegue il test a mano, guarda lo schermo e ricostruisce cosa è successo. Il report doveva risparmiare proprio quel tempo.
Le cinque domande a cui un report di test deve rispondere
Leggere i risultati dei test è più facile con un ordine fisso. Queste cinque domande vanno dalla più rapida alla più approfondita, e potete fermarvi appena sapete cosa fare.
| Domanda | Dove risponde il report di affidabilità |
|---|---|
| 1. È stato superato? | L'esito in alto: superato, non superato o interrotto, con quanti controlli e azioni sono stati superati. |
| 2. Dove si è fermato? | Il banner indica il passaggio, e ogni riga dell'elenco porta il nome che avete dato a quel passaggio. |
| 3. Cosa mostrava lo schermo? | Il pannello del controllo non superato: l'atteso accanto all'effettivo, la differenza evidenziata e il video dell'esecuzione in quel momento. |
| 4. È un bug o una modifica voluta? | Due risposte per controllo, trovato e uguale, e una spiegazione in parole semplici quando l'IA è attiva. La decisione resta vostra. |
| 5. È già successo? | La cronologia: ogni esecuzione del test, e l'esecuzione in cui il controllo è fallito per la prima volta. |
Il report di affidabilità è il report che GUI Test Studio apre dopo ogni esecuzione.GUI Test Studio automatizza i test end-to-end di qualsiasi applicazione senza codice, e questo report è il luogo in cui si legge un'esecuzione.La guida Leggere il report di affidabilità descrive ogni pulsante.
È stato superato, e dove si è fermato?
Il banner in alto dice come si è conclusa l'esecuzione, quanti controlli e azioni sono stati superati sul totale del test, e quanto è durata. Quando un'esecuzione è fallita, dice dove: il passaggio, il controllo e la parte del test a cui appartiene.
| Esito | Cosa è successo |
|---|---|
| Superato | Ogni passaggio è stato eseguito e ogni controllo è stato superato. |
| Non superato: non trovato | Un controllo ha atteso per tutto il suo tempo e non ha mai trovato ciò che si aspettava. |
| Non superato: diverso | L'elemento è stato trovato, ma ha un aspetto diverso da quello che il test si aspetta. |
| Interrotto | Qualcuno ha fermato l'esecuzione, o un limite di tempo l'ha conclusa. |
Sotto il banner, l'elenco mostra ogni azione e ogni controllo in ordine, con un segno verde o rosso.Ogni riga porta il nome che avete dato al suo passaggio in GUI Test Studio, così un fallimento si legge Conferma ordine e non come un numero di riga.F8 salta al fallimento successivo, e un filtro mostra solo le righe non superate.
Analisi di un test fallito: l'elemento è stato trovato, ha lo stesso aspetto?
Un controllo che guarda un elemento risponde a due domande, una dopo l'altra. Prima, se l'elemento è stato trovato sullo schermo. Poi, se ha l'aspetto atteso.
Un controllo non superato, letto dall'alto in basso
L'elemento è stato trovato?
TrovatoÈ sullo schermo, quindi l'app ha raggiunto il punto giusto.
Ha lo stesso aspetto?
DiversoQualcosa è cambiato: una parola, un colore o un'icona.
Cosa è cambiato, in parole semplici?
IA facoltativaIl pulsante Conferma ordine è passato da attivo a disattivato.
| Quale risposta è fallita | Cosa significa | Dove guardare |
|---|---|---|
| Non trovato | L'elemento non è mai comparso, oppure è cambiato così tanto da non essere più riconosciuto. | L'app è sulla schermata giusta? Qualcosa copre l'elemento? È stato rimosso o ridisegnato? |
| Trovato, ma diverso | L'elemento c'è, e qualcosa in esso è cambiato: una parola, un colore, un'icona. | L'elemento stesso. O l'app ha un bug, o è cambiata di proposito. |
Prima individuate il vostro amico tra la folla, e un cappotto nuovo non vi ferma. Poi guardate meglio e notate il nuovo taglio di capelli. Il primo sguardo è indulgente, il secondo è attento, e il report tiene separati i due.
Il confronto funziona come un occhio umano.Nota ciò che noterebbe una persona, come una cifra sbagliata o un'icona mancante, e ignora ciò che nessuno vede.I controlli testuali sono più semplici: il report mostra le parole attese accanto alle parole lette.Un controllo che ha esaurito il tempo in una giornata lenta è un'altra storia, raccontata in sleep fissi nei test.
Cosa mostrava lo schermo? L'atteso accanto all'effettivo
Una frase su una differenza non è mai rapida quanto vederla. Fate clic su un controllo non superato e si apre il suo pannello: ciò che era atteso a sinistra, ciò che l'esecuzione ha trovato a destra.
Il report vi offre diversi modi di guardare.
- Fianco a fianco, o un'immagine sovrapposta all'altra.
- Una vista che evidenzia solo ciò che è cambiato, così l'occhio ci va dritto.
- La timeline dell'esecuzione, con i fotogrammi del suo video e ogni controllo segnato nel suo momento.
Un report dovrebbe mostrare ciò che l'utente avrebbe visto, non dove si è fermato il codice.
È un bug o una modifica voluta? Una spiegazione in parole semplici
Con l'analisi intelligente con IA attiva, un controllo non superato riceve un secondo sguardo.L'IA dà l'esito finale di quel controllo e scrive la frase che scriverebbe un collega: il pulsante Conferma ordine è passato da attivo a disattivato.
La spiegazione è facoltativa, e quale IA la scrive lo sceglie il vostro team.
- Un'IA cloud, con la vostra chiave.
- Un modello di IA locale, fornito da noi o portato da voi.
- Nessuna IA: le immagini mostrano comunque cosa è cambiato.
I report, le immagini e le registrazioni sono file sui vostri computer, conservati con il test.Questo li rende anche delle prove: vedere prove di test per gli audit.
È già successo? La cronologia delle esecuzioni precedenti
Un fallimento significa poco senza il suo passato. Un controllo fallito oggi per la prima volta, dopo settimane di esiti superati, punta alla modifica di ieri. Un controllo che fallisce un'esecuzione su cinque punta ai tempi.
| Cosa mostra la cronologia | Cosa vi dice |
|---|---|
| L'esecuzione in cui un controllo è fallito per la prima volta | Quale build o quale giorno guardare. |
| Un controllo che a volte viene superato e a volte fallisce | Un problema di tempi, o qualcosa che cambia da un'esecuzione all'altra. |
| Cosa è cambiato tra due esecuzioni | Se il test è stato modificato, o se è cambiata solo l'app. |
Il report di ogni esecuzione viene salvato con il test e si riapre esattamente com'era, quindi qualsiasi esecuzione passata si può rileggere.Dei test che falliscono senza motivo parla test instabili e falsi positivi.
Cosa fare dopo: tre scelte
Leggere un report si conclude con una decisione, e le possibilità sono solo tre.
Un controllo non superato, e ciò che avete visto sullo schermo
L'app è sbagliata
Aprire una segnalazione di bug
Un PDF, un file Excel o un ticket Jira, compilati dall'esecuzione.
La modifica era voluta
Accettare il nuovo aspetto
Un clic nel report, ed è annullabile.
Il controllo chiede la cosa sbagliata
Modificare il controllo
Il test si apre in GUI Test Studio proprio su quel controllo.
| Avete trovato | Che cosa fate | Come |
|---|---|---|
| Un bug nell'app | Aprite una segnalazione di bug. | Il pulsante Segnalazione di bug apre un modulo compilato dall'esecuzione: il titolo, cosa è fallito, i passaggi per riprodurre, l'ambiente. Salvatelo come PDF o file Excel, oppure create un ticket Jira. |
| Una modifica voluta | Accettate il nuovo aspetto. | Un clic fa di ciò che l'esecuzione ha trovato il nuovo aspetto atteso. Si può annullare, e Salva lo scrive nel test. |
| Un controllo che chiede la cosa sbagliata | Modificate il controllo. | Cambiate nel report le parole attese di un controllo testuale, oppure aprite il test in GUI Test Studio su quel controllo. |
Creare una segnalazione di bug e Quando l'app cambia di proposito spiegano ciascuna passo per passo.Accettate solo ciò che avete guardato: un test che segue da solo ogni modifica nasconde i bug reali, come spiega test self-healing.
Come leggere un'esecuzione fallita in cinque passaggi
- 1
Leggere l'esito in alto
Il banner del report di affidabilità dice come si è conclusa l'esecuzione, quanti controlli e azioni sono stati superati, e il passaggio in cui è fallita.
- 2
Andare al primo fallimento
Premete F8 o fate clic su Errore successivo.La riga porta il nome che avete dato a quel passaggio, così sapete quale parte del flusso è.
- 3
Leggere le due risposte del controllo
Se l'elemento è stato trovato, e se ha lo stesso aspetto. Non trovato punta alla schermata su cui si trovava l'app, diverso punta all'elemento stesso.
- 4
Guardare cosa mostrava lo schermo
Confrontate atteso ed effettivo fianco a fianco, oppure lasciate che il report evidenzi ciò che è cambiato. Leggete la spiegazione quando l'analisi intelligente con IA è attiva.
- 5
Decidere cosa fare dopo
Aprite Cronologia per vedere se è già fallito prima.Poi aprite una segnalazione di bug, accettate il nuovo aspetto quando la modifica era voluta, oppure modificate il controllo.
I risultati dei test da una pipeline CI/CD
Un'esecuzione su una macchina di build si legge allo stesso modo. gtr-cli, il runner da riga di comando, fornisce allo strumento di CI i suoi risultati in JUnit, JSON o Markdown, e conserva come artefatti il video dell'esecuzione, le sue immagini e il suo report salvato. Nulla di un'esecuzione va perso perché nessuno la stava guardando.
Una build fallita può anche aprire da sola il suo ticket Jira, con i passaggi e le immagini: vedere ogni test fallito diventa un bug Jira.Eseguire i test nella pipeline elenca le opzioni.
Cosa sapere prima di iniziare
| Buono a sapersi | Cosa significa |
|---|---|
| Un report mostra ciò che il test ha controllato | Un problema al di fuori di ogni controllo non vi compare. Un test controlla ciò che gli è stato detto di controllare. |
| Un'esecuzione fermata è un'esecuzione parziale | Dopo un fallimento da cui dipende il resto, i passaggi successivi non sono stati eseguiti. Correggete il primo fallimento, poi eseguite di nuovo. |
| L'IA risponde dopo l'esecuzione | Con l'IA attiva, il report dice che sta verificando mentre i controlli non superati ricevono il loro secondo sguardo, e l'esito si stabilizza quando tutte le risposte sono arrivate. |
| La decisione richiede una persona | Il report mostra e spiega la differenza. Se è un bug lo stabilisce chi sa cosa dovrebbe fare l'app. |
Punti chiave
- 1Un report di test è per una persona che deve agire, quindi deve dire ciò che l'utente avrebbe visto, non dove si è fermato il codice.
- 2Fatevi cinque domande in ordine: è stato superato, dove si è fermato, cosa mostrava lo schermo, è un bug o una modifica voluta, è già successo.
- 3Ogni controllo dà due risposte: non trovato punta alla schermata su cui si trovava l'app, diverso punta all'elemento stesso.
- 4Il report di affidabilità mostra l'atteso accanto all'effettivo, con i nomi dei vostri passaggi, il video dell'esecuzione e la cronologia delle esecuzioni precedenti.
- 5Ogni lettura si conclude con una di tre azioni: una segnalazione di bug compilata per voi, un nuovo aspetto accettato con un clic, o un controllo modificato.
Domande
Come si legge un report di test?
Partite dall'esito, poi andate al primo fallimento. Per quel passaggio, chiedetevi cosa mostrava lo schermo, se la differenza è un bug o una modifica voluta, e se è già successo. Poi segnalate un bug, accettate la modifica o modificate il controllo.
Cosa dovrebbe contenere un buon report di test?
La risposta a cinque domande: l'esecuzione è stata superata, dove si è fermata, cosa mostrava lo schermo, è un bug o una modifica voluta, ed è già successo. Un elenco di righe rosse e verdi risponde solo alla prima.
Come faccio a sapere se si è rotta l'app o il test?
Guardate cosa mostrava lo schermo al passaggio fallito, accanto a ciò che era atteso. Se lo schermo è sbagliato, si è rotta l'app. Se lo schermo è giusto e ha solo un aspetto nuovo, l'app è cambiata di proposito e il test deve adeguarsi.
Qual è la differenza tra non trovato e diverso in un controllo non superato?
Non trovato significa che l'elemento non è mai comparso mentre il controllo attendeva. Diverso significa che l'elemento c'era, ma qualcosa in esso è cambiato, come una parola, un colore o un'icona. Il primo vi rimanda alla schermata su cui si trovava l'app, il secondo all'elemento stesso.
Serve l'IA per capire un test fallito?
No. Il report di affidabilità mostra l'atteso accanto all'effettivo con la differenza evidenziata, senza alcuna IA. L'analisi intelligente con IA è facoltativa: aggiunge una spiegazione in parole semplici, con un'IA cloud e la vostra chiave, oppure con un modello di IA locale fornito da noi o portato da voi.
Cosa faccio quando un test fallisce perché l'app è cambiata di proposito?
Accettate il nuovo aspetto. Nel report di affidabilità, un clic fa di ciò che l'esecuzione ha trovato il nuovo aspetto atteso di quel controllo, si può annullare, e Salva lo scrive nel test.
Un test fallito può diventare da solo una segnalazione di bug?
Sì. Il pulsante Segnalazione di bug del report di affidabilità apre un modulo già compilato dall'esecuzione: il titolo, cosa è fallito, i passaggi per riprodurre e l'ambiente. Lo salvate come PDF o file Excel, oppure create da esso un ticket Jira.
Dove si trova il report di una vecchia esecuzione?
Con il test. Il report di affidabilità di ogni esecuzione viene salvato accanto al file di test e si riapre esattamente com'era, con le sue immagini. La cronologia del test elenca ogni esecuzione e apre qualsiasi di esse.
Jira ed Excel sono marchi dei rispettivi proprietari.
Continua a leggere
Tutti gli articoli
Come funziona
Come GUI Test Studio trova gli elementi: prima l'accessibilità, la visione quando l'app non dice nulla
6 min di lettura

Automazione dei test
Cos'è il test end-to-end? Una guida semplice con un esempio reale
10 min di lettura

Automazione dei test
Smoke test, sanity test e test di regressione: quale eseguire, e quando
9 min di lettura