Test ripetibili con l'IA: usare l'IA per creare il test, non per improvvisare a ogni esecuzione
Test ripetibili con l'IA: l'IA crea il test, poi gli stessi passaggi si ripetono a ogni esecuzione. Perché un test non deve improvvisare, e dove l'IA aiuta.
Test ripetibili con l'IA significa che l'IA aiuta a creare e a modificare un test, mentre il test in sé ripete gli stessi passaggi e dà la stessa risposta a ogni esecuzione. L'IA lavora dove il giudizio aiuta, e non improvvisa mai l'esecuzione.
Una build diventa rossa il lunedì e verde il martedì, e nell'app non è cambiato niente. Se un'IA ha scelto i passaggi di ogni esecuzione, non potete sapere se l'app si è rotta o se l'IA ha preso un'altra strada. Una build rossa che può non voler dire niente viene presto ignorata.
Cos'è il test ripetibile?
Definizione
Un test ripetibile dà lo stesso risultato ogni volta che viene eseguito sulla stessa app.
- Gli stessi passaggi avvengono nello stesso ordine.
- Ogni controllo viene deciso dalla stessa regola.
Quindi, quando il risultato cambia, è l'app che è cambiata.
È questa proprietà a rendere un test utile a ogni build.Un risultato rosso è un fatto che riguarda il vostro prodotto, non il test.È tutto il senso del test di regressione.
Perché un'IA può dare due risposte diverse alla stessa domanda?
Un modello di IA non va a cercare una risposta già pronta. Ne compone una ogni volta che gli viene chiesta, e può comporla in modo diverso. Fate due volte la stessa domanda a un assistente e spesso otterrete due formulazioni, a volte due conclusioni.
È un punto di forza quando volete una bozza, un'idea o una spiegazione. È un punto debole quando la risposta è un esito che deve reggere per trecento build.
Un test deve dare due volte la stessa risposta. Altrimenti una build rossa non significa niente.
Due modi di usare l'IA nell'automazione dei test
In un test l'IA può stare in due posti.
L'IA guida ogni esecuzione
Un'IA legge le vostre istruzioni e guida di nuovo l'app a ogni esecuzione, scegliendo ogni clic strada facendo.
L'IA aiuta, il test si esegue da solo
Oppure l'IA aiuta dove aiuterebbe una persona, quando il test viene creato, modificato o esaminato, e l'esecuzione in sé è una registrazione fissa.
Un'IA guida ogni esecuzione
Esecuzione 1
Esecuzione 2
Esecuzione 3
L'app si è rotta, o l'IA ha preso un'altra strada?
Un test salvato si ripete
Esecuzione 1
Esecuzione 2
Esecuzione 300
Un'esecuzione rossa significa che l'app è cambiata.
| Domanda | Un'IA guida ogni esecuzione | Un test salvato si ripete |
|---|---|---|
| I passaggi sono gli stessi a ogni esecuzione? | Non è garantito: ogni esecuzione è una nuova lettura delle istruzioni. | Sì: gli stessi passaggi nello stesso ordine. |
| Potete riprodurre un fallimento? | Non sempre: l'esecuzione successiva può prendere un'altra strada. | Sì: eseguite di nuovo il test, o guardate il video dell'esecuzione. |
| Quanto costa un'esecuzione? | L'uso dell'IA a ogni esecuzione di ogni test. | Il tempo della macchina di build. |
| Quanto è veloce un'esecuzione? | L'IA riflette prima di ogni passaggio. | Veloce quanto il flusso registrato. |
| Che cosa significa una build rossa? | L'app è cambiata, oppure l'IA ha scelto diversamente. | L'app è cambiata. |
I due modi hanno un nome, e sono messi a confronto in agentic testing e test assistiti dall'IA.
Dove l'IA aiuta, e dove un test non deve improvvisare
La domanda non è se usare l'IA nei test. È dove usarla. Alcune parti del lavoro di test guadagnano dal giudizio, altre devono restare fisse.
| Parte del lavoro di test | Che cosa fa lì l'IA | Perché |
|---|---|---|
| Creare il test | Aiuta: una frase diventa passaggi e controlli, provati sullo schermo reale. | È il lavoro che farebbe una persona, fatto più in fretta. |
| Modificare il test | Aiuta: fa la modifica che chiedete, dopo la vostra conferma. | La decisione resta vostra. |
| Eseguire i passaggi | Niente: il test salvato si ripete. | Gli stessi passaggi devono avvenire a ogni esecuzione. |
| Decidere ogni controllo | Niente: lo stesso confronto ogni volta. | Lo stesso schermo deve ricevere lo stesso esito. |
| Un controllo non superato | Un secondo sguardo facoltativo: un esito finale su quel controllo, e una spiegazione. | Una differenza a volte va letta, come la leggerebbe una persona. |
| Leggere i risultati | Aiuta: il vostro assistente legge un'esecuzione e la spiega. | Vi fa risparmiare tempo e non cambia niente nel test. |
Un'automazione dei test con IA su cui contare: come fa GUI Test Studio
GUI Test Studio, che automatizza i test end-to-end di qualsiasi applicazione senza codice, è costruito sul secondo modo. Descrivete il test in un prompt a Claude, a ChatGPT con Codex o a un modello di IA locale, fornito da noi o portato da voi. Potete anche registrarlo voi stessi, senza IA in nessun momento.
Il vostro prompt
Crea un ordine per Atlas Textiles e verifica il totale.
L'IA lavora una volta
Esegue il flusso sul vostro schermo e lì prova ogni controllo.
Un test salvato
Order.GTS
I suoi passaggi, le sue immagini, la sua registrazione.
Esecuzione 1
- 1Aprire Ordini
- 2Nuovo ordine
- 3Digitare il cliente
- 4Salva
- 5Controllare il totale
Esecuzione 2
- 1Aprire Ordini
- 2Nuovo ordine
- 3Digitare il cliente
- 4Salva
- 5Controllare il totale
Esecuzione 300
- 1Aprire Ordini
- 2Nuovo ordine
- 3Digitare il cliente
- 4Salva
- 5Controllare il totale
Lo descrivete
Una frase
L'IA lo registra
Una volta, sul vostro schermo
Un test salvato
Un file che è vostro
Ogni esecuzione
Gli stessi passaggi
Tre cose rendono l'esecuzione ripetibile.
- L'IA lavora una volta: esegue il flusso sul vostro schermo reale e lì prova ogni controllo prima di tenerlo.
- Ciò che lascia è un test salvato, un file con i suoi passaggi, le sue immagini e la sua registrazione.
- Quando quel test viene eseguito, ripete gli stessi passaggi nello stesso ordine, e nessuna IA guida l'app.
Quando l'app cambia, lo stesso assistente modifica il test salvato sul posto: un altro testo atteso, un'attesa più lunga, un passaggio rimosso. Mostra la modifica e vi chiede di confermare prima di scrivere. Tra due modifiche il test è lo stesso file, e lo stesso vale per la sua esecuzione.
Creare un test da un prompt mostra ogni finestra, e Generatore di test con IA: da un prompt a un test che funziona spiega come scrivere un prompt che dia un buon test.
Ogni controllo viene deciso allo stesso modo ogni volta
Un'esecuzione è ripetibile solo se lo sono i suoi esiti. Ogni controllo visivo risponde a due domande fisse: l'elemento è stato trovato sullo schermo, e ha l'aspetto atteso? Il confronto è percettivo, come quello dell'occhio umano. Nota ciò che una persona noterebbe, come una cifra sbagliata, un'icona mancante o una parola cambiata, e ignora ciò che nessuno vede.
Altre tre cose tengono stabile un'esecuzione.
- Ogni controllo attende il suo elemento e viene superato nel momento in cui c'è, così uno schermo lento non cambia il risultato.
- Un valore che cambia per natura, come una data o un numero d'ordine, viene controllato dal suo formato.
- Ogni controllo dice che cosa comporta un fallimento: fermare il test, o continuare.
I tempi sono la prima causa dei test che passano e falliscono a caso: vedete sleep fissi nei test: aspettate lo schermo e test instabili e falsi positivi.
Quando un controllo fallisce: l'IA dà un secondo sguardo, e la sua risposta viene conservata
Alcune differenze richiedono giudizio. Un titolo appena più marcato è un bug? L'analisi intelligente con IA è il lato IA facoltativo del GTS Engine + AI. Solo quando un controllo fallisce, dà un secondo sguardo a quel controllo, ne dà l'esito finale e spiega la differenza con parole semplici.
I controlli di un'esecuzione
Titolo dell'accesso
Superato: nessuna IA lo guarda
Nome del cliente
Superato: nessuna IA lo guarda
Totale dell'ordine
Superato: nessuna IA lo guarda
Pulsante Conferma ordine
Non superato: l'unico che l'IA guarda
Numero d'ordine
Superato: nessuna IA lo guarda
Analisi intelligente con IA, se l'avete attivata
Un secondo sguardo al controllo non superato
Esito finale: non superato
Il pulsante Conferma ordine è passato da attivo a disattivato.
Quattro regole tengono questo giudizio al suo posto.
- L'IA non guida mai l'app, e non guarda mai un controllo superato.
- Il suo esito riguarda un solo controllo non superato, e il report ne mostra le ragioni accanto alle due immagini.
- La sua risposta viene conservata con l'esecuzione, quindi riaprire il report non chiede di nuovo niente.
- Con l'IA disattivata, ogni controllo viene superato o fallisce in base al proprio confronto.
Così l'esecuzione è la stessa ogni volta, e l'unico punto in cui un modello giudica è piccolo, visibile e potete disattivarlo voi.
Guidare l'IA con parole semplici: le istruzioni per l'IA
Alcune differenze sono attese, e solo voi sapete quali. Un controllo può portare delle istruzioni per l'IA: poche parole nella vostra lingua che l'IA segue quando giudica quel controllo.
| Cosa scrivete | L'IA |
|---|---|
| Ignora le modifiche alla dimensione del carattere. | Esclude dalle differenze un testo più grande o più piccolo. |
| La data nell'angolo cambia ogni giorno. | Non conta la data come differenza. |
| Il pulsante Salva deve restare verde. | Fa fallire il controllo ogni volta che il pulsante è di un altro colore. |
Il report mostra le istruzioni con cui è stato dato un esito, accanto alla risposta dell'IA, così un giudizio non è mai un mistero.La guida all'analisi intelligente con IA contiene ogni impostazione.
L'IA la scegliete voi, oppure nessuna
Quale IA dia quel secondo sguardo lo scegliete voi, e potete cambiare idea.
Un'IA cloud, con la vostra chiave
Un modello di OpenAI o di Anthropic risponde attraverso il vostro account, e gli arrivano solo le due piccole immagini di un controllo non superato.
Un modello di IA locale
Un modello fornito da noi o il vostro funziona sul vostro computer, e niente ne esce.
Nessuna IA
Senza alcuna IA, registrate i test voi stessi, e ogni controllo viene superato o fallisce in base al proprio confronto.
Test, registrazioni e report sono in ogni caso file sui vostri computer.Che cosa valga questo controllo per un team è il tema di sovranità dell'IA nel test del software.
Un test che non cambia da solo è anche il controllo indipendente che vi serve quando è l'IA a scrivere il codice: vedete come testare il codice generato dall'IA.E un test che si ripara da solo tra un'esecuzione e l'altra pone la stessa domanda, come mostra test self-healing.
Cosa sapere prima di iniziare
| Limite | Cosa significa |
|---|---|
| Un test controlla ciò che gli è stato detto di controllare | Un test ripetibile non esplora. Ripete un flusso e i suoi controlli, quindi ogni flusso che conta ha bisogno del suo test. |
| Lo stesso inizio dà la stessa risposta | Prima di un'esecuzione, riportate l'app dove è iniziata la registrazione: la stessa pagina, gli stessi dati, le stesse finestre aperte. |
| Il secondo sguardo dell'IA è un giudizio | Su una differenza al limite, la lettura di un modello può variare. Viene interpellato solo sui controlli non superati, le sue ragioni sono mostrate, e può restare disattivato. |
| Un'esecuzione usa lo schermo reale | Un'esecuzione muove il mouse reale e digita sulla tastiera reale, a meno che un test web non venga eseguito senza finestra del browser. |
Punti chiave
- 1Un test deve dare due volte la stessa risposta, altrimenti una build rossa non significa niente.
- 2Un'IA che guida ogni esecuzione improvvisa: un'altra strada, un costo per esecuzione, un fallimento che non potete riprodurre.
- 3In GUI Test Studio, l'IA crea il test e lo modifica quando glielo chiedete. Il test salvato ripete gli stessi passaggi, senza alcuna IA che guidi l'app.
- 4Ogni controllo viene deciso allo stesso modo ogni volta. Solo un controllo non superato può ricevere il secondo sguardo di un'IA, e la sua risposta viene conservata con l'esecuzione.
- 5L'IA la scegliete voi: un'IA cloud con la vostra chiave, un modello di IA locale, nostro o vostro, o nessuna.
Domande
Cos'è il test ripetibile?
Test ripetibile significa che un test dà lo stesso risultato ogni volta che viene eseguito sulla stessa app. Gli stessi passaggi avvengono nello stesso ordine, e ogni controllo viene deciso dalla stessa regola. Quando il risultato cambia, è l'app che è cambiata.
I test con IA sono ripetibili?
Dipende da dove sta l'IA. Un'IA che guida l'app a ogni esecuzione rilegge ogni volta le sue istruzioni e può prendere un'altra strada. Un test che l'IA ha creato una volta e che si ripete da solo è ripetibile: gli stessi passaggi e gli stessi controlli a ogni esecuzione.
Perché i test guidati dall'IA danno risultati diversi da un'esecuzione all'altra?
Perché un modello di IA compone la sua risposta ogni volta che gli viene chiesta, e può comporla in modo diverso. Se il modello sceglie ogni clic durante l'esecuzione, due esecuzioni sulla stessa app possono seguire due strade. Un fallimento visto una volta può non ripresentarsi quando provate a riprodurlo.
Posso usare l'IA nell'automazione dei test e avere comunque risultati ripetibili?
Sì. Usate l'IA per creare il test e per modificarlo quando lo chiedete, e lasciate che il test salvato si esegua da solo. In GUI Test Studio, un test creato da un prompt ripete gli stessi passaggi a ogni esecuzione, senza alcuna IA che guidi l'app.
GUI Test Studio usa l'IA durante l'esecuzione di un test?
Nessuna IA guida l'app durante un'esecuzione: il test salvato ripete i suoi passaggi. Se attivate l'analisi intelligente con IA, guarda solo un controllo non superato, dà l'esito finale di quel controllo e spiega la differenza. È facoltativa.
Che cosa fa l'analisi intelligente con IA quando un controllo fallisce?
Dà un secondo sguardo al controllo non superato e ne dà l'esito finale. Lo considera superato quando non è cambiato niente di importante, non superato quando qualcosa è cambiato, e dice con parole semplici che cosa è cambiato. La sua risposta viene conservata con l'esecuzione.
Posso eseguire i miei test senza alcuna IA?
Sì. Registrate il test voi stessi e lasciate disattivata l'analisi intelligente con IA. Ogni passaggio si ripete e ogni controllo viene superato o fallisce in base al proprio confronto, senza alcun modello in nessun momento.
Come dico all'IA che cosa ignorare in un controllo?
Date al controllo delle istruzioni per l'IA, poche parole nella vostra lingua come “ignora le modifiche alla dimensione del carattere”. L'IA le segue quando giudica quel controllo, e il report mostra le istruzioni accanto alla sua risposta.
Claude, ChatGPT, Codex, OpenAI, Anthropic e Windows sono marchi dei rispettivi proprietari.


