Test ripetibili con l'IA: usare l'IA per creare il test, non per improvvisare a ogni esecuzione

Test ripetibili con l'IA: l'IA crea il test, poi gli stessi passaggi si ripetono a ogni esecuzione. Perché un test non deve improvvisare, e dove l'IA aiuta.

Di Ait Nohaila, Business Development Representative 11 min di lettura

Test ripetibili con l'IA significa che l'IA aiuta a creare e a modificare un test, mentre il test in sé ripete gli stessi passaggi e dà la stessa risposta a ogni esecuzione. L'IA lavora dove il giudizio aiuta, e non improvvisa mai l'esecuzione.

Una build diventa rossa il lunedì e verde il martedì, e nell'app non è cambiato niente. Se un'IA ha scelto i passaggi di ogni esecuzione, non potete sapere se l'app si è rotta o se l'IA ha preso un'altra strada. Una build rossa che può non voler dire niente viene presto ignorata.

Cos'è il test ripetibile?

Definizione

Un test ripetibile dà lo stesso risultato ogni volta che viene eseguito sulla stessa app.

  • Gli stessi passaggi avvengono nello stesso ordine.
  • Ogni controllo viene deciso dalla stessa regola.

Quindi, quando il risultato cambia, è l'app che è cambiata.

È questa proprietà a rendere un test utile a ogni build.Un risultato rosso è un fatto che riguarda il vostro prodotto, non il test.È tutto il senso del test di regressione.

Perché un'IA può dare due risposte diverse alla stessa domanda?

Un modello di IA non va a cercare una risposta già pronta. Ne compone una ogni volta che gli viene chiesta, e può comporla in modo diverso. Fate due volte la stessa domanda a un assistente e spesso otterrete due formulazioni, a volte due conclusioni.

È un punto di forza quando volete una bozza, un'idea o una spiegazione. È un punto debole quando la risposta è un esito che deve reggere per trecento build.

Un test deve dare due volte la stessa risposta. Altrimenti una build rossa non significa niente.

Due modi di usare l'IA nell'automazione dei test

In un test l'IA può stare in due posti.

L'IA guida ogni esecuzione

Un'IA legge le vostre istruzioni e guida di nuovo l'app a ogni esecuzione, scegliendo ogni clic strada facendo.

L'IA aiuta, il test si esegue da solo

Oppure l'IA aiuta dove aiuterebbe una persona, quando il test viene creato, modificato o esaminato, e l'esecuzione in sé è una registrazione fissa.

Un'IA guida ogni esecuzione

Esecuzione 1

Aprire OrdiniNuovo ordineDigitare il clienteSalva

Esecuzione 2

Aprire OrdiniCercare il clienteNuovo ordineSalva

Esecuzione 3

Aprire OrdiniNuovo ordineFerma davanti a una finestra di dialogo

L'app si è rotta, o l'IA ha preso un'altra strada?

Un test salvato si ripete

Esecuzione 1

Aprire OrdiniNuovo ordineDigitare il clienteSalva

Esecuzione 2

Aprire OrdiniNuovo ordineDigitare il clienteSalva

Esecuzione 300

Aprire OrdiniNuovo ordineDigitare il clienteSalva

Un'esecuzione rossa significa che l'app è cambiata.

La stessa richiesta, eseguita tre volte. Solo un test che ripete gli stessi passaggi fa di una build rossa un fatto che riguarda la vostra app.
DomandaUn'IA guida ogni esecuzioneUn test salvato si ripete
I passaggi sono gli stessi a ogni esecuzione?Non è garantito: ogni esecuzione è una nuova lettura delle istruzioni.Sì: gli stessi passaggi nello stesso ordine.
Potete riprodurre un fallimento?Non sempre: l'esecuzione successiva può prendere un'altra strada.Sì: eseguite di nuovo il test, o guardate il video dell'esecuzione.
Quanto costa un'esecuzione?L'uso dell'IA a ogni esecuzione di ogni test.Il tempo della macchina di build.
Quanto è veloce un'esecuzione?L'IA riflette prima di ogni passaggio.Veloce quanto il flusso registrato.
Che cosa significa una build rossa?L'app è cambiata, oppure l'IA ha scelto diversamente.L'app è cambiata.

I due modi hanno un nome, e sono messi a confronto in agentic testing e test assistiti dall'IA.

Dove l'IA aiuta, e dove un test non deve improvvisare

La domanda non è se usare l'IA nei test. È dove usarla. Alcune parti del lavoro di test guadagnano dal giudizio, altre devono restare fisse.

Parte del lavoro di testChe cosa fa lì l'IAPerché
Creare il testAiuta: una frase diventa passaggi e controlli, provati sullo schermo reale.È il lavoro che farebbe una persona, fatto più in fretta.
Modificare il testAiuta: fa la modifica che chiedete, dopo la vostra conferma.La decisione resta vostra.
Eseguire i passaggiNiente: il test salvato si ripete.Gli stessi passaggi devono avvenire a ogni esecuzione.
Decidere ogni controlloNiente: lo stesso confronto ogni volta.Lo stesso schermo deve ricevere lo stesso esito.
Un controllo non superatoUn secondo sguardo facoltativo: un esito finale su quel controllo, e una spiegazione.Una differenza a volte va letta, come la leggerebbe una persona.
Leggere i risultatiAiuta: il vostro assistente legge un'esecuzione e la spiega.Vi fa risparmiare tempo e non cambia niente nel test.

Un'automazione dei test con IA su cui contare: come fa GUI Test Studio

GUI Test Studio, che automatizza i test end-to-end di qualsiasi applicazione senza codice, è costruito sul secondo modo. Descrivete il test in un prompt a Claude, a ChatGPT con Codex o a un modello di IA locale, fornito da noi o portato da voi. Potete anche registrarlo voi stessi, senza IA in nessun momento.

Il vostro prompt

Crea un ordine per Atlas Textiles e verifica il totale.

L'IA lavora una volta

Esegue il flusso sul vostro schermo e lì prova ogni controllo.

Un test salvato

Order.GTS

I suoi passaggi, le sue immagini, la sua registrazione.

Esecuzione 1

  1. 1Aprire Ordini
  2. 2Nuovo ordine
  3. 3Digitare il cliente
  4. 4Salva
  5. 5Controllare il totale

Esecuzione 2

  1. 1Aprire Ordini
  2. 2Nuovo ordine
  3. 3Digitare il cliente
  4. 4Salva
  5. 5Controllare il totale

Esecuzione 300

  1. 1Aprire Ordini
  2. 2Nuovo ordine
  3. 3Digitare il cliente
  4. 4Salva
  5. 5Controllare il totale
L'IA crea il test una volta. Ogni esecuzione successiva ripete gli stessi passaggi nello stesso ordine, senza alcuna IA che guidi l'app.
  1. Lo descrivete

    Una frase

  2. L'IA lo registra

    Una volta, sul vostro schermo

  3. Un test salvato

    Un file che è vostro

  4. Ogni esecuzione

    Gli stessi passaggi

Tre cose rendono l'esecuzione ripetibile.

  • L'IA lavora una volta: esegue il flusso sul vostro schermo reale e lì prova ogni controllo prima di tenerlo.
  • Ciò che lascia è un test salvato, un file con i suoi passaggi, le sue immagini e la sua registrazione.
  • Quando quel test viene eseguito, ripete gli stessi passaggi nello stesso ordine, e nessuna IA guida l'app.

Quando l'app cambia, lo stesso assistente modifica il test salvato sul posto: un altro testo atteso, un'attesa più lunga, un passaggio rimosso. Mostra la modifica e vi chiede di confermare prima di scrivere. Tra due modifiche il test è lo stesso file, e lo stesso vale per la sua esecuzione.

Creare un test da un prompt mostra ogni finestra, e Generatore di test con IA: da un prompt a un test che funziona spiega come scrivere un prompt che dia un buon test.

Ogni controllo viene deciso allo stesso modo ogni volta

Un'esecuzione è ripetibile solo se lo sono i suoi esiti. Ogni controllo visivo risponde a due domande fisse: l'elemento è stato trovato sullo schermo, e ha l'aspetto atteso? Il confronto è percettivo, come quello dell'occhio umano. Nota ciò che una persona noterebbe, come una cifra sbagliata, un'icona mancante o una parola cambiata, e ignora ciò che nessuno vede.

Altre tre cose tengono stabile un'esecuzione.

  • Ogni controllo attende il suo elemento e viene superato nel momento in cui c'è, così uno schermo lento non cambia il risultato.
  • Un valore che cambia per natura, come una data o un numero d'ordine, viene controllato dal suo formato.
  • Ogni controllo dice che cosa comporta un fallimento: fermare il test, o continuare.

I tempi sono la prima causa dei test che passano e falliscono a caso: vedete sleep fissi nei test: aspettate lo schermo e test instabili e falsi positivi.

Quando un controllo fallisce: l'IA dà un secondo sguardo, e la sua risposta viene conservata

Alcune differenze richiedono giudizio. Un titolo appena più marcato è un bug? L'analisi intelligente con IA è il lato IA facoltativo del GTS Engine + AI. Solo quando un controllo fallisce, dà un secondo sguardo a quel controllo, ne dà l'esito finale e spiega la differenza con parole semplici.

I controlli di un'esecuzione

Titolo dell'accesso

Superato: nessuna IA lo guarda

Nome del cliente

Superato: nessuna IA lo guarda

Totale dell'ordine

Superato: nessuna IA lo guarda

Pulsante Conferma ordine

Non superato: l'unico che l'IA guarda

Numero d'ordine

Superato: nessuna IA lo guarda

Analisi intelligente con IA, se l'avete attivata

Un secondo sguardo al controllo non superato

Esito finale: non superato

Il pulsante Conferma ordine è passato da attivo a disattivato.

Conservata con l'esecuzioneMostrata nel report
L'IA viene interpellata solo su un controllo non superato. Tutto il resto dell'esecuzione viene deciso allo stesso modo ogni volta, senza alcun modello.
L'esito dell'IA e le sue ragioni, accanto al controllo che ha giudicato.

Quattro regole tengono questo giudizio al suo posto.

  • L'IA non guida mai l'app, e non guarda mai un controllo superato.
  • Il suo esito riguarda un solo controllo non superato, e il report ne mostra le ragioni accanto alle due immagini.
  • La sua risposta viene conservata con l'esecuzione, quindi riaprire il report non chiede di nuovo niente.
  • Con l'IA disattivata, ogni controllo viene superato o fallisce in base al proprio confronto.

Così l'esecuzione è la stessa ogni volta, e l'unico punto in cui un modello giudica è piccolo, visibile e potete disattivarlo voi.

Guidare l'IA con parole semplici: le istruzioni per l'IA

Alcune differenze sono attese, e solo voi sapete quali. Un controllo può portare delle istruzioni per l'IA: poche parole nella vostra lingua che l'IA segue quando giudica quel controllo.

Cosa scriveteL'IA
Ignora le modifiche alla dimensione del carattere.Esclude dalle differenze un testo più grande o più piccolo.
La data nell'angolo cambia ogni giorno.Non conta la data come differenza.
Il pulsante Salva deve restare verde.Fa fallire il controllo ogni volta che il pulsante è di un altro colore.

Il report mostra le istruzioni con cui è stato dato un esito, accanto alla risposta dell'IA, così un giudizio non è mai un mistero.La guida all'analisi intelligente con IA contiene ogni impostazione.

L'IA la scegliete voi, oppure nessuna

Quale IA dia quel secondo sguardo lo scegliete voi, e potete cambiare idea.

Un'IA cloud, con la vostra chiave

Un modello di OpenAI o di Anthropic risponde attraverso il vostro account, e gli arrivano solo le due piccole immagini di un controllo non superato.

Un modello di IA locale

Un modello fornito da noi o il vostro funziona sul vostro computer, e niente ne esce.

Nessuna IA

Senza alcuna IA, registrate i test voi stessi, e ogni controllo viene superato o fallisce in base al proprio confronto.

Test, registrazioni e report sono in ogni caso file sui vostri computer.Che cosa valga questo controllo per un team è il tema di sovranità dell'IA nel test del software.

Un test che non cambia da solo è anche il controllo indipendente che vi serve quando è l'IA a scrivere il codice: vedete come testare il codice generato dall'IA.E un test che si ripara da solo tra un'esecuzione e l'altra pone la stessa domanda, come mostra test self-healing.

Cosa sapere prima di iniziare

LimiteCosa significa
Un test controlla ciò che gli è stato detto di controllareUn test ripetibile non esplora. Ripete un flusso e i suoi controlli, quindi ogni flusso che conta ha bisogno del suo test.
Lo stesso inizio dà la stessa rispostaPrima di un'esecuzione, riportate l'app dove è iniziata la registrazione: la stessa pagina, gli stessi dati, le stesse finestre aperte.
Il secondo sguardo dell'IA è un giudizioSu una differenza al limite, la lettura di un modello può variare. Viene interpellato solo sui controlli non superati, le sue ragioni sono mostrate, e può restare disattivato.
Un'esecuzione usa lo schermo realeUn'esecuzione muove il mouse reale e digita sulla tastiera reale, a meno che un test web non venga eseguito senza finestra del browser.

Punti chiave

  • 1Un test deve dare due volte la stessa risposta, altrimenti una build rossa non significa niente.
  • 2Un'IA che guida ogni esecuzione improvvisa: un'altra strada, un costo per esecuzione, un fallimento che non potete riprodurre.
  • 3In GUI Test Studio, l'IA crea il test e lo modifica quando glielo chiedete. Il test salvato ripete gli stessi passaggi, senza alcuna IA che guidi l'app.
  • 4Ogni controllo viene deciso allo stesso modo ogni volta. Solo un controllo non superato può ricevere il secondo sguardo di un'IA, e la sua risposta viene conservata con l'esecuzione.
  • 5L'IA la scegliete voi: un'IA cloud con la vostra chiave, un modello di IA locale, nostro o vostro, o nessuna.

Domande

Cos'è il test ripetibile?

Test ripetibile significa che un test dà lo stesso risultato ogni volta che viene eseguito sulla stessa app. Gli stessi passaggi avvengono nello stesso ordine, e ogni controllo viene deciso dalla stessa regola. Quando il risultato cambia, è l'app che è cambiata.

I test con IA sono ripetibili?

Dipende da dove sta l'IA. Un'IA che guida l'app a ogni esecuzione rilegge ogni volta le sue istruzioni e può prendere un'altra strada. Un test che l'IA ha creato una volta e che si ripete da solo è ripetibile: gli stessi passaggi e gli stessi controlli a ogni esecuzione.

Perché i test guidati dall'IA danno risultati diversi da un'esecuzione all'altra?

Perché un modello di IA compone la sua risposta ogni volta che gli viene chiesta, e può comporla in modo diverso. Se il modello sceglie ogni clic durante l'esecuzione, due esecuzioni sulla stessa app possono seguire due strade. Un fallimento visto una volta può non ripresentarsi quando provate a riprodurlo.

Posso usare l'IA nell'automazione dei test e avere comunque risultati ripetibili?

Sì. Usate l'IA per creare il test e per modificarlo quando lo chiedete, e lasciate che il test salvato si esegua da solo. In GUI Test Studio, un test creato da un prompt ripete gli stessi passaggi a ogni esecuzione, senza alcuna IA che guidi l'app.

GUI Test Studio usa l'IA durante l'esecuzione di un test?

Nessuna IA guida l'app durante un'esecuzione: il test salvato ripete i suoi passaggi. Se attivate l'analisi intelligente con IA, guarda solo un controllo non superato, dà l'esito finale di quel controllo e spiega la differenza. È facoltativa.

Che cosa fa l'analisi intelligente con IA quando un controllo fallisce?

Dà un secondo sguardo al controllo non superato e ne dà l'esito finale. Lo considera superato quando non è cambiato niente di importante, non superato quando qualcosa è cambiato, e dice con parole semplici che cosa è cambiato. La sua risposta viene conservata con l'esecuzione.

Posso eseguire i miei test senza alcuna IA?

Sì. Registrate il test voi stessi e lasciate disattivata l'analisi intelligente con IA. Ogni passaggio si ripete e ogni controllo viene superato o fallisce in base al proprio confronto, senza alcun modello in nessun momento.

Come dico all'IA che cosa ignorare in un controllo?

Date al controllo delle istruzioni per l'IA, poche parole nella vostra lingua come “ignora le modifiche alla dimensione del carattere”. L'IA le segue quando giudica quel controllo, e il report mostra le istruzioni accanto alla sua risposta.

Claude, ChatGPT, Codex, OpenAI, Anthropic e Windows sono marchi dei rispettivi proprietari.

Tutti gli articoli