Verifica che un agente IA riesca a completare un’attività sul tuo sito
I controlli tecnici individuano dati mancanti. Un test con un agente mostra anche se riesce a trovare le informazioni, dove si blocca e se dà risposte che le tue pagine non confermano.
Attività concrete dal punto di vista del cliente
L’agente riceve una richiesta tipica: trovare un prezzo, raggiungere la pagina di pagamento, consultare gli orari o citare un articolo. Le attività proposte dipendono dai contenuti e dal tipo di sito.
48 attività per 7 tipi di sito
Se un’attività non è pertinente al tuo sito, viene indicata come non applicabile e non viene conteggiata come un errore.
Cosa può fare l’agente
L’agente può consultare pagine, leggere file well-known e fornire una risposta. Tutte le richieste usano GET. Non può inviare moduli, accedere a un account, aggiungere prodotti al carrello o effettuare pagamenti.
- 01
fetch_pageconsultare una pagina
- 02
read_well_knownleggere un file well-known
- 03
doneterminare e fornire il risultato
Ogni esecuzione è limitata a dodici pagine e a meno di un minuto. Se l’agente raggiunge il limite senza completare l’attività, il risultato lo indica.
L’agente legge il contenuto inviato dal server senza eseguire JavaScript: fino a 6000 caratteri di testo e 80 link per pagina.
Sei possibili risultati
Il risultato distingue successo, completamento parziale, insuccesso, accesso bloccato, risposta non confermata e attività non applicabile.
avanzamento dell’agente
- success
- L’agente ha completato l’attività.
- partial
- L’agente ha completato una parte dell’attività, ma mancano informazioni o passaggi.
- fail
- L’agente non è riuscito a completare l’attività.
- blocked
- Il sito ha bloccato l’accesso dell’agente.
- hallucinated
- La risposta contiene informazioni che non compaiono nelle tue pagine.
- not_applicable
- L’attività non è pertinente ai contenuti o alle funzioni del sito.
Individua le informazioni non confermate
Se un agente riporta un prezzo assente dal sito, il test lo segnala. Un problema di questo tipo può verificarsi anche con un codice corretto e diventa visibile durante una prova concreta.
Una percentuale di successo su più tentativi
I modelli possono produrre risultati diversi per la stessa richiesta. Ripetiamo quindi l’attività e mostriamo la percentuale di successo insieme al numero di tentativi, per distinguere una riuscita occasionale da un risultato costante.
Dal problema alla correzione adatta
Ogni errore indica una causa e, quando disponibili, rimanda al controllo interessato, alla guida di correzione e al file generabile dai contenuti del sito.
punto di blocco
causa individuata
- checks
- controllo corrispondente
- guides
- guida alla correzione
- artifact
- file generato dai contenuti del sito
- null
- se necessario, intervento manuale
Alcuni problemi richiedono un intervento sul sito, come ripristinare una pagina non raggiungibile. In questi casi il report spiega cosa occorre fare.
Verifica l’effetto della modifica
Ripeti l’attività dopo la correzione e confronta i due percorsi. Puoi vedere se l’agente supera il punto in cui si era bloccato.
Un indicatore separato dal punteggio AX
La percentuale di successo compare accanto al punteggio AX senza modificarne il calcolo. I 26 controlli tecnici restano così confrontabili tra siti e nel tempo.