Tutto il resto misura come è costruito il tuo sito. Questo misura se un agente riesce a usarlo.
Un controllo può dirti che manca un blocco Product. Non può dirti che un agente mandato a comprare da te si è arreso alla terza pagina, né che ha riportato un prezzo che non hai mai praticato. Questo si sa soltanto mandandone uno.
La commissione
Un task è un'istruzione che un cliente potrebbe dare a un assistente, rivolta a un sito: trova il prezzo di questo prodotto, arriva alla cassa, dimmi a che ora aprite oggi, cita questo articolo. Quali si applicano si legge da ciò che il tuo sito già è, così a un negozio non viene mai chiesta una firma d'autore.
42 commissioni per 8 tipi di sito
Un sito senza un modello di articolo non deve un articolo a nessuno. Non è uno zero. È non applicabile, e la differenza è voluta: valutare un sito per un'assenza che faceva bene ad avere è l'errore che i plugin hanno avuto cura di non fare.
Che cosa gli è permesso fare
Tre strumenti e nient'altro. Può chiedere una pagina, può leggere un file well-known, e può fermarsi e dire la sua risposta. Ogni richiesta è una GET. Non può inviare un modulo, accedere, aggiungere qualcosa a un carrello o spendere denaro, perché quei verbi non sono mai stati costruiti.
Un'esecuzione è limitata a una dozzina di pagine e meno di un minuto. Esaurire il budget è di per sé un risultato: un agente che non ci è arrivato in dodici pagine è un agente che il tuo cliente avrebbe abbandonato.
Legge ciò che il tuo server consegna, senza JavaScript: i primi 6,000 caratteri di testo e fino a 80 link. È più o meno quello che un agente vede di te.
Come finisce un'esecuzione
Sei esiti, e gli ultimi due sono il motivo per cui questo non è un booleano.
- success
- Ha fatto la commissione.
- partial
- È arrivato quasi in fondo, e mancava qualcosa.
- fail
- Non ci è riuscito.
- blocked
- Il tuo sito lo ha rifiutato.
- hallucinated
- Ha risposto con sicurezza, e la risposta non è su nessuna delle tue pagine.
- not_applicable
- Questa non la dovevi.
La risposta che nessun altro trova
Quando un agente riporta un prezzo che non compare da nessuna parte sul tuo sito, lo diciamo. Nel tuo markup non c'è niente di sbagliato, nessuna checklist può vederlo, e il cliente che ha agito su quella risposta ha agito sul nulla. È il risultato che esiste solo perché qualcosa ci ha provato.
Un tasso, non una spunta
La stessa commissione viene eseguita più volte e riportata come frequenza, con il conteggio accanto. È stato chiesto un lavoro a qualcosa che ha una temperatura, quindi una sola esecuzione è un aneddoto. Tre su cinque è una frase diversa da cinque su cinque, ed entrambe sono diverse da una spunta.
Da un fallimento a qualcosa da premere
Ogni fallimento porta un codice di motivo, e il codice è la strada di ritorno nel resto del prodotto: al controllo che lo misura, alla sezione della guida che lo risolve, e quando la soluzione è un file, al file stesso, generato da ciò che il tuo sito già pubblica.
A volte la risposta onesta è che non c'è niente da premere. Un link morto in fondo a un negozio è una pagina che qualcuno deve ripristinare, e dirlo è meglio che offrire un pulsante che genera un file che non c'entra.
E poi dimostra la correzione
Esegui di nuovo la commissione e le due registrazioni stanno una accanto all'altra: l'agente che fallisce al passo tre, e l'agente che lo supera. Niente di tutto questo è un'affermazione.
Accanto al punteggio, mai dentro
Il tasso di successo dei task sta accanto al punteggio AX e non viene mai incorporato. I 18 controlli restano confrontabili fra ogni sito e ogni data solo perché non viene mai aggiunto loro nulla.