Alles andere misst, wie Ihre Website gebaut ist. Dies misst, ob ein Agent sie benutzen kann.

Eine Aufgabe ist eine Anweisung, die ein Kunde einem Assistenten geben könnte, gerichtet an eine Website: finde den Preis dieses Produkts, erreiche die Kasse, sag mir, wann heute geöffnet ist, zitiere diesen Artikel. Welche gelten, wird daraus gelesen, was Ihre Website ohnehin ist, und deshalb wird ein Shop nie nach einer Autorenzeile gefragt.

42 Aufträge für 8 Arten von Website

Eine Website ohne Artikelvorlage schuldet niemandem einen Artikel. Das ist keine Null. Es ist nicht zutreffend, und der Unterschied ist Absicht: eine Website für eine Abwesenheit zu bewerten, die richtig war, ist genau der Fehler, den die Plugins sorgfältig vermeiden.

Drei Werkzeuge und sonst nichts. Er kann eine Seite abrufen, er kann eine Well-known-Datei lesen, und er kann anhalten und seine Antwort nennen. Jede Anfrage ist ein GET. Er kann kein Formular abschicken, sich nicht anmelden, nichts in einen Warenkorb legen und kein Geld ausgeben, weil diese Verben nie gebaut wurden.

Ein Lauf ist auf ein Dutzend Seiten und unter eine Minute begrenzt. Das Budget aufzubrauchen ist selbst ein Befund: ein Agent, der es in zwölf Seiten nicht geschafft hat, ist ein Agent, den Ihr Kunde aufgegeben hätte.

Er liest, was Ihr Server ausliefert, ohne JavaScript: die ersten 6,000 Zeichen Text und bis zu 80 Links. Das ist ungefähr das, was ein Agent von Ihnen sieht.

Sechs Ausgänge, und die letzten beiden sind der Grund, warum dies kein Boolean ist.

success

Er hat den Auftrag erledigt.

partial

Er kam fast ans Ziel, und etwas fehlte.

fail

Er konnte nicht.

blocked

Ihre Website hat ihn abgewiesen.

hallucinated

Er antwortete überzeugt, und die Antwort steht auf keiner Ihrer Seiten.

not_applicable

Diese schuldeten Sie nicht.

Wenn ein Agent einen Preis meldet, der nirgends auf Ihrer Website steht, sagen wir es. An Ihrem Markup ist nichts falsch, keine Checkliste kann es sehen, und der Kunde, der auf diese Antwort hin gehandelt hat, handelte auf nichts hin. Das ist der Befund, den es nur gibt, weil etwas es versucht hat.

Derselbe Auftrag läuft mehrmals und wird als Häufigkeit mit der Anzahl daneben berichtet. Etwas mit einer Temperatur wurde um eine Arbeit gebeten, also ist ein einzelner Lauf eine Anekdote. Drei von fünf ist ein anderer Satz als fünf von fünf, und beide sind etwas anderes als ein Häkchen.

Jeder Fehlschlag trägt einen Ursachencode, und der Code ist der Weg zurück in den Rest des Produkts: zur Prüfung, die ihn misst, zum Abschnitt der Anleitung, der ihn behebt, und wo die Behebung eine Datei ist, zur Datei selbst, erzeugt aus dem, was Ihre Website ohnehin veröffentlicht.

Manchmal ist die ehrliche Antwort, dass es nichts zu drücken gibt. Ein toter Link tief in einem Shop ist eine Seite, die jemand wiederherstellen muss, und das zu sagen ist besser, als eine Schaltfläche anzubieten, die eine Datei erzeugt, die daran nichts ändert.

Führen Sie den Auftrag erneut aus, und die beiden Aufzeichnungen liegen nebeneinander: der Agent, der in Schritt drei scheitert, und der Agent, der daran vorbeikommt. Nichts daran ist eine Behauptung.

Die Erfolgsquote der Aufgaben steht neben der AX-Punktzahl und wird nie hineingerechnet. Die 18 Prüfungen bleiben über jede Website und jedes Datum hinweg nur deshalb vergleichbar, weil ihnen nie etwas hinzugefügt wird.