Prüfen Sie, ob ein KI-Agent eine Aufgabe auf Ihrer Website erledigen kann
Technische Prüfungen erkennen fehlende Daten. Ein Agententest zeigt zusätzlich, ob ein Agent Informationen findet, an einer Seite scheitert oder eine Antwort gibt, die Ihre Website nicht bestätigt.
Konkrete Aufgaben aus Kundensicht
Der Agent erhält eine typische Anfrage: einen Preis finden, die Kassenseite erreichen, Öffnungszeiten nachschlagen oder einen Artikel zitieren. Die angebotenen Aufgaben richten sich nach den Inhalten und dem Typ Ihrer Website.
48 Aufgaben für 7 Websitetypen
Passt eine Aufgabe nicht zu Ihrer Website, wird sie als nicht zutreffend gekennzeichnet und nicht als Fehler gewertet.
Was der Agent tun kann
Der Agent kann Seiten abrufen, Well-known-Dateien lesen und eine Antwort abgeben. Alle Anfragen verwenden GET. Er kann keine Formulare absenden, sich nicht anmelden, nichts in einen Warenkorb legen und keine Zahlungen ausführen.
- 01
fetch_pageeine Seite abrufen
- 02
read_well_knowneine Well-known-Datei lesen
- 03
doneAufgabe beenden und Ergebnis abgeben
Jeder Lauf ist auf zwölf Seiten und weniger als eine Minute begrenzt. Wird diese Grenze ohne Abschluss erreicht, ist das im Ergebnis sichtbar.
Der Agent liest den vom Server gelieferten Inhalt ohne JavaScript: bis zu 6.000 Textzeichen und 80 Links pro Seite.
Sechs mögliche Ergebnisse
Das Ergebnis unterscheidet Erfolg, Teilerfolg, Fehlschlag, blockierten Zugriff, unbelegte Antwort und eine nicht zutreffende Aufgabe.
Fortschritt des Agenten
- success
- Der Agent hat die Aufgabe erledigt.
- partial
- Der Agent hat einen Teil der Aufgabe erledigt; Angaben oder Schritte fehlen noch.
- fail
- Der Agent konnte die Aufgabe nicht erledigen.
- blocked
- Die Website hat den Zugriff des Agenten blockiert.
- hallucinated
- Die Antwort enthält Angaben, die auf Ihren Seiten nicht vorkommen.
- not_applicable
- Die Aufgabe passt nicht zu den Inhalten oder Funktionen Ihrer Website.
Erkennen Sie unbelegte Angaben
Nennt ein Agent einen Preis, der auf Ihrer Website nicht vorkommt, wird das gekennzeichnet. Solche Probleme können trotz korrektem HTML auftreten und werden erst beim Test einer konkreten Aufgabe sichtbar.
Eine Erfolgsquote aus mehreren Versuchen
KI-Modelle können bei derselben Aufgabe unterschiedliche Ergebnisse liefern. Deshalb wird jeder Test mehrfach ausgeführt. Die Erfolgsquote und die Anzahl der Versuche zeigen, wie zuverlässig die Aufgabe gelingt.
Vom Fehler zur passenden Korrektur
Jeder Fehler erhält eine Ursachenangabe. Wo verfügbar, verweist sie auf die zugehörige Prüfung, einen Abschnitt im Leitfaden und eine Datei, die aus Ihren Inhalten erstellt werden kann.
hier trat das Problem auf
erkannte Ursache
- checks
- zugehörige Prüfung
- guides
- Anleitung zur Korrektur
- artifact
- Datei aus Ihren Website-Inhalten
- null
- gegebenenfalls manuell beheben
Manche Probleme müssen direkt auf der Website behoben werden, etwa eine nicht mehr erreichbare Seite. In diesem Fall erklärt der Bericht den Handlungsbedarf.
Überprüfen Sie die Wirkung Ihrer Änderung
Wiederholen Sie die Aufgabe nach einer Korrektur. Vergleichen Sie die beiden Aufzeichnungen, um zu sehen, ob der Agent die bisherige Hürde überwinden kann.
Ein eigener Wert neben dem AX-Score
Die Erfolgsquote wird neben dem AX-Score angezeigt, ohne dessen Berechnung zu verändern. Die 26 technischen Prüfungen bleiben so zwischen Websites und im Zeitverlauf vergleichbar.