Prüfen Sie, ob ein KI-Agent eine Aufgabe auf Ihrer Website erledigen kann

Technische Prüfungen erkennen fehlende Daten. Ein Agententest zeigt zusätzlich, ob ein Agent Informationen findet, an einer Seite scheitert oder eine Antwort gibt, die Ihre Website nicht bestätigt.

Konkrete Aufgaben aus Kundensicht

Der Agent erhält eine typische Anfrage: einen Preis finden, die Kassenseite erreichen, Öffnungszeiten nachschlagen oder einen Artikel zitieren. Die angebotenen Aufgaben richten sich nach den Inhalten und dem Typ Ihrer Website.

48 Aufgaben für 7 Websitetypen

Passt eine Aufgabe nicht zu Ihrer Website, wird sie als nicht zutreffend gekennzeichnet und nicht als Fehler gewertet.

Was der Agent tun kann

Der Agent kann Seiten abrufen, Well-known-Dateien lesen und eine Antwort abgeben. Alle Anfragen verwenden GET. Er kann keine Formulare absenden, sich nicht anmelden, nichts in einen Warenkorb legen und keine Zahlungen ausführen.

ein Auftraghöchstens 12 Seiten, unter 45s
  1. 01
    fetch_page

    eine Seite abrufen

  2. 02
    read_well_known

    eine Well-known-Datei lesen

  3. 03
    done

    Aufgabe beenden und Ergebnis abgeben

ein Ergebnis

Jeder Lauf ist auf zwölf Seiten und weniger als eine Minute begrenzt. Wird diese Grenze ohne Abschluss erreicht, ist das im Ergebnis sichtbar.

Der Agent liest den vom Server gelieferten Inhalt ohne JavaScript: bis zu 6.000 Textzeichen und 80 Links pro Seite.

Sechs mögliche Ergebnisse

Das Ergebnis unterscheidet Erfolg, Teilerfolg, Fehlschlag, blockierten Zugriff, unbelegte Antwort und eine nicht zutreffende Aufgabe.

Fortschritt des Agenten

successpartialfailblockedDie Antwort enthält Angaben, die auf Ihren Seiten nicht vorkommen.Die Aufgabe passt nicht zu den Inhalten oder Funktionen Ihrer Website.
success
Der Agent hat die Aufgabe erledigt.
partial
Der Agent hat einen Teil der Aufgabe erledigt; Angaben oder Schritte fehlen noch.
fail
Der Agent konnte die Aufgabe nicht erledigen.
blocked
Die Website hat den Zugriff des Agenten blockiert.
hallucinated
Die Antwort enthält Angaben, die auf Ihren Seiten nicht vorkommen.
not_applicable
Die Aufgabe passt nicht zu den Inhalten oder Funktionen Ihrer Website.

Erkennen Sie unbelegte Angaben

Nennt ein Agent einen Preis, der auf Ihrer Website nicht vorkommt, wird das gekennzeichnet. Solche Probleme können trotz korrektem HTML auftreten und werden erst beim Test einer konkreten Aufgabe sichtbar.

Eine Erfolgsquote aus mehreren Versuchen

KI-Modelle können bei derselben Aufgabe unterschiedliche Ergebnisse liefern. Deshalb wird jeder Test mehrfach ausgeführt. Die Erfolgsquote und die Anzahl der Versuche zeigen, wie zuverlässig die Aufgabe gelingt.

Vom Fehler zur passenden Korrektur

Jeder Fehler erhält eine Ursachenangabe. Wo verfügbar, verweist sie auf die zugehörige Prüfung, einen Abschnitt im Leitfaden und eine Datei, die aus Ihren Inhalten erstellt werden kann.

hier trat das Problem auf

erkannte Ursache

checks
zugehörige Prüfung
guides
Anleitung zur Korrektur
artifact
Datei aus Ihren Website-Inhalten
null
gegebenenfalls manuell beheben

Manche Probleme müssen direkt auf der Website behoben werden, etwa eine nicht mehr erreichbare Seite. In diesem Fall erklärt der Bericht den Handlungsbedarf.

Überprüfen Sie die Wirkung Ihrer Änderung

Wiederholen Sie die Aufgabe nach einer Korrektur. Vergleichen Sie die beiden Aufzeichnungen, um zu sehen, ob der Agent die bisherige Hürde überwinden kann.

Ein eigener Wert neben dem AX-Score

Die Erfolgsquote wird neben dem AX-Score angezeigt, ohne dessen Berechnung zu verändern. Die 26 technischen Prüfungen bleiben so zwischen Websites und im Zeitverlauf vergleichbar.

Was AX Rush misst