Vérifiez qu’un agent IA peut accomplir une tâche sur votre site
L’analyse technique repère les données manquantes. Un test avec un agent montre aussi s’il parvient à trouver un prix, à accéder à une information ou s’il fournit une réponse que vos pages ne confirment pas.
Des tâches concrètes
Chaque tâche correspond à une demande qu’un client pourrait adresser à un assistant : trouver un prix, atteindre la page de paiement, consulter les horaires ou citer un article. Les tâches proposées dépendent du type de site et de ses pages.
48 tâches pour 7 types de sites
Une tâche qui ne correspond pas à votre site est indiquée comme sans objet. Elle n’est pas considérée comme un échec.
Ce que l’agent peut faire
L’agent dispose de trois outils : consulter une page, lire un fichier well-known et rendre sa réponse. Toutes les requêtes utilisent GET. Il ne peut ni envoyer de formulaire, ni se connecter, ni ajouter un produit au panier, ni effectuer un paiement.
- 01
fetch_pageconsulter une page
- 02
read_well_knownlire un fichier well-known
- 03
doneterminer et fournir une réponse
Chaque exécution est limitée à douze pages et à moins d’une minute. Si l’agent atteint cette limite sans terminer, le résultat le signale.
L’agent lit le contenu envoyé par votre serveur sans exécuter JavaScript : jusqu’à 6 000 caractères de texte et 80 liens par page.
Six résultats possibles
Le résultat distingue une réussite, un résultat incomplet, un échec, un blocage, une réponse non étayée et une tâche sans objet.
progression de l’agent
- success
- L’agent a accompli la tâche.
- partial
- L’agent a accompli une partie de la tâche, mais il manque des éléments.
- fail
- L’agent n’a pas pu accomplir la tâche.
- blocked
- Le site a bloqué l’accès de l’agent.
- hallucinated
- La réponse de l’agent contient des informations qui ne figurent pas sur vos pages.
- not_applicable
- La tâche ne correspond pas au contenu ou aux fonctions de votre site.
Repérez les réponses que votre site ne confirme pas
Si l’agent indique un prix absent de vos pages, le test le signale. Ce type de problème peut passer inaperçu dans une simple vérification du code : il apparaît lorsqu’un agent essaie d’utiliser le site.
Un taux de réussite calculé sur plusieurs essais
Les réponses d’un modèle peuvent varier d’un essai à l’autre. Nous répétons donc la tâche et affichons le taux de réussite avec le nombre d’essais. Vous pouvez ainsi distinguer une réussite occasionnelle d’un résultat régulier.
Comprenez l’échec et trouvez la correction adaptée
Chaque échec indique une cause et renvoie, lorsqu’ils existent, à la vérification concernée, au guide de correction et au fichier que vous pouvez générer depuis votre site.
point de blocage
cause identifiée
- checks
- vérification correspondante
- guides
- guide de correction
- artifact
- fichier généré à partir du site
- null
- parfois, une intervention manuelle
Certains problèmes nécessitent une intervention sur le site, par exemple restaurer une page inaccessible. Dans ce cas, le rapport l’explique sans proposer de fichier sans rapport avec la correction.
Vérifiez l’effet de vos corrections
Relancez la tâche après une modification. Comparez les deux parcours pour voir où l’agent s’arrêtait et s’il parvient maintenant à poursuivre.
Un indicateur distinct du score AX
Le taux de réussite est affiché à côté du score AX, sans modifier son calcul. Les 26 vérifications techniques restent ainsi comparables entre sites et dans le temps.