Tout le reste mesure la façon dont votre site est construit. Ceci mesure si un agent peut s'en servir.
Une vérification peut vous dire qu'un bloc Product manque. Elle ne peut pas vous dire qu'un agent envoyé pour acheter chez vous a abandonné à la troisième page, ni qu'il a annoncé un prix que vous n'avez jamais pratiqué. Cela ne se sait qu'en en envoyant un.
La commission
Une tâche est une instruction qu'un client pourrait donner à un assistant, dirigée vers un site : trouve le prix de ce produit, atteins la caisse, dis-moi à quelle heure c'est ouvert aujourd'hui, cite cet article. Lesquelles s'appliquent se lit dans ce que votre site est déjà, si bien qu'on ne demande jamais une signature à une boutique.
42 commissions pour 8 types de site
Un site sans gabarit d'article ne doit d'article à personne. Ce n'est pas un zéro. C'est sans objet, et la différence est délibérée : noter un site pour une absence qu'il avait raison d'avoir est l'erreur que les plugins ont pris soin de ne pas commettre.
Ce qu'il a le droit de faire
Trois outils et rien d'autre. Il peut demander une page, il peut lire un fichier well-known, et il peut s'arrêter et énoncer sa réponse. Chaque requête est un GET. Il ne peut pas envoyer un formulaire, se connecter, ajouter quoi que ce soit à un panier ni dépenser d'argent, parce que ces verbes n'ont jamais été construits.
Une exécution est plafonnée à une douzaine de pages et moins d'une minute. Épuiser le budget est en soi un constat : un agent qui n'y est pas arrivé en douze pages est un agent que votre client aurait abandonné.
Il lit ce que votre serveur délivre, sans JavaScript : les 6,000 premiers caractères de texte et jusqu'à 80 liens. C'est à peu près ce qu'un agent voit de vous.
Comment se termine une exécution
Six issues, et les deux dernières sont la raison pour laquelle ce n'est pas un booléen.
- success
- Il a fait la commission.
- partial
- Il est presque arrivé, et il manquait quelque chose.
- fail
- Il n'a pas pu.
- blocked
- Votre site l'a refusé.
- hallucinated
- Il a répondu avec assurance, et la réponse ne figure sur aucune de vos pages.
- not_applicable
- Celle-ci, vous ne la deviez pas.
La réponse que personne d'autre ne trouve
Quand un agent annonce un prix qui ne figure nulle part sur votre site, nous le disons. Rien n'est faux dans votre balisage, aucune liste de contrôle ne peut le voir, et le client qui a agi sur cette réponse a agi sur rien. C'est le constat qui n'existe que parce que quelque chose a essayé.
Un taux, pas une coche
La même commission est exécutée plusieurs fois et rapportée comme une fréquence, avec le décompte à côté. On a demandé un travail à quelque chose qui a une température, donc une seule exécution est une anecdote. Trois sur cinq est une phrase différente de cinq sur cinq, et les deux diffèrent d'une coche.
D'un échec à quelque chose à presser
Chaque échec porte un code de raison, et le code est le chemin de retour vers le reste du produit : vers la vérification qui le mesure, vers la section du guide qui le corrige, et lorsque la correction est un fichier, vers le fichier lui-même, généré à partir de ce que votre site publie déjà.
Parfois la réponse honnête est qu'il n'y a rien à presser. Un lien mort au fond d'une boutique est une page que quelqu'un doit restaurer, et le dire vaut mieux que proposer un bouton qui génère un fichier sans rapport.
Puis prouver la correction
Relancez la commission et les deux enregistrements se placent côte à côte : l'agent qui échoue à l'étape trois, et l'agent qui la franchit. Rien là-dedans n'est une affirmation.
À côté du score, jamais dedans
Le taux de réussite des tâches se place à côté du score AX et n'y est jamais intégré. Les 18 vérifications ne restent comparables entre tous les sites et toutes les dates que parce qu'on ne leur ajoute jamais rien.