L'écran de votre acheteur n'est pas ce que nous mesurons
Aucune mesure par API ne reproduit ce qu'un acheteur voit dans ChatGPT, la nôtre comprise. Pourquoi, et pourquoi elle vaut mieux qu'une capture d'écran.
« Sur mon téléphone, ChatGPT nous cite. » La phrase arrive en comité de direction, capture d'écran à l'appui, souvent transmise par un commercial, et elle possède sur n'importe quel tableau de bord l'avantage de l'évidence. Elle en a aussi tous les défauts.
Il faut commencer par un aveu, qu'il vaut mieux entendre d'un éditeur que découvrir en réunion : aucune mesure réalisée par API ne reproduit ce qu'un acheteur donné voit dans ChatGPT, ni dans les trois autres assistants. La nôtre pas davantage. L'écart ne tient pas à une cause unique, mais à plusieurs couches modestes, empilées, et documentées par les fournisseurs eux-mêmes.
La première est le modèle. ChatGPT ne sert pas le même à tout le monde : le centre d'aide d'OpenAI consacre des pages distinctes à ce que reçoivent la formule gratuite, les formules payantes et les espaces Enterprise et Edu, et publie des notes de version de ses modèles, manière polie de dire que la réponse change. Le cadre sur un compte gratuit et l'acheteur installé dans l'espace Enterprise de son employeur posent la même question à ce que tous deux appellent ChatGPT, et ne sont pas servis par le même modèle.
La deuxième est le compte. La mémoire de ChatGPT, lorsqu'elle est activée, transporte du contexte d'une conversation à l'autre ; les instructions personnalisées, disponibles sur toutes les formules, s'appliquent à chaque échange. Un acheteur qui interroge l'assistant depuis un mois sur la gamme d'un fournisseur n'est l'échantillon de rien. Le directeur marketing qui vérifie sa marque depuis le compte où il en parle toute l'année ne l'est pas davantage.
La troisième est le lieu. Lorsque ChatGPT cherche sur le web, OpenAI indique pouvoir estimer une localisation approximative à partir de l'adresse IP et la transmettre à ses partenaires de recherche afin d'améliorer les résultats. La même question posée à Lyon et à Lille n'est pas, en toute rigueur, la même requête.
La quatrième est récente, et le lecteur français est aux premières loges. Depuis août, OpenAI diffuse des annonces dans ChatGPT dans 31 pays européens, dont la France. Elles concernent les formules Free et Go, s'affichent sous la réponse, signalées comme sponsorisées, et ne sont pas personnalisées dans l'Espace économique européen pour l'instant. Elles ne font pas partie de la réponse. Elles font partie de l'écran, donc de la capture, où un concurrent peut apparaître juste sous le texte pour la seule raison qu'il a acheté l'emplacement.
Ce que vaut une capture d'écran en comité
Additionnées, ces couches ne font pas de la mesure par API une pâle copie de la réalité. Elles signifient qu'il n'existe pas de réalité unique à copier. À une question commerciale, ChatGPT ne donne pas une réponse, mais autant qu'il existe de combinaisons de formule, d'historique, de réglages, de lieu et désormais d'annonces. L'écran d'un acheteur est un tirage dans cet éventail, et sa capture une anecdote horodatée.
Le réflexe de la preuve par l'image n'en reste pas moins solide dans les comités, et on le comprend : une capture se lit en deux secondes, se transfère, se projette, et semble ne rien devoir à l'interprétation. Elle lui doit tout. Qui l'a prise, depuis quel compte, avec quel historique, sur quelle formule, quel jour : rien de cela n'y figure. La même assemblée qui exigerait la méthodologie d'un sondage accepte l'image sans en demander aucune.
Une mesure, elle, peut être maîtrisée. Les mêmes questions, dans la même langue, envoyées de la même manière aux mêmes assistants, répétées à intervalles réguliers, avec les concurrents relevés dans des conditions identiques. Rien de cela ne dit ce qu'une personne a vu mardi. Cela dit ce que les assistants répondent sur votre catégorie en allemand ce mois-ci par rapport au précédent, et si un concurrent est cité plus souvent que vous dans des conditions qui n'ont pas bougé entre deux relevés. L'affirmation est plus modeste que celle de la capture. Elle a l'avantage considérable de résister à un second examen. Si les conditions dérivent, une variation du chiffre peut venir du monde comme de l'appareil, et personne ne sait trancher. Si elles tiennent, un mouvement signifie qu'il s'est passé quelque chose.
PSentry interroge ChatGPT, Claude, Gemini et Perplexity par leurs API officielles, deux fois par mois, par langue et par marché, et non selon l'endroit où se trouve tel utilisateur. Les fournisseurs retirent leurs modèles à leur propre rythme ; nous passons alors aux plus récents. La date de ce changement mérite de figurer à côté de la série, car une marche sur un assistant ce jour-là tient plus probablement au modèle qu'à votre marché.
La limite demeure donc, et elle est dite. Nous ne mesurons pas l'écran de votre acheteur. Nous mesurons ce qui s'en approche le plus tout en pouvant être relevé deux fois et comparé, ce que l'écran lui-même n'a jamais offert.