Prompt monitoring : les prompts qui mesurent

Pendant des années, l'unité de mesure a été le mot-clé. Vous choisissiez une expression, vous regardiez à quelle place vous sortiez, et cette place bougeait ou ne bougeait pas. Les outils, les rapports, les objectifs trimestriels : tout reposait sur cet atome.

Les moteurs génératifs l'ont fait disparaître. Personne ne tape un mot-clé dans un assistant. Les gens racontent une situation, en phrases entières, avec leur contexte autour, et reçoivent une seule réponse qui cite quelques entreprises. Ce que vous mesurez désormais, c'est un prompt. Votre score, votre courbe, la liste des concurrents qui passent devant vous : tout dépend des prompts que vous avez retenus. Les choisir mal reste la façon la plus confortable de ne rien mesurer.

Un test que l'on réussit toujours n'est pas un test

Jetez les prompts qui contiennent votre propre nom. « Qu'est-ce que [marque] ? », « [marque] est-elle fiable ? ». En glissant votre nom dans la question, vous avez déjà donné l'entité au modèle, et la partie difficile, décider qui mérite d'être cité, vous l'avez réglée à sa place. Il trouvera toujours quelque chose à dire, et il le dira du même ton assuré pour le leader du marché comme pour une société dont personne n'a entendu parler. Une épreuve qui ne peut pas échouer n'apporte aucune information.

Ces prompts confirment, ils ne mesurent pas. Leur seule fonction légitime, à garder dans une colonne à part, consiste à vérifier si la description que le modèle donne de vous est exacte. C'est un contrôle factuel, pas une mesure de visibilité.

Les cinq formes d'un prompt qui mesure

Tout prompt qui mérite d'être enregistré partage une propriété : votre nom n'y figure pas. C'est ce qui transforme une question en mesure, parce que cela reconstitue la situation qui compte commercialement, celle où l'acheteur ignore encore votre existence. À l'intérieur de cette contrainte, les prompts se répartissent en cinq familles, et un jeu auquel il en manque une garde un trou.

Catégoriels

« Quel est le meilleur logiciel de gestion de stock pour un producteur agroalimentaire de taille moyenne ? ». Quelqu'un construit une liste à partir de rien. Le modèle rend une poignée de noms : vous y êtes ou vous n'y êtes pas, il n'existe pas de demi-présence.

Comparatifs

« Compare les principales solutions d'automatisation d'entrepôt ». Le modèle est forcé d'expliciter l'ensemble, et l'on voit apparaître ce qu'un prompt catégoriel dissimule : la marque qu'il traite comme la référence, celle à laquelle il compare toutes les autres. Elle ne figure parfois même pas dans votre tableau de concurrents.

Orientés problème

« Les retours s'accumulent et les clients râlent, comment on s'en sort ? ». Aucune catégorie, aucun fournisseur, juste la douleur. Le modèle choisit d'abord la catégorie, les noms ensuite, il y a donc deux manières de perdre : absent de la liste, ou classé dans une catégorie qui n'est pas la vôtre, où la question de vous citer ne se pose même pas.

De substitution

« Par quoi remplacer un [catégorie] classique ? ». Ce prompt attrape un acheteur qui est déjà en train de partir. Y être cité n'est pas le même signal qu'apparaître dans une liste de catégorie : vous avez été rangé parmi les remplacements crédibles, ce qui est bien plus proche d'une signature.

De qualification

« Quelle solution convient à un secteur réglementé qui n'a presque pas d'équipe informatique interne ? ». C'est là que les affaires se cadrent, et c'est la famille que tout le monde oublie. Un modèle qui vous cite pour les grands comptes et jamais pour les petites équipes vient de dire quelque chose de précis qu'aucun score agrégé ne fera remonter.

Écrivez comme un acheteur, pas comme un mot-clé

« Meilleur CRM » est un mot-clé. Personne ne le dit à un assistant. Ce qu'on lui dit ressemble plutôt à : « nous sommes un industriel de taille moyenne, nous exportons dans toute l'Europe, notre CRM ne communique pas avec l'ERP et les commerciaux refusent de s'en servir, vers quoi regarder ? ».

Le contexte n'est pas de la décoration. Les modèles s'y accrochent : taille de l'entreprise, secteur, budget, délais, l'intégration qui doit absolument fonctionner. Chacun de ces éléments change les noms qui reviennent, et un prompt vidé de son contexte mesure un acheteur qui n'existe pas. Employez le vocabulaire de vos clients, pas celui de votre argumentaire : un prompt rédigé dans une langue que personne ne parle en dehors de vos murs recevra une réponse très sûre d'elle sur un marché qui n'est pas le vôtre.

Une fois, c'est une anecdote

Ces modèles sont probabilistes. Posez deux fois la même question et vous pouvez obtenir deux listes différentes, dans un autre ordre, avec une autre marque en tête. Ce n'est pas un défaut à contourner, c'est la matière elle-même. Chaque prompt doit donc être exécuté plusieurs fois, sur chacun des quatre assistants principaux, qui se contredisent entre eux bien plus que chacun ne se contredit lui-même.

Ce que vous mesurez n'est pas une présence mais une fréquence : cité presque toujours, cité de temps en temps, jamais cité. Trois positions commerciales distinctes, qu'une exécution unique ne sait pas séparer. La taille réelle d'un jeu, c'est le nombre de prompts multiplié par les langues, par les plateformes, par les répétitions : quand il faut couper, coupez des prompts, jamais des répétitions.

Ce qu'il faut noter à chaque exécution

La plupart des équipes cochent un oui ou un non, le champ le moins informatif qui soit. Pour chaque exécution, relevez plutôt :

Cité. Votre marque est-elle apparue, oui ou non.
Sourcé. Y avait-il un vrai lien, ou seulement une mention.
Qui a été cité à votre place. Toutes les marques présentes dans la réponse, que vous en fassiez partie ou non. C'est ce que les moteurs génératifs vous offrent de plus utile, et cela ne coûte rien.
Rang. En tête de liste ou en dernier. Ce n'est pas un classement, mais cela dit avec quelle assurance la réponse vous traite.
Caractérisation. Être cité comme « l'option économique » n'est pas la même donnée que « le choix standard des grandes structures », même si les deux comptent comme une mention. Tout le monde saute cette colonne, et elle porte plus d'information que toutes les autres réunies.
Plateforme, langue, date. Sans ces trois champs, rien de ce qui précède n'est comparable à quoi que ce soit.

Ne déplacez pas la règle graduée

Dès qu'un jeu fonctionne, figez-le. Un chiffre de visibilité ne veut dire quelque chose que par rapport aux prompts sur lesquels il a été calculé : au moment où vous modifiez le jeu, vous changez l'instrument, et toute courbe qui traverse cette modification relève de la fiction.

Les jeux finissent malgré tout par évoluer : la catégorie se dote d'un vocabulaire neuf, vous ouvrez un marché où vous n'étiez pas. Traitez cela comme une migration de schéma, pas comme une retouche discrète. Versionnez le jeu, notez ce qui a été ajouté ou retiré et pourquoi, et laissez tourner les anciens prompts à côté des nouveaux pendant un temps, pour voir l'effet propre du changement. Rarement, et jamais en silence.

Le piège : un jeu taillé pour vous flatter

Voici comment l'exercice se gâte, presque jamais de mauvaise foi. Quelqu'un écrit un prompt, l'exécute, n'apparaît pas, n'aime pas cela, reformule, apparaît, garde la seconde version. Faites-le une douzaine de fois et vous obtenez un jeu assorti d'un score flatteur qui mesure une seule chose : votre ego.

La parade est procédurale. Rédigez l'ensemble du jeu avant d'en exécuter la moindre ligne. Puisez-les là où la triche est impossible : les rendez-vous commerciaux, les tickets du support, le premier courriel d'un prospect. Exécutez ensuite ce qui est écrit et acceptez le résultat. Si le jeu ne contient rien que vous vous attendez à perdre, ce n'est pas un instrument. Apparaître partout ne prouve pas que vous gagnez, cela prouve que le jeu est mauvais.

Là où la main ne suit plus

Un jeu même modeste, dans chaque langue où vous vendez, sur quatre plateformes, répété assez souvent pour vouloir dire quelque chose, produit plus d'exécutions qu'un humain ne peut en lire et en classer. C'est là que le suivi des prompts doit être automatisé, et c'est ce que fait PSentry : l'outil génère un jeu de prompts par site et l'exécute sur ChatGPT, Claude, Gemini et Perplexity, en notant qui se voit cité à votre place.

Avec une réserve que nous préférons dire tout haut. Un jeu généré est un point de départ, pas un oracle : il n'a jamais assisté à l'un de vos rendez-vous commerciaux. Si un prompt ne ressemble pas à ce que taperait un vrai acheteur de votre marché, il ne mesure pas votre marché. Et la frontière reste où elle est : ceci est de la mesure. L'outil rapporte ce que les modèles ont dit, il ne change pas ce qu'ils disent.

Un jeu qui ne prononce jamais votre nom, qui sonne comme une personne qui parle, qui tourne souvent au lieu d'une fois et qui tient assez longtemps en place pour être comparé à lui-même vous dira où vous en êtes. Un jeu bâti sur les questions que vous savez déjà gagner ne vous dira rien, aimablement, aussi longtemps que vous le paierez.

Questions Fréquentes

Faut-il mettre des noms de concurrents dans les prompts ?

Oui, dans les familles comparative et de substitution, parce que les vrais acheteurs le font. Le nom d'un concurrent n'est pas la même faute que le vôtre : il ancre la question sans vous offrir une apparition. Gardez ces prompts minoritaires, sinon vous finissez par mesurer leur position plutôt que la vôtre.

Puis-je simplement traduire mon jeu de prompts dans les autres langues ?

Traduire ne suffit pas. Ailleurs, l'acheteur formule le problème autrement, la catégorie ne porte pas forcément le même nom, et la référence à laquelle il compare tout est souvent une entreprise locale dont vous n'avez jamais entendu parler. Réécrivez le jeu langue par langue, puis traitez chaque langue comme un instrument distinct.

Puis-je demander à une IA de rédiger mon jeu de prompts ?

C'est une façon raisonnable de produire de la matière brute. Ce qui revient, c'est la manière dont un modèle imagine que vos acheteurs parlent : plus lisse et plus générique que la réalité. Prenez-le comme un premier jet et confrontez-le au vocabulaire que vous avez réellement entendu chez un client.

Que signifie n'être jamais cité, dans aucun prompt ?

Deux diagnostics très différents se cachent derrière le même résultat : soit les modèles n'ont de vous aucune image exploitable, soit ils en ont une et ne vous jugent pas adapté aux cadrages que vous testez. Ce sont les champs « qui a été cité à votre place » et « caractérisation » qui les séparent, et la réponse à apporter n'est pas la même.