Quand une IA se trompe sur votre marque

Demandez à ChatGPT ce que fait votre entreprise, et il pourrait vous répondre avec une assurance totale, dans des phrases limpides, et se tromper. Pas de façon vague, pas avec des précautions. Faux, présenté comme un fait, sur le même ton que lorsqu'il a raison. Peut-être vous attribue-t-il une gamme de produits que vous avez arrêtée il y a des années. Peut-être vous confond-il avec une entreprise au nom proche, installée dans un autre pays. Peut-être invente-t-il un rachat qui n'a jamais eu lieu, ou place-t-il votre siège dans une ville où vous n'avez jamais ouvert de bureau. C'est ce qu'on appelle une hallucination, et si vous n'êtes jamais allé en chercher une sur votre propre marque, il y a de bonnes chances qu'il en existe déjà une quelque part dans ces systèmes.

Ce qu'est réellement une hallucination

Un modèle génératif ne vérifie rien par défaut. Il prédit le fragment de texte le plus plausible, un token à la fois, à partir de tout ce sur quoi il a été entraîné. La plupart du temps, cette prédiction correspond à la réalité, parce que la réalité est ce que décrivait la majorité du texte d'entraînement. Mais le modèle n'a pas de notion interne du doute, contrairement à une personne. Il ne vérifie pas un fait auprès d'une source avant de l'écrire, sauf s'il va effectivement chercher une information sur le web en temps réel pendant qu'il répond, comme le fait généralement Perplexity, ou ChatGPT lorsque la navigation est activée. Sans cette étape de recherche, le modèle produit la suite statistiquement la plus probable d'une phrase, et une suite fluide, assurée et fausse ressemble en surface, trait pour trait, à une suite fluide, assurée et juste.

Voilà la partie inconfortable : aucun signal visuel, aucune police qui indiquerait une confiance plus faible, aucun astérisque. Une phrase hallucinée sur votre marque se lit exactement comme une phrase exacte, parce qu'elle a été produite par le même processus, à l'identique.

Pourquoi les marques sont une cible facile

Certains sujets sont par nature propices aux hallucinations, et une entreprise en fait partie, pour plusieurs raisons précises.

• Des données d'entraînement rares ou contradictoires. Une entreprise plus petite ou plus récente n'a tout simplement pas beaucoup d'écrits la concernant sur le web ouvert. Là où le signal est faible, le modèle comble les vides avec ce qui paraît statistiquement plausible pour « une entreprise de ce type », en s'appuyant sur des entreprises similaires qu'il a vues décrites ailleurs. Le résultat se lit comme une description réelle. Ce n'est simplement pas une description de vous.
• Les collisions de noms. Si une autre entreprise, dans un autre pays ou un autre secteur, porte votre nom ou quelque chose de très proche, le modèle peut mélanger les deux. Le problème s'aggrave à mesure que le nom de la marque est générique.
• Des informations périmées sans date d'expiration. Ce qu'un modèle a absorbé provient d'une date limite d'entraînement. Il n'a aucun moyen de savoir que le produit qui a fait votre réputation a été retiré, que vos tarifs ont changé, ou que vous avez été racheté. Tant que rien ne va chercher une information à jour, le modèle répond à partir d'un instantané déjà dépassé le jour même où il a commencé à servir des requêtes.
• Combler un vide avec un voisin plausible. Un modèle ne dit pas « je ne sais pas » aussi souvent qu'il le devrait. Il tend à produire la réponse qu'aurait plausiblement une entreprise de votre catégorie, ce qui peut signifier inventer une certification que vous n'avez pas, une implantation où vous n'êtes pas présent, ou une fonctionnalité que possède votre concurrent et pas vous.

Rien de tout cela n'est malveillant, et rien n'est vraiment un bogue au sens d'un défaut corrigible. C'est une conséquence prévisible de la façon dont ces systèmes génèrent du texte lorsqu'ils ne s'appuient pas sur une recherche en temps réel.

Une méthode vérifiable pour savoir si cela vous arrive

Vous n'avez pas besoin d'un outil pour découvrir si un modèle raconte quelque chose de faux sur votre entreprise. Il vous faut quatre questions et quatre assistants.

Posez à ChatGPT, Claude, Gemini et Perplexity le même ensemble de questions factuelles simples sur votre activité : que fait l'entreprise, qui la possède, où est-elle basée, et combien coûte son produit ou service principal. Notez chaque réponse mot pour mot. Comparez ensuite chacune, ligne par ligne, avec ce qui est réellement vrai.

Faites-le sur les quatre assistants plutôt que sur un seul, car ils s'appuient sur des données d'entraînement différentes et des comportements de recherche différents, et ils ne commettent pas les mêmes erreurs. L'un peut se tromper sur votre structure actionnariale tout en donnant la bonne localisation. Un autre peut être exact sur tout sauf sur vos tarifs, absorbés depuis une ancienne page jamais retirée. Une seule vérification sur une seule plateforme ne vous apprend presque rien sur les trois autres, et il est utile de répéter la question plusieurs fois par assistant : un détail inexact qui apparaît une seule fois peut être un hasard, tandis qu'un détail qui revient de façon constante sur plusieurs tentatives vous indique quelque chose de réel sur ce que le modèle a absorbé.

Ce que vous pouvez réellement faire

Voici la partie honnête, et elle n'est pas confortable : il n'existe aucun formulaire pour corriger ce qu'un modèle a absorbé, aucun bouton « signaler une erreur » qui irait modifier les données d'entraînement et réparer une phrase. Vous ne pouvez pas écrire à un laboratoire pour faire corriger ce qu'un modèle croit savoir sur l'adresse de votre siège, comme vous pourriez demander une correction à un annuaire.

Le seul levier qui existe est indirect : faire en sorte que des informations exactes et précises sur votre entreprise existent clairement et de façon répétée sur le web, pour que le prochain cycle d'entraînement, ou la prochaine recherche en temps réel, trouve la version correcte plutôt qu'une version vague ou fausse. Cela veut dire que votre propre site énonce clairement ce que vous faites, où vous êtes basé et ce qui a changé. Cela veut dire que les pages obsolètes sont réellement mises à jour ou retirées, plutôt que laissées en ligne à côté des pages actuelles. Cela veut dire que les mêmes faits apparaissent de façon cohérente sur votre site, votre documentation, les mentions presse et tous les annuaires qui vous répertorient, au lieu de plusieurs versions légèrement différentes de votre propre histoire dispersées sur le web.

Ce travail est lent. Ce n'est pas une correction que vous appliquez cette semaine et que vous voyez résolue la semaine suivante. Une inexactitude absorbée à un moment donné peut persister longtemps, quoi que vous publiiez ensuite, et il n'y a pas de raccourci ici. Quiconque prétend le contraire ne vous dit pas la vérité.

Où s'arrête la mesure

C'est aussi le moment d'être précis sur ce que fait, et ne fait pas, un outil comme PSentry. PSentry exécute votre ensemble de prompts sur ChatGPT, Claude, Gemini et Perplexity, et rapporte ce que chacun a réellement dit sur votre marque, dans chaque marché et chaque langue où vous êtes présent. Si un scan fait apparaître une phrase qui décrit mal votre activité, invente un produit, ou se trompe sur votre structure actionnariale, cette phrase est là, dans le texte brut du scan, parce que c'est ce que le modèle a dit.

Ce que PSentry ne fait pas, c'est décider à votre place qu'une phrase donnée est une hallucination. Il n'y a aucun classificateur qui signale les affirmations inexactes, aucune alerte qui se déclenche quand quelque chose semble faux, aucune couche dédiée qui séparerait le fait de l'invention. Les scans mesurent les mentions et la visibilité ; juger si une affirmation sur votre entreprise est vraie reste une tâche humaine, car cela exige de connaître les faits réels sur votre propre activité, que vous seul connaissez de façon fiable. Un outil peut mettre les mots exacts du modèle sous vos yeux, sur chaque plateforme et chaque marché qui vous intéresse. Il ne peut pas vous dire, à votre place, que ces mots sont faux.

Questions Fréquentes

Est-ce que PSentry détecte les hallucinations à ma place ?

Non. PSentry fait apparaître le texte brut de ce que chaque plateforme d'IA dit sur votre marque pendant un scan. Il n'existe aucune fonctionnalité de détection des hallucinations, aucun signalement automatique, aucune couche de classification. C'est toujours à vous de lire le texte et de le juger au regard des faits, comme vous le feriez pour vérifier n'importe quelle autre affirmation écrite sur votre entreprise.

Une hallucination, est-ce la même chose qu'une mauvaise opinion sur ma marque ?

Non, et la distinction compte. Une description défavorable mais exacte n'est pas une hallucination. Une hallucination est une affirmation factuelle qui n'est tout simplement pas vraie : une date de création erronée, un produit retiré décrit comme actuel, un bureau qui n'existe pas. Le ton et l'exactitude sont deux choses différentes à vérifier, et un scan fait apparaître les deux sans les distinguer.

Les outils fondés sur la recherche en temps réel, comme Perplexity, peuvent-ils quand même halluciner sur ma marque ?

Oui, même si cela se produit différemment. La recherche en temps réel réduit le risque, car le modèle ancre sa réponse sur quelque chose qu'il vient de récupérer plutôt que sur ce qu'il a seulement absorbé pendant l'entraînement, mais elle ne l'élimine pas. Si la source qu'il récupère est elle-même périmée, fausse, ou correspond à une page sur une entreprise différente au nom proche, la réponse hérite de cette erreur.

Si je corrige une information fausse sur mon propre site, en combien de temps la réponse du modèle change-t-elle ?

Il n'existe pas de délai fixe. Un modèle qui répond à partir de ses données d'entraînement ne reflétera votre changement qu'au prochain cycle d'entraînement, sans calendrier public que vous puissiez consulter. Un modèle qui va chercher des sources en temps réel peut intégrer une correction plus vite, mais seulement une fois que votre page mise à jour est assez établie pour surpasser l'ancienne version fausse dans ce que le modèle trouve.

Faut-il aussi interroger les modèles sur mes concurrents, et pas seulement sur ma marque ?

Cela vaut la peine, au moins une fois. Si un modèle restitue systématiquement les faits de base correctement pour vos concurrents directs tout en se trompant sur les vôtres, cela révèle plutôt à quel point le web parle peu, ou de façon confuse, de votre entreprise en particulier, plutôt qu'un problème inhérent au sujet.

Une hallucination sur ma marque signifie-t-elle que je n'existe pas comme entité reconnue par ces modèles ?

Pas nécessairement. Un modèle peut avoir une notion claire et cohérente de votre entreprise en tant qu'entité distincte, et se tromper malgré tout sur des faits précis la concernant. La reconnaissance de l'entité et l'exactitude factuelle sont liées, mais ce sont deux choses séparées, qui méritent chacune d'être vérifiées.