Retour au blog Même question technique, quatre réponses d’IA différentes

Même question technique, quatre réponses d’IA différentes

Posez à quatre assistants la question d’un acheteur industriel et vous obtenez quatre listes de fournisseurs. Les raisons sont structurelles, et vérifiables.

Prenez la question qu’un acheteur taperait vraiment : qui usine le titane sur centre cinq axes, en Europe, avec une certification qualité aéronautique. Collez-la mot pour mot dans ChatGPT, Claude, Gemini et Perplexity le même après-midi. Vous obtiendrez quatre listes de fournisseurs différentes. Quelques noms se recouperont, d’autres n’apparaîtront qu’une fois, et au moins un assistant citera un distributeur là où un autre cite le fabricant. Rien n’a dysfonctionné. Quatre systèmes différents ont répondu, et les écarts entre eux sont structurels, pas accidentels.

Un assistant, c’est un modèle plus tout ce qui l’entoure

On est tenté de traiter les quatre comme des fenêtres interchangeables sur un même savoir. Elles ne le sont pas. Chacun est un modèle de langage enveloppé dans une mécanique : la décision de chercher ou non sur le web en direct, un jeu d’instructions qui lui dit comment se comporter, une date de coupure au-delà de laquelle il n’a plus rien appris, et un tirage aléatoire qui introduit de la variation même à conditions égales. Changez une seule de ces couches et la liste de fournisseurs change avec elle.

Pour une entreprise qui vend des produits techniques, la conséquence est précise. Vous ne cherchez pas à vous positionner à un endroit. Vous cherchez à être trouvable par quatre systèmes qui ne sont pas d’accord entre eux sur les sources qui méritent d’être lues.

Ce qui diffère réellement

Ce que le modèle a absorbé, et jusqu’à quand

Chaque modèle a une date de coupure d’entraînement, au-delà de laquelle il n’a plus rien appris. Ces dates ne coïncident pas d’un fournisseur à l’autre, et les corpus non plus. Une gamme lancée le trimestre dernier peut se trouver dans la fenêtre d’un modèle et hors de celle d’un autre. Idem pour un changement de nom, le rachat d’une usine, une certification obtenue récemment. Quand un assistant répond uniquement avec ce qu’il a absorbé, il décrit une version de votre marché qui s’est arrêtée à un instant donné.

S’il va chercher quelque chose avant de répondre

C’est la plus grande source de divergence. Certains assistants sont conçus pour chercher d’abord et composer la réponse à partir de ce qu’ils viennent de récupérer. D’autres répondent avec ce que le modèle contient déjà, et ne cherchent que si la question semble l’exiger, ou si vous le leur demandez. Le premier comportement récompense les pages accessibles, à jour et citables. Le second récompense le fait d’avoir été suffisamment écrit ailleurs, et assez longtemps, pour que le modèle ait absorbé votre nom.

Ce sont deux jeux distincts. Un fournisseur doté d’une excellente fiche produit récente mais de très peu de mentions extérieures s’en sort mieux avec les assistants qui cherchent. Une maison installée depuis longtemps, présente dans les annuaires professionnels, les syndicats de branche et la presse technique, survit mieux dans les réponses issues de la seule mémoire.

La façon dont la réponse est tirée

Les modèles de langage sont probabilistes. À question identique, ils peuvent produire une formulation différente et, ce qui vous concerne davantage, des noms différents dans un ordre différent. Ce n’est pas un défaut à corriger, c’est le fonctionnement de la génération. Cela signifie aussi qu’un essai unique n’apprend presque rien. Interroger une fois et conclure qu’un assistant ne vous connaît pas revient à appeler un entrepôt, tomber sur le répondeur, et en conclure que l’entrepôt est vide.

Ce que lui disent les instructions qui l’encadrent

Chaque produit enveloppe son modèle d’instructions sur le ton, la prudence, les citations et les refus. L’un se dérobera devant l’idée de recommander des fournisseurs nommés pour une décision d’achat. Un autre produira une liste courte sans hésiter. Un troisième nommera des entreprises en ajoutant qu’il faut vérifier les certifications directement. C’est un choix de conception produit, et il change ce que voit l’acheteur même quand le savoir sous-jacent est comparable.

Menez la comparaison correctement

Elle mérite d’être menée par vous-même avant d’accepter le résumé de qui que ce soit, le nôtre compris. Il faut une heure et aucun outil.

  • Écrivez la question comme un acheteur l’écrirait. Pas votre marque. Un besoin technique : procédé, matière, classe de tolérance, certification, zone géographique.
  • Utilisez exactement les mêmes mots dans les quatre. Toute reformulation invalide la comparaison, parce que la formulation fait partie de ce que vous mesurez.
  • Notez trois choses par réponse : quelles entreprises sont nommées, dans quel ordre, et quelles sources sont citées le cas échéant.
  • Refaites la série entière le lendemain matin. Ce qui change d’un jour à l’autre est du bruit. Ce qui reste en place est un signal.
  • Recommencez ensuite dans une autre langue où vous vendez. C’est là que les exportateurs trouvent l’écart le plus large, et cela mérite une séance dédiée plutôt qu’une note en bas de page.

Que faire de quatre réponses discordantes

Le réflexe consiste à choisir l’assistant que vos clients utilisent le plus et à optimiser pour lui. C’est la mauvaise lecture, surtout parce que vous ne pouvez pas savoir lequel un acheteur donné a utilisé, et en partie parce que s’adapter aux particularités actuelles d’un système revient à parier sur une mécanique qui change sans préavis.

La lecture utile, c’est le motif commun aux quatre. Une entreprise nommée par tous est présente de façon structurelle : dans assez d’endroits indépendants pour que la mémoire comme la recherche en direct la trouvent. Une entreprise nommée par un seul, typiquement par un assistant qui cherche, doit souvent cette mention à une page unique bien placée ce jour-là, position plus fragile qu’il n’y paraît. Et quand trois assistants nomment votre distributeur plutôt que vous, le problème n’est en général pas l’assistant : c’est que la page du distributeur énonce les spécifications en texte ordinaire là où la vôtre les enferme dans un fichier à télécharger.

Les sources citées valent davantage que le classement. Elles disent quelles pages la mécanique considère comme faisant autorité dans votre catégorie, et cette liste est souvent inconfortable : une place de marché, une fiche d’annuaire, la page comparative d’un concurrent, un fil de forum. Ce sont les surfaces où votre catégorie est décrite, que vous y participiez ou non.

La limite de l’exercice

Ces quatre assistants ne sont pas toute la recherche par IA. Les fonctions de synthèse intégrées aux moteurs de recherche et les assistants embarqués dans les suites bureautiques sont des surfaces distinctes, avec leurs propres comportements. Nous ne les couvrons pas, et mieux vaut le dire que laisser croire à une exhaustivité que nous n’avons pas. PSentry mesure la façon dont votre marque apparaît dans ChatGPT, Claude, Gemini et Perplexity, langue par langue et marché par marché, avec des analyses planifiées et non continues. Il mesure. Il n’influence pas ce qu’un assistant dit de vous, et aucun outil de suivi ne peut promettre le contraire.

Ce qu’une mesure structurée ajoute à l’essai manuel, c’est la répétition et la couverture : les mêmes questions, sur les quatre systèmes et dans chaque langue où vous vendez, échantillonnées dans le temps, pour que l’écart entre bruit et changement réel devienne visible. L’essai manuel dit si le problème existe. La répétition dit s’il bouge.

Questions Fréquentes

Si les quatre divergent, lequel a raison ?

Aucun ne fait autorité. Ce sont des systèmes différents qui lisent des sources différentes à des instants différents : le désaccord est le résultat attendu, pas une erreur à trancher. Traitez l’ensemble des réponses comme un échantillon de la façon dont votre catégorie est décrite.

Pourquoi le même assistant répond-il différemment à deux essais ?

La génération est probabiliste, et tout assistant qui interroge le web lit un web qui a changé entre vos deux tentatives. Les deux effets vont dans le même sens : une réponse isolée est un instantané, et une conclusion demande de la répétition.

Poser la question en allemand ou en espagnol change-t-il la liste ?

Souvent, et davantage que ne l’imaginent les exportateurs. Les sources disponibles varient selon la langue, tout comme le volume de matière absorbé par le modèle dans chacune. Une marque présente en anglais peut être absente de la même question posée ailleurs.

Faut-il écrire un contenu par assistant ?

Non. Les comportements de recherche changent sans préavis, et un contenu bâti sur les particularités actuelles d’un système vieillit mal. Ce qui tient devant les quatre reste la même chose peu spectaculaire : vos données techniques en texte ordinaire, sur une page accessible, dans chaque langue où vous vendez.

Les assistants utilisent-ils le même modèle dans tous les pays ?

Pas nécessairement, et l’enveloppe autour du modèle peut différer aussi, y compris les sources accessibles. Raison de plus pour refaire la comparaison sur chaque marché qui compte pour vous.