Mesurer plus souvent dégrade la donnée

Mesurer plus souvent dégrade la donnée. Pas seulement en coût ou en redondance : elle se dégrade au sens précis où apparaissent des variations à expliquer qui n'ont jamais existé. C'est la façon la plus répandue de se tromper ici, et c'est l'inverse de l'intuition avec laquelle chacun arrive.

La raison tient au mécanisme. Les modèles de langue sont probabilistes. Posez deux fois la même question, dans deux sessions neuves, et vous pouvez obtenir deux listes différentes de fournisseurs recommandés, sans que rien n'ait changé dans le monde, sur votre site ou dans le modèle. Cette variance n'est pas une erreur à supprimer : c'est une propriété de ce que vous mesurez, et toute décision de fréquence découle du fait de la prendre au sérieux.

Une exécution unique n'est pas une mesure

Si une exécution peut vous nommer et la suivante vous omettre, un contrôle est un tirage, et le contrôle d'aujourd'hui comparé à celui de la semaine dernière, ce sont deux tirages comparés entre eux. Quelle que soit la différence trouvée, on peut lui construire une histoire : le marketing a publié une page, un concurrent a écrit quelque chose, le modèle a changé. Toutes plausibles, aucune étayée.

Ce qui porte de l'information, c'est une proportion : sur de nombreuses exécutions de la même question, combien de fois avez-vous été nommé. Ce nombre est assez stable pour être comparé. Une réponse isolée est une anecdote sur un tirage dans une distribution.

La question de fréquence s'en trouve retournée. L'intuition demande à quelle fréquence mesurer. La question utile est : combien de répétitions une seule mesure exige-t-elle avant de signifier quelque chose.

Combien de répétitions

Il n'existe pas de nombre universel, et qui vous en cite un n'a pas regardé ses propres données. La forme, elle, se connaît, et la vôtre se trouve en un après-midi.

Prenez une question qui compte. Exécutez-la 10 fois, dans 10 sessions neuves, et notez si votre marque est apparue. Si vous êtes nommé 9 fois sur 10, ou aucune, la question est stable et peu de répétitions suffiront. Si vous atterrissez au milieu, cette question est sur une frontière, et une exécution isolée ne vaut rien : elle basculera, et chaque bascule ressemblera à une nouvelle.

Les questions frontières produisent les fausses alertes et sont aussi, en général, les plus intéressantes, puisque c'est là que vous êtes près d'être inclus. Traitez-les à part : davantage de répétitions, et la règle de ne rapporter aucun mouvement les concernant tant que la proportion n'a pas bougé nettement sur un cycle entier.

Ce que le comité de pilotage attend, et ce que vous pouvez lui donner

Voici la difficulté qui, en pratique, fait dérailler la méthode dans les organisations françaises, et elle n'est pas technique.

Un comité trimestriel attend un indicateur qui bouge. C'est la culture du tableau de bord : une flèche, une couleur, un écart commenté. Présenter un chiffre qui n'a pas bougé y est vécu comme une absence de travail, et la tentation devient forte de resserrer la fréquence jusqu'à ce qu'il se passe enfin quelque chose. C'est exactement le mécanisme décrit plus haut, et il fabriquera la variation demandée.

La sortie honnête consiste à changer ce que l'on présente plutôt que la fréquence. Un indicateur probabiliste ne se rapporte pas comme une valeur unique, mais comme une valeur assortie de sa plage de stabilité : voici la proportion, voici l'amplitude observée entre exécutions, et donc voici à partir de quel écart un mouvement mérite une explication. Une fois cette plage posée, un chiffre stable cesse d'être un non-événement et devient un résultat : la position tient.

Cela demande de l'expliquer une fois, au début, plutôt que de subir la question à chaque séance. Cela évite surtout de commenter du bruit devant une direction, exercice dont on ne se remet pas si le bruit finit par se voir.

Accorder la fréquence à la vitesse réelle du phénomène

Ce qui détermine si un assistant vous nomme, c'est en gros ce que le web dit de vous et ce qu'un entraînement a absorbé. Ni l'un ni l'autre ne bouge à l'échelle du jour. La couverture par des tiers s'accumule sur des mois. La documentation s'écrit puis reste. Un entraînement a lieu quand un fournisseur le décide. Il n'y a pas de processus quotidien en dessous, donc échantillonner chaque jour revient à échantillonner soixante fois un signal mensuel et à appeler la différence un mouvement.

Deux fois par mois est une cadence raisonnable au regard de cela, et c'est pourquoi le produit fonctionne ainsi plutôt que d'offrir plus rapide. C'est aussi pourquoi l'alerte en temps réel n'existe pas ici et n'arrive pas. Une alerte déclenchée dès qu'une exécution cesse de vous nommer se déclencherait sans arrêt, sur la variance, et après la troisième fausse alerte plus personne ne la lit.

Le seul moment où une marche est réelle

Il existe une exception, et la connaître fait presque toute la différence entre bien et mal lire ces chiffres.

Les fournisseurs publient de nouvelles versions de modèles. Les réponses peuvent alors se déplacer brutalement, et ce déplacement est réel. Pour trancher, regardez si le mouvement est concentré ou général. Si quelques questions ont bougé et que le reste est immobile, quelque chose de précis s'est produit. Si presque tout a bougé d'un coup, sur un assistant, dans le même sens, vous regardez très probablement une nouvelle version et non un effet de vos actions ou de celles de vos concurrents.

Ce sont deux diagnostics opposés, et qui ne suit qu'un score agrégé ne peut pas les séparer, l'agrégat étant identique dans les deux cas. Bon argument pour conserver le détail par question, et pour consigner à chaque exécution la date, l'assistant, la langue, la question au mot près, qui a été cité, et si la réponse citait des sources ou provenait de la mémoire. C'est ce jeu de questions que PSentry exécute selon un calendrier en gardant ce détail. Mais ce qui décide de la qualité de la donnée n'est pas l'outil : c'est de tenir le jeu de questions immobile, de rapporter par trimestre plutôt que par cycle, et de vérifier, avant d'expliquer un mouvement, si tout le reste a bougé avec lui.