Häufiger zu messen macht die Daten schlechter

Häufiger zu messen macht die Daten schlechter. Nicht nur teurer oder überflüssig, sondern schlechter in dem präzisen Sinn, dass Veränderungen entstehen, die es nie gab. Es ist der häufigste Fehler bei diesem Thema und das Gegenteil des Instinkts, mit dem alle ankommen.

Der Grund steckt im Mechanismus. Sprachmodelle sind probabilistisch. Stellen Sie dieselbe Frage zweimal, in zwei frischen Sitzungen, und Sie können zwei verschiedene Listen empfohlener Lieferanten bekommen, ohne dass sich in der Welt, auf Ihrer Website oder im Modell irgendetwas geändert hätte. Diese Streuung ist kein zu beseitigender Fehler. Sie ist eine Eigenschaft des Gegenstands, den Sie messen, und jede Entscheidung über die Taktung folgt daraus, sie ernst zu nehmen.

Ein einzelner Durchlauf ist keine Messung

Wenn ein Durchlauf Sie nennen und der nächste Sie auslassen kann, dann ist eine Prüfung ein Münzwurf, und die Prüfung von heute gegen die von letzter Woche sind zwei Münzwürfe im Vergleich. Zu jedem gefundenen Unterschied lässt sich eine Geschichte bauen: Das Marketing hat eine Seite veröffentlicht, ein Wettbewerber hat etwas publiziert, das Modell hat sich geändert. Alle plausibel, keine belegt.

Information trägt ein Anteil: über viele Durchläufe derselben Frage, wie oft wurden Sie genannt. Diese Zahl ist stabil genug für einen Vergleich. Eine einzelne Antwort ist eine Anekdote über eine Stichprobe aus einer Verteilung.

Damit dreht sich die Frage nach der Taktung um. Der Instinkt fragt, wie oft gemessen werden soll. Die nützliche Frage lautet, wie viele Wiederholungen eine einzelne Messung braucht, bevor sie etwas bedeutet.

Wie viele Wiederholungen

Eine allgemeingültige Zahl gibt es nicht, und wer Ihnen eine nennt, hat die eigenen Daten nicht angesehen. Die Form ist aber bekannt, und Ihre finden Sie an einem Nachmittag.

Nehmen Sie eine Frage, die zählt. Führen Sie sie 10 Mal in 10 frischen Sitzungen aus und notieren Sie, ob Ihre Marke auftauchte. Wurden Sie in 9 von 10 Fällen genannt oder in keinem, ist die Frage stabil und wenige Wiederholungen genügen. Landen Sie irgendwo dazwischen, sitzt diese Frage auf einer Kippe, und ein einzelner Durchlauf davon ist wertlos: Er wird umschlagen, und jedes Umschlagen wird wie eine Nachricht aussehen.

Kippfragen erzeugen die Fehlalarme und sind meist auch die interessanten, weil Sie dort nahe daran sind, aufgenommen zu werden. Behandeln Sie sie gesondert: mehr Wiederholungen, und die Regel, über sie keine Bewegung zu berichten, solange sich der Anteil nicht deutlich über einen ganzen Messzyklus verschoben hat.

Das Budget ist fest, also ist es ein Tausch

Jede Messung ist eine Frage, auf einem Assistenten, in einer Sprache, eine bestimmte Anzahl Male wiederholt. Multipliziert wächst das schnell: ein überschaubarer Satz von 20 Fragen, über 4 Assistenten, in 5 Sprachen, sind bereits 400 Antworten für eine einzige Wiederholung von allem, und genau diese eine Wiederholung sagt nach dem Vorstehenden nichts aus.

Sie verteilen also ein festes Budget auf vier Dimensionen, die alle mehr davon wollen. Die Tarife bilden diesen Tausch ab, statt ihn zu verstecken: der Einstieg überwacht 20 Fragen auf einer Website und scannt 30 Durchläufe im Monat; die weiteren Stufen gehen auf 100, 300 und 600 überwachte Fragen, mit 150, 500 und 1200 scanbaren Durchläufen im Monat. 2 Durchläufe im Monat gelten überall. Lesen Sie diese Zahlen als Randbedingung und nicht als Leistungsliste: Ein breiter Fragensatz, alle Sprachen und kräftige Wiederholung sind nicht gleichzeitig zu haben.

Meine Neigung geht dahin, eher den Fragensatz zu kürzen als die Wiederholungen. Zwanzig Fragen, denen Sie glauben, sind ein besseres Instrument als zweihundert, denen Sie nicht glauben.

Nachvollziehbar messen, nicht nur messen

Hier kommt der Teil, den deutsche Organisationen intuitiver verstehen als andere und trotzdem regelmäßig auslassen.

Eine Kennzahl, die in eine Managementbewertung oder in einen Quartalsbericht eingeht, muss reproduzierbar sein. Bei einer probabilistischen Messung heißt das mehr als bei einer gewöhnlichen: Ohne festgehaltene Methode ist die Zahl im nächsten Quartal nicht überprüfbar, sondern nur noch behauptet.

Halten Sie deshalb je Durchlauf fest: das Datum, den Assistenten, die Sprache, die Frage im Wortlaut, ob Ihre Marke genannt wurde, welche Wettbewerber genannt wurden, und ob die Antwort Quellen angeführt hat oder aus dem Gedächtnis geschrieben war. Das letzte Feld lassen alle weg und vermissen es später, denn eine Antwort mit Abruf und eine ohne sind zwei verschiedene Messungen in derselben Zahl.

Dazu gehört eine Angabe, die in keinem Bericht steht und in jeden gehört: die Anzahl der Wiederholungen, aus denen der Anteil gebildet wurde. Ein Wert ohne diese Angabe ist nicht interpretierbar, und wer ihn in einem Gremium vorlegt, kann auf die naheliegendste Rückfrage nicht antworten.

Der einzige Moment, in dem eine Stufe echt ist

Es gibt eine Ausnahme, und sie zu kennen macht fast den ganzen Unterschied zwischen gutem und schlechtem Lesen dieser Zahlen.

Anbieter veröffentlichen neue Modellversionen. Dann können Antworten schlagartig springen, und dieser Sprung ist echt und kein Stichprobenrauschen. Unterscheiden lässt es sich daran, ob die Bewegung konzentriert oder allgemein ist. Haben sich einige wenige Fragen bewegt und der Rest liegt still, ist etwas Bestimmtes passiert. Hat sich fast alles gleichzeitig bewegt, auf einem Assistenten, in dieselbe Richtung, sehen Sie mit hoher Wahrscheinlichkeit eine neue Modellversion und nichts, was Sie oder Ihre Wettbewerber getan hätten.

Das sind gegensätzliche Diagnosen, und wer nur einen aggregierten Wert verfolgt, kann sie nicht trennen, weil der Aggregatwert in beiden Fällen gleich aussieht. Ein guter Grund, die Detailtiefe je Frage verfügbar zu halten, statt alles zu einer Schlagzeile zu verdichten. Genau diesen Satz führt PSentry nach Zeitplan aus und bewahrt die Einzelbefunde auf. Was die Datenqualität entscheidet, ist aber nicht das Werkzeug: Es ist, den Fragensatz stillzuhalten, quartalsweise statt zyklusweise zu berichten und vor jeder Erklärung einer Bewegung zu prüfen, ob sich alles Übrige mitbewegt hat.

Was an dieser Stelle regelmäßig gefragt wird

Wir prüfen jeden Morgen von Hand. Was ist daran falsch?

Als Gewohnheit nichts. Falsch wird es, sobald aufeinanderfolgende Morgen als Reihe gelesen werden. Ein Durchlauf pro Tag ist eine Stichprobe pro Tag aus einer Verteilung, die schon innerhalb eines Tages schwankt, also sind die Tagesunterschiede überwiegend die Verteilung und nicht Ihre Position.

Gibt es einen Grund, öfter als zweimal im Monat zu messen?

Rund um ein konkretes Ereignis ja, und nur dann, wenn das zusätzliche Budget in Wiederholungen fließt statt in weitere Fragen. Eine Produkteinführung oder ein Website-Umzug ist ein Fall, in dem Sie ein dichtes Vorher und Nachher auf wenigen Fragen wollen.

Die Assistenten widersprechen einander. Welcher hat recht?

Keiner, jedenfalls nicht in dem gemeinten Sinn. Sie lesen andere Quellen und rufen unterschiedlich ab, also ist die Uneinigkeit ein Befund über die Assistenten und kein Fehler, den man auflösen müsste. Führen Sie sie getrennt und verrechnen Sie sie nicht zu einer Zahl.