Warum KI-Antworten sich jedes Mal ändern

Fragen Sie ChatGPT, welche Tools Ihre Kategorie anführen. Notieren Sie sich die Namen. Schließen Sie das Fenster, öffnen Sie ein neues und stellen Sie dieselbe Frage noch einmal. Es ist gut möglich, dass die Liste nicht dieselbe ist. Eine Marke, die vorher genannt wurde, ist verschwunden. Eine Marke, von der Sie noch nie gehört haben, ist aufgetaucht. Zwischen den beiden Fragen hat sich in der Welt nichts verändert, und auf Ihrer Website auch nicht.

Auf diese Beobachtung reagieren die meisten auf eine von zwei falschen Arten: Entweder gilt das Tool, das es meldet, als defekt, oder etwas, das letzte Woche veröffentlicht wurde, hat endlich zu wirken begonnen. Beide Lesarten verwandeln Rauschen in Entscheidungen, den teuersten Fehler in diesem Bereich.

Die Schwankung von Antworten ist kein Fehler, den man dem Support melden kann. Sie ist eine Eigenschaft der Art, wie diese Systeme Text erzeugen. Sobald Sie wissen, woher sie kommt, hören Sie auf, sie beseitigen zu wollen, und fangen an, um sie herum zu messen.

Fünf Gründe für die Änderung

Das Modell würfelt, es schlägt nichts nach

Ein Sprachmodell ruft keine gespeicherte Antwort ab und reicht sie Ihnen weiter. Es schreibt sie Stück für Stück und berechnet bei jedem Schritt eine Wahrscheinlichkeitsverteilung darüber, was plausibel als Nächstes kommen könnte. Dann trifft es eine Wahl. Nicht immer die wahrscheinlichste: Sampling-Parameter, darunter Temperature und Top-P, lassen absichtlich auch schwächer eingestufte Optionen zu. Genau das sorgt dafür, dass sich der Text wie ein Fließtext liest und nicht wie eine feststehende Aufzeichnung.

Die Folge ist strukturell. Liegt Ihre Marke nahe an der Grenze dessen, was das Modell als plausible Empfehlung ansieht, wird sie in manchen Durchläufen genannt und in anderen ausgelassen, bei einer identischen Eingabe, ohne dass sich etwas geändert hätte. Marken, die tief im Vertrauensbereich des Modells liegen, tauchen fast immer auf. Marken, die weit davon entfernt sind, fast nie. Die Grenzfälle sind es, die flackern.

Die verborgene Anweisungsebene wird umgeschrieben

Jeder Assistent für Endnutzer verpackt Ihre Frage in Anweisungen, die Sie nie zu sehen bekommen. Diese Ebene sagt dem Modell, wie es sich verhalten soll, wie vorsichtig es sein soll, ob es kommerzielle Produkte überhaupt nennen darf, wann es vor der Antwort im Web suchen soll. Anbieter ändern sie laufend, und keiner veröffentlicht dazu ein Änderungsprotokoll. Eine stille Verschärfung der Regel zur Nennung von Anbietern kann eine ganze Kategorie durcheinanderwirbeln, ohne neues Modell und ohne jede Ankündigung.

Das Modell hinter dem Produktnamen wird ausgetauscht

Der Assistent behält seinen Namen. Die Gewichte dahinter nicht. Eine neue Version erscheint, eine ältere wird abgeschaltet, eine günstigere Variante übernimmt einen Teil des Datenverkehrs. Was das System weiß und wie es das Gewusste formuliert, verändert sich. Ihre Eingaben sind gleich geblieben. Wer sie jetzt liest, ist ein anderer Leser.

Die Quellensuche greift jedes Mal ein anderes Web ab

Wenn ein Assistent vor der Antwort sucht, ruft er live Seiten ab, und das lebende Web ist kein stabiles Objekt. Ergebnisse ordnen sich neu, eine Seite wird bearbeitet, ein Vergleichsartikel erscheint und wird indexiert. Die Dokumente, die das Modell beim Antworten liest, sind nicht dieselben, die es gestern gelesen hat, also ist auch die daraus zusammengesetzte Antwort nicht die von gestern. Bei Plattformen, die sich stark auf Quellensuche stützen, ist das die größte Quelle für Bewegung: Ihre Sichtbarkeit kann sich wegen einer redaktionellen Entscheidung bei einer Publikation verschieben, die Sie nie besucht haben.

Ihre eigene Sitzung ist kein neutrales Instrument

Gespeicherte Erinnerungen, Einstellungen, individuelle Anweisungen und der Gesprächsverlauf über der Frage beeinflussen alle, was als Nächstes kommt. Fragen Sie nach einem Mitbewerber und dann, wer sonst noch infrage kommt: Sie erhalten etwas anderes als bei einer kalten Frage in einer sauberen Sitzung. Prüfen Sie Ihre Marke über das Konto, mit dem Sie seit einem Jahr darüber sprechen, sehen Sie nicht, was ein Fremder sieht. Sie sehen Ihr eigenes Spiegelbild.

Was das für die Messung bedeutet

Fasst man diese fünf Punkte zusammen, ist das Fazit einfach: Eine einzelne Antwort ist eine Anekdote, kein Messwert. Sie ist eine Ziehung aus einer Verteilung und trägt kaum Information. Sie als Ergebnis zu melden, entspricht einem einzigen Münzwurf, der als Beweis über die Münze präsentiert wird.

Genau hier bricht internes Reporting leise in sich zusammen. Jemand prüft dienstags, sieht die Marke genannt, und erzählt dem Team, dass die Arbeit an Inhalten anschlägt. Jemand anderes prüft in der Folgewoche, sieht nichts, und das Team schließt daraus, dass die Sichtbarkeit eingebrochen ist. Die Verteilung hat sich nicht bewegt: Sie wurde zweimal abgetastet, und die beiden Stichproben widersprechen sich, was Stichproben nun einmal tun.

Was Information trägt, ist Wiederholung zusammen mit einer Richtung. Führen Sie dieselbe Eingabe viele Male aus, erhalten Sie eine Quote: wie oft die Marke über all diese Antworten hinweg auftaucht. Eine Quote ist ein Messwert. Vergleichen Sie sie mit der Quote von vor einem Monat, bei denselben Eingaben und in derselben Sprache, und Sie erhalten das einzige Ergebnis, das es wert ist, jemandem gezeigt zu werden: eine Trendlinie.

Wie man Rauschen von echter Bewegung trennt

Das erfordert keine statistische Raffinesse, nur Disziplin darüber, was Sie konstant halten.

Frieren Sie die Eingabenmenge ein. Schreiben Sie die Fragen zwischen zwei Messungen um, haben Sie sowohl das Instrument als auch die Messung verändert. Fällt Ihnen eine bessere Formulierung ein, fügen Sie sie als neue Eingabe hinzu und lassen Sie die alte weiterlaufen.
Frieren Sie die Sprache ein. Dieselbe Frage auf Deutsch und auf Englisch ist nicht dieselbe Frage, weil die Modelle auf unterschiedliche Textkorpora zurückgreifen. Vergleichen Sie niemals über Sprachen hinweg und nennen es einen Trend.
Führen Sie jede Eingabe mehr als einmal aus. Ein Ergebnis aus einem einzigen Durchlauf ist ein Münzwurf mit einem Diagramm drumherum. Mehrere Durchläufe, zusammengefasst, machen aus einer Anekdote eine Quote.
Lesen Sie die Richtung über mehrere Messungen, niemals den Unterschied zwischen zweien. Der Unterschied zwischen zwei verrauschten Stichproben ist größtenteils Rauschen. Mehrere Messungen zeichnen eine Form, und diese Form ist das Signal.
Behalten Sie Mitbewerber als Kontrolle im Blick. Sinkt Ihre Quote und gleichzeitig die aller anderen auf dieser Plattform, hat sich dort etwas geändert, nicht bei Ihrem Unternehmen.

Was ein Messrhythmus ehrlich liefert

An dieser Stelle müssen wir bei unserem eigenen Produkt ehrlich sein, weil die Branche das dabei sonst meist nicht ist. PSentry führt Ihre feststehende Eingabenmenge auf ChatGPT, Claude, Gemini und Perplexity aus, in jeder Sprache, in der Sie verkaufen, und erfasst, wo Sie genannt wurden, wo Sie als Quelle zitiert wurden und wer stattdessen empfohlen wurde. Die Scans laufen nach einem festen Zeitplan, zweimal im Monat.

Zweimal im Monat ist ein Messrhythmus, keine Überwachung. Er zeigt Ihnen, ob sich der Trend bewegt und in welche Richtung. Er sagt Ihnen nicht, an dem Nachmittag, an dem es passiert, dass ein Anbieter seine Anweisungsebene umgeschrieben hat. Schnellt die Platzierung eines Mitbewerbers an einem Donnerstag nach oben, erfahren Sie es beim nächsten Scan, nicht noch am selben Abend. Wir verkaufen keine sofortigen Warnungen, und wir werden keine erfinden, denn eine Warnung, die aufgrund einer einzigen verrauschten Messung ausgelöst wird, ist eine Benachrichtigung über nichts, verkleidet als Dringlichkeit.

Falscher Triumph und falscher Alarm

Falscher Triumph: Sie haben eine Vergleichsseite veröffentlicht, an diesem Nachmittag die Frage gestellt, Ihren Namen gesehen und daraus geschlossen, dass die Seite gewirkt hat. Ebenso möglich ist, dass es einfach der Durchlauf war, bei dem das Sampling zu Ihren Gunsten ausfiel. Der ehrliche Test ist, ob Ihre Nennungsquote über die nächsten Messungen höher liegt als über die vorherigen. Das dauert Wochen, und das ist die einzige Version, die standhält, wenn jemand fragt, woher Sie das wissen.

Falscher Alarm: Ihre Marke ist aus einer Antwort verschwunden, und ein Meeting wurde einberufen. Fragen Sie sich vorher drei Dinge: War die Eingabe identisch, war die Sprache identisch, war es ein einziger Durchlauf. Lautet die Antwort auf eine dieser Fragen ja, gibt es noch nichts zu besprechen: Besser die nächste Messung abwarten, statt die Website aufgrund eines einzigen Satzes umzuschreiben.

Die Disziplin, die dieses Feld verlangt, besteht darin, einzelne Antworten nicht mehr als Urteile zu lesen. Es sind Stichproben, und nur die Form, die sie über die Zeit ergeben, bedeutet etwas.

Häufig gestellte Fragen

Wenn sich die Antwort jedes Mal ändert, ist Messen dann sinnlos?

Nein, aber sie nur einmal zu messen, ist es. Schwankung macht ein System nicht unmessbar, sie macht es unmessbar in einer einzigen Beobachtung. Das Wetter ist volatil und dennoch bestens messbar. Was Sie schätzen, ist eine Nennungsquote, und eine Quote braucht viele Beobachtungen, bevor sie sich einpendelt.

Wie viele Durchläufe einer Eingabe reichen aus?

Es gibt keinen sauberen Schwellenwert, und wer einen genau beziffert, rät. Die praktische Regel lautet, dass Sie genug Durchläufe brauchen, damit weitere das Bild nicht mehr verändern. Bis dahin behandeln Sie Eingaben, bei denen Sie nur manchmal auftauchen, als echte Grenzfälle.

Kann ich die Zufälligkeit beseitigen, indem ich die Temperature auf null setze?

Nicht in den Assistenten, die Ihre Käufer tatsächlich nutzen, denn die bieten keine solche Einstellung. Selbst über eine API verringern niedrige Werte die Streuung, ohne ein identisches Ergebnis zu garantieren, und ändern nichts an den übrigen Quellen der Bewegung: aktualisiertes Modell, umgeschriebene Anweisungsebene, andere abgerufene Seiten.

Trifft die Schwankung alle vier Plattformen gleich?

Nein. Plattformen, die live Seiten abrufen, erben zusätzlich die Instabilität des Webs und bewegen sich deshalb stärker. Antworten, die überwiegend aus dem Training stammen, ändern sich in Sprüngen, wenn das Modell aktualisiert wird, statt sich fortlaufend zu verschieben.

Steht eine Marke, die uneinheitlich genannt wird, besser da als eine, die nie genannt wird?

Ja. Uneinheitliche Nennungen bedeuten, dass das Modell Sie als plausible Antwort betrachtet, ohne sich ganz sicher zu sein, was etwas anderes ist, als vollständig außerhalb der Kandidatenmenge zu liegen. Genau bei diesen flackernden Eingaben zeigt sich eine Veränderung zuerst.