Dieselbe technische Frage, vier KI-Antworten

Nehmen Sie die Frage, die ein Einkäufer tatsächlich eintippen würde: Wer zerspant Titan auf einem Fünfachs-Bearbeitungszentrum, in Europa, mit Qualitätszertifizierung für die Luftfahrt. Fügen Sie sie wortgleich in ChatGPT, Claude, Gemini und Perplexity ein, am selben Nachmittag. Sie erhalten vier verschiedene Lieferantenlisten. Einige Namen überschneiden sich, andere tauchen nur einmal auf, und mindestens ein Assistent nennt einen Händler, wo ein anderer den Hersteller nennt. Es ist nichts kaputt. Vier verschiedene Systeme haben geantwortet, und die Unterschiede zwischen ihnen sind strukturell und nicht zufällig.

Ein Assistent ist ein Modell plus alles, was darum herum liegt

Es liegt nahe, die vier als austauschbare Fenster auf dasselbe Wissen zu behandeln. Das sind sie nicht. Jeder von ihnen ist ein Sprachmodell in einer Maschinerie: die Entscheidung, ob live im Web gesucht wird, ein Satz Anweisungen zum Verhalten, ein Stichtag, nach dem nichts Neues mehr gelernt wurde, und ein Ziehverfahren, das selbst bei sonst gleichen Bedingungen Variation erzeugt. Ändern Sie eine einzige dieser Schichten, und die Lieferantenliste ändert sich mit.

Für ein Unternehmen mit technischen Produkten hat das eine konkrete Folge. Es geht nicht darum, an einer Stelle zu ranken. Es geht darum, für vier Systeme auffindbar zu sein, die sich untereinander nicht einig sind, welche Quellen lesenswert sind.

Was sich tatsächlich unterscheidet

Was das Modell aufgenommen hat, und bis wann

Jedes Modell hat einen Trainingsstichtag, nach dem es nichts mehr gelernt hat. Diese Stichtage liegen bei den Anbietern nicht gleich, und die zugrunde liegenden Textmengen ebenso wenig. Eine Produktlinie, die im vergangenen Quartal auf den Markt kam, kann innerhalb des einen Zeitfensters liegen und außerhalb des anderen. Dasselbe gilt für eine Umfirmierung, den Zukauf eines Werks oder eine kürzlich erlangte Zertifizierung. Wenn ein Assistent allein aus dem Aufgenommenen antwortet, beschreibt er eine Version Ihres Marktes, die zu einem bestimmten Zeitpunkt stehen geblieben ist.

Ob vor der Antwort etwas nachgeschlagen wird

Das ist die größte einzelne Ursache für Abweichungen. Manche Assistenten sind darauf ausgelegt, zuerst zu suchen und die Antwort aus dem gerade Geholten zusammenzusetzen. Andere antworten aus dem, was das Modell bereits enthält, und suchen nur, wenn die Frage es zu erfordern scheint oder wenn Sie ausdrücklich darum bitten. Das erste Verhalten belohnt Seiten, die abrufbar, aktuell und zitierfähig sind. Das zweite belohnt, oft genug und lange genug erwähnt worden zu sein, damit das Modell den Firmennamen überhaupt aufgenommen hat.

Das sind zwei verschiedene Spiele. Ein Lieferant mit einer hervorragenden, frisch aktualisierten Produktseite und kaum Erwähnungen anderswo schneidet bei suchenden Assistenten besser ab. Ein lange etablierter Name, präsent in Branchenverzeichnissen, Verbandslisten und Fachpresse, überlebt besser in den Antworten, die allein aus dem Gedächtnis stammen.

Wie die Antwort gezogen wird

Sprachmodelle arbeiten probabilistisch. Bei identischer Frage können sie unterschiedliche Formulierungen erzeugen und, was für Sie wichtiger ist, unterschiedliche Namen in unterschiedlicher Reihenfolge. Das ist kein Fehler, der behoben gehört, sondern die Funktionsweise der Textgenerierung. Es bedeutet auch, dass ein einzelner Versuch sehr wenig aussagt. Einmal zu fragen und daraus zu schließen, ein Assistent kenne das Unternehmen nicht, wäre, als riefe man einmal im Lager an, geriete an den Anrufbeantworter und schlösse daraus, das Lager sei leer.

Was die umgebenden Anweisungen vorgeben

Jedes Produkt legt um sein Modell Anweisungen zu Ton, Vorsicht, Quellenangabe und Verweigerung. Der eine hält sich zurück und nennt bei einer Kaufentscheidung keine Anbieternamen. Der zweite liefert ohne Zögern eine kurze Auswahlliste. Der dritte nennt Firmen, hängt aber den Hinweis an, Zertifizierungen direkt zu prüfen. Das ist eine Produktentscheidung, und sie verändert, was ein Einkäufer sieht, selbst wenn das zugrunde liegende Wissen ähnlich ist.

Den Vergleich sauber durchführen

Es lohnt sich, ihn selbst durchzuführen, bevor Sie die Zusammenfassung von irgendjemandem übernehmen, auch unsere. Nötig sind eine Stunde und kein Werkzeug.

Formulieren Sie die Frage so, wie ein Einkäufer sie stellt. Nicht der Markenname, sondern ein technischer Bedarf: Verfahren, Werkstoff, Toleranzklasse, Zertifizierung, Region.
Verwenden Sie in allen vier denselben Wortlaut. Jede Umformulierung entwertet den Vergleich, weil die Formulierung Teil des Gemessenen ist.
Notieren Sie pro Antwort drei Dinge: welche Firmen genannt werden, in welcher Reihenfolge, und welche Quellen angegeben werden, sofern überhaupt.
Wiederholen Sie die Runde am nächsten Morgen. Was sich zwischen zwei Tagen ändert, ist Rauschen. Was bleibt, ist Signal.
Machen Sie es danach in einer weiteren Verkaufssprache. Dort finden Exporteure die größte Lücke, und das verdient eine eigene Sitzung statt einer Fußnote.

Was vier widersprüchliche Antworten bedeuten

Der erste Reflex ist, den Assistenten zu wählen, den die eigenen Kunden am häufigsten nutzen, und für diesen zu optimieren. Das ist die falsche Lesart, vor allem weil sich nicht feststellen lässt, welchen ein bestimmter Einkäufer benutzt hat, und zum Teil, weil eine Anpassung an die derzeitigen Eigenheiten eines Systems eine Wette auf Maschinerie ist, die sich ohne Ankündigung ändert.

Aufschlussreich ist das Muster über alle vier hinweg. Ein Unternehmen, das überall genannt wird, ist strukturell präsent: an genügend unabhängigen Stellen, dass sowohl Gedächtnis als auch Live-Suche es finden. Ein Unternehmen, das nur von einem genannt wird, meist von einem suchenden Assistenten, verdankt diese Erwähnung oft einer einzelnen Seite, die an jenem Tag gut platziert war, und diese Position ist dünner, als sie aussieht. Und wenn drei Assistenten den Händler statt des Herstellers nennen, liegt das Problem selten an den Assistenten: Die Händlerseite nennt die Spezifikation im Fließtext, die Herstellerseite versteckt sie in einer Datei zum Herunterladen.

Die genannten Quellen sind wertvoller als die Reihenfolge. Sie zeigen, welche Seiten die Maschinerie für Ihre Kategorie als maßgeblich behandelt, und diese Liste liest sich oft unangenehm: ein Marktplatz, ein Verzeichniseintrag, die Vergleichsseite eines Wettbewerbers, ein Forenbeitrag. Das sind die Flächen, auf denen Ihre Kategorie beschrieben wird, ob Sie dort vorkommen oder nicht.

Die Grenze dieser Übung

Diese vier Assistenten sind nicht die gesamte KI-Suche. Die Zusammenfassungsfunktionen in Suchmaschinen und die in Bürosoftware eingebetteten Assistenten sind eigene Flächen mit eigenem Verhalten. Wir decken sie nicht ab, und das gehört gesagt, statt eine Vollständigkeit anzudeuten, die wir nicht haben. PSentry misst, wie eine Marke in ChatGPT, Claude, Gemini und Perplexity erscheint, je Sprache und je Markt, in geplanten Durchläufen statt fortlaufend. Es misst. Es beeinflusst nicht, was ein Assistent über ein Unternehmen sagt, und kein Monitoring-Werkzeug kann etwas anderes versprechen.

Was eine strukturierte Messung dem Handversuch hinzufügt, sind Wiederholung und Abdeckung: dieselben Fragen, über die vier Systeme und jede Verkaufssprache, über die Zeit erhoben, damit der Unterschied zwischen Rauschen und echter Veränderung sichtbar wird. Der Handversuch zeigt, ob das Problem besteht. Die Wiederholung zeigt, ob es sich bewegt.

Häufig gestellte Fragen

Wenn die vier sich widersprechen, welcher hat recht?

Keiner ist maßgeblich. Es sind verschiedene Systeme, die zu verschiedenen Zeitpunkten verschiedene Quellen lesen, also ist der Widerspruch das erwartete Ergebnis und kein zu behebender Fehler. Behandeln Sie die Menge der Antworten als Stichprobe dessen, wie Ihre Kategorie beschrieben wird.

Warum antwortet derselbe Assistent bei zwei Versuchen unterschiedlich?

Die Generierung ist probabilistisch, und jeder Assistent, der live sucht, liest ein Web, das sich zwischen den beiden Versuchen verändert hat. Beide Effekte wirken gleichgerichtet: eine einzelne Antwort ist eine Momentaufnahme, belastbare Schlüsse brauchen Wiederholung.

Ändert eine Frage auf Französisch oder Spanisch die Lieferantenliste?

Häufig, und stärker als die meisten Exporteure erwarten. Die verfügbaren Quellen unterscheiden sich je Sprache, ebenso die Menge an Material, die ein Modell in der jeweiligen Sprache aufgenommen hat. Eine Marke, die im Englischen zuverlässig auftaucht, kann in derselben Frage auf Deutsch fehlen.

Sollten wir für jeden Assistenten eigene Inhalte schreiben?

Nein. Das Abrufverhalten ändert sich ohne Ankündigung, und Inhalte, die auf den heutigen Eigenheiten eines Systems aufbauen, altern schlecht. Was vor allen vier Bestand hat, ist dasselbe Unspektakuläre: technische Angaben als gewöhnlicher Text, auf einer abrufbaren Seite, in jeder Verkaufssprache.

Nutzen die Assistenten in jedem Land dasselbe Modell?

Nicht zwangsläufig, und auch die Hülle um das Modell kann sich unterscheiden, einschließlich der erreichbaren Quellen. Ein weiterer Grund, den Vergleich in jedem relevanten Markt zu wiederholen.