Den Bildschirm Ihres Einkäufers misst niemand, auch wir nicht

Keine Messung, die über eine Programmierschnittstelle erhoben wird, zeigt, was ein bestimmter Einkäufer in ChatGPT oder in einem der anderen drei Assistenten zu sehen bekommt. Das gilt auch für unsere. Für einen Anbieter, der Messung verkauft, ist das ein ungewöhnlicher erster Satz. Er ist trotzdem richtig, und wer diese Art von Werkzeug bewertet, hört ihn besser vom Anbieter als in der Montagsrunde.

Dort taucht das Thema nämlich in der Regel auf, und zwar als Screenshot. Angenommen, der Vertriebsleiter hat am Wochenende ChatGPT gefragt, wer in Deutschland Dosierpumpen für die Lebensmittelindustrie liefert. Das eigene Haus kam nicht vor, und das Bild liegt nun neben dem Bericht, der für denselben Monat eine ordentliche Nennungshäufigkeit ausweist. Eine der beiden Darstellungen muss falsch sein, so die naheliegende Schlussfolgerung. Sie trifft nicht zu. Beide können stimmen, weil sie verschiedene Dinge messen.

Zwischen dem Modell und dem Bildschirm des Einkäufers liegen mehrere Schichten, und jede davon ist von den Anbietern selbst dokumentiert.

Das Modell. ChatGPT gibt nicht allen Nutzern dasselbe. Die Hilfeseiten von OpenAI führen getrennt auf, was der kostenlose Zugang bekommt, was die bezahlten Tarife bekommen und was Enterprise- und Edu-Arbeitsbereiche bekommen, und OpenAI veröffentlicht Versionshinweise zu den Modellen, was eine höfliche Umschreibung dafür ist, dass sich die Antwort ändert. Ein Einkäufer mit privatem Gratiskonto und einer im Enterprise-Arbeitsbereich seines Arbeitgebers können dieselbe Frage an etwas stellen, das beide ChatGPT nennen, und von verschiedenen Modellen beantwortet werden.

Das Konto. Das Gedächtnis von ChatGPT überträgt, wenn es eingeschaltet ist, Zusammenhänge aus früheren Chats in neue. Eigene Anweisungen, in allen Tarifen verfügbar, gelten für jede Unterhaltung. Ein Vertriebsleiter, der seit Monaten über den eigenen Markt, die eigenen Produkte und die eigenen Wettbewerber chattet, ist keine neutrale Stichprobe. Er ist ziemlich genau das Gegenteil davon.

Der Ort. Wenn ChatGPT im Web sucht, kann OpenAI nach eigener Darstellung aus der IP-Adresse einen ungefähren Standort ableiten und diesen ungefähren Standort an Suchanbieter weitergeben, um die Ergebnisse zu verbessern. Die Frage aus Stuttgart und dieselbe Frage aus Graz sind streng genommen nicht dieselbe Anfrage.

Der Aufruf selbst. Eine API-Anfrage enthält nur, was der Aufrufer hineinschreibt. Die Schnittstelle von OpenAI erlaubt zwar, dem Suchwerkzeug einen ungefähren Standort mitzugeben, aber das ist eine Entscheidung, die jemand trifft und festhält, nichts, was von einer Person am Schreibtisch geerbt wird. Und auch mit eingeschalteter Suche entscheidet das Modell je Frage, ob es überhaupt sucht.

Screenshot gegen Prüfprotokoll

Zusammengenommen heißt das nicht, dass die Messung über die API eine schlechte Kopie des Originals wäre. Es gibt kein Original. Auf eine kommerzielle Frage gibt es nicht die eine ChatGPT-Antwort, sondern so viele, wie es Kombinationen aus Tarif, Verlauf, Einstellungen und Standort gibt. Der Screenshot aus der Montagsrunde ist ein Zug aus dieser Verteilung, mit Zeitstempel.

In Unternehmen, die Maschinen bauen oder prüfen, ist der Gedanke dahinter vertraut. Ein einzelner Messwert, von dem niemand weiß, unter welchen Bedingungen er entstand, geht in keine Freigabe ein. Verlangt wird ein Prüfprotokoll: welches Verfahren, welche Bedingungen, wie oft wiederholt, mit welchem Ergebnis, und so dokumentiert, dass ein Dritter die Messung nachstellen kann. An diesem Maßstab scheitert der Screenshot, und zwar nicht, weil er falsch wäre. Ihm fehlt schlicht alles, was ihn nachvollziehbar machen würde.

Wer den Screenshot trotzdem ernst nehmen will, und das ist legitim, stellt ihm die Fragen, die ein Prüfprotokoll von selbst beantwortet: Mit welchem Konto und in welchem Tarif wurde gefragt? War das Gedächtnis eingeschaltet, gab es eigene Anweisungen? Wie lautete die Frage im Wortlaut, und wie oft wurde sie gestellt? Meist lässt sich schon die dritte Frage nicht mehr beantworten.

Eine Messung über die API kann dagegen kontrolliert sein. Dieselben Fragen, in derselben Sprache, auf demselben Weg an dieselben Assistenten gesendet, wiederholt, in festem Takt, mit den Wettbewerbern unter identischen Bedingungen. Das sagt nichts darüber, was eine Person am Dienstag gesehen hat. Es sagt, was die Assistenten diesen Monat im Vergleich zum Vormonat auf Deutsch über Ihre Branche antworten und ob ein Wettbewerber unter unveränderten Bedingungen häufiger genannt wird als Sie. Das ist eine bescheidenere Aussage als die des Screenshots. Sie hat den Vorzug, einer zweiten Prüfung standzuhalten.

PSentry fragt ChatGPT, Claude, Gemini und Perplexity über ihre offiziellen Schnittstellen ab, zweimal im Monat, gegliedert nach Sprache und Markt und nicht danach, wo ein einzelner Nutzer gerade sitzt. Die Anbieter schalten Modelle nach eigenem Zeitplan ab, und dann wechseln wir auf die neueren. Das Datum dieses Wechsels gehört neben die Messreihe, denn ein Sprung bei einem Assistenten an genau diesem Tag geht eher auf das Modell zurück als auf Ihren Markt.

Die Einschränkung bleibt also bestehen, und sie steht hier ohne Kleingedrucktes. Was wir messen, ist nicht der Bildschirm Ihres Einkäufers. Es ist das, was diesem Bildschirm am nächsten kommt und sich zweimal messen und vergleichen lässt. Für die nächste Montagsrunde ist das die belastbarere Unterlage.