KI-Sichtbarkeit per Skript messen: selbst bauen?

Der Einwand kommt in der Regel aus der IT, und zwar meist in der Sitzung, in der die Geschäftsführung über ein weiteres Abonnement entscheiden soll. Alle vier Assistenten haben offizielle Schnittstellen, eine Schleife über zwanzig Fragen ist keine Hexerei, und wer ohnehin Entwickler im Haus hat, darf fragen, warum man für einen Nachmittag Arbeit monatlich bezahlen sollte.

Die ehrliche Antwort lautet: Die Minimalversion ist tatsächlich an einem Nachmittag gebaut. Im Folgenden steht, wie sie sauber aufgesetzt wird, und danach, an welchen Stellen aus dem Nachmittag eine Daueraufgabe wird. Wir verkaufen das Werkzeug für die zweite Variante. Die erste ist trotzdem eine vernünftige Entscheidung, nur nicht für jedes Unternehmen.

Was an einem Nachmittag wirklich zu schaffen ist

Ein kleiner Fragensatz in der Sprache des Einkäufers. Zwanzig Fragen reichen für den Anfang. Gemeint sind die Fragen, die jemand stellt, bevor er Ihren Namen kennt: wer ein bestimmtes Bauteil nach einer bestimmten Norm liefert, welche Software einen bestimmten Prozess für einen Betrieb dieser Größe abbildet, welche Alternativen es zum bekannten Marktführer gibt. Fragen, die Ihren Firmennamen bereits enthalten, messen nichts. Zu einem Namen, den man ihm vorlegt, fällt einem Modell immer etwas ein.

Formuliert wird in der Sprache, in der der Käufer tatsächlich fragt, nicht als deutscher Text mit angehängter Übersetzung. Ein französischer Einkaufsleiter fragt anders, als Ihr Prospekt formuliert, und das Modell greift beim Antworten auf andere Texte zurück. Danach wird die Liste eingefroren. Wer eine Frage zwischen zwei Läufen umformuliert, hat das Messgerät verändert, und jeder spätere Vergleich erbt diese Änderung.

Offizielle Schnittstellen, mit eingeschalteter Websuche. Ein nackter API-Aufruf antwortet aus dem, was das Modell im Training aufgenommen hat. Das ist etwas anderes als eine Antwort, die nach dem Lesen aktueller Webseiten entsteht. Wo die Schnittstelle ein Suchwerkzeug anbietet, gehört es eingeschaltet: Die Responses API von OpenAI hat das Werkzeug web_search, die API von Anthropic ein eigenes Werkzeug für die Websuche, die Gemini API die Fundierung mit der Google-Suche über das Werkzeug google_search. Die Sonar-Modelle von Perplexity suchen ohnehin immer. Bei den ersten drei entscheidet das Modell allerdings je Frage selbst, ob sich eine Suche lohnt. Das eingeschaltete Werkzeug ist eine Erlaubnis, keine Anweisung.

Die Rohantwort speichern, nicht das Urteil. Naheliegend wäre, ein Ja oder Nein in eine Tabelle zu schreiben und den Text wegzuwerfen. Davon ist abzuraten. Zu jedem Aufruf gehören die vollständige Antwort, Datum und Uhrzeit, die Frage im gesendeten Wortlaut, die Sprache, die Modellbezeichnung, die die Schnittstelle zurückmeldet, und alles, was der Anbieter über Quellen liefert. In einem halben Jahr wollen Sie eine bessere Erkennung über die alten Antworten laufen lassen, und dann ist ein Ja in Zelle C14 nichts mehr wert.

Firmennamen im Deutschen: gebeugt, zusammengesetzt, mit Rechtsform

Hier wird der Nachmittag lang, und im Deutschen länger als anderswo. Eine schlichte Suche nach der Zeichenkette Ihres Firmennamens übersieht mehr, als man erwartet, und findet Dinge, die sie nicht finden sollte. Angenommen, das Unternehmen heißt, frei erfunden, Brückner Umwälztechnik GmbH & Co. KG. Ein Modell kann daraus Folgendes machen:

Rechtsform weggelassen oder verkürzt: „Brückner Umwälztechnik“, „Brückner GmbH“, „Brückner KG“. Die vollständige Firmierung steht in kaum einer Antwort.
Zusammengeschrieben oder mit Bindestrich: „Brückner-Umwälztechnik“ oder als Teil eines längeren Wortes wie „Brückner-Pumpenprogramm“.
Gebeugt: „Brückners Umwälzpumpen“, „die Anlagen des Herstellers Brückner“. Eine Endung am Namen genügt, und der exakte Abgleich schlägt fehl.
Umschrieben: „Brueckner“, weil die Antwort aus einer englischsprachigen Quelle schöpft, die Umlaute ersetzt, bei anderen Namen „Weiss“ statt „Weiß“, oder „BRÜCKNER“ in Versalien aus einem Datenblatt.
Verwechselt: Ein verbreiteter Nachname oder ein Gattungsbegriff im Namen erzeugt Treffer, die mit Ihnen nichts zu tun haben. Ein größerer Konzern mit ähnlichem Namen erzeugt noch unangenehmere.

Jede Marke braucht also eine Variantenliste je Sprache, und zwar mit Regeln statt nur mit Schreibweisen: Umlaute und ihre Ersatzschreibung gleich behandeln, Rechtsformen abschneiden, Groß- und Kleinschreibung ignorieren, Wortgrenzen bewusst setzen. Dieselbe Arbeit fällt für die Wettbewerber an, denn wer an Ihrer Stelle genannt wird, ist mindestens die Hälfte des Erkenntniswerts. Manche Teams übergeben die Einordnung einem zweiten Modellaufruf. Das funktioniert bis zu einem gewissen Grad, fügt einer ohnehin probabilistischen Messung aber einen zweiten probabilistischen Schritt hinzu. Eine Stichprobe dieser Urteile sollte deshalb ein Mensch prüfen.

Ein Sonderfall ist im Mittelstand eher die Regel: Das Unternehmen trägt den Namen der Gründerfamilie. Dann nennt eine Antwort womöglich den Namen, meint aber eine Person, einen gleichnamigen Handwerksbetrieb in einer anderen Region oder eine Straße. Ohne einen Blick auf den umgebenden Satz ist ein solcher Treffer nicht zu bewerten, und genau deshalb lohnt es sich, die Rohantwort aufzubewahren, statt nur zu zählen.

Die Rechnung nach dem ersten Lauf

Dieselbe Frage zweimal gestellt kann zwei verschiedene Lieferantenlisten ergeben, ohne dass sich irgendetwas geändert hat. Ein einzelner Aufruf ist eine Anekdote. Aussagekraft hat erst der Anteil, also die Antwort auf die Frage, wie oft Sie über mehrere Aufrufe hinweg genannt wurden. Jede Frage wird deshalb je Lauf mehrfach gestellt, und der Lauf selbst in festem Takt wiederholt, weil das eigentliche Ergebnis derselbe Anteil ist, zwei Wochen später unter denselben Bedingungen erneut gemessen.

Damit beginnt die Multiplikation. Zwanzig Fragen, vier Assistenten, fünf Sprachen, drei Wiederholungen: 20 × 4 × 5 × 3 = 1.200 Aufrufe je Lauf. Bei zwei Läufen im Monat sind das 2.400 Aufrufe im Monat, bevor jemand einen weiteren Markt hinzufügt. Jeder Aufruf wird nach Tokens abgerechnet, und die Suche kommt in mindestens zwei Fällen obendrauf: Anthropic berechnet jede Suche, Google jede Suchanfrage, die das Modell bei den Gemini-3-Modellen ausführt. Die aktuellen Preise stehen auf den Preisseiten der Anbieter. Man rechnet sie besser vor der ersten Rechnung hoch als danach.

Wenn der Anbieter das Modell abschaltet

Die Anbieter nehmen Modelle nach veröffentlichten Fristen vom Netz. OpenAI führt dafür eine Übersicht der Abkündigungen mit den Snapshots und ihren Abschaltterminen. Wird ein Modell abgeschaltet, das Ihr Skript aufruft, bricht das Skript ab, und das Nachfolgemodell antwortet anders. Die Zeitreihe hat damit einen Bruch. Er gehört mit Datum vermerkt, sonst wird eine spätere Bewegung der falschen Ursache zugeschrieben. Verworfen wird die Historie deswegen nicht, aber auch nicht mit dem Lineal über den Wechsel hinweg verbunden: Die Läufe davor und danach sind zwei Reihen.

Dazu kommen zwei Posten, die in keiner Aufwandsschätzung stehen. Die Quellenangaben kommen in vier verschiedenen Formaten zurück, und sie in eine einzige Tabelle mit Domains je Frage und Sprache zu überführen, ist ein kleines Projekt für sich. Es ist allerdings der Teil, der zeigt, aus welchen Seiten die Antworten gebaut wurden. Außerdem laufen die Sprachfassungen auseinander. Ob die französische und die spanische Frage nach der fünften Erweiterung des Fragensatzes noch dasselbe fragen, prüft nur jemand, der beide Sprachen liest und dem das nicht gleichgültig ist.

Bleibt die Zuständigkeit. Solche Skripte fallen selten laut aus, sie veralten still: Ein Schlüssel läuft ab, ein Parser scheitert an einer geänderten Antwortstruktur, der Kollege, der das Ganze gebaut hat, wechselt ins nächste Projekt, und das Diagramm zeigt ein Quartal lang den letzten gültigen Wert. In der Urlaubsplanung taucht das Skript nicht auf, im Quartalsbericht schon.

Selbst bauen oder kaufen ist eine Frage der Personalzeit

Für ein Unternehmen mit einem Entwickler, der Zeit hat, einem Markt und einer Sprache ist der Eigenbau eine solide Entscheidung. Der Fragensatz ist klein, die Namensvarianten sind überschaubar, und das Wissen darüber, wie die Zahlen entstehen, bleibt im Haus. Das hat einen eigenen Wert.

Mit der Matrix verschiebt sich die Abwägung: mehr Sprachen, mehr Märkte, Wettbewerber in jedem davon und eine Historie, die Modellabschaltungen überstehen muss. Diese laufende Pflege übernimmt ein Werkzeug wie PSentry. Es fragt die vier Assistenten über ihre offiziellen Schnittstellen ab, zweimal im Monat, je Sprache und Markt, und wechselt auf neuere Modelle, wenn die Anbieter alte abschalten. Ob sich das lohnt, entscheidet nicht die Schwierigkeit des ersten Skripts, sondern die Frage, wofür die eigenen Entwickler ihre Stunden verwenden sollen.

Was die IT-Abteilung als Nächstes wissen will

Mit welchem Assistenten fängt man am besten an?

Mit Perplexity. Die Sonar-Modelle sind von Haus aus an die Websuche gebunden und liefern zu jeder Antwort eine Liste von Quellen und strukturierte Suchergebnisse. Konfiguriert werden muss nichts.

Genügt es, ein Modell zu fragen, ob die Marke genannt wurde?

Als zweiter Durchgang ja. Als einziger ersetzt er eine Erkennungsregel, die man nachlesen kann, durch ein Urteil, das sich nicht nachlesen lässt und von Aufruf zu Aufruf schwankt wie alles andere hier. Zuerst wird die Variantenliste abgeglichen, die unklaren Fälle gehen danach an ein Modell.

Wie viele Läufe braucht es, bis die Zahlen etwas bedeuten?

Eine allgemeine Schwelle gibt es nicht. Ein brauchbarer Test ist, ob eine weitere Wiederholung den Anteil einer Frage noch spürbar verändert. Fragen, bei denen Sie nur manchmal genannt werden, brauchen mehr Wiederholungen als solche, bei denen Sie immer oder nie auftauchen. Ein Trend braucht mehrere Läufe, nicht zwei.

Kann das nicht unser Systemhaus übernehmen?

Bauen kann es das sicher. Entscheidend ist, was im Vertrag steht. Ein Skript ist schnell abgenommen. Die Pflege danach, also neue Modelle, geänderte Antwortformate, gepflegte Namenslisten und vermerkte Brüche in der Zeitreihe, ist eine laufende Leistung. Steht sie nicht als solche im Leistungsverzeichnis, wird sie im Zweifel als Nachtrag abgerechnet oder gar nicht erbracht. Wer diesen Weg geht, sollte außerdem klären, wem die gespeicherten Antworten und die Namenslisten gehören, wenn der Vertrag endet.