Was ein AI-Visibility-Score misst und was er nicht messen kann

Irgendwo in einem Dashboard steht eine Zahl neben Ihrem Markennamen, und in diesem Monat ist sie gestiegen. Die einzige Frage, die jetzt zählt, lautet: gestiegen wodurch? Ein Score wird es Ihnen nicht verraten. Dafür wurde er nie gebaut.

Das ist kein Angriff auf Scores, sondern eine Beschreibung dessen, was sie sind. Ein AI-Visibility-Score nimmt einen Haufen unordentlicher Belege, viele Antworten auf viele Prompts, verteilt über mehrere Assistenten und mehrere Sprachen, und presst ihn in eine einzige Kennzahl, die Sie in einer Sekunde lesen können. Das Pressen ist der Zweck der Übung. Beim Pressen geht allerdings etwas verloren, und es lohnt sich zu wissen, was.

Ein Score ist ein Index, nicht die Arbeit

Denken Sie an einen Aktienindex. Der Index sagt Ihnen, dass der Markt gefallen ist. Er sagt Ihnen nicht, welches Unternehmen ein schlechtes Quartal hatte und warum. Niemand verwaltet ein Portfolio, indem er ausschließlich auf den Index starrt.

Worin ein Score wirklich gut ist, das ist die Richtung. Er verdichtet Hunderte von Modellantworten zu etwas, das sich zeichnen, vergleichen und jemandem vorlegen lässt, der nie eine rohe Modellausgabe zu Gesicht bekommt. Er beantwortet die Fragen, ob es besser oder schlechter wird und wo Sie zuerst hinsehen sollten. Beides sind echte Fragen. Nur eben nicht dieselbe Frage wie das Warum.

Die Zahl ist der Index der Arbeit, nicht die Arbeit selbst. Die Arbeit liegt darunter, in den Antworten, und ein Werkzeug, das Ihnen diese Antworten vorenthält, verlangt Vertrauen in eine Verdichtung, die Sie nicht überprüfen können.

Was tatsächlich hineinfließt

Jedes Werkzeug baut seinen Score anders. Die ehrlichen Bestandteile sind trotzdem Varianten derselben Handvoll Beobachtungen. Jede davon bedeutet etwas Bestimmtes, und ständig werden sie miteinander verwechselt.

Präsenz: nennt die Antwort Sie überhaupt

Das primitivste Signal und zugleich das brutalste. Sie haben ein Modell gefragt, welche Anbieter es für etwas empfiehlt, das Sie verkaufen. Ihr Name kam vor, oder er kam nicht vor. Keine zweite Seite, kein knappes Verfehlen, kein fast platziert. Innerhalb einer einzelnen Antwort ist Präsenz binär. Genau deshalb ist sie einmal gemessen wertlos und vielfach gemessen aussagekräftig.

Nennungshäufigkeit: wie oft über wiederholte Läufe desselben Prompts

Der Bestandteil, den die meisten überspringen, und derjenige, der aus Präsenz erst eine Information macht. Derselbe Prompt, erneut gestellt, kann eine andere Namensliste zurückgeben. Die interessante Größe lautet deshalb nicht, ob Sie genannt wurden, sondern in wie vielen Läufen desselben Prompts Sie genannt wurden. Eine Marke, die in fast jedem Lauf auftaucht, hat einen stabilen Platz im Antwortraum des Modells. Eine Marke, die gelegentlich auftaucht, sitzt an dessen Rand. Fragen Sie nur ein einziges Mal, sehen beide identisch aus.

Quellenangabe: genannt zu werden heißt nicht verlinkt zu werden

Ein Modell kann Ihr Produkt ausführlich und zutreffend beschreiben und dabei niemanden auf Ihre Website schicken. Eine Quellenangabe, also ein echter Link auf eine Ihrer Seiten, ist ein anderes Ereignis als eine Nennung, und sie verhält sich je nach Plattform anders. Perplexity ruft Quellen ab und zeigt sie direkt in der Antwort. Ein Modell, das aus dem antwortet, was es im Training aufgenommen hat, kann auf nichts zeigen, weil es in diesem Moment nichts liest. Beides in denselben Topf zu werfen macht den Score leichter zu berechnen und schwerer zu deuten.

Anteil: wer steht neben Ihnen im Satz

Eine Antwort, die Anbieter empfiehlt, empfiehlt fast immer mehr als einen. Ihr Anteil an den Namen in diesem Satz ist ein ehrlicheres Maß für Ihre Position als Ihre bloße Anwesenheit darin. Neben zwei Wettbewerbern genannt zu werden ist etwas anderes, als in einer langen Aufzählung genannt zu werden. Und die Marke zu sein, die genannt wird, während ein Wettbewerber weggelassen wird, ist die einzige Form von Ranking, die hier überlebt. Dieser Bestandteil zeigt Ihnen außerdem, wer Ihre Wettbewerber wirklich sind, und das sind oft nicht die, an die Sie denken.

Abdeckung: in wie vielen Ihrer Prompts kommen Sie vor

Präsenz bei Prompts, die Sie ohnehin gewinnen, ist bequem und wenig lehrreich. Die Abdeckung stellt die unangenehmere Frage: Bei wie vielen der Kauffragen, die Sie für beobachtenswert gehalten haben, tauchen Sie überhaupt auf? Die Lücken sind das Einzige in einem Dashboard, aus dem sich ablesen lässt, was als Nächstes zu tun ist.

Warum eine einzige Zahl ein gefährlicher Besitz ist

Sprachmodelle arbeiten probabilistisch. Das klingt nach einer Fußnote für Techniker, ist aber keine. Es bedeutet, dass derselbe Prompt, zweimal gestellt, zwei verschiedene Anbieterlisten zurückgeben kann, ohne dass eine der beiden Antworten defekt wäre. Das Ziehen von Stichproben gehört zu der Art, wie diese Systeme Text erzeugen.

Die Folge ist unbequem für alle, die sich eine saubere Kennzahl wünschen. Ein Score aus einer Handvoll Läufe misst überwiegend Rauschen. Er bewegt sich zwischen zwei Scans aus Gründen, die nichts mit Ihnen zu tun haben: ein anderer Zufallspfad, eine andere Menge abgerufener Quellen, ein Modell-Update, das niemand angekündigt hat. Halten Sie diese Bewegung für ein Signal, und Sie erklären ein ganzes Quartal lang eine Schwankung, die es nie gegeben hat. Deshalb ist der absolute Wert eines Scores nahezu bedeutungslos, und zwei Dinge daran sind es nicht:

• Der Trend. Gleich gemessen, auf denselben Prompts, über die Zeit hinweg. Eine Zahl, die über mehrere Scans in eine Richtung driftet, sagt Ihnen etwas. Eine Zahl, die einmal springt, sagt Ihnen etwas über Varianz.
• Der Vergleich zwischen den Segmenten, vor allem zwischen den Sprachen. Sichtbarkeit reist nicht mit. Ein deutscher Hersteller, über den die Modelle auf Deutsch souverän sprechen, kann in derselben Frage auf Französisch praktisch unsichtbar sein, weil das französischsprachige Netz weniger über ihn hergibt. Heimatmarkt gegen Exportmarkt ist ein Vergleich unter gleichen Bedingungen, und der Abstand dazwischen ist meist das, woraus sich am ehesten eine Handlung ableiten lässt.

Deshalb berechnet PSentry seinen AI Visibility Score™ pro Sprache und pro Markt statt als eine einzige globale Kennzahl: Ein weltweiter Durchschnitt mittelt genau die Unterschiede weg, die Sie am dringendsten sehen müssen.

Was ein Score nicht leisten kann

Er sagt keinen Traffic voraus

Sie können zitiert werden und trotzdem keinen Klick bekommen. Der gesamte Bauplan einer Assistenten-Antwort zielt darauf, dem Nutzer den Weg zu ersparen. Jemand liest einen Absatz, in dem Ihr Produkt vorkommt, bildet sich eine Meinung und betritt Ihre Domain nie. Sichtbarkeit in KI-Antworten und Sitzungen in Ihrer Analytics sind zwei verschiedene Größen. Wer erwartet, dass die eine die andere nach Fahrplan bewegt, wird am Ende von einer Kennzahl enttäuscht, die einwandfrei gearbeitet hat.

Er misst nicht die Qualität der Nennung

Der größte blinde Fleck jeder einzelnen Zahl. Als naheliegende Wahl für anspruchsvolle Käufer genannt zu werden und als billige Notlösung für Sparfüchse genannt zu werden, beides zählt als eine Nennung. Ebenso eine Nennung in einem Satz, der Ihre Produktkategorie leicht danebentrifft. Ein Score hält fest, dass Sie im Raum waren. Er hält nicht fest, wie Sie vorgestellt wurden, und die Vorstellung ist häufig genau der Teil, den Sie am liebsten ändern würden. Es gibt keinen Ersatz dafür, die Antworten zu lesen.

Er lässt sich nicht zwischen Werkzeugen vergleichen

Jedes Werkzeug dieser Gattung wählt seine eigene Prompt-Menge, seine eigenen Plattformen, seine eigene Zahl an Wiederholungen und seine eigene Gewichtung der oben genannten Bestandteile. Zwei Scores aus verschiedenen Zutaten sind nicht zwei Messungen derselben Sache. Es sind zwei verschiedene Messgeräte. Wählen Sie eine Methode, halten Sie sie stabil, lesen Sie ihren Trend.

Die ehrliche Fassung

Ein hoher Score ist kein Geschäftsziel. Für einen Score wurde noch nie jemand bezahlt. Er ist ein Fieberthermometer: Er gibt Ihnen die Temperatur, er zeigt an, wenn sie sich bewegt, und er sagt Ihnen, welches Zimmer Sie betreten sollten. Alles, worauf es tatsächlich ankommt, warum ein Markt kalt geworden ist, warum ein Wettbewerber statt Ihnen genannt wird, ob die Modelle Ihr Produkt überhaupt richtig beschreiben, liegt in den Antworten unter der Zahl und nicht in der Zahl selbst.

Nutzen Sie den Score, um zu entscheiden, wo Sie hinsehen. Und dann sehen Sie hin.

Häufig gestellte Fragen

Was ist ein guter AI-Visibility-Score?

Es gibt keine allgemeingültige Schwelle, und wer Ihnen eine nennt, beschreibt seine eigene Skala und keinen Standard. Die einzigen sinnvollen Maßstäbe sind Sie selbst über die Zeit und Sie selbst in einem Markt gegen sich selbst in einem anderen.

Mein Score ist zwischen zwei Scans gefallen. Muss ich mir Sorgen machen?

Noch nicht. Eine einzelne Bewegung kann ohne Weiteres Stichprobenvarianz sein und keine echte Veränderung darin, wie die Modelle Ihre Marke behandeln. Prüfen Sie, ob die Richtung über mehrere Scans hinweg bestehen bleibt und ob sie in mehr als einer Sprache auftritt. Ein Rückgang, der überall gleichzeitig sichtbar wird, ist eher echt.

Warum liefern mir zwei Werkzeuge unterschiedliche Scores für dieselbe Marke?

Weil sie Verschiedenes messen und es gleich nennen: andere Prompts, andere Plattformen, andere Wiederholungen, andere Gewichtung. Weder der Score noch der Trend lässt sich von einem Werkzeug auf das andere übertragen.

Ist eine Quellenangabe besser als eine bloße Nennung?

Die beiden erfüllen verschiedene Aufgaben. Eine Quellenangabe kann eine Leserin auf Ihre Seite bringen. Eine Nennung ohne Link prägt trotzdem, was ein Käufer glaubt, noch bevor er eine Suche startet. Erfassen Sie beides, und lassen Sie nicht zu, dass ein Werkzeug die beiden stillschweigend verschmilzt.

Kann ich meinen Score direkt anheben?

Weder am Score noch am Modell. Was die Modelle über Sie sagen, stammt aus dem, was das Netz über Sie sagt, in jeder Sprache einzeln. Ein Werkzeug zur Beobachtung misst das. Es manipuliert keine Modellausgaben, und es verspricht nicht, dass die Zahl steigt.

Wie oft lohnt es sich, neu zu messen?

Seltener, als das Bauchgefühl nahelegt. Modelle revidieren ihr Bild von einer Marke nicht über Nacht, und das Netz darunter bewegt sich ebenfalls langsam. Ein ruhiger Takt erzeugt einen lesbaren Trend. Ständiges Nachmessen erzeugt Rauschen, das Sie sich anschließend erklären müssen.