GEO-Agentur: Welche KPIs Sie vor dem Vertrag verlangen

Keine Messung kann belegen, dass eine GEO-Agentur eine Veränderung in den Antworten von ChatGPT oder Gemini verursacht hat, auch unsere nicht. Die Assistenten wechseln Modelle, aktualisieren ihren Index und gewichten Quellen neu, nach eigenem Zeitplan. Ihre Marke kann im März häufiger genannt werden, aus Gründen, die mit der Arbeit im Februar nichts zu tun haben. Was eine Messung leisten kann, ist bescheidener und gehört trotzdem in den Vertrag: Sie macht jede Zahl der Agentur für jemand anderen als die Agentur überprüfbar.

Zu unserer Rolle vorab: PSentry misst, PSentry optimiert nicht. Wir sind keine Agentur und haben kein Interesse daran, ob Sie eine beauftragen. Das folgende Protokoll gilt für jedes Messwerkzeug, unseres eingeschlossen.

Ins Lastenheft gehört, wer misst

In Deutschland beginnt ein größeres Agenturprojekt oft mit einem Lastenheft, auf das der Dienstleister mit einem Pflichtenheft antwortet. Genau dort, und nicht in der Verkaufspräsentation, gehört die Messung hin. Eine Agentur, die die Arbeit erledigt und das Ergebnis selbst bewertet, korrigiert ihre eigene Klausur. Das macht sie nicht unredlich. Es bedeutet aber, dass der Auftraggeber Zugang zum selben Rohmaterial braucht.

Der Vorteil dieser Form: Was im Lastenheft steht, wird im Pflichtenheft beantwortet und später abgenommen. Eine Agentur, die dort schreibt, wie sie gemessen werden will, legt sich fest. Eine Agentur, die das Thema in die Präsentation verschiebt, auch.

Drei Anforderungen decken das Wesentliche ab:

• Zu jedem Prüftermin liefert die Agentur einen Export der unbearbeiteten Antworten, der Fragen und der Daten, nicht nur eine Folie mit einem Score.
• Die Berechnung jedes zusammengesetzten Index ist so beschrieben, dass Sie die Zahl selbst nachrechnen können.
• Sie dürfen parallel auf denselben Fragen messen, mit einem Werkzeug Ihrer Wahl.

Für diese Parallelmessung fragt PSentry ChatGPT, Claude, Gemini und Perplexity zweimal im Monat ab, vergibt einen Score pro Sprache und Markt, zeigt, welche Wettbewerber statt Ihrer genannt werden und welche Quellen zitiert werden, und exportiert die Antworten als CSV. Die KI-Antworten innerhalb der Suchmaschinen deckt es nicht ab, und zwei Scans im Monat sind eine Folge von Momentaufnahmen, keine Live-Beobachtung. Auch diese Grenzen gehören ins Lastenheft, gleich welches Werkzeug Sie wählen.

Die Nullmessung, bevor sich etwas ändert

Eine Nullmessung ist eine datierte Aufzeichnung, wie die Assistenten auf eine feste Liste von Fragen zu Ihrem Markt antworten, erstellt bevor die Agentur die Website anfasst. Ohne sie fehlt jeder späteren Zahl der Bezugspunkt.

• Die Fragen, so formuliert, wie Einkäufer sie stellen würden, in jeder Sprache, in der Sie verkaufen.
• Die Assistenten, einzeln benannt. Ein Ergebnis bei einem sagt wenig über die anderen.
• Die Termine: mindestens zwei Durchläufe im Abstand einiger Tage, weil dieselbe Frage zweimal gestellt unterschiedliche Namen liefern kann.
• Die Rohantworten samt zitierten Quellen. Ein Score ohne die Antworten, aus denen er entsteht, lässt sich später nicht prüfen.

Die Agentur darf die Fragen vorschlagen, freigeben sollten Sie sie. Während der Vertragslaufzeit werden sie nur mit schriftlicher Begründung geändert, sonst messen Vorher und Nachher nicht mehr dasselbe.

KPIs für die GEO-Agentur: zwei Listen, nicht eine

Ein seriöses Angebot trennt, was die Agentur steuert, von dem, was sie nur beeinflussen kann. Die meisten Konflikte beginnen, wenn beides im selben Dashboard landet.

Leistungen, die die Agentur steuert, an einem Nachmittag im Browser prüfbar: überarbeitete oder neue Seiten mit URL; technische Daten und Preise als Text statt im PDF; Seiten in den Sprachen der Exportmärkte; technische Korrekturen wie der Crawler-Zugang in der robots.txt, jeweils mit Vorher und Nachher.

Ergebnisse, die niemand steuert, werden gemessen, nicht versprochen:

• Nennungsrate: wie viele Antworten auf Ihre Fragen Sie nennen, je Assistent und Sprache;
• genannte Wettbewerber auf denselben Fragen, Markt für Markt;
• zitierte Quellen: ob Ihre eigenen Seiten unter den Quellen auftauchen;
• sachliche Richtigkeit: wie viele Antworten Falsches über Sie sagen, gemessen an einer kurzen Liste von Fakten, die Sie vorgeben.

Die erste Liste wird bezahlt, die zweite beobachtet. Ein Honorar, das an die zweite gekoppelt ist, ist eine Wette auf eine Mechanik, die keine der beiden Seiten bedient. Was ein zusammengefasster Wert dabei abbildet und was nicht, steht in Was ein AI-Visibility-Score misst.

Kontrollfragen, an denen die Agentur nicht arbeitet

Neben den Fragen, an denen die Agentur arbeitet, führen Sie eine kleinere Gruppe zu Themen, die sie nicht anfasst: eine andere Produktlinie, ein anderer Markt, eine allgemeine Branchenfrage. Das ist Ihre Kontrollgruppe.

Steigt die Nennungsrate in beiden Gruppen gleichzeitig, ist die wahrscheinlichste Ursache eine Änderung im Assistenten selbst. Steigt sie nur dort, wo gearbeitet wurde, wird der Beitrag der Agentur deutlich plausibler. Ein Beweis ist das nicht, aber ein Befund, der einer skeptischen Lesart standhält.

Legen Sie Schwelle und ersten Prüftermin vorher fest: um wie viel sich der Wert bewegen muss und über wie viele Durchläufe in Folge. Eine oder zwei Nennungen mehr auf zwanzig Antworten können Rauschen sein.

Kennzahlen, bei denen Sie nachfragen sollten

Die allgemeinen Warnsignale eines Angebots ohne Inhalt behandelt Woran Sie einen GEO-Anbieter ohne Substanz erkennen. In KPI-Tabellen tauchen vor allem diese auf:

• eine „Platzierung“ in KI-Antworten: Eine Antwort ist generierter Text, keine Liste mit zehn Treffern;
• ein proprietärer Sichtbarkeitsindex, der sich aus den Antworten nicht nachrechnen lässt;
• Traffic aus Assistenten als Hauptergebnis: beobachtenswert, aber viele Antworten nennen einen Anbieter, ohne dass jemand klickt;
• eine zugesagte Verbesserung bis zu einem festen Datum: Fragen Sie, was mit dem Honorar passiert, wenn ein Assistent in der Zwischenzeit das Modell wechselt;
• Berichte nur über die Assistenten, bei denen es gut lief.

Keiner dieser Schritte entscheidet, ob Sie eine GEO-Agentur beauftragen sollten. Sie legen fest, was Sie über die Arbeit später sagen können. Diese Frage stellt meist ein Jahr danach jemand, der beim Termin nicht dabei war.