KI-Crawler und JavaScript: Konfiguratoren richtig prüfen

Ausgerechnet der Produktkonfigurator, die aufwendigste Seite vieler Industrie-Websites, ist für KI-Crawler oft die leerste. Konfiguratoren für Linearführungen, Teilefinder für Hydraulikkomponenten, Online-Preislisten für Normteile enthalten genau das, wonach ein Einkäufer fragt: Abmessungen, Nenndrücke, Bestellnummern, Lieferzeiten. Auf vielen Websites stehen diese Werte aber gar nicht im HTML, sondern erst dann auf dem Bildschirm, wenn ein Browser das JavaScript ausgeführt hat, das sie nachlädt. Das folgende Protokoll prüft Seite für Seite, wie KI-Crawler mit JavaScript auf Ihrer Website zurechtkommen.

Was die Betreiber der KI-Crawler zu JavaScript dokumentieren

Erstaunlich wenig. Die Seite von OpenAI zu seinen Bots beschreibt OAI-SearchBot, GPTBot und ChatGPT-User. Der Hilfeartikel von Anthropic beschreibt ClaudeBot, Claude-User und Claude-SearchBot. Die Dokumentation von Perplexity beschreibt PerplexityBot und Perplexity-User. Wir haben alle drei am 20. Oktober 2026 gelesen: Keine sagt, ob diese Agenten JavaScript ausführen.

Google ist die Ausnahme. Der Leitfaden der Google Search Central zu JavaScript, zuletzt aktualisiert am 4. März 2026, beschreibt, dass ein Headless Chromium die Seite rendert und das JavaScript ausführt und dass Google das gerenderte HTML indexiert. Das gilt für die Google Suche. Auf welche Fassung einer Seite Gemini oder der KI-Modus zugreifen, steht dort nicht.

Daraus folgt eine vorsichtige Arbeitshypothese: Für jeden Assistenten außerhalb von Google ist die Seite das HTML, das Ihr Server ausliefert. Alles, was erst nach dem Ausführen von Skripten erscheint, muss als lesbar nachgewiesen werden.

Schritt 1: Seiten auswählen und einen Prüfwert festlegen

Legen Sie eine kurze Liste an, höchstens zehn URLs: der Produktkonfigurator, die Ersatzteilsuche, die Preisliste oder das Angebotstool, eine Produktfamilienseite, deren Tabelle aus einer Datenbank geladen wird, und gegebenenfalls die Seite mit Verfügbarkeit und Lieferzeiten.

Notieren Sie zu jeder URL einen Wert, der auf dem Bildschirm steht und nach dem ein Kunde einen Assistenten fragen könnte: eine Bestellnummer, einen maximalen Betriebsdruck, eine Gewindegröße, einen Preis. Das ist Ihr Prüfwert.

Schritt 2: Das HTML lesen, das der Server ausliefert

Das rohe HTML ist das Dokument, das der Server zurückgibt, bevor irgendein Skript läuft. Für einen Crawler, der kein JavaScript ausführt, ist das die gesamte Seite.

Im Browser öffnen Sie dafür die Quelltextansicht (Strg+U, auf dem Mac Cmd+Option+U), nicht den Inspektor der Entwicklertools, denn der zeigt die Seite, nachdem Skripte sie verändert haben. Suchen Sie dort nach Ihrem Prüfwert. In den Chrome-Entwicklertools können Sie außerdem JavaScript deaktivieren und neu laden: Was dann noch zu sehen ist, entspricht ungefähr dem, was ein nicht rendernder Crawler bekommt. Im Terminal:

curl -s -A "GPTBot" https://www.example.de/konfigurator/ | grep -c "PN16"

Eine Null bedeutet, dass der Wert nicht im Dokument steht. Der geänderte User Agent macht aus curl keinen GPTBot. Er zeigt nur, ob Ihr Server oder Ihr CDN Bots etwas anderes ausliefert als Browsern.

Schritt 3: Herausfinden, woher die Werte kommen

Fehlt der Prüfwert, öffnen Sie in den Entwicklertools den Bereich Netzwerk, filtern nach Fetch/XHR und bedienen den Konfigurator wie ein Kunde. Meist sehen Sie Anfragen an einen Endpunkt, der JSON zurückgibt, etwa /api/produkte/, oder an einen Konfigurator, der beim Softwareanbieter gehostet wird. Dort liegen Ihre Daten.

Prüfen Sie für jeden Endpunkt drei Dinge. Sperrt Ihre robots.txt ihn? Eine Zeile Disallow: /api/, verbreitet und oft sinnvoll, bedeutet, dass ein Crawler, der die Datei respektiert, die Daten nicht abruft, selbst wenn er rendert. Liegt er auf einer fremden Domain, deren robots.txt Sie nicht steuern? Braucht er eine Sitzung, ein Cookie oder einen Login? Trifft eines davon zu, sind die Werte außer Reichweite, ganz gleich, was ein Crawler mit JavaScript anfängt.

Der Konfigurator hinter dem Consent-Banner

Auf deutschen Websites kommt oft ein weiteres Hindernis hinzu. Viele Konfiguratoren, gerade solche mit CAD-Download oder eingebetteten 3D-Modellen, stammen von externen Anbietern und setzen Cookies oder lesen Daten auf dem Endgerät. Damit fallen sie unter die Einwilligungspflicht nach § 25 TDDDG, und das Consent-Management-Tool lädt das Skript erst, wenn der Besucher zugestimmt hat.

Ein Crawler stimmt nie zu. Selbst einer, der JavaScript ausführt, sieht dann an der Stelle des Konfigurators einen Platzhalter mit dem Hinweis, man möge externe Inhalte zulassen. Prüfen Sie deshalb in einem privaten Fenster, ohne den Banner anzuklicken, was auf der Seite steht. Ist es nur der Platzhalter, gehören die technischen Daten zusätzlich in einen statischen Teil der Seite, der ohne Einwilligung geladen wird, weil er keine Cookies braucht.

Schritt 4: In den Logs nachsehen, was tatsächlich abgerufen wurde

Die Zugriffsprotokolle kommen einem Beweis am nächsten. Filtern Sie den letzten Monat nach den User Agents der KI-Crawler und sehen Sie nach, welche URLs sie angefragt haben. Ein Crawler, der Ihre Skripte ausführt, ruft normalerweise auch die Daten ab, die diese Skripte laden. Hat GPTBot oder ClaudeBot /konfigurator/ besucht, den JSON-Endpunkt dahinter aber nie, ist das für diesen Agenten und diese Seite ein deutliches Indiz. Wie man diese Zeilen liest und einen deklarierten Crawler von einem Nachahmer unterscheidet, steht in Wie ein KI-Crawler in Ihrem Server-Logfile aussieht. Auf einer kleinen Website beweist ein Monat ohne Besuch allerdings wenig: Die Logs bestätigen Schritt 2, sie ersetzen ihn nicht.

Schritt 5: Eine Frage stellen, die nur der Konfigurator beantwortet

Jetzt der direkte Test. Formulieren Sie eine Frage, deren richtige Antwort auf Ihrer Website nur im JavaScript steht: „Welchen maximalen Betriebsdruck hat das Kugelhahnmodell [Modell] von [Marke]?“ oder „Welche Ersatzdichtung passt zur Pumpe [Modell]?“. Stellen Sie die Frage in ChatGPT, Claude, Gemini und Perplexity mit aktivierter Websuche, und zwar in der Sprache des Zielmarkts. Halten Sie zu jeder Antwort fest, ob sie Ihren Wert nennt, ob sie eine URL zitiert und wem diese URL gehört.

Antworten schwanken von Durchlauf zu Durchlauf und von Assistent zu Assistent. Eine einzelne Antwort ist eine Beobachtung, kein Urteil. Suchen Sie ein Muster: Assistenten, die die statische Seite eines Händlers oder eines Marktplatzes zitieren statt Ihrer, oder die eine plausible Zahl ohne Quelle nennen. Kommt Ihr Wert korrekt und mit Ihrer URL zurück, ist die Seite für diesen Assistenten lesbar.

Schritt 6: Die Fakten ins HTML, der Konfigurator bleibt

Den Konfigurator zu entfernen, löst nichts. Jede Angabe, nach der ein Kunde fragen könnte, sollte zusätzlich als Text auf einer Seite stehen, die der Server vollständig ausliefert:

• Eine statische Seite pro Baureihe oder Modell mit den technischen Daten in einer HTML-Tabelle: Maße, Werkstoffe, Nenndrücke, Normen, Bestellnummern. Konfigurator und Seite verlinken sich gegenseitig.
• Serverseitiges Rendering oder Prerendering für den Konfigurator selbst, sofern Ihre Plattform das unterstützt, damit schon die erste Antwort die Standardkonfiguration enthält.
• Derselbe Inhalt für alle. Bots eine andere Seite auszuliefern als Menschen ist das alte Cloaking und erzeugt zwei Fassungen Ihrer Daten, die auseinanderlaufen.

Das PDF-Datenblatt ist ein verwandtes Problem mit anderer Ursache, nachzulesen in Warum Ihr PDF-Datenblatt für KI unsichtbar ist.

Wiederholen Sie danach Schritt 2 und Schritt 5 mit denselben URLs und denselben Fragen. Schritt 2 liefert sofort ein Ergebnis. Schritt 5 nicht: Assistenten übernehmen Änderungen in ihrem eigenen Takt, das kann Wochen dauern, und nichts in diesem Protokoll garantiert, dass es überhaupt geschieht. Genau diesen Teil lohnt es sich zu automatisieren. PSentry stellt dieselben Fragen zweimal im Monat an ChatGPT, Claude, Gemini und Perplexity, in jeder Sprache, in der Sie verkaufen, und hält fest, ob Ihre Marke genannt wird und welche Quellen die Antworten zitieren. Das Werkzeug misst, es verändert nicht, was die Assistenten sagen. So haben Sie eine datierte Aufzeichnung darüber, ob sich die Antworten auf Ihre Prüffragen bewegt haben, nachdem sich das HTML bewegt hat.