GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Google-Extended: sechs Besucher, die in keiner Statistik auftauchen. Und die viele Seiten versehentlich aussperren.
Wenn ein KI-System Ihre Website liest, schickt es keinen Menschen, sondern ein Programm. Diese Programme tauchen in keiner Besucherstatistik auf, weil sie keine Seite anzeigen. Sie lesen nur. Und ob sie überhaupt dürfen, entscheidet eine unscheinbare Textdatei auf Ihrem Server.
OpenAI schickt vier verschiedene Besucher
Das ist der Punkt, an dem die meisten Websites einen Fehler machen. OpenAI unterscheidet sauber, wofür es Ihre Seite liest. Wer alle über einen Kamm schert, sperrt sich versehentlich aus der Suche aus.
- GPTBot liest für das Training der Modelle. Hier ist eine bewusste Entscheidung angebracht.
- OAI-SearchBot liest für die Suchfunktion in ChatGPT. Wer hier sperrt, kommt in ChatGPT-Antworten nicht vor.
- ChatGPT-User holt eine einzelne Seite, wenn ein Nutzer im Gespräch auf einen Link klickt. Sperren heißt: der Klick läuft ins Leere.
- OAI-AdsBot prüft die Zielseiten von Anzeigen. Ohne Freigabe wird Ihre Anzeige abgelehnt.
Die anderen Systeme
- PerplexityBot für Perplexity.
- Google-Extended für Gemini und die KI-Übersichten in der Google-Suche. Wichtig: Das ist NICHT der normale Googlebot. Wer Google-Extended sperrt, bleibt in der klassischen Suche sichtbar und verschwindet aus den KI-Antworten.
- ClaudeBot für Claude.
- Applebot-Extended für Apple Intelligence.
Wie eine sinnvolle Freigabe aussieht
Pauschal alles sperren ist bequem und kostet Sichtbarkeit. Pauschal alles erlauben ist ebenfalls bequem und verschenkt eine Entscheidung, die Ihnen zusteht. Der Mittelweg ist, je Bot zu entscheiden und dabei Verwaltungsbereiche, Anmeldeseiten und Schnittstellen konsequent auszunehmen.
curl -s https://ihre-domain.de/robots.txtSo sehen Sie in zwei Sekunden, was heute bei Ihnen steht. Wenn dort kein einziger der oben genannten Namen auftaucht, gilt für alle die allgemeine Regel, und die ist oft strenger als gedacht.
Freigeben allein reicht nicht
Die offene Tür nützt nichts, wenn das Regal dahinter leer ist. Sehr viele Seiten geben die Crawler frei und liefern trotzdem nur eine Handvoll Wörter aus, weil der Text erst im Browser entsteht (woran das liegt). Beides gehört zusammen: Tür auf, Regal füllen.
Veröffentlicht am .
Ervin Keljic, AnimaContent, Oberhausen. Wir bauen Websites, schalten Werbung und messen, ob KI-Systeme unsere Kunden überhaupt kennen. Wenn in einem Beitrag eine Zahl steht, steht daneben, woher sie kommt.
