Zum Inhalt springen
Zurück zum Blog

Neun von zehn KI-Crawler-Sperren stehen nicht in der robots.txt

SEO27. Oktober 202620 Min. Lesezeit

Über Sichtbarkeit in KI-Systemen wird viel geschrieben und wenig gemessen. Wir haben deshalb selbst gemessen: 300 Münchner Betriebe aus fünf Branchen, gezogen über die Google Places API, davon 277 auswertbare Websites, geprüft am 29. August 2026 mit derselben Engine, die auch hinter unserem kostenlosen Check steht. Die naheliegende Schlagzeile „X Prozent der Betriebe sperren ChatGPT aus“ geben die Daten nicht her. Sperren sind in dieser Stichprobe die Ausnahme. Interessant ist etwas anderes: wo die wenigen Sperren tatsächlich sitzen, und wie groß die Lücke bei der Maschinenlesbarkeit ausfällt.

Der Kernbefund

Von 277 geprüften Websites wiesen 27 den OpenAI-Crawler GPTBot ab, 9,7 Prozent. Drei davon per robots.txt, also durch eine ausdrücklich hinterlegte Regel. Die anderen 24 durch die Serverantwort selbst: Beim Testabruf mit GPTBot-Kennung kam ein HTTP 403 zurück, eine eindeutige Verweigerung. Überschneidungen gab es keine. Keine einzige der drei robots.txt-Sperren stand auf einer Website, die zusätzlich serverseitig abwies. 24 von 27: In dieser Stichprobe stehen damit rund neun von zehn Sperren nicht in der robots.txt. Das Verhältnis ist deutlich, die Grundlage dafür sind allerdings nur 27 Einzelfälle. Es beschreibt diese Erhebung und ist keine Quote, die sich auf andere Websites übertragen ließe.

Sieben weitere Websites beantworteten den Testabruf mit HTTP 429, also „zu viele Anfragen“. Diese sieben sind in den 27 bewusst nicht enthalten. Ein 429 kann eine Sperre sein, es kann aber ebenso eine Reaktion auf unseren eigenen Abruf sein. Die Startseite jedes Hosts wurde im Scan zweimal abgerufen, einmal regulär und einmal mit Crawler-Kennung. Rechnet man die 429er mit, kommt man auf 34 Sperren, von denen 31 nicht in der robots.txt stehen. Am Verhältnis von rund neun zu zehn ändert das nichts, an der Gesamtquote schon. Wir veröffentlichen deshalb die konservative Zahl.

Warum die naheliegende Schlagzeile falsch wäre

Der Prüfbereich „Crawler-Zugang“ ist in dieser Stichprobe der beste von vieren: Median 100, Mittelwert 94 von 100 möglichen Punkten. Die große Mehrheit der geprüften Websites lässt KI-Crawler ohne Einschränkung zu. In den meisten Fällen ist das vermutlich keine bewusste Entscheidung, sondern die Folge davon, dass nichts dagegen unternommen wurde: Der Auslieferungszustand einer Website ist offen. Eine Überschrift wie „Jede zehnte Münchner Website blockiert ChatGPT“ wäre also mehr als zugespitzt, sie würde den Befund auf den Kopf stellen.

Der Wert dieser Zahl liegt in ihrer Struktur, nicht in ihrer Höhe. Die meisten Anleitungen zum Thema und viele kostenlose Prüfwerkzeuge beginnen und enden bei der robots.txt: Datei aufrufen, nach User-agent: GPTBot suchen, kein Eintrag, alles in Ordnung. In unserer Stichprobe wären bei diesem Vorgehen 24 der 27 tatsächlichen Sperren unentdeckt geblieben. Wer prüft, ob seine Inhalte für KI-Systeme erreichbar sind, prüft also mehrheitlich an der falschen Stelle.

Wie eine Sperre entsteht, die niemand beschlossen hat

Eine robots.txt-Sperre ist eine Entscheidung. Jemand hat eine Zeile geschrieben, meist bewusst, oft nach einer Diskussion über Trainingsdaten und Urheberrecht, eine legitime Position. Eine serverseitige Abweisung ist in aller Regel keine Entscheidung. Sie entsteht eine Ebene tiefer: in einer Web Application Firewall, im Bot-Schutz eines CDN, in der Sicherheits-Voreinstellung eines Hosting-Pakets oder in einem Security-Plugin, das jemand vor drei Jahren aktiviert hat. Solche Systeme arbeiten mit Positivlisten: Was sich nicht als gängiger Browser oder als bekannter Suchmaschinen-Crawler ausweist, wird pauschal abgewiesen. Anfragen aus Rechenzentrums-IP-Bereichen, und aus solchen kommen KI-Crawler in aller Regel, sind dabei besonders anfällig.

Davon bekommt allerdings niemand etwas mit. Abgewiesene Crawler tauchen in den üblichen Analytics-Berichten schlicht nicht auf: Diese Werkzeuge zählen Besuche über ein JavaScript-Snippet, und ein Zugriff, der schon mit 403 abgefangen wurde, führt kein JavaScript aus. Sichtbar wäre der Vorgang nur im Server-Logfile oder im Dashboard des Bot-Schutzes, und beides sieht sich in kleinen Betrieben niemand regelmäßig an. Eine Website kann dadurch über Jahre für KI-Crawler geschlossen sein, während im Analytics-Konto alles unauffällig aussieht.

Eine Einschränkung gehört dazu: Solche Regeln reagieren auf die Kennung und zusätzlich auf die anfragende IP-Adresse. Unser Testabruf kam aus einem Rechenzentrum und trug die GPTBot-Kennung, war aber nicht der echte GPTBot. Es ist möglich, dass einzelne der 24 Systeme den echten Crawler durchlassen und nur unseren Abruf abgewiesen haben. Für den betroffenen Betrieb bleibt der Befund trotzdem ein Warnsignal, das eine Prüfung im eigenen Logfile rechtfertigt.

Die größere Lücke liegt woanders: Maschinenlesbarkeit

Der Zugang ist also weitgehend offen. Was fehlt, ist die Aufbereitung. Von den vier Prüfbereichen schneidet „Strukturierte Daten“ mit Abstand am schlechtesten ab: Median 35, Mittelwert 34. Konkret: 167 der 277 Websites (60 Prozent) liefern kein Organization-Schema aus, also keine maschinenlesbare Auskunft darüber, wer das Unternehmen ist, wo es sitzt und wie es erreichbar ist. Und 110 Websites (40 Prozent) haben entweder gar kein JSON-LD oder mindestens einen fehlerhaften Block. Fehlerhaft heißt hier: technisch nicht auswertbar, also für jede Maschine gleichbedeutend mit „nicht vorhanden“.

Das ist keine reine KI-Frage. Strukturierte Daten sind seit Jahren die Grundlage für Rich Results in der klassischen Google-Suche, für Knowledge-Panel-Einträge und für die Verknüpfung einer Website mit dem Google-Unternehmensprofil. Wer sie nicht ausliefert, verzichtet zuerst in der normalen Suche auf Sichtbarkeit und erst danach in KI-Antworten. Das macht diesen Befund praktisch wertvoller als die Sperrquote: Der Aufwand ist überschaubar, und der Nutzen ist unabhängig davon belegbar, wie sich generative Systeme weiterentwickeln. Welche redaktionellen und technischen Stellschrauben darüber hinaus wirken, haben wir im Beitrag In ChatGPT gefunden werden ausführlicher behandelt.

Der Bereich „Inhalt und Meta“ liegt dagegen bei Median 93 und Mittelwert 86. Er prüft Titel, Beschreibung, Überschriftenstruktur, Textmenge und ein versehentliches noindex. Die Grundlagen sitzen also. Es hakt genau an der Übersetzung vom lesbaren Text zur auswertbaren Angabe.

llms.txt: kaum verbreitet, geringer Aufwand, unbewiesener Nutzen

233 der 277 Websites (84 Prozent) haben keine llms.txt, 44 haben eine. Diese Zahl lässt sich leicht dramatisieren, und das wäre falsch. Die llms.txt ist ein 2024 vorgeschlagenes Format: eine Markdown-Datei im Wurzelverzeichnis, die einer Maschine in Kurzform sagt, worum es auf der Website geht und welche Seiten wichtig sind. Kein Anbieter eines großen KI-Systems hat bislang zugesagt, sie zu lesen oder auszuwerten. Sie als fehlend zu bezeichnen, würde einen Standard unterstellen, den es nicht gibt.

Ehrlicher ist die Beschreibung als das, was sie ist: eine Datei, die kaum jemand hat, die in einer Stunde geschrieben ist und deren Nutzen offen ist. Wer eine Website ohnehin überarbeitet, kann sie mitnehmen. Wer ein Budget verplant, sollte es woanders einsetzen. Deutlich handfester sind die beiden anderen Dateien aus demselben Prüfbereich: 69 Websites (25 Prozent) haben keine Sitemap, und 39 Websites (14 Prozent) liefern überhaupt keine robots.txt aus. Beides sind seit Jahrzehnten etablierte Bausteine, beides ist in Minuten behoben, und beides wirkt auf klassische Suchmaschinen genauso wie auf KI-Crawler. Der Prüfbereich „KI-Ressourcen“ kommt in Summe auf Median 45 und Mittelwert 42.

Das Gesamtbild: kein Ausreißerproblem

Über alle vier Bereiche gerechnet liegt der Gesamtwert bei Median 72 und Mittelwert 72, die Spanne reicht von 28 bis 95. Bemerkenswert ist die Verteilung: Nur 14 Websites (5 Prozent) liegen unter 50 Punkten, 102 (37 Prozent) zwischen 50 und 69, 101 (36 Prozent) zwischen 70 und 84 und 60 (22 Prozent) bei 85 oder darüber. Es gibt also kaum echte Totalausfälle. Das typische Bild ist die solide gebaute Website mit ordentlichen Texten, sauberen Metaangaben und offener robots.txt, der ausschließlich die maschinenlesbare Ebene fehlt.

Das ist eine gute Nachricht, weil es den Aufwand begrenzt. Was zwischen dem typischen Wert und einem guten Ergebnis steht, ist meist kein Relaunch, sondern eine überschaubare Liste von Ergänzungen: ein korrektes Organization-Schema, eine funktionierende Sitemap, eine robots.txt, ein Blick ins Server-Logfile.

Die fünf Branchen im Vergleich

Je Branche wurden 60 Betriebe gezogen; nach Abzug der nicht erreichbaren und der wegen robots.txt übersprungenen Seiten blieben 51 bis 58 auswertbare Websites. Die Unterschiede zwischen den Branchen sind klein und beruhen auf entsprechend kleinen Teilstichproben. Sie taugen als Beschreibung dieser Erhebung, nicht als Branchenurteil.

Branche gescannt Median-Score 403-Sperren robots.txt-Sperren ohne Organization ohne Sitemap
Handwerk 55 70 6 2 35 18
Arzt / Zahnarzt 56 70 3 0 37 19
Restaurant 57 71 2 0 41 12
Anwalt / Steuerberater 58 74,5 10 1 31 13
Immobilienmakler 51 78 3 0 23 7

Zwei Beobachtungen, ausdrücklich als Beobachtungen und nicht als Erklärung: Die Kanzleien und Steuerbüros stellen mit 10 von 58 die meisten serverseitigen Sperren, plausibel bei einer Berufsgruppe, die bei Vertraulichkeit vorsichtig ist und häufiger auf betreutes Hosting mit strengem Bot-Schutz setzt. Und die Maklerbüros liegen beim Median vorn und haben mit 7 von 51 die wenigsten fehlenden Sitemaps, was zu einer Branche passt, deren Websites regelmäßig um Objekteinträge erweitert werden. Belegen lässt sich beides aus diesen Daten nicht. Ohne llms.txt sind es je Branche zwischen 42 und 50 Seiten, hier gibt es praktisch keine Unterschiede. Ohne eigene robots.txt sind es 3 Seiten bei den Kanzleien und 14 bei den Praxen.

Wie die Stichprobe entstanden ist

Gezogen wurde am 29. August 2026 über die Text-Suche der Google Places API (New). Zielgröße waren 60 Betriebe je Branche in fünf Branchen, also 300 Einträge. Je Branche war ein Leitbegriff hinterlegt und mit Münchner Lagen kombiniert: Elektriker, Zahnarztpraxis, Restaurant, Rechtsanwaltskanzlei, Immobilienmakler. Die Zielgröße war in diesem Lauf bereits nach den Abfragen zu „München“ und „München Schwabing“ erreicht, weitere Begriffe und Stadtteile kamen deshalb nicht mehr zum Einsatz. Damit bildet die Stichprobe vor allem ab, was die Places-Text-Suche zu diesen zehn Abfragen vorne ausgibt. Einträge ohne eigene Website fielen heraus, ebenso Plattform- und Verzeichnisprofile wie Facebook, Jameda oder Lieferando: Ein Scan davon würde die Plattform messen und nicht den Betrieb. Anschließend wurde nach Host dedupliziert. Geprüft wurde immer die Startseite.

Von den 300 Einträgen waren 277 auswertbar. Vier Websites wurden übersprungen, weil ihre robots.txt generischen Crawlern den Zugriff untersagt. Das gilt auch für unseren Scanner, und wir halten uns daran. 19 waren nicht erreichbar: fünfmal keine Verbindung, neunmal HTTP 403, zweimal 404, zweimal Zeitüberschreitung, einmal 429. Jede Website wurde in einem einzigen Prüflauf erfasst, mit höchstens drei parallelen Scans und mindestens 1,5 Sekunden Abstand zwischen zwei Scan-Starts. Pro Website sind das eine Handvoll Anfragen: Startseite, robots.txt, llms.txt, Sitemap, ein Testabruf mit GPTBot-Kennung, ein TLS-Handshake.

Was diese Zahlen nicht sagen

Diese Erhebung misst technische Voraussetzungen, sonst nichts. Der Vollständigkeit halber, weil solche Zahlen erfahrungsgemäß schnell zu weit getragen werden:

  • Es wurde kein KI-System befragt. Ob ChatGPT, Claude oder Perplexity eines dieser Unternehmen nennt, sagen diese Daten nicht. Dafür hätte man die Systeme selbst abfragen müssen, und das ist nicht geschehen.
  • „Crawler erlaubt“ heißt nicht „wird zitiert“. Offener Zugang bedeutet, dass ein Abruf technisch möglich wäre. Dass er stattfindet und dass die Inhalte in einer Antwort landen, folgt daraus nicht. Diese Kausalkette ist nicht belegt.
  • Der Score ist unsere eigene Gewichtung aus vier Prüfbereichen, kein Branchenstandard. Er ist innerhalb dieser Erhebung vergleichbar und sonst nirgends, insbesondere nicht mit fremden „KI-Sichtbarkeits-Scores“.
  • Die Stichprobe ist nicht repräsentativ. Sie ist eine Bequemlichkeitsstichprobe aus dem Places-Ranking zu festen Suchbegriffen, keine Zufallsauswahl aus einem Register. Betriebe ohne Google-Eintrag, ohne hinterlegte Website oder mit schlechter Platzierung fehlen systematisch. Die Branchenwerte beruhen auf 51 bis 58 Seiten; kleine Unterschiede sollten nicht überinterpretiert werden.
  • Es ist eine Momentaufnahme vom 29. August 2026, jeweils nur die Startseite. Relaunches, Unterseiten und geänderte Server-Konfigurationen bleiben außen vor.

Was Sie an Ihrer eigenen Website prüfen können

Der erste Schritt ist der, den die Erhebung als blinden Fleck ausweist: Prüfen Sie, wie Ihr Server auf KI-Kennungen antwortet, nicht nur, was in Ihrer robots.txt steht. Mit einem Kommandozeilen-Werkzeug geht das über einen Abruf mit gesetztem User-Agent, mit derselben vollständigen Kennung, die auch im Scan verwendet wurde, weil Bot-Schutzsysteme auf die genaue Zeichenkette reagieren: curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot" https://ihre-domain.de/. Ein 200 ist in Ordnung, ein 403 ist der Befund, um den es hier geht. Bequemer geht es über unseren kostenlosen KI-Sichtbarkeits-Check, der genau diesen serverseitigen Fall abdeckt und robots.txt, Sitemap, llms.txt und strukturierte Daten gleich mitprüft.

Fällt der Test negativ aus, liegt die Lösung fast nie in der Website, sondern in der Ebene davor: im Bot-Schutz Ihres CDN, in den Firewall-Regeln des Hosters oder in einem Security-Plugin. Die Anfrage an den Dienstleister lautet dann nicht „bitte KI zulassen“, sondern konkret: Welche Regel weist Anfragen mit der Kennung GPTBot ab, und lässt sie sich um eine Ausnahme für die dokumentierten KI-Crawler ergänzen? Die Anbieter veröffentlichen dafür IP-Bereiche, anhand derer sich echte Crawler von Nachahmern unterscheiden lassen.

Der zweite Schritt betrifft die Maschinenlesbarkeit und lohnt sich für 60 Prozent der geprüften Websites: ein Organization-Schema im JSON-LD-Format auf jeder Seite, mit Firmenname, Adresse, Telefonnummer, Website und den Profilen, unter denen das Unternehmen sonst noch auftritt. Danach die Sitemap, die vorhanden, aktuell und in der robots.txt verlinkt sein sollte, und eine robots.txt überhaupt. Wichtig ist dabei die Konsistenz: Firmierung, Adresse und Telefonnummer müssen im Schema, im Impressum und im Google-Unternehmensprofil identisch sein, sonst entsteht genau die Unsicherheit, die eine Maschine zur Vorsicht zwingt.

Der dritte Schritt ist der unbequemste: Das Ergebnis hält nicht von allein. Ein Hoster ändert Sicherheits-Voreinstellungen, ein CDN verschärft den Bot-Schutz, ein Plugin-Update setzt Regeln zurück, alles ohne Ankündigung und ohne Spur in den üblichen Berichten. Ein Kontrollpunkt im Quartal genügt; sinnvoll aufgehoben ist er in der laufenden Wartung, weil dort ohnehin jemand ins Logfile schaut.

Fazit

In einer Stichprobe von 277 Münchner Betriebswebsites, geprüft am 29. August 2026, wiesen 27 Websites den KI-Crawler GPTBot ab, 9,7 Prozent. Sperren sind damit die Ausnahme, aber 24 der 27 standen nicht in der robots.txt, sondern entstanden auf Server-, Firewall- oder CDN-Ebene und bleiben für den Betreiber unsichtbar, weil abgewiesene Crawler in Analytics-Berichten nicht auftauchen. Die größere Lücke ist die Maschinenlesbarkeit: 60 Prozent der Websites liefern kein Organization-Schema aus, 40 Prozent gar kein oder fehlerhaftes JSON-LD, 25 Prozent keine Sitemap. Beides ist mit überschaubarem Aufwand behebbar und wirkt in der klassischen Suche genauso wie in KI-Antworten.