Kostenloses Tool
KI-Crawler-Zugriffscheck
Viele Websites sperren KI-Crawler aus Versehen aus — und damit können ChatGPT, Claude und Perplexity nie etwas über sie lernen. Geben Sie eine URL ein und sehen Sie, wer hineindarf und ob Sie eine llms.txt haben.
Warum sollte man einen KI-Crawler aussperren?
Manche Verlage sperren KI-Crawler bewusst aus, um ihre Inhalte vor der Nutzung fürs Training zu schützen. Viele kleine Unternehmen sperren sie aber aus Versehen aus: Eine vorgefertigte robots.txt, ein Sicherheits-Plugin oder eine Einstellung wie „Bots blockieren“ kann GPTBot und Google-Extended unbemerkt aussperren. Wenn Sie von KI-Tools empfohlen werden wollen, ist das genau das falsche Ergebnis.
Um sie zuzulassen, ergänzen Sie Ihre robots.txt um ausdrückliche Regeln mit User-agent / Allow und veröffentlichen Sie eine llms.txt, damit KI-Tools eine saubere Zusammenfassung haben. Das ist ein Kernbestandteil von Sichtbarkeit in KI-Suchen (AEO/GEO).
Wie häufig das tatsächlich vorkommt? Wir haben die robots.txt von 1.000 echten Websites geprüft — siehe die vollständige Studie (auf Englisch).