Darmowe narzędzie
Test dostępu crawlerów AI
Wiele stron przypadkiem blokuje crawlery AI — przez co ChatGPT, Claude i Perplexity nigdy się o nich nie dowiedzą. Wpisz adres strony, żeby zobaczyć, kto ma wstęp i czy masz plik llms.txt.
Po co blokować crawler AI?
Niektórzy wydawcy blokują crawlery AI celowo — żeby ich treści nie były używane do trenowania modeli. Ale wiele małych firm blokuje je przypadkiem: szablonowy robots.txt, wtyczka bezpieczeństwa albo ustawienie „blokuj boty” potrafią po cichu odciąć GPTBot i Google-Extended. Jeśli chcesz, żeby narzędzia AI Cię polecały, to dokładnie odwrotny efekt.
Aby je dopuścić, dodaj do robots.txt jawne reguły User-agent / Allow i opublikuj plik llms.txt, żeby narzędzia AI miały przejrzyste podsumowanie. To podstawowa część widoczności w AI (AEO/GEO).
Ciekawi Cię, jak często to się zdarza? Sprawdziliśmy robots.txt na 1000 prawdziwych stron — zobacz pełne badanie (po angielsku).