Jak używać
- Przed wdrożeniem zarchiwizuj obecny robots.txt.
- Masz już plik? Zaimportuj go i sprawdź, czy ustawienia (sitemapa, ścieżki) wczytały się poprawnie.
- Wybierz preset zgodny z Twoją polityką albo dostosuj ręcznie.
- Skopiuj kod lub pobierz gotowy plik. Nie usuwaj komentarzy ani pustych linii.
- Wgraj jako
robots.txtw głównym katalogu (np.https://www.twoja-strona.pl/robots.txt).
Ważne
- robots.txt to prośba, nie twarde zabezpieczenie — część botów ją ignoruje.
- Internet Archive częściowo ignoruje robots.txt od 2017.
- Realna ochrona to uwierzytelnianie, firewall lub WAF.
- Zablokowanie Googlebota = brak indeksowania w Google. Rób to świadomie.
Konfiguracja
Import istniejącego robots.txt (opcjonalnie)
Opóźnienie między żądaniami bota. 0 = wyłączone. Google IGNORUJE — działa dla Bing i Yandex.
Plik robots.txt
Wygenerowane są tylko dyrektywy dla botów zablokowanych (odznaczonych). Boty zaznaczone mają domyślny pełny dostęp.
Warunki użytkowania
Odpowiedzialność za użycie
- Generator jest dostarczony „AS IS” (jak jest), bez jakichkolwiek gwarancji.
- Używasz generatora na własną odpowiedzialność.
- Autor nie ponosi odpowiedzialności za konsekwencje użycia wygenerowanego pliku robots.txt.
- Autor nie odpowiada za utratę danych, problemy z dostępnością serwisu ani żadne straty biznesowe, finansowe lub prawne.
Używając tego generatora, zgadzasz się z powyższymi warunkami.
robots.txt to jedna decyzja. Widoczność w AI to ich setki.
Kogo wpuścić, a kogo nie, to fragment strategii AEO: które silniki mają Cię cytować, czego nie oddawać do treningu, jak nie odciąć się od ruchu. Jeśli nie masz pewności, jak ustawić to pod swój model biznesowy — przejdźmy to razem w audycie.