Generator robots.txt: boty AI, presety i tryb AEO
Masz w robots.txt blokadę „wszystkich botów AI” i spokój? To zależy, co dokładnie zablokowałeś. W 2026 roku „bot AI” to trzy różne rodzaje crawlerów, a każdy odpowiada za coś innego: trening modeli, cytowania w wyszukiwarkach AI albo czytanie strony na prośbę użytkownika czatu. Jedna blokada „na wszystko” zwykle odcina Cię od ruchu, na którym Ci zależy, zamiast od tego, przed czym chciałeś się bronić.
Dlatego zbudowałem darmowy generator robots.txt. Rozpisuje boty na te trzy rodzaje, ma gotowe presety i przy każdym bocie pokazuje, co zmieni jego blokada. Działa w całości w Twojej przeglądarce: niczego nie wysyłam ani nie zapisuję.
Trzy decyzje, które podejmujesz w robots.txt
| Rodzaj bota | Przykłady | Co zmienia blokada |
|---|---|---|
| treningowe | GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent, Google-Extended | Twoje teksty nie trafią do przyszłych modeli |
| wyszukiwarki AI | OAI-SearchBot, Claude-SearchBot, PerplexityBot | znikasz z cytowań i linków w odpowiedziach danego czatu |
| na prośbę użytkownika | ChatGPT-User, Claude-User, Perplexity-User | czat nie przeczyta strony, o którą pyta Twój klient |
Najczęstsza pomyłka dotyczy GPTBota. Jego blokada nie wyjmuje Cię z ChatGPT, bo za cytowania odpowiada OAI-SearchBot, a OpenAI traktuje te ustawienia jako niezależne. Druga pomyłka to Google-Extended. To token, który czyta Googlebot, a nie osobny bot: decyduje o treningu Gemini i o użyciu treści w aplikacji Gemini. Na wyniki wyszukiwania i AI Overviews nie wpływa. Do wyjęcia strony z odpowiedzi AI w Google służy od 31 sierpnia 2026 osobny przełącznik w Search Console.
Szerzej o tym podziale, z danymi z mojego laboratorium, piszę w artykule jak sprawdzić, czy blokujesz boty AI.
Co potrafi generator
Wersja 1.2.0 (październik 2026) zna 33 boty w siedmiu kategoriach: wyszukiwarki, trening AI, wyszukiwarki AI, boty na prośbę użytkownika, archiwizacja, boty komercyjne i narzędzia SEO. Przy każdym bocie jest dymek z opisem, a boty, które według dokumentacji dostawcy albo pomiarów potrafią omijać robots.txt, mają ikonę ostrzeżenia.
Plik powstaje na bieżąco, w prawym panelu. Zasada jest prosta: zaznaczony bot ma wstęp, odznaczony dostaje Disallow: /. Generator pisze tylko blokady, więc wszystko, czego nie wymienisz, zostaje otwarte. Poza tym możesz:
- zaimportować obecny robots.txt i zacząć od jego ustawień,
- dodać ścieżki zablokowane i dozwolone dla wszystkich botów (np.
/koszyk/i wyjątek/wp-admin/admin-ajax.php), - dopisać adres mapy witryny,
- ustawić crawl-delay (Google go ignoruje, Bing respektuje, Yandex od 2018 roku ignoruje),
- jednym kliknięciem wpuścić albo zablokować wszystkie boty AI.
Presety: co naprawdę blokują
| Preset | Co blokuje | Dla kogo |
|---|---|---|
| AEO: wpuść cytujące, blokuj trening | 10 botów treningowych | większość serwisów firmowych, blogów i sklepów |
| Zezwól wszystkim | nic | dokumentacja produktu, serwisy, które chcą być w AI wszędzie |
| Zezwól tylko wyszukiwarkom | 26 botów: wszystko poza Google, Bingiem, DuckDuckGo, Apple, Baidu i Yandexem (podglądy linków na Facebooku zostają) | serwisy, które świadomie rezygnują z cytowań w czatach |
| Tylko SEO | jak wyżej, ale wpuszcza też Ahrefs, Semrush i Majestic (23 blokady) | jak wyżej, gdy korzystasz z tych narzędzi |
| Privacy-first | wszystko poza Googlebotem i Bingbotem (31 blokad) | serwisy, które chcą być tylko w dwóch głównych wyszukiwarkach |
| Blokuj wszystkim | wszystkie 33 boty | aplikacje i panele, nigdy strona publiczna |
Który preset wybrać
Dla bloga, serwisu eksperckiego i firmy usługowej punktem wyjścia jest preset AEO. Blokada treningu to decyzja o ochronie treści, którą podejmujesz bez kosztu w ruchu. Wyszukiwarki AI i boty na prośbę użytkownika to droga, którą klient trafia do Ciebie z czatu, więc ich nie zamykasz.
Sklep internetowy też zaczyna od AEO. Do tego w ścieżkach blokujesz miejsca, w których botom nie ma czego szukać: koszyk, zamówienie, konto i parametry akcji w rodzaju /*?add-to-cart=. To ostatnie ma znaczenie dla budżetu indeksowania, o czym piszę w przewodniku po crawl budgecie.
„Zezwól tylko wyszukiwarkom” wybieraj świadomie. Wydawca, który chroni archiwum przed streszczaniem, może mieć do tego powód, ale razem z treningiem znika z cytowań w ChatGPT, Claude i Perplexity.
„Blokuj wszystkim” ma sens tylko dla aplikacji i panelu klienta. Tam robots.txt i tak nie wystarczy, bo dane chroni logowanie, a nie prośba skierowana do botów.
Czego robots.txt nie załatwi
Robots.txt to prośba. Większość dużych botów ją respektuje, ale kilku rzeczy nie załatwi żaden generator.
Boty na prośbę użytkownika mają osobne zasady. OpenAI i Perplexity piszą w dokumentacji, że skoro pobranie zlecił człowiek, reguły z robots.txt mogą ich nie obowiązywać. Anthropic deklaruje, że Claude-User się do nich stosuje.
Nazwa bota to tylko deklaracja. W moich logach z 80 dni 90% wizyt podpisanych jako PerplexityBot i 89% jako ChatGPT-User pochodziło od kogoś innego. Przebierańca robots.txt nie zatrzyma, a do tego zafałszuje Ci statystyki. Jak go odróżnić, opisuję w tekście o przebierańcach w ruchu z AI.
Z logów nie wyczytasz też, czy bot posłuchał. Na mojej stronie testowej GPTBot przez 15 dni ani razu nie pobrał robots.txt, a chodził po treści (szczegóły w przewodniku po JavaScript SEO). Możliwe, że czyta reguły centralnie, z innych adresów. Pewną odpowiedź daje dopiero eksperyment: blokujesz fragment serwisu i patrzysz, czy pobrania ustają.
Robots.txt to też nie jedyna bramka. Zaporę, hosting albo Cloudflare ktoś mógł ustawić za Ciebie, a po zmianach Cloudflare z 15 września 2026 blokada w kategorii Training zatrzymuje nawet Googlebota. Wtedy robots.txt wygląda poprawnie, a boty i tak nie wchodzą.
I wreszcie: robots.txt steruje skanowaniem, a nie indeksowaniem. Strona zablokowana w robots.txt może zostać w Google jako goły adres, a jeśli ma też tag noindex, Google go nigdy nie zobaczy. Różnicę wyjaśniam w przewodniku po pliku robots.txt.
Wdrożenie i sprawdzenie w dziesięć minut
- Zapisz kopię obecnego pliku: otwórz
twoja-domena.pl/robots.txti zapisz stronę. - Wgraj nowy plik do katalogu głównego domeny jako
robots.txt, w kodowaniu UTF-8. Każdy host ma osobny plik:sklep.domena.plnie dziedziczy reguł zwww.domena.pl. - Otwórz adres pliku w przeglądarce i sprawdź, czy widzisz nową wersję.
- W Search Console wejdź w Ustawienia i otwórz raport robots.txt. Zobaczysz, którą wersję pobrał Google i czy znalazł w niej błędy. Google zwykle odświeża plik w ciągu doby, inne boty robią to we własnym rytmie.
- Dla konkretnego adresu użyj w Search Console sprawdzania adresu URL: pokaże, czy strona jest zablokowana przez robots.txt.
Jeśli po tygodniu boty, które wpuściłeś, dalej nie wchodzą, problem leży poza robots.txt. Przejdź wtedy pozostałe bramki z artykułu o blokowaniu botów AI.
Najczęstsze pytania
Czy blokada GPTBota usunie mnie z ChatGPT? Nie. Zabierze Twoje treści z treningu przyszłych modeli. Za cytowania w wyszukiwarce ChatGPT odpowiada OAI-SearchBot.
Zablokowałem Googlebota przez pomyłkę. Co teraz? Usuń blokadę od razu i poproś w Search Console o ponowne zindeksowanie najważniejszych adresów. Powrót trwa od kilku tygodni do kilku miesięcy, zależnie od skali serwisu i tego, jak długo blokada wisiała.
Mogę zablokować AI tylko na części serwisu? Tak. Generator blokuje boty w całości, ale regułę dla fragmentu dopiszesz ręcznie:
User-agent: GPTBot
Disallow: /premium/
Code language: HTTP (http)Bota, którego chcę zablokować, nie ma na liście. Dopisz go ręcznie w tym samym formacie. Nazwę (user-agent) znajdziesz w dokumentacji dostawcy albo w logach serwera, pamiętając o przebierańcach.
Historia wersji
- v1.2.0 (październik 2026): trzy kategorie botów AI zamiast dwóch, nowe boty (Claude-SearchBot, Claude-User, Meta-ExternalFetcher, facebookexternalhit), Applebot w wyszukiwarkach, opisy zgodne z aktualną dokumentacją dostawców, razem 33 boty.
- v1.1.0: preset AEO „wpuść cytujące, blokuj trening”, 29 botów, nowy wygląd w hubie narzędzi.
- v1.0 (październik 2025): pierwsze wydanie, 27 botów, 6 presetów, import pliku.
Generator to pierwszy krok
Generator jest darmowy i nie zbiera danych, ale nie jest bezinteresowny: to moja wizytówka. Ustawi Ci robots.txt w kilka minut. Nie powie natomiast, czy boty realnie do Ciebie docierają, kto się pod nie podszywa ani czy zapora nie blokuje ich po cichu. To sprawdzam w audycie technicznym SEO, na logach serwera i konfiguracji. Znalazłeś błąd w generatorze albo brakuje Ci bota? Napisz do mnie.
