Robots.txt

Robots.txt (Robots Exclusion Protocol) to prosty plik tekstowy, który umieszcza się w katalogu głównym domeny. Jego zadanie: przekazać robotom indeksującym jasne instrukcje, które zasoby serwisu mogą odwiedzać, a które mają omijać. Każdy ma do niego dostęp pod adresem twojadomena.pl/robots.txt – to podstawowe narzędzie do zarządzania ruchem crawlerów na stronie.

Czym jest robots.txt

Robots.txt nie zawiera żadnych znaczników HTML. Działa w oparciu o Robots Exclusion Protocol, który – od września 2022 roku, gdy opublikowano RFC 9309 – zyskał oficjalny status standardu internetowego.

Martijn Koster stworzył ten plik w 1994 roku. Przez prawie trzydzieści lat robots.txt funkcjonował jako nieformalna umowa między administratorami stron a twórcami botów. Dopiero później doczekał się formalnej standaryzacji – długo wyczekiwanej przez branżę SEO.

Jak działa plik robots.txt

Każdy crawler, zanim rozpocznie skanowanie witryny, sprawdza zawartość robots.txt i interpretuje zapisane tam dyrektywy. Przestrzeganie tych zasad to kwestia dobrej woli – legalne boty typu Googlebot czy Bingbot stosują się do reguł, ale złośliwe roboty często je ignorują.

Robots.txt działa wyłącznie w obrębie jednego originu – subdomeny, inne porty czy protokoły wymagają osobnych plików. To ważny detal, który często umyka początkującym specjalistom.

Kluczowe dyrektywy

Dyrektywa User-agent określa, do którego bota odnoszą się kolejne reguły (np. Googlebot lub symbol * dla wszystkich). Disallow i Allow wskazują odpowiednio, które ścieżki crawler ma omijać, a które są dla niego dostępne.

Możesz też użyć Crawl-delay, by narzucić minimalny odstęp między żądaniami bota – to chroni serwer przed przeciążeniem. Dyrektywa Sitemap informuje roboty o lokalizacji mapy strony, co przyspiesza indeksację.

Zastosowania robots.txt w SEO

Najważniejsze zastosowanie w SEO? Zarządzanie crawl budget – limitem zasobów, które Googlebot poświęca na skanowanie witryny. Blokując nieistotne strony (np. panele administracyjne, duplikaty, raporty wewnętrzne czy pliki techniczne), możesz przekierować crawlery na wartościowe podstrony.

Ostatnio coraz częściej robots.txt blokuje boty zbierające dane do trenowania modeli AI. Reguły dla agentów takich jak GPTBot czy Google-Extended – wpisane w pliku – ograniczają scraping treści na potrzeby sztucznej inteligencji. Czy to wystarcza, by chronić zawartość? To pytanie, na które branża wciąż szuka odpowiedzi.

Ograniczenia i błędne przekonania

Blokowanie crawlowania przez robots.txt nie oznacza automatycznego wykluczenia adresu z indeksu wyszukiwarki. Jeśli zablokowany URL pojawi się w linkach zewnętrznych, nadal może trafić do wyników wyszukiwania.

Plik robots.txt jest zawsze publiczny – każdy może go zobaczyć. Nie chroni poufnych danych. Jeśli chcesz ukryć wrażliwe treści przed indeksacją, sięgnij po meta tag noindex, nagłówek HTTP X-Robots-Tag lub zabezpiecz stronę hasłem. Warto o tym pamiętać – wielu właścicieli stron błędnie traktuje robots.txt jako barierę dla niepowołanych oczu.

Reguły robots.txt dla botów AI (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot) i to, czego ten plik nie zablokuje, opisujemy w rozdziale robots.txt dla botów AI Akademii AI SEO.