Crawl budget (budżet crawlowania)
Crawl budget, czyli budżet crawlowania, to pula zasobów, jaką wyszukiwarka przeznacza na odwiedzanie adresów konkretnego serwisu w danym czasie. Składa się z dwóch elementów: limitu wydolności, czyli ile żądań serwer wytrzyma bez spowolnienia, oraz zapotrzebowania, czyli jak bardzo wyszukiwarce zależy na odświeżeniu treści z tej domeny.
Kiedy budżet crawlowania ma znaczenie
Dla większości serwisów nie ma. Google sam wskazuje, że problem dotyczy przede wszystkim dużych witryn — liczonych w dziesiątkach i setkach tysięcy adresów — oraz serwisów o bardzo częstej rotacji treści, jak portale ogłoszeniowe czy duże sklepy.
Strona wizytówkowa albo blog z kilkuset wpisami praktycznie nie napotka tego ograniczenia. Jeśli takie strony nie są indeksowane, przyczyną jest zwykle jakość treści albo blokada techniczna, a nie wyczerpany budżet.
Co zużywa budżet niepotrzebnie
Największym marnotrawstwem są adresy generowane automatycznie, które nie wnoszą nowej treści. Robot odwiedza je, pobiera zawartość i porzuca, a pula na wartościowe strony maleje.
- parametry filtrowania i sortowania tworzące tysiące wariantów tej samej listy
- wewnętrzne wyniki wyszukiwania dostępne dla robota
- łańcuchy przekierowań — każdy skok to osobne żądanie
- strony błędów zwracające kod 200 zamiast 404
- duplikaty dostępne pod wieloma adresami bez wskazania wersji kanonicznej
Jak sprawdzić stan crawlowania
Raport „Statystyki indeksowania” w Google Search Console pokazuje liczbę żądań dziennie, średni czas odpowiedzi i podział na typy plików oraz kody odpowiedzi. Wzrost udziału kodów 3xx i 4xx przy stałej liczbie żądań oznacza, że budżet idzie na adresy bez wartości.
Drugim źródłem są logi serwera. Pokazują dokładnie, które adresy robot odwiedza najczęściej — bywa, że lista rozmija się z tym, co uznajemy za najważniejsze strony serwisu.
Jak nie marnować budżetu
Blokada w robots.txt oszczędza żądania na adresach, które i tak nie powinny trafić do indeksu. Uwaga: zablokowany adres nie zniknie z indeksu, jeśli prowadzą do niego linki — do usunięcia służy noindex, który wymaga dostępu robota.
Skrócenie łańcuchów przekierowań do jednego skoku, konsekwentne wskazanie adresów kanonicznych i aktualna mapa witryny to działania o największym stosunku efektu do nakładu.
Najczęściej zadawane pytania
Nie. Google wskazuje, że temat dotyczy głównie serwisów liczonych w dziesiątkach tysięcy adresów. Przy mniejszych witrynach brak indeksacji wynika zwykle z jakości treści lub blokady technicznej.
W raporcie „Statystyki indeksowania” w Google Search Console. Pokazuje liczbę żądań, czas odpowiedzi serwera oraz rozkład kodów odpowiedzi i typów plików.
Może zwiększyć limit wydolności — przy szybszych odpowiedziach robot pozwala sobie na więcej żądań. Nie zmieni to jednak zapotrzebowania, które zależy od tego, jak bardzo wyszukiwarce zależy na treści z tej domeny.
Tak, bo robot nie pobiera zablokowanych zasobów. Trzeba jednak pamiętać, że blokada nie usuwa adresu z indeksu — do tego służy znacznik noindex.
Adresy generowane automatycznie: warianty filtrów i sortowania, wewnętrzne wyszukiwarki oraz łańcuchy przekierowań. Każdy taki adres zużywa żądanie, nie wnosząc nowej treści do indeksu.
