Google-Extended

Google-Extended to token używany w pliku robots.txt, którym właściciel strony decyduje, czy jego treści mogą być wykorzystywane do trenowania modeli AI Google i zasilania odpowiedzi generatywnych. Nie jest osobnym robotem — Google nie wysyła crawlera o takiej nazwie. To wyłącznie mechanizm kontroli sposobu użycia treści już pobranych przez Googlebota.

Dlaczego to nie jest robot

Rozróżnienie bywa mylące, bo token zapisuje się dokładnie tak samo jak regułę dla robota. W logach serwera nie pojawi się jednak żadna wizyta od Google-Extended — treści pobiera Googlebot, a token decyduje jedynie o tym, do czego zostaną użyte.

Konsekwencja jest istotna: zablokowanie tokenu nie zmniejsza liczby wizyt robota ani nie oszczędza budżetu crawlowania.

Co obejmuje blokada

Reguła ogranicza wykorzystanie treści w trenowaniu modeli rodziny Gemini oraz w powiązanych usługach generatywnych. Google deklaruje, że nie wpływa ona na indeksację ani pozycje w wyszukiwarce.

Zakres bywa aktualizowany wraz z rozwojem produktów, dlatego warto okresowo sprawdzać dokumentację, zamiast zakładać, że raz ustawiona reguła obejmuje wszystkie nowe zastosowania.

Blokada a widoczność w AI Overviews

To najczęstsze nieporozumienie wokół tego tokenu. Reguła dotyczy trenowania i odpowiedzi generatywnych w wybranych usługach, natomiast mechanizmy budujące podsumowania w wynikach wyszukiwania korzystają z indeksu wyszukiwarki.

Kto chce wykluczyć treść z podsumowań w wynikach, musi sięgnąć po standardowe mechanizmy sterowania fragmentami — takie jak znacznik nosnippet lub ograniczenie długości fragmentu — a nie po ten token.

Jak podjąć decyzję

Argument za blokadą to kontrola nad wykorzystaniem treści bez odesłania do źródła. Argument przeciw — rezygnacja z obecności w kanale, którym rośnie liczba osób docierających do informacji.

Wybór warto podejmować osobno dla tego tokenu i osobno dla robotów innych dostawców, bo zakres skutków każdej z tych decyzji jest inny.