Jeden blok w pliku robots.txt ma wystarczyć, żeby sprzeciwić się trenowaniu AI na treściach strony u Google’a, Microsoftu, OpenAI i Anthropic naraz, bez wypadania z wyszukiwarki. Chodzi o grupę User-Agent: __usage_ai-training z regułą Disallow: /, opisaną w szkicu zgłoszonym do IETF 30 października 2026 roku. Terminy obsługi są różne: Anthropic zaczął ją wdrażać, Microsoft startuje 1 lutego 2027 roku, Google celuje w 2027 rok, a OpenAI w najbliższe miesiące. Kto dziś blokuje Binga metatagami NoArchive albo NoCache, ma czas na nowe ustawienia do 1 marca 2027 roku. Potem stare przestaną działać. Stan na 31 października 2026 roku, godz. 9:50, według dokumentów firm i szkicu IETF.
Co ogłosiły firmy 30 października i od kiedy to działa
Nowy mechanizm to wspólny dla wielu firm token w pliku robots.txt. Wyraża zgodę albo sprzeciw wobec trenowania AI na wskazanych ścieżkach strony. Opisuje go szkic “Machine-Readable Training Preference Signal”, który napisał Kevin Kelley z Anthropic. To dokument indywidualny w wersji -00, opublikowany 30 października o 15:12 UTC i ważny do 3 maja 2027 roku. Standardem jeszcze nie jest: status “Standards Track” w nagłówku oznacza zamiar, a dyskusja toczy się w grupie roboczej IETF AI Preferences.
“Trenowanie AI” szkic definiuje za tą grupą jako użycie treści do zmiany wyuczonych parametrów generatywnego modelu AI. Modele wyłącznie niegeneratywne, na przykład do klasyfikacji albo rankingu, są poza tą definicją.
Kto co zapowiedział i od kiedy
| Firma | Co zapowiedziała | Od kiedy | Dotychczasowe ustawienie |
|---|---|---|---|
| Anthropic | “zaczął wdrażać obsługę” szkicu, pełne wsparcie w usługach “zajmie trochę czasu” | wdrażanie trwa | ClaudeBot w robots.txt |
| Microsoft (Bing) | przyjmuje token, dokłada ustawienia na poziomie strony | 1 lutego 2027 | NoArchive i NoCache, ważne do 1 marca 2027 |
| “planuje” obsługę; sprzeciw w tokenie potraktuje jak blokadę Google-Extended | “w 2027 roku”, bez dnia | Google-Extended w robots.txt | |
| OpenAI | zapowiada, że będzie respektować sygnał | “w najbliższych miesiącach”, bez daty | roboty OpenAI w robots.txt |
Daty pochodzą z ogłoszenia Google, wpisu Microsoftu na blogu Binga, komunikatu OpenAI i listu Kelleya na liście dyskusyjnej IETF. Meta według The Verge poparła pomysł, ale nie zadeklarowała, że będzie go respektować. Strona pomocy Anthropic o robotach, z datą 7 kwietnia 2026 roku, tokenu jeszcze nie wymienia.
Jak wpisać __usage_ai-training w pliku robots.txt
Żeby sprzeciwić się trenowaniu AI na całej stronie, dopisz do pliku robots.txt osobną grupę z tokenem __usage_ai-training i regułą Disallow: /. Token zaczyna się od dwóch podkreśleń, a szkic każe dopasowywać go dokładnie, bez względu na wielkość liter. Przykład ze szkicu wyraża sprzeciw dla całej strony poza katalogiem /press-kit/, gdzie zgoda zostaje:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Krok po kroku:
- Otwórz w przeglądarce
twojadomena.pl/robots.txti zapisz kopię obecnej treści. - Dopisz grupę z tokenem jako osobny blok, oddzielony pustą linią od reszty pliku.
- Jeśli chcesz zgody tylko dla części strony, dopisz w tej grupie linie
Allow:ze ścieżkami. - Zapisz plik w katalogu głównym domeny i sprawdź w przeglądarce, czy serwer pokazuje nową wersję.
- Powtórz to dla każdej subdomeny, bo każda ma własny plik robots.txt.
Na WordPressie plik często generuje wtyczka SEO. Grupy szukaj więc najpierw w jej ustawieniach, a dopiero potem na serwerze. Wpis nie wymaga nowych dyrektyw: szkic celowo używa zwykłej składni z RFC 9309. Starszy program odczytujący robots.txt, czyli parser, potraktuje tę grupę jak przeznaczoną dla nieznanego robota i ją pominie.
Wpis działa na przyszłość. Szkic wiąże preferencję z treścią robots.txt obowiązującą w chwili pobrania strony, więc teksty zebrane wcześniej wpis nie obejmuje.
Dlaczego User-Agent: * nie zablokuje trenowania
Reguła dla gwiazdki nie wyraża żadnej preferencji co do trenowania AI, nawet jeśli brzmi Disallow: /. Szkic mówi to wprost: grupy User-Agent: * “nie wolno” interpretować jako pasujących do tokenu. Jeśli w pliku nie ma linii User-Agent: __usage_ai-training, preferencji po prostu nie wyrażono.
Kelley w liście do grupy roboczej nazwał to świadomą decyzją projektową. Żaden robots.txt opublikowany przed 30 października nie wyraża więc preferencji w ramach nowego mechanizmu. Jawnej zgody taki plik też nie wyraża, bo firma stosuje wtedy własne ustawienia domyślne i reguły dla swoich robotów, jak Google-Extended czy ClaudeBot. Kto chce sprzeciwu, musi dopisać nową grupę, nawet jeśli od lat blokuje wszystkie roboty gwiazdką.
Czy blokada trenowania wyrzuci stronę z Google, Binga albo z odpowiedzi AI
Nie wyrzuci jej z wyników wyszukiwania. Szkic zaznacza, że token nie jest instrukcją dla robotów i nie zmienia reguł dla Googlebota, Bingbota ani innych nazw. Kto chce ograniczyć samo chodzenie robotów po stronie, robi to jak dotąd w ich własnych grupach.
Google opisuje Google-Extended jako ustawienie, które nie wpływa na obecność strony w wyszukiwarce i nie jest sygnałem rankingowym. Według ogłoszenia z 30 października sprzeciw w nowym tokenie Google potraktuje jak blokadę Google-Extended, chyba że strona wymieni Google-Extended jawnie. Przeglądu od AI w wyszukiwarce ten wpis nie wyłącza, bo Google-Extended go nie dotyczy. Jakie ustawienia działają na Przegląd od AI, opisaliśmy w poradniku o AI Overviews.
Jest jeden efekt uboczny. Google pisze, że strony jawnie zezwalające Google-Extended mogą pojawiać się w odpowiedziach aplikacji Gemini z linkami. Sprzeciw wobec trenowania może więc zabrać część obecności w Gemini, jeśli nie dopiszesz osobnej zgody dla Google-Extended. Microsoft rozdziela te sprawy wyraźniej: trenowanie i cytowanie w odpowiedziach AI ustawia się tam osobno.
Bing: NoArchive i NoCache do wymiany przed 1 marca 2027
Kto dziś ogranicza Bingowi użycie treści do AI metatagami NoArchive albo NoCache, musi do 1 marca 2027 roku przejść na nowe ustawienia. Po tej dacie Microsoft przestanie czytać stare metatagi jako preferencję trenowania i cytowania. Nowe preferencje działają od 1 lutego 2027 roku, w miarę jak robot Binga odwiedza strony. Kto ma nowe ustawienia, temu Bing stare metatagi zignoruje.
Microsoft dzieli to na dwie niezależne preferencje. Trenowanie ustawia się wspólnym tokenem w robots.txt albo na pojedynczej stronie, a ustawienie strony ma pierwszeństwo przed plikiem. Grounding, czyli użycie treści jako źródła dla generowanej odpowiedzi, ustawia się wyłącznie na poziomie strony, w robots.txt nie ma na to reguły. Przykłady z dokumentu Microsoftu:
<meta name="Bingbot" content="ai-training:disallow">
X-Robots-Tag: Bingbot: ai-training:disallow
<meta name="Bingbot" content="ai-grounding:disallow">
Dla groundingu jest też wartość disallowextended. Zostawia treść w usługach samego Microsoftu, jak Copilot i Microsoft 365, ale wyklucza usługi dla firm trzecich, na przykład grounding przez API w Foundry. Microsoft ostrzega, że blokada groundingu oznacza “mniejszą widoczność marki w doświadczeniach AI”, a zwykłych wyników Binga nie zmienia. Strony z NoArchive lub NoCache mogą od 15 grudnia 2026 roku zapisać tymczasową preferencję w Bing Webmaster Tools. Jest ważna najdłużej do 30 września 2027 roku. Jeśli właściciel nie zapisze jej do 1 marca 2027 roku, Bing uzna grounding za dozwolony. Tak zostanie, dopóki robot nie odwiedzi strony ponownie i nie wykryje nowego ustawienia.
Jak sprawdzić robots.txt: tester nie zawsze czyta token jak szkic
Popularne testery i parsery robots.txt mogą pokazać inny wynik dla tego tokenu, niż przewiduje szkic. Przykład ze szkicu sprawdziliśmy 31 października modułem urllib.robotparser z Pythona 3.14.3. Ten parser przyznał rację dla zakazu na całej stronie, ale dla /press-kit/ też zwrócił zakaz. Bierze pierwszą pasującą regułę w kolejności z pliku, a RFC 9309 i szkic każą wybrać najdłuższe dopasowanie.
Drugi rozjazd jest groźniejszy. Przy pliku z samym User-Agent: * i Disallow: / parser Pythona uznał, że token też jest zablokowany. Szkic mówi odwrotnie: gwiazdka tokenu nie obejmuje. Ogólny robots txt tester może więc pokazać sprzeciw tam, gdzie żadna z firm go nie odczyta.
Dla zgodności ze starszymi parserami stawiaj linie Allow: przed Disallow: w tej samej grupie. Przy naszym pomiarze kolejność Allow: /press-kit/, potem Disallow: / dała w Pythonie ten sam wynik co szkic. Wynik każdego testera traktuj jako kontrolę składni. To, czy firma uszanuje sprzeciw, zależy od jej wdrożenia i z zewnątrz tego nie sprawdzisz.
Robots.txt pod boty AI w 2026: GPTBot, ClaudeBot, Google-Extended i nowy token
Do czasu, aż wszystkie firmy obsłużą wspólny token, sprzeciw wobec trenowania warto wyrazić podwójnie: nowym tokenem i dotychczasowymi nazwami robotów. Szkic przewiduje, że reguły konkretnej firmy mogą mieć pierwszeństwo przed ogólnym tokenem, a Google, OpenAI i Anthropic piszą, że ich dotychczasowe ustawienia działają dalej. Przykładowy plik dla strony, która chce zostać w wyszukiwarkach i nie chce trenowania:
User-Agent: __usage_ai-training
Disallow: /
User-Agent: Google-Extended
Disallow: /
User-Agent: GPTBot
Disallow: /
User-Agent: ClaudeBot
Disallow: /
OpenAI w dokumentacji robotów rozdziela GPTBot, którego blokada oznacza, że treść nie powinna trafić do trenowania modeli, od OAI-SearchBot, który odpowiada za obecność w wyszukiwaniu ChatGPT. Anthropic w pomocy z 7 kwietnia 2026 roku opisuje trzy roboty. Blokada ClaudeBot wyłącza treści z przyszłych zbiorów treningowych. Claude-User i Claude-SearchBot służą odpowiedziom na pytania użytkowników i wyszukiwaniu, więc ich blokada może zmniejszyć widoczność w Claude. Podobny podział mają inne firmy, a robot wyszukiwarki AI i robot treningowy to zwykle osobne nazwy.
Nie blokuj Googlebota ani Bingbota w nadziei, że zatrzymasz trenowanie. Zablokujesz im dostęp do treści i możesz poważnie stracić widoczność w wynikach wyszukiwania. Jak firmy podszywają się pod znane roboty AI, opisaliśmy w tekście o fałszywych botach AI. Wcześniejsze podejście do tego samego problemu, przełącznik blokady trenowania w Cloudflare, działa na tych samych nazwach robotów.
{ seo i geo }Klienci szukają Twoich usług w Google. Trafiają na Ciebie?
Robimy audyty SEO, przyspieszamy strony i przygotowujemy treści, które pokazują się w wynikach Google i w odpowiedziach AI Overviews. Zaczynamy od audytu, który pokaże, co dziś blokuje Twoją widoczność.
Najczęstsze pytania
Czy generator robots.txt dopisze już nowy token?
To zależy od narzędzia. Szkic ma jeden dzień, więc wtyczki i generatory mogą go jeszcze nie znać. Wpis jest zwykłą grupą robots.txt, więc możesz dopisać go ręcznie, a potem sprawdzić w przeglądarce, czy wtyczka go nie nadpisała.
Czy wpis w robots.txt wystarczy wobec AI Act?
Google pisze, że propozycja jest zgodna z kodeksem praktyk UE dla dostawców modeli AI ogólnego przeznaczenia. Ten kodeks uznaje robots.txt za podstawowy sposób wyrażania preferencji w formie czytelnej dla maszyn. Szkic zaznacza też, że prywatne umowy z firmą mogą nadpisać preferencję z pliku.
Podsumowanie
Wspólny token __usage_ai-training pozwala jednym blokiem w robots.txt sprzeciwić się trenowaniu AI u kilku firm, a reguły dla Googlebota i Bingbota zostają bez zmian. To wciąż szkic IETF w wersji -00. Terminy obsługi są różne: Anthropic wdraża, Microsoft zaczyna 1 lutego 2027 roku, Google w 2027 roku, OpenAI w najbliższych miesiącach. Reguła User-Agent: * niczego tu nie wyraża, więc grupę z tokenem trzeba dopisać osobno, najlepiej obok dotychczasowych blokad Google-Extended, GPTBot i ClaudeBot. Testery robots.txt mogą czytać token inaczej niż szkic, dlatego sprawdzaj nimi tylko składnię. Właściciele stron z NoArchive albo NoCache dla Binga mają do 1 marca 2027 roku na opublikowanie nowych ustawień trenowania i groundingu. Bez tego Bing zacznie traktować ich treści jak dopuszczone do odpowiedzi AI.
