Najważniejsze wnioski w pigułce
Stanowisko Google:
- Dyrektywa Content Signals w robots.txt nie jest respektowana przez Google ani inne crawlery
- Pliki llms.txt i llms-author.txt nie są wykorzystywane przez wyszukiwarkę Google
- Dodawanie tych dyrektyw to jedynie niepotrzebne obciążenie i przyszłe koszty utrzymania pliku robots.txt
Wpływ na rynek:
- Cloudflare używa około 21,3% wszystkich witryn internetowych (stan na styczeń 2026)
- Od 15 września 2026 Cloudflare wprowadza nowe domyślne ustawienia blokujące kategorie Training i Agent dla nowych domen
- Kategoria Search pozostanie domyślnie dozwolona
Działania rekomendowane:
- Użytkownicy Cloudflare powinni zweryfikować ustawienia przed nadchodzącym terminem
- Rozważenie usunięcia niepotrzebnych dyrektyw z pliku robots.txt
Cloudflare Content Signals — innowacja bez znaczenia praktycznego
W 2025 roku Cloudflare wprowadził nową dyrektywę Content Signals dla pliku robots.txt, obiecując lepszą kontrolę nad tym, jak różne boty i modele językowe wykorzystują treści witryn. Pomysł wydawał się obiecujący — szczególnie w erze rosnącej dominacji AI i automatycznego scrapowania treści. Rzeczywistość okazała się jednak mniej entuzjastyczna.
John Mueller z Google jasno określił wartość tej inicjatywy w dyskusji na Reddit. Według niego dyrektywa Content Signals „nie ma absolutnie żadnego wpływu na żadnego crawlera ani LLM". Co więcej, dodawanie jej do pliku robots.txt to jedynie „niepotrzebne obciążenie i przyszłe koszty utrzymania".
Mueller nie pozostawił wątpliwości — według jego wiedzy żaden z głównych crawlerów ani modeli językowych nie respektuje dyrektyw content-signal. Została ona „wymyślona przez CDN" i pozostaje nierozpoznawana przez rzeczywiste systemy, które miała kontrolować.
Pliki llms.txt również poza grą Google
Cloudflare nie poprzestał na dyrektywach robots.txt. Wprowadził również standardy llms.txt i llms-author.txt, mające stanowić meta-dane dla modeli językowych. Ponownie — Google nie korzysta z tych plików.
Mueller potwierdził, że Google nie wykorzystuje ani llms.txt, ani llms-author.txt. Co więcej, nie zna żadnego innego crawlera czy LLM, który potwierdziłby ich stosowanie — poza narzędziami SEO, które teoretycznie je rozpoznają.
Ta sytuacja obrazuje istotny problem w ekosystemie web development. Cloudflare, jako jeden z największych dostawców usług CDN i bezpieczeństwa, wprowadził standard, który — mimo szerokiego zasięgu platformy — nie zyskał akceptacji głównych graczy rynku. To przypomina klasyczną sytuację „rozwiązania w poszukiwaniu problemu".
Deadline 15 września 2026 i jego konsekwencje
Cloudflare wyznaczył na 15 września 2026 roku termin, w którym wprowadzi nowe domyślne ustawienia dla trzech klasyfikacji botów. Dla wszystkich nowych domen dołączających do platformy kategorie Training i Agent będą domyślnie blokowane na stronach wyświetlających reklamy. Kategoria Search pozostanie dozwolona.
Biorąc pod uwagę, że Cloudflare obsługuje około 21,3% wszystkich witryn internetowych (dane z stycznia 2026), potencjalny zasięg zmian jest znaczący. Problem w tym, że jeśli główne wyszukiwarki i modele AI nie respektują tych ustawień, ich praktyczne znaczenie jest znikome.
Użytkownicy Cloudflare powinni jednak zweryfikować swoje ustawienia przed tym terminem. Nawet jeśli dyrektywy nie działają zgodnie z założeniami, warto mieć świadomość, jakie konfiguracje są aktywne w panelu administracyjnym. Autor artykułu źródłowego również sprawdził swoje ustawienia — co pokazuje, że nawet sceptycy podchodzą do tematu z ostrożnością.
Praktyczne implikacje dla SEO i zarządzania stroną
Z perspektywy agencji SEO sytuacja jest jasna. Jeśli Google — dominujący gracz na rynku wyszukiwarek — nie respektuje dyrektyw Content Signals, inwestowanie czasu w ich implementację nie przynosi wymiernych korzyści. Mueller sugeruje wręcz, że dodawanie ich zwiększa niepotrzebny „bloat" w pliku robots.txt.
Plik robots.txt powinien być narzędziem precyzyjnym i łatwym w utrzymaniu. Każda dodatkowa dyrektywa, która nie jest respektowana przez crawlery, to potencjalne źródło przyszłych problemów — szczególnie gdy zespół zmienia się lub ktoś nowy przejmuje zarządzanie stroną.
Warto pamiętać, że crawlery faktycznie ignorują nierozpoznawane dyrektywy — mogą one istnieć w pliku bez wywoływania błędów. Problem leży raczej w zarządzaniu: niepotrzebne elementy utrudniają audyty, wprowadzają zamieszanie i mogą prowadzić do błędnych założeń o tym, co faktycznie działa.
Podsumowanie
Cloudflare Content Signals to przypadek dobrej intencji bez praktycznego zastosowania. Google nie respektuje tych dyrektyw i według Johna Muellera nie planuje tego w przyszłości. Użytkownicy Cloudflare powinni być świadomi nadchodzących zmian domyślnych ustawień, ale nie powinni liczyć, że będą one skutecznie kontrolować działanie głównych crawlerów i modeli językowych.
Źródło: Search Engine Roundtable, lipiec 2026
