Najważniejsze wnioski w pigułce
Na czym polega problem:
- Zabezpieczenia antybotowe potrafią pokazać Googlebotowi stronę weryfikacyjną zamiast realnej treści
- Google indeksuje wtedy ekran „czy jesteś botem?”, a właściwa zawartość znika z indeksu
- Taki sam komunikat pojawia się na tysiącach witryn, więc Google traktuje go jako duplikat
Konsekwencje dla widoczności:
- Google może wybrać jako wersję kanoniczną stronę z zupełnie innej domeny
- Twoja podstrona zostaje oznaczona jako duplikat i traci pozycje
- Ruch spada bez żadnego widocznego błędu na stronie
Jak wykryć i naprawić:
- Raport „Indeksowanie stron” w Search Console pokazuje strony oznaczone jako duplikaty
- Narzędzie „Sprawdzenie adresu URL” ujawnia, który adres Google uznał za kanoniczny
- Rozwiązanie leży po stronie CDN, hostingu lub warstwy ochrony przed botami — nie w samym CMS-ie
Dlaczego zabezpieczenie przed botami staje się problemem SEO
Ekrany weryfikacyjne typu „czy jesteś botem?” miały chronić serwery przed niechcianym ruchem, ale w praktyce potrafią zablokować także Googlebota. John Mueller z Google wyjaśnił w podcaście „Search Off the Record”, że gdy warstwa bezpieczeństwa uzna odwiedzającego za podejrzanego, serwuje mu stronę weryfikacyjną zamiast właściwej treści. Problem w tym, że taka odpowiedź trafia do Google jako w pełni poprawna — z kodem 200 i wyrenderowaną zawartością.
Google nie widzi wtedy błędu. Widzi stronę, która ładuje się bez zarzutu i zawiera komunikat o weryfikacji. Indeksuje ją dokładnie tak, jak każdą inną podstronę w serwisie. Realna treść — opis produktu, artykuł, oferta usługi — po prostu przestaje istnieć w oczach wyszukiwarki.
Ochrona uruchamia się najczęściej wtedy, gdy natężenie crawlowania rośnie. Paradoksalnie im aktywniej Google indeksuje Twój serwis, tym większe ryzyko, że system uzna to za atak i włączy blokadę.
Kanonikalizacja: Twoja strona może zostać przypisana do cudzej domeny
Najbardziej dotkliwa konsekwencja dotyczy wyboru wersji kanonicznej. Ekran „czy jesteś botem?” wygląda niemal identycznie na tysiącach witryn korzystających z tych samych rozwiązań ochronnych. Google widzi setki bliźniaczych stron i musi zdecydować, która z nich jest oryginałem.
W efekcie algorytm wybiera jedną wersję jako kanoniczną, a pozostałe klasyfikuje jako duplikaty. Jeśli Twoja podstrona trafi do tej drugiej grupy, Google przypisze ją do adresu z zupełnie obcej domeny. Tracisz nie tylko pozycję, ale też sygnały rankingowe wypracowane przez lata.
Mueller podkreślił, że diagnoza tego problemu jest wyjątkowo trudna. Trzeba najpierw sprawdzić, którą stronę Google wybrał jako kanoniczną, a następnie cofać się krok po kroku, żeby ustalić przyczynę. Standardowe audyty rzadko wychwytują ten scenariusz, bo nie sprawdzają, co dokładnie widzi Googlebot.
Dlaczego nie zobaczysz problemu, przeglądając własną stronę
Ekran weryfikacyjny wyświetla się wyłącznie odwiedzającym oznaczonym jako podejrzani. Kiedy sam wchodzisz na stronę z przeglądarki, wszystko ładuje się poprawnie. Nie ma błędu 404, nie ma pustej strony, nie ma powodu do niepokoju.
To właśnie czyni ten problem tak podstępnym. Zespół marketingowy widzi spadek ruchu organicznego, sprawdza witrynę i nie znajduje niczego niepokojącego. Typowy odruch — szukanie zepsutej strony — prowadzi donikąd, bo technicznie nic nie jest zepsute. Google otrzymuje prawidłową odpowiedź serwera, tylko z niewłaściwą treścią.
Podobny mechanizm opisywał wcześniej Mueller przy okazji błędu „Page Indexed Without Content”. Tam ustawienia bezpieczeństwa po cichu blokowały Googlebota, przepuszczając zwykłych użytkowników — efektem była zaindeksowana strona bez żadnej zawartości.
Jak zdiagnozować problem w Search Console
Jedynym wiarygodnym źródłem informacji jest Google Search Console. Raport „Indeksowanie stron” oznacza podstrony jako duplikaty lub wskazuje, że kanonikalizacja została przypisana gdzie indziej. To pierwszy sygnał, że warto pogłębić analizę.
Narzędzie „Sprawdzenie adresu URL” pokazuje konkretny adres wybrany przez Google jako wersję główną. Jeśli ten adres należy do domeny, której nie kontrolujesz, masz potwierdzenie problemu. Warto też skorzystać z podglądu wyrenderowanej strony — jeśli zamiast treści widzisz komunikat weryfikacyjny, źródło kłopotów jest jasne.
Regularne monitorowanie tych raportów powinno być stałym elementem opieki technicznej nad serwisem. Im szybciej wychwycisz anomalię, tym mniej pozycji zdążysz stracić.
Naprawa: rozmowa z dostawcą infrastruktury, nie z programistą CMS-a
Rozwiązanie tego problemu rzadko leży w kodzie strony. Ekran weryfikacyjny generuje zazwyczaj CDN, hosting albo dedykowana warstwa ochrony przed botami — i tam trzeba szukać ustawień. Konieczne jest dodanie Googlebota do listy zaufanych klientów oraz weryfikacja, czy limity ruchu nie uruchamiają blokady przy intensywniejszym crawlowaniu.
Po wprowadzeniu poprawki warto poprosić Google o ponowne zaindeksowanie przez funkcję „Zweryfikuj poprawkę” w Search Console. Google może też samodzielnie wykryć zmianę podczas kolejnego przejścia robota, ale ręczne zgłoszenie przyspiesza cały proces.
Dobrą praktyką jest okresowe testowanie, jak serwis odpowiada na żądania z user-agentem Googlebota. To prosty test, który pozwala wyłapać problem, zanim odbije się na ruchu organicznym.
Podsumowanie
Zabezpieczenia antybotowe chronią serwer, ale bez właściwej konfiguracji potrafią wypchnąć całe sekcje serwisu z indeksu Google i oddać kanonikalizację obcej domenie. Kluczem jest świadomość, że Googlebot widzi Twoją stronę inaczej niż przeglądarka — i regularne sprawdzanie tego w Search Console, zanim spadek ruchu stanie się faktem.
Źródło: Search Engine Journal — „Are You A Bot” Screens Can Get Your Pages Dropped By Google
