Hosting blokuje roboty AI? Jak sprawdzić, czy ChatGPT może wejść na Twoją stronę

Strona działała. Roboty AI nie mogły wejść

Ta historia zaczęła się od rutynowego sprawdzenia, jak roboty AI czytają sklep internetowy, którym się opiekujemy. Na stronie wszystko było na swoim miejscu: dobre treści, aktualna mapa strony, Google ją indeksował, klienci składali zamówienia.

Zajrzałam tam, gdzie przy „pozycjonowaniu pod AI” prawie nikt nie zagląda: do logów serwera. Log dostępu zapisuje każde wejście na stronę, razem z tym, kto wszedł i jaką odpowiedź dostał od serwera. Wystarczy go przefiltrować po nazwach robotów.

Co pokazały logi z 11 dni

W okresie od 12 do 22 września 2026 roku trzy roboty odwiedzały stronę regularnie. Różnica w tym, jak potraktował je serwer, była uderzająca.

Najgorsze było jednak co innego. 43 adresy na stronie nie miały w tym czasie ani jednego udanego wejścia robota OpenAI. Wśród nich była strona główna. Robot sprawdzał mapę strony, pobierał jedną czy dwie podstrony, a potem dostawał odmowę za odmową, choć sam zwalniał i robił coraz dłuższe przerwy.

Winna była zapora, nie strona

Przyczyną okazała się jedna reguła zapory aplikacji (WAF) na serwerze hostingu. Reguła ogranicza liczbę zapytań od robotów AI i po przekroczeniu limitu odpowiada kodem 429, czyli „za dużo zapytań”. Googlebot był z tej reguły wyłączony, roboty AI nie.

Dla właściciela strony nie było żadnego sygnału. Strona się otwierała, w panelu WordPressa nie pojawiał się żaden błąd, a narzędzia Google pokazywały, że wszystko jest w porządku. Problem było widać wyłącznie w logach serwera, a w logu błędów zapora zapisywała numer reguły, która zadziałała.

Naprawa: jeden wyjątek w ustawieniach zapory

Nie wyłączyliśmy całej zapory, bo chroni stronę przed skanerami i próbami włamań. Dodaliśmy wyjątek tylko dla reguły ograniczającej roboty AI. W panelu hostingu to kilka kliknięć, robi się to osobno dla każdej domeny.

Efekt było widać od razu. 25 września, dwa dni po zmianie, robot OpenAI pobrał 327 stron w jeden dzień i dostał tylko jedną odmowę. Wcześniej w podobnym dniu dostawał więcej odmów niż odpowiedzi.

Jak sprawdzić własną stronę

1. Pobierz logi dostępu z panelu hostingu za ostatnie 2-4 tygodnie. Zwykle są w spakowanych archiwach, osobno dla każdej domeny.
2. Przefiltruj je po nazwach robotów: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot. Szukaj nazwy razem z numerem wersji, na przykład „GPTBot/1”, bo samą nazwę bez wersji mogą udawać zwykłe skanery.
3. Policz kody odpowiedzi. 200 oznacza, że robot dostał stronę. Serie 429 albo 403 oznaczają blokadę. Porównaj to z Googlebotem w tym samym okresie.
4. Zajrzyj do logu błędów. Jeśli blokuje zapora, zwykle zapisuje tam numer reguły i jej opis. Z tym numerem idziesz do ustawień zapory albo do pomocy technicznej hostingu.
5. Sprawdź robots.txt i ustawienia CDN, jeśli z nich korzystasz. Robots.txt nie powinien wykluczać robotów AI, których chcesz u siebie, a zapora CDN może blokować niezależnie od hostingu.
6. Po zmianie sprawdź logi jeszcze raz za kilka dni. Dopiero wtedy wiesz, że naprawa zadziałała.

Dlaczego to ważne właśnie teraz

Coraz więcej osób zamiast wpisywać frazę w Google pyta asystenta AI. Na stronach, którymi się opiekujemy, już widać wejścia prosto z ChatGPT: u producenta domów z Pomorza we wrześniu co najmniej 9 osób trafiło na stronę z rozmowy z ChatGPT. To jeszcze nie są duże liczby, ale za każdą stoi ktoś, kto zapytał o konkretną usługę w konkretnej okolicy.

Możesz mieć najlepsze treści, dane strukturalne i plik llms.txt. Jeśli zapora nie wpuszcza robota, nic z tego nie zostanie przeczytane. Dlatego sprawdzenie logów to pierwszy krok, zanim zapłacisz komukolwiek za „pozycjonowanie w AI”. Szerzej o tym, jak przygotować stronę pod ChatGPT, Claude i Perplexity, piszemy we wpisie Jak być widocznym w ChatGPT, Claude i Perplexity.

Najczęstsze pytania

Skąd mam wiedzieć, czy hosting blokuje roboty AI na mojej stronie?

Z logów serwera. W logu dostępu sprawdzasz odpowiedzi dla robotów takich jak GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot czy PerplexityBot. Jeśli zamiast kodu 200 widzisz serie 429 albo 403, a Googlebot w tym samym czasie dostaje 200, coś po stronie serwera ogranicza roboty AI. W logu błędów zapora zwykle zapisuje też numer reguły, która zadziałała.

Czy plik robots.txt wystarczy, żeby wpuścić ChatGPT?

Nie. Robots.txt to prośba skierowana do robota, a zapora na serwerze działa wcześniej i może go zatrzymać niezależnie od tego, co jest w robots.txt. W opisanym przypadku robots.txt był w porządku, a blokady i tak były.

Czy wyłączenie zapory jest bezpieczne?

Nie wyłączamy całej zapory. Dodajemy wyjątek tylko dla jednej reguły, tej, która ogranicza roboty AI. Pozostałe zabezpieczenia, na przykład przed skanerami i próbami włamania, działają dalej.

Czym różni się GPTBot od ChatGPT?

GPTBot to robot OpenAI, który zbiera treści z sieci. ChatGPT korzysta też z innych robotów: OAI-SearchBot buduje wyniki wyszukiwania w ChatGPT, a ChatGPT-User odwiedza stronę na żywo, kiedy ktoś w rozmowie prosi o informacje. Warto sprawdzać wszystkie trzy, bo zapora może traktować je różnie.

Ile kosztuje sprawdzenie i odblokowanie robotów AI?

Samo sprawdzenie logów i dodanie wyjątku to zwykle niewielka praca. Jeśli chcesz, żeby AI nie tylko wchodziło na stronę, ale też ją rozumiało i cytowało, robimy optymalizację pod SEO i wyszukiwarki AI od 1 000 zł za jeden język. Obejmuje odblokowanie robotów, dane strukturalne i plik llms.txt.

Chcesz wiedzieć, czy roboty AI wchodzą na Twoją stronę? Sprawdzimy logi serwera, policzymy blokady i powiemy, co ustawić. Optymalizację pod SEO i wyszukiwarki AI robimy od 1 000 zł za jeden język, szczegóły w ofercie stron internetowych i w cenniku. Najprościej napisz do nas.