Crawl-delay to dyrektywa w pliku robots.txt, która prosi roboty o odczekanie określonej liczby sekund między kolejnymi żądaniami. Google jej nie obsługuje, więc na Googlebota nie wpłynie w żaden sposób. Działa za to u części innych wyszukiwarek i botów, także tych od AI. Tam bywa pomocna, ale przy złej wartości potrafi mocno zaszkodzić indeksowaniu. Pokazuję, kiedy ją ustawić, kiedy zostawić w spokoju i co zrobić, gdy to Googlebot przeciąża serwer.
Czym jest crawl-delay i jak wygląda w robots.txt?
Crawl-delay to nieoficjalna dyrektywa robots.txt. Podajesz po niej liczbę sekund, a robot, który ją respektuje, ma odczekać tyle czasu między kolejnymi żądaniami do Twojego serwera. Chodzi o ochronę serwera przed przeciążeniem. Dyrektywa nie jest częścią standardu, więc każda wyszukiwarka interpretuje ją po swojemu, a niektóre w ogóle jej nie czytają.
Zapis dla wszystkich robotów wygląda tak:
User-agent: *
Crawl-delay: 10Dla konkretnego bota wystarczy podać jego nazwę:
User-agent: Bingbot
Crawl-delay: 5Dyrektywa musi stać wewnątrz grupy zaczynającej się od User-agent, a wartość to sekundy.
Jeśli chcesz najpierw uporządkować podstawy, przeczytaj: Czym jest crawling strony internetowej?
Czy Google stosuje się do crawl-delay?
Nie. Googlebot ignoruje tę dyrektywę. W robots.txt Google obsługuje cztery pola: user-agent, allow, disallow i sitemap. Oficjalna dokumentacja o mitach dotyczących indeksowania mówi wprost, że roboty Google nie przetwarzają niestandardowej reguły crawl-delay. Już w 2019 roku, przy udostępnieniu parsera robots.txt na licencji open source, Google zaznaczył, że reguły spoza standardu, w tym crawl-delay, nigdy nie były przez niego udokumentowane.
W praktyce linia z crawl-delay jest dla Google martwa. Nie szkodzi i nie pomaga. Tempo crawlowania Google dobiera sam, patrząc na to, jak odpowiada serwer. Jeśli zwraca błędy 500 albo odpowiada coraz wolniej, Googlebot zwalnia automatycznie. Zapis „dla Googlebota” daje więc tylko złudzenie kontroli.
Które wyszukiwarki i boty respektują crawl-delay?
Dyrektywę obsługują Bing (a razem z nim Yahoo), Yandex, Naver i Mail.ru. Baidu jej nie respektuje, podobnie jak Google. Skala ma znaczenie: udział Binga jest wielokrotnie mniejszy niż Google, co widać w zestawieniu najpopularniejszych wyszukiwarek internetowych.
Jak Bing liczy wartość 10?
Bing nie czeka dosłownie 10 sekund po każdym żądaniu. Dzieli czas na okna o długości podanej w dyrektywie i w każdym oknie pobiera maksymalnie jedną stronę. Warto zapamiętać trzy rzeczy:
- Bing zaleca używać możliwie najniższej wartości, żeby indeks pozostał świeży.
- Zaleca też umieszczać dyrektywę w sekcji ogólnej (User-agent: *), co zmniejsza ryzyko pomyłek w kodzie.
- Ustawienie w robots.txt ma pierwszeństwo przed tempem ustawionym w Bing Webmaster Tools.
Plik dotyczy zawsze konkretnego hosta, więc subdomeny ustawia się osobno.
Yandex traktuje wartość 10 jako minimum 10 sekund przed pobraniem kolejnego adresu. Dopuszcza też wartości ułamkowe, ale dla innych robotów lepiej trzymać się liczb całkowitych.
Czy crawl-delay wpływa na pozycje i indeksowanie?
Nie jest czynnikiem rankingowym. Ma za to bezpośredni wpływ na to, ile stron robot zdąży pobrać. Im większa wartość, tym mniej stron dziennie i tym później bot zobaczy nowy wpis albo zmianę na starej podstronie. Pokazują to proste wyliczenia (to górny limit, bo roboty nie zawsze wykorzystują cały dostępny czas):
| Crawl-delay | Maks. stron na dobę | Czas na 1000 adresów |
|---|---|---|
| 1 s | 86 400 | ok. 17 minut |
| 10 s | 8 640 | ok. 2,8 godziny |
| 30 s | 2 880 | ok. 8,3 godziny |
| 500 s | 172 | ok. 5,8 dnia |
Przy małej stronie wartość 10 sekund nie robi różnicy. Przy sklepie z kilkudziesięcioma tysiącami adresów to już kilka dni na jedno przejście po całej witrynie.
Przeczytaj: Czym jest indeksowanie strony w Google?
Kiedy crawl-delay ma sens, a kiedy jest szkodliwy?
Ma sens, gdy w logach serwera widać, że konkretny robot realnie przeciąża hosting: skoki obciążenia, błędy 5xx, wolne odpowiedzi w czasie crawlu. Dotyczy to głównie tańszego, współdzielonego hostingu, dużych sklepów z filtrami i serwisów, które odwiedza naraz wiele botów.
Na małej stronie firmowej nie ruszałbym go wcale. Google pisał już w 2017 roku, że witryny z liczbą adresów poniżej kilku tysięcy zwykle są crawlowane bez problemu. Bing zaznaczał z kolei, że małe strony, których treść rzadko się zmienia, raczej nigdy nie potrzebują tego ustawienia. Moim zdaniem najczęstszy błąd to wpisanie crawl-delay „na wszelki wypadek”, bez żadnego dowodu, że boty sprawiają problem. Spowalniasz wtedy indeksowanie w Bingu i nie zyskujesz nic w zamian.
Jak spowolnić Googlebota, skoro ignoruje crawl-delay?
Dawniej służył do tego suwak w Search Console. Google wyłączył to narzędzie 8 stycznia 2024 roku, tłumacząc, że po ulepszeniach logiki crawlowania przestało być potrzebne i mało kto z niego korzystał. Dziś ręcznego suwaka nie ma, a poradniki, które go jeszcze polecają, są nieaktualne. Zostają trzy kroki:
- Znajdź przyczynę. Gwałtowny wzrost crawlowania zwykle oznacza problem ze strukturą strony. Google wymienia jako najczęstsze powody nawigację fasetową i filtrowanie, kalendarze generujące masę adresów oraz cele reklam dynamicznych. Zajrzyj w logi dostępowe, najlepiej razem z firmą hostingową. Filtry i sortowanie w sklepach to klasyczne źródło niepotrzebnych adresów, a jak je porządkować w indeksie, opisałem w poradniku Noindex – co to jest i kiedy go stosować?
- Awaryjnie zwróć kod 500, 503 lub 429. Gdy Googlebot widzi wiele takich odpowiedzi, zmniejsza tempo dla całego hosta, także dla adresów, które zwracają normalną treść. To rozwiązanie tylko na godziny albo 1–2 dni. Jeśli ten sam adres przez kilka dni zwraca błąd, może wypaść z indeksu. Przy 503 i 429 możesz dodać nagłówek Retry-After. Po ustąpieniu błędów tempo wraca samo.
- Gdy nie możesz serwować błędów, zgłoś problem formularzem Google (zgłoszenie nietypowo wysokiego tempa crawlowania). Rozpatrzenie może potrwać kilka dni, a tempa nie da się w ten sposób zwiększyć. Formularz znajdziesz w Search Console, więc warto mieć tam zweryfikowaną witrynę, a jak to zrobić, pokazuję we wpisie Weryfikacja witryny w Google Search Console.
Nie próbuj ograniczać tempa kodami 403 czy 404. Google ostrzega, że kody 4xx poza 429 prowadzą do usuwania treści z wyników wyszukiwania.
Crawl-delay a boty AI: GPTBot, ClaudeBot i spółka
Boty AI to dziś realna część ruchu na serwerach. Według analizy Cloudflare z początku 2026 roku, przytaczanej przez Superblog, GPTBot, ClaudeBot, bot Mety i Bytespider są pod względem wolumenu crawlowania tuż za Googlebotem. Pytanie o ich spowalnianie wraca więc coraz częściej.
Anthropic deklaruje, że jego crawlery respektują niestandardowe rozszerzenie Crawl-delay. Przykład z jego pomocy wygląda tak:
User-agent: ClaudeBot
Crawl-delay: 1Według jednego z zestawień crawler Common Crawl (CCBot) również się do niego stosuje. W przejrzanych przeze mnie źródłach nie znalazłem takiej deklaracji u innych dużych operatorów, więc przed ustawieniem zapisu sprawdź dokumentację konkretnego bota. Pamiętaj też, że nazwę bota łatwo podrobić, a nie każdy scraper przestrzega robots.txt.
Dwie praktyczne uwagi. Jeśli zablokujesz zakresy adresów IP bota na firewallu, nie odczyta on w ogóle robots.txt, więc nie zobaczy ani Disallow, ani crawl-delay. A jeśli problemem jest samo obciążenie, spowolnienie jest zwykle rozsądniejsze niż blokada. Czy chcesz być w źródłach AI, to decyzja biznesowa. Dla bloga firmowego, który ma budować widoczność, nie blokowałbym tych botów bez wyraźnego powodu. Jak pisać treści, które mają szansę trafić do odpowiedzi generowanych przez AI, opisałem w poradniku Pisanie treści pod AI Overview – najważniejsze zasady.
Jak ustawić crawl-delay w WordPressie?
Najpierw otwórz domena.pl/robots.txt i zobacz, co już tam jest. Niektórzy dostawcy hostingu dodają crawl-delay automatycznie, więc możesz go mieć, choć sam niczego nie ustawiałeś. Więcej o WordPressie w kontekście SEO: Pozycjonowanie WordPress w 10 prostych krokach
- Rank Math: Rank Math → General Settings → Edit robots.txt. Wtyczka edytuje wirtualny plik. Jeśli w katalogu głównym leży fizyczny robots.txt, trzeba go najpierw usunąć przez FTP, bo inaczej edytor nie zadziała.
- Yoast SEO: SEO → Narzędzia → Edytor plików.
- Plik fizyczny: edytujesz robots.txt bezpośrednio w katalogu głównym witryny.
Zacznij od niskiej wartości i obserwuj logi. Zmiany nie działają natychmiast: Google trzyma kopię robots.txt do 24 godzin, a inne boty odświeżają ją we własnym rytmie.
Jak sprawdzić, czy crawl-delay jest ustawiony i czy działa?
- Otwórz robots.txt w przeglądarce i poszukaj linii Crawl-delay. Zwykle znajdziesz tam też adres mapy witryny, o której piszę w poradniku Mapa strony internetowej – co to jest? Plik dotyczy hosta, protokołu i portu, pod którym jest udostępniony, więc sprawdź też subdomeny.
- Przejrzyj logi serwera. Zobacz, w jakich odstępach przychodzi Bingbot albo inny bot. Wiarygodność adresu Bingbota potwierdzisz w Bing Webmaster Tools w sekcji Verify Bingbot, bo samą nazwę w user-agencie da się podrobić.
- Sprawdź Bing Webmaster Tools (Configuration → Crawl Control), pamiętając, że robots.txt ma pierwszeństwo.
- Uwzględnij narzędzia do audytu. Niektóre crawlery SEO, na przykład Oncrawl, stosują się do crawl-delay ze strony, którą skanują. Duża wartość oznacza wtedy wolniejszy audyt.
Najczęstsze błędy z crawl-delay
- Ustawianie go dla Googlebota. Zapis nie ma żadnego efektu, a daje fałszywe poczucie, że serwer jest chroniony.
- Zbyt wysoka wartość. Zdarzają się zapisy rzędu tysięcy sekund. Wtedy bot dociera do jednej strony raz na kilka godzin i nowe treści długo czekają na indeksację.
- Wartość globalna „na wszelki wypadek”. Spowalnia wszystkich, także tych, którzy żadnego problemu nie sprawiali.
- Zapomniany zapis po migracji. Po zmianie hostingu lub wtyczki crawl-delay potrafi zostać w pliku, choć serwer jest już mocniejszy.
- Zapis poza grupą User-agent. Dyrektywa wpisana bez przypisania do bota może zostać pominięta.
Najczęstsze pytania o crawl-delay
Jaka wartość crawl-delay jest najlepsza?
Najniższa możliwa. Bing zaleca zakres od 1 do 30 sekund i radzi nie przesadzać, żeby indeks pozostał świeży. Zacznij od 1–5 sekund, obserwuj logi serwera i podnoś wartość tylko wtedy, gdy obciążenie nadal jest problemem.
Czy crawl-delay wpływa na pozycje w Google?
Nie. Google ignoruje tę dyrektywę, więc nie ma ona żadnego związku z pozycjami w jego wynikach. Pośrednio może wpłynąć na widoczność w Bingu, jeśli wysoka wartość opóźni indeksowanie nowych treści.
Czy crawl-delay spowolni boty AI?
Tylko te, które go respektują. Anthropic deklaruje wsparcie dla Crawl-delay w swoich crawlerach, a według jednego z zestawień także CCBot. U pozostałych sprawdź dokumentację operatora, bo bez deklaracji nie ma gwarancji.
Czy mała strona firmowa potrzebuje crawl-delay?
Zwykle nie. Google uważa, że witryny z kilkoma tysiącami adresów lub mniej są crawlowane efektywnie, a Bing wskazuje, że małe i rzadko aktualizowane strony raczej nie potrzebują tego ustawienia. Warto go użyć dopiero wtedy, gdy logi pokazują realny problem z obciążeniem.
Czy crawl-delay pomaga oszczędzać crawl budget?
Nie. Crawl budget to pojęcie z dokumentacji Google, na które składają się limit wydajności crawlowania i zapotrzebowanie na crawlowanie, a Google crawl-delay nie bierze pod uwagę. Budżet oszczędzasz, porządkując adresy URL, ograniczając zbędne filtry i naprawiając błędy serwera.
Cześć! Zbudowałem brand kreacjamarki.pl, żeby pomóc firmom, które chcą zaistnieć w internecie. Przez kilka lat prowadziłem redakcję w firmie marketingowej i nadszedł moment, aby zrobić coś dla siebie. Za sobą mam kilkadziesiąt ciekawych projektów. Przed sobą jeszcze więcej. Moje publikacje znajdziesz w miesięcznikach Biznes Hotel i Hotelarz. Prywatnie fan kina niezależnego i obsesyjny fan angielskiego futbolu.