Crawl rate limit i crawl demand
Crawl rate limit oraz Crawl demand to dwa kluczowe czynniki składowe, które bezpośrednio tworzą tak zwany Crawl Budget (budżet skanowania) danej witryny internetowej.
Pojęcia te określają mechanizmy, jakimi kierują się roboty wyszukiwarek (takie jak Googlebot), decydując o tym, jak szybko, jak często i ile stron w danej domenie odwiedzą podczas jednej sesji skanowania.
Crawl rate limit vs Crawl demand – Najważniejsze różnice
Oba pojęcia opierają się na zupełnie innych przesłankach – jedno wynika z technicznych możliwości serwera, a drugie z atrakcyjności strony dla wyszukiwarki:
1. Crawl rate limit (Podaż / Techniczny limit skanowania)
Crawl rate limit to maksymalna prędkość i częstotliwość, z jaką Googlebot może pobierać strony z danej witryny bez przeciążania jej serwera.
-
Jak to działa: Jeśli serwer odpowiada bardzo szybko, robot zwiększa tempo skanowania. Gdy serwer zwalnia, generuje błędy odpowiedzi (np. błędy serwera z serii 5xx) lub wydłuża czas odpowiedzi, Googlebot natychmiast ogranicza liczbę zapytań, aby strona nie uległa awarii pod wpływem jego ruchu.
-
Czynniki wpływające: Wydajność hostingu, czas odpowiedzi serwera (TTFB), stabilność połączenia oraz wyznaczone ręcznie limity w narzędziu Google Search Console.
2. Crawl demand (Popyt / Zapotrzebowanie na skanowanie)
Crawl demand określa, jak bardzo roboty wyszukiwarki chcą odwiedzić i przeanalizować daną stronę na podstawie jej autorytetu, popularności oraz częstotliwości zmian.
-
Jak to działa: Nawet jeśli serwer posiada ogromne zapasy mocy i wysoki Crawl rate limit, Googlebot nie będzie marnować zasobów na skanowanie witryny, jeśli uznaj jej treści za nieistotne lub rzadko aktualizowane.
-
Czynniki wpływające:
-
Popularność i autorytet: Strony o wysokiej wartości (posiadające silny profil linków zwrotnych) mają wyższy popyt na skanowanie.
-
Świeżość treści: Często aktualizowane serwisy (np. portale informacyjne, duże sklepy e-commerce) generują większy popyt na częstsze wizyty.
-
Zjawisko stale aktualizowanych adresów (Recrawl): Potrzeba ponownej weryfikacji zmienionych produktów, cen czy nowych artykułów.
-
Zastosowanie w strategii SEO
Dla zachowania płynnej indeksacji kluczowe jest utrzymanie równowagi między oboma czynnikami:
-
Wstępna diagnostyka problemów z indeksacją: Jeśli Googlebot nie indeksuje nowych podstron w dużym serwisie, analiza logów i wskaźników pozwala ustalić, czy problemem jest zbyt wolny serwer (Crawl rate limit), czy zbyt niska jakość i brak autorytetu domeny (Crawl demand).
-
Zarządzanie dużymi serwisami (e-commerce): Nowe produkty lub wyprzedaże generują nagły skok Crawl demand. Jeśli serwer nie wytrzyma tego natężenia (niski Crawl rate limit), roboty odpuszczą skanowanie, co opóźni pojawienie się nowej oferty w wynikach wyszukiwania.
