Crawl budget
Crawl budget to określony limit zasobów oraz czasu, jaki roboty indeksujące Google poświęcają na analizę, pobranie i przetworzenie podstron w obrębie konkretnej witryny internetowej. Odpowiednie zarządzanie tą pulą stanowi podstawę działań SEO.
Istota optymalizacji budżetu skanowania w dużych serwisach
Efektywne wykorzystanie dostępnego limitu jest szczególnie istotne dla rozbudowanych sklepów internetowych oraz portali informacyjnych. Właściwa dystrybucja uwagi robotów sprawia, że nowo dodane oraz zaktualizowane treści są błyskawicznie odnajdywane i indeksowane w wyszukiwarce.
Podstawowe filary poprawy wydajności skanowania serwisu
Na wielkość tego budżetu wpływa przede wszystkim szybkość odpowiedzi serwera oraz jakość struktury linków wewnętrznych. Usuwanie niedziałających odnośników, eliminowanie duplikacji treści i wykluczanie nieistotnych adresów w pliku robots.txt to główne kroki optymalizacyjne.
Monitorowanie zachowań robotów w logach serwera
Analiza logów serwerowych pozwala ocenić, które sekcje Twojego portalu są odwiedzane najczęściej przez roboty wyszukiwarek. Pozwala to na szybszą identyfikację barier technicznych oraz lepsze kierowanie ruchem na najistotniejsze strony produktowe.
