Nagłówek X-Robots-Tag
Nagłówek X-Robots-Tag to element odpowiedzi nagłówka HTTP (ang. HTTP response header) przesyłany przez serwer www, który przekazuje robotom indeksującym (np. Googlebot) instrukcje dotyczące indeksowania oraz śledzenia zasobów.
Działa analogicznie do klasycznego znacznika <meta name="robots">, jednak w przeciwieństwie do niego nie wymaga obecności kodu HTML. Pozwala sterować zachowaniem robotów wyszukiwarek wobec plików niewspierających znaczników meta, takich jak dokumenty PDF, obrazy, pliki graficzne, arkusze stylów czy pliki tekstowe.
Składnia i przykłady konfiguracji
Instrukcje X-Robots-Tag konfiguruje się bezpośrednio na serwerze (np. w pliku .htaccess dla serwera Apache lub w pliku konfiguracyjnym serwera Nginx).
Najczęściej stosowane dyrektywy:
-
noindex: Zabrania dodawania zasobu do indeksu wyszukiwarki. -
nofollow: Zabrania robotowi śledzenia odnośników zawartych w elemencie. -
noarchive: Blokuje tworzenie kopii podręcznej (cache) danego pliku. -
nosnippet: Zapewnia brak wyświetlania podglądu lub opisu pliku w wynikach wyszukiwania.
X-Robots-Tag a znacznik Meta Robots – Różnice
Choć oba rozwiązania realizują podobny cel w pozycjonowaniu stron (SEO), różnią się zakresem zastosowania i miejscem wdrożenia:
| Cecha | Meta Robots Tag | X-Robots-Tag |
| Miejsce wdrożenia | Sekcja <head> w kodzie HTML strony |
Nagłówek HTTP przesyłany przez serwer |
| Obsługiwane pliki | Wyłącznie dokumenty HTML/XHTML | Wszystkie typy plików (PDF, JPG, PNG, DOCX, HTML itp.) |
| Zarządzanie masowe | Wymaga edycji kodu podstron / CMS | Możliwość globalnego ustawienia regułą na serwerze |
| Wymóg parsowania HTML | Robot musi pobrać i odczytać kod strony | Odczytywany natychmiast przy odpowiedzi serwera |
Zastosowanie w strategii SEO
Stosowanie nagłówka X-Robots-Tag jest szczególnie przydatne podczas optymalizacji dużych serwisów oraz zarządzania nietypowymi zasobami:
-
Ochrona plików PDF i dokumentów: Zapobiega indeksowaniu i wyciekowi wewnętrznych raportów, e-booków czy cenników w formacie PDF.
-
Optymalizacja Crawl Budgetu: Blokuje zbędne indeksowanie plików graficznych czy zasobów systemowych, skracając czas pracy robotów na stronie.
-
Zarządzanie środowiskiem testowym: Pozwala błyskawicznie zablokować całą domenę stagingową (testową) przed indeksacją za pomocą jednej reguły na serwerze.
