Meta robots to specjalny meta tag w kodzie strony, który mówi robotom wyszukiwarek, co wolno im robić z daną podstroną – czy mogą ją indeksować, czy mają śledzić linki, pokazywać fragmenty tekstu, zapisywać kopię itp.
Mówiąc prościej: to „instrukcja obsługi” dla Googlebota i innych botów.
Meta robots umieszczamy w sekcji <head> strony, na przykład tak:
<meta name="robots" content="index,follow">To znaczy:
„Możesz dodać tę stronę do indeksu i podążać za linkami, które na niej są”.
Po co w ogóle jest meta robots?
Nie każda strona w serwisie powinna zachowywać się tak samo w Google.
Dzięki meta robots możesz:
- powiedzieć, które strony mają być widoczne w wynikach wyszukiwania (np. oferta, blog, kategorie),
- ukryć z Google podstrony, które nie mają sensu w wynikach (np. koszyk, panel klienta, filtry, wyniki wyszukiwania wewnętrznego),
- zdecydować, czy robot ma śledzić linki ze strony, czy je ignorować,
- ograniczyć fragmenty wyświetlane w wynikach (snippet, miniatury, cache).
Dla agencji SEO meta robots to jedno z podstawowych narzędzi do sprzątania indeksu i panowania nad tym, co Google widzi, a czego nie.
Najważniejsze dyrektywy w meta robots
W praktyce używa się kilku najpopularniejszych „komend”. Można je łączyć, oddzielając przecinkami.
Najczęściej spotkasz:
<meta name="robots" content="index,follow">
– to jest „standardowy” zestaw. Mówisz Google: „ta strona jest OK, możesz ją indeksować i śledzić linki”. Często nawet nie trzeba tego tagu, bo to zachowanie domyślne, ale bywa ustawiany dla jasności.<meta name="robots" content="noindex,follow">– bardzo ważne w SEO. To znaczy:
„Nie dodawaj tej strony do indeksu, ale śledź linki, które na niej umieściłem”.
Używa się tego np. na:
- stronach koszyka, podsumowania zamówienia, logowania,
- wynikach wyszukiwania wewnętrznego,
- wariacjach filtrów, sortowań, paginacji, które duplikują treści,
czyli wszędzie tam, gdzie strona jest potrzebna użytkownikowi, ale nie chcesz, by żyła własnym życiem w wynikach Google.
<meta name="robots" content="noindex,nofollow">– tu mówisz: „nie indeksuj tej strony i nie bierz pod uwagę linków z niej”.
Bardziej restrykcyjne, rzadziej potrzebne w normalnym SEO, raczej do mocnego odcinania obszarów, które nie mają mieć żadnego wpływu na widoczność.
<meta name="robots" content="index,nofollow">– robot może dodać stronę do indeksu, ale ma nie podążać za linkami. W praktyce stosowane raczej rzadko, np. na stronach z linkami, którym nie chcesz przekazywać sygnałów (chociaż częściej używa się do tego rel="nofollow" przy samym linku).
Dodatkowo istnieje seria dyrektyw związanych z tym, jak strona wygląda w wynikach:
noarchive– brak linku „Kopia” (cache) w Google,nosnippet– brak opisu/snippetu pod tytułem, często też brak rozszerzeń (gwiazdki, dane strukturalne),max-snippet,max-image-preview,max-video-preview– pozwalają kontrolować długość fragmentu tekstu, rozmiar miniatur itp.
Przykład bardziej rozbudowany:
<meta name="robots" content="noindex,follow,noarchive">Taka konfiguracja mówi: „nie indeksuj strony, podążaj za linkami, nie pokazuj kopii”.
Meta robots a robots.txt – czym to się różni?
Często myli się dwa pojęcia: meta robots i plik robots.txt.
Dobrze to rozdzielić w słowniku:
robots.txt– plik na serwerze, który mówi robotom, czy mogą w ogóle wejść na dane adresy (crawl). To bramka przed wejściem do budynku.meta robots– tag na konkretnej stronie, który mówi, co robot ma zrobić po wejściu: czy ją indeksować, śledzić linki, pokazywać snippet itd.
Ważna praktyczna rzecz: jeśli zablokujesz stronę w robots.txt, robot nie wejdzie na nią i nie zobaczy meta robotsa.
Dlatego jeśli chcesz stronę odwiedzaną, ale nieindeksowaną, używasz noindex w meta robots, a nie blokady w robots.txt.
Przykłady zastosowań meta robots w SEO (z perspektywy agencji)
Dla klienta możesz to tłumaczyć konkretnymi scenariuszami:
- Strona główna, kategorie, artykuły blogowe – zwykle powinny mieć
index,follow(lub po prostu brak meta robots, jeśli wszystko jest domyślne). - Strony typu „Zaloguj się”, „Zarejestruj się”, „Koszyk” – najczęściej
noindex,follow: użytkownik korzysta, ale nie musimy tego mieć w Google. - Wyniki wyszukiwania w sklepie, kombinacje filtrów – zazwyczaj
noindex,follow, żeby nie zaśmiecać indeksu tysiącem bardzo podobnych URL-i. - Strony testowe, staging, wersje robocze – często
noindex,nofollow, żeby nie przedostały się przypadkiem do wyników.
Dzięki temu indeks jest bardziej „czysty”, a Google skupia się na stronach, które naprawdę chcesz pozycjonować.
Typowe błędy związane z meta robots
W praktyce widzi się kilka powtarzających się wpadek:
- przypadkowe
noindexna ważnych stronach (np. cały blog lub kategorie sklepu) – często po wdrożeniu nowej wersji strony, - mylenie
noindexz blokadą wrobots.txt– ktoś blokuje crawl i dziwi się, że Google wciąż widzi stare wersje stron, - masowe
noindexustawione szablonowo tam, gdzie strony mogłyby ładnie rankować, - brak
noindexna stronach typu wyszukiwarka wewnętrzna, co powoduje „śmietnik” w indeksie: mnóstwo mało wartościowych adresów.
Dlatego w audytach SEO meta robots zawsze jest jednym z pierwszych punktów do sprawdzenia.
