User Agent to ciąg tekstowy, który przeglądarka, robot wyszukiwarki lub każde inne oprogramowanie wysyła do serwera podczas nawiązywania połączenia. To swego rodzaju wizytówka – krótka informacja mówiąca serwerowi: „kim jestem, z jakiego oprogramowania korzystam i na jakiej platformie działam”.
Na podstawie User Agent serwer może dostosować odpowiedź – serwować inną wersję strony, blokować dostęp, logować ruch według typu klienta lub podejmować inne decyzje dotyczące obsługi żądania.
Jak wygląda User Agent w praktyce?
Typowy User Agent przeglądarki Chrome na komputerze z Windows wygląda mniej więcej tak:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36Na pierwszy rzut oka to ciąg chaotycznych informacji, ale każda część ma znaczenie: system operacyjny, architektura procesora, silnik renderowania, nazwa i wersja przeglądarki.
User Agent Googlebot – głównego robota indeksującego Google – wygląda zupełnie inaczej:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Serwer widzi to żądanie i wie, że pochodzi od robota Google, a nie od człowieka korzystającego z przeglądarki.
Rodzaje User Agentów w kontekście SEO
W codziennej pracy SEO najważniejsze są trzy kategorie User Agentów.
Przeglądarki użytkowników – Chrome, Firefox, Safari, Edge i inne. Każda przeglądarka, każdy system operacyjny i każde urządzenie wysyła nieco inny User Agent. Serwery i systemy analityczne używają tych danych do identyfikacji urządzeń, systemów operacyjnych i przeglądarek odwiedzających stronę.
Roboty wyszukiwarek – Googlebot, Bingbot, Yandexbot i inne. To dla nich User Agent ma szczególne znaczenie w SEO. Google używa kilku różnych User Agentów w zależności od zadania: Googlebot-Image do crawlowania obrazów, Googlebot-Video do wideo, Google-InspectionTool przy ręcznym testowaniu URL w Search Console.
Narzędzia SEO i crawlery – Screaming Frog, Ahrefs, Semrush i inne narzędzia do audytów wysyłają własne User Agenty, po których można je zidentyfikować w logach serwera.
User Agent a Mobile-First Indexing
Wraz z wprowadzeniem Mobile-First Indexing Google zmieniło domyślny User Agent używany do crawlowania. Zamiast symulować przeglądarkę desktopową, Googlebot domyślnie używa teraz User Agenta odzwierciedlającego przeglądarkę mobilną – konkretnie Chrome na Androidzie.
Ma to praktyczne konsekwencje: jeśli serwer serwuje inną treść użytkownikom mobilnym i desktopowym na podstawie User Agenta (tzw. dynamic serving), musi upewnić się, że wersja mobilna jest pełnoprawna i zawiera wszystkie treści, które ma wersja desktopowa. Google indeksuje i ocenia to, co widzi Googlebot w trybie mobilnym.
User Agent a cloaking – ważna granica
Jednym z poważniejszych naruszeń wytycznych Google jest cloaking – serwowanie różnej treści robotom wyszukiwarek i prawdziwym użytkownikom. Właśnie User Agent jest jedną z metod, przez które właściciele stron próbują to robić: wykrywają Googlebot po User Agencie i serwują mu specjalnie spreparowaną, zoptymalizowaną wersję strony, podczas gdy użytkownicy widzą coś zupełnie innego.
Google bardzo poważnie traktuje cloaking – może skutkować manualną karą i usunięciem strony z indeksu. Każda sytuacja, w której treść serwowana Googlebotowi różni się od tej, którą widzi użytkownik, wymaga starannego uzasadnienia i najczęściej jest po prostu złą praktyką.
Jedynym akceptowalnym wyjątkiem jest dostosowywanie treści do urządzeń mobilnych i desktopowych – ale nawet tu Google zaleca responsive design zamiast serwowania różnych wersji na podstawie User Agenta.
User Agent w pliku robots.txt
Plik robots.txt używa User Agentów do precyzyjnego określania, które reguły dotyczą których robotów. Dyrektywa User-agent: poprzedza zestaw reguł Disallow i Allow:
User-agent: Googlebot
Disallow: /admin/
User-agent: *
Disallow: /private/W tym przykładzie pierwszy blok dotyczy wyłącznie Googlebot, a drugi – wszystkich pozostałych robotów. Gwiazdka (*) oznacza wszystkich agentów, dla których nie zdefiniowano osobnych reguł.
Ta możliwość granularnego zarządzania dostępem jest przydatna na przykład wtedy, gdy chcemy zablokować agresywne crawlery narzędzi SEO zjadające crawl budget, ale jednocześnie pozwolić Googlebotowi swobodnie indeksować serwis.
Jak analizować User Agenty w logach serwera?
Logi serwera to jedno z najbardziej wartościowych, a jednocześnie najrzadziej wykorzystywanych źródeł danych w SEO technicznym. Każde żądanie do serwera zapisywane jest w logu wraz z User Agentem – co pozwala zobaczyć, jak często i jakie części serwisu crawluje Googlebot, które podstrony są pomijane, czy robot napotyka błędy i jak wygląda rozkład crawlowania w czasie.
Analiza logów pod kątem User Agenta Googlebota ujawnia informacje niedostępne nigdzie indziej – w tym rzeczywisty crawl budget, nie tylko jego teorię.
Do analizy logów przydają się narzędzia takie jak Screaming Frog Log File Analyser, Botify czy JetOctopus – ale przy mniejszych serwisach wystarczy też analiza w Excelu lub skrypt w Pythonie.
