Crawl budget – jak optymalizować budżet indeksowania

Z artykułu dowiesz się:

• czym jest crawl budget i z jakich dwóch elementów się składa (crawl capacity limit i crawl demand),
• czy Twoja strona w ogóle musi się nim przejmować – i po czym to poznać,
• co naprawdę zjada budżet indeksowania (spoiler: nie sama liczba stron),
• jak krok po kroku optymalizować crawl budget – z konkretnymi ustawieniami,
• jak monitorować indeksowanie w Google Search Console i logach serwera.

Crawl budget to zbiór adresów URL, które Google chce i jest w stanie odwiedzić na Twojej stronie w danym czasie. Jeśli robot marnuje ten limit na duplikaty, parametry i błędne strony, na najważniejsze podstrony może po prostu zabraknąć czasu – a to opóźnia ich indeksację i osłabia widoczność w wynikach wyszukiwania. Dobra wiadomość jest taka, że w większości przypadków optymalizacja crawl budgetu to nie magia, tylko porządek techniczny, który da się uporządkować krok po kroku. W tym przewodniku pokażemy, kiedy budżet indeksowania faktycznie ma znaczenie i jak go poprawić.

Najważniejsze w skrócie

• Crawl budget = crawl capacity limit (ile Google może) + crawl demand (ile Google chce).
• Realny problem dotyczy głównie dużych serwisów: powyżej ~1 mln URL-i lub 10 tys. stron zmienianych codziennie.
• Od 2025 roku szybkość odpowiedzi serwera waży więcej niż sama liczba podstron – potwierdził to Gary Illyes z Google.
• Najwięksi „pożeracze” budżetu: nawigacja fasetowa, parametry URL, łańcuchy przekierowań i soft 404.
• Monitoring zaczynasz od raportu Statystyki indeksowania i Stan indeksu stron w Google Search Console.

Czym jest crawl budget i z czego się składa?

Crawl budget (budżet indeksowania) to zestaw adresów URL, które robot Google – Googlebot – może i chce odwiedzić na Twojej stronie w określonym czasie. Google łączy w tej definicji dwa niezależne mechanizmy: limit wydajności indeksowania (crawl capacity limit) oraz zapotrzebowanie na indeksowanie (crawl demand) [źródło: Google Search Central, „Large site owner’s guide to managing crawl budget”, aktualizacja XII 2025].

Kluczowe jest tu jedno rozróżnienie: crawlowanie to nie to samo co indeksowanie. Google najpierw pobiera stronę (crawl), a dopiero potem ocenia, czy w ogóle warto ją umieścić w indeksie. Nie wszystko, co zostanie odwiedzone, trafia do wyników wyszukiwania. Dlatego marnowanie budżetu na strony bez wartości podwójnie boli – zabiera czas robotowi i nie przynosi nic w zamian.

Crawl capacity limit – ile Google może odwiedzić?

Crawl capacity limit to maksymalna liczba równoległych połączeń, jakich Googlebot używa, żeby nie przeciążyć Twojego serwera. Ten limit nie jest sztywny – rośnie i maleje w zależności od kondycji witryny. Gdy strona odpowiada szybko i stabilnie, Google zwiększa tempo. Gdy serwer zwalnia albo zaczyna zwracać błędy 5xx, robot się wycofuje: mniej połączeń, rzadsze wizyty, wolniejsza indeksacja.

Crawl demand – ile Google chce odwiedzić?

Crawl demand odpowiada na pytanie, jak bardzo Google w ogóle chce odwiedzać Twoje adresy. Napędzają go trzy czynniki, które warto znać:

• Postrzegany inwentarz (perceived inventory) – bez wskazówek od właściciela Google spróbuje odwiedzić każdy URL, łącznie z duplikatami i śmieciowymi wariantami. To najłatwiejszy do poprawienia czynnik.
• Popularność – adresy z większą liczbą linków i ruchu są odwiedzane częściej, żeby utrzymać ich świeżość.
• Nieświeżość (staleness) – systemy Google dążą do ponownego odwiedzania stron, by wychwycić zmiany w treści.

Zależność jest prosta: nawet jeśli serwer udźwignąłby więcej, przy niskim zapotrzebowaniu Google i tak będzie indeksować rzadziej. Ostateczny budżet to zawsze mniejsza z dwóch wartości – capacity albo demand.

Czy Twoja strona musi się martwić o crawl budget?

Większość stron nie musi. Google jasno wskazuje, że aktywne zarządzanie budżetem indeksowania ma sens dopiero dla dużych i szybko zmieniających się serwisów – orientacyjnie powyżej 1 mln unikalnych URL-i aktualizowanych mniej więcej raz w tygodniu albo powyżej 10 tys. stron zmienianych codziennie [źródło: Google Search Central, XII 2025]. Próg 1 mln stron nie zmienił się od 2020 roku, co Gary Illyes potwierdził w 2025.

Jest jednak trzeci, najczęściej pomijany sygnał alarmowy: duża liczba adresów oznaczonych w Search Console jako „Wykryto – obecnie nie zaindeksowano”. To realny objaw, że Googlebot dowiaduje się o Twoich stronach, ale nie ma motywacji ani zasobów, żeby je odwiedzić. Jeśli widzisz tu setki lub tysiące URL-i, budżet indeksowania może być wąskim gardłem – niezależnie od formalnej wielkości serwisu.

W naszej praktyce audytowej najczęściej dotyczy to sklepów internetowych. Katalog na papierze ma 5 tys. produktów, a przez nawigację fasetową, sortowania i paginację Googlebot widzi kilkadziesiąt tysięcy wariantów tych samych stron. To klasyczny scenariusz, w którym pozycjonowanie sklepów internetowych wymaga najpierw uporządkowania technicznego, a dopiero potem walki o frazy.

Jeśli prowadzisz małą witrynę firmową albo stronę usługową, budżet indeksowania niemal na pewno nie jest Twoim problemem. Tam o widoczności decydują jakość treści i poprawne pozycjonowanie lokalne, a nie techniczna gimnastyka wokół robota. Zanim uznasz, że masz „problem z crawl budgetem”, sprawdź najpierw, czy treść ma realną wartość i czy jest dobrze podlinkowana z mocnych podstron.

Co naprawdę zjada crawl budget?

Najważniejsza zmiana ostatnich lat brzmi kontrowersyjnie: liczy się nie tyle liczba stron, ile czas odpowiedzi serwera. W maju 2025 Gary Illyes z Google przyznał wprost, że kosztowne zapytania do bazy danych obciążają serwer bardziej niż sam rozmiar katalogu – witryna z 500 tys. stron generujących drogie zapytania SQL może mieć większy problem z indeksowaniem niż serwis z 2 mln stron serwujących lekki, buforowany HTML [źródło: Gary Illyes, podcast „Search Off the Record”, V 2025].

Punktem odniesienia jest Time to First Byte poniżej 300–400 ms. To realny czas, jakiego doświadcza Googlebot – nie odczuwalny czas ładowania z renderowaniem, a moment, w którym serwer zaczyna odsyłać dane [źródło: Google Search Central, XII 2025]. Kolejność priorytetów przy optymalizacji wygląda więc dziś tak:

1. Szybkość serwera – TTFB, buforowanie, wydajność zapytań do bazy.
2. Jakość i unikalność treści – to ona napędza crawl demand.
3. Wolumen i porządek URL-i – dopiero na końcu.

Wolny serwer i kosztowne zapytania do bazy

Wolny serwer to najczęstszy, a zarazem najbardziej niedoceniany hamulec indeksowania. Jeśli każda podstrona uruchamia ciężkie zapytania SQL bez cache, Googlebot musi czekać – a im dłużej czeka, tym mniej stron odwiedzi w tym samym oknie czasowym. Poprawa TTFB potrafi zwielokrotnić dzienną liczbę odwiedzanych adresów bez tknięcia jednej linijki treści. Dlatego audyt wydajności serwera powinien być pierwszym, a nie ostatnim krokiem.

Duplikaty i parametry URL – nawigacja fasetowa

Duplikaty i warianty parametryczne to główny „pożeracz” budżetu na dużych serwisach. Filtry, sortowania, identyfikatory sesji i parametry śledzące potrafią z jednej kategorii wygenerować setki niemal identycznych adresów. Rozwiązaniem jest konsolidacja sygnałów tagiem canonical i blokada bezużytecznych wariantów. Jeśli nie masz pewności, kiedy i jak stosować canonicale, mamy o tym osobny, szczegółowy poradnik: jak i kiedy używać linków kanonicznych.

Łańcuchy przekierowań i błędne kody HTTP

Łańcuchy przekierowań (A → B → C zamiast jednego skoku) marnują budżet, bo robot musi przejść przez każdy etap, zanim dotrze do celu. Podobnie działają soft 404 – strony zwracające kod 200 OK z treścią typu „nie znaleziono”. Google traktuje je jak realne strony i wraca do nich raz za razem, choć nie mają żadnej wartości. Warto wiedzieć, że zwykłe błędy 4xx (poza 429) budżetu nie marnują – Google próbuje pobrać stronę, dostaje kod i po prostu odpuszcza.

Strony renderowane w JavaScript

Strony oparte na JavaScript (np. aplikacje SPA) trafiają do osobnej, wolniejszej kolejki renderowania. Googlebot najpierw pobiera HTML, a dopiero potem – często z dużym opóźnieniem – renderuje skrypty, by zobaczyć pełną treść i linki. Na dużych, mocno „javascriptowych” serwisach ten dwuetapowy proces realnie spowalnia odkrywanie nowych podstron. Jeśli kluczowe linki i treść pojawiają się dopiero po wykonaniu JS, część z nich może długo czekać w kolejce.

Jak optymalizować crawl budget? Praktyczne kroki

Optymalizacja crawl budgetu polega na tym, żeby skierować Googlebota na wartościowe adresy i odciąć go od śmieciowych. Poniżej konkretne działania, które w audytach dają najszybszy efekt.

1. Przyspiesz serwer

Zejdź z TTFB do granicy 300–400 ms, włącz cache po stronie serwera i CDN, zoptymalizuj najcięższe zapytania do bazy. To jeden z tylko dwóch sposobów, które faktycznie zwiększają budżet indeksowania (drugim jest podniesienie wartości treści). Szybszy serwer to więcej połączeń od Googlebota i szybsza indeksacja nowych stron.

2. Uporządkuj plik robots.txt

Zablokuj adresy, których Google w ogóle nie ma odwiedzać: endpointy sortowań, wyniki filtrów, wewnętrzną wyszukiwarkę, nieskończone kalendarze. Blokujesz to, co ma zniknąć z kolejki – nie „przekierowujesz” w ten sposób budżetu gdzie indziej. Przykładowy zapis:

User-agent: *
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /szukaj/
Disallow: /*?add-to-cart=

3. Konsoliduj duplikaty tagiem canonical

Wskaż robotom wersję główną każdej podstrony za pomocą rel="canonical". Dzięki temu „wartość” nie rozprasza się na kilka bliźniaczych adresów, a Google wie, którą wersję indeksować. To fundament porządku w dużych sklepach i katalogach – szczegóły opisaliśmy w poradniku o linkach kanonicznych.

4. Zwracaj właściwe kody HTTP

Dla trwale usuniętych stron używaj kodu 404 lub 410 – to mocny sygnał, żeby robot przestał je odwiedzać. Adresy jedynie zablokowane w robots.txt zostają w kolejce znacznie dłużej i wracają, gdy blokada zniknie. Eliminuj też soft 404, które udają, że strona istnieje.

5. Zadbaj o aktualną sitemapę XML

Utrzymuj plik sitemap.xml z tagiem <lastmod> i wpisuj do niego wyłącznie adresy, które faktycznie chcesz indeksować. Świeża mapa strony ułatwia Google szybkie wykrycie nowych i zmienionych podstron. Dla wielu mniejszych serwisów regularnie aktualizowana sitemapa plus kontrola indeksacji to jedyne, czego naprawdę potrzeba.

6. Zapewnij parytet linków mobile/desktop

Google indeksuje wersję mobilną strony. Jeśli na mobile pokazujesz mniej linków niż na desktopie, spowalniasz odkrywanie nowych podstron. Zadbaj o ten sam zestaw linków w obu wersjach albo uzupełnij brakujące adresy w sitemapie [źródło: Search Engine Journal, aktualizacja wytycznych crawl budget Google].

Ważne! Nie używaj noindex, żeby oszczędzić budżet.
Google i tak pobierze taką stronę, zanim zobaczy tag noindex – czas indeksowania zostanie zużyty tak samo. Podobnie blokada w robots.txt sama w sobie nie przekazuje wolnego budżetu innym stronom; pomaga tylko wtedy, gdy serwer już wcześniej uderzał w limit wydajności [źródło: Google Search Central, XII 2025].

AI-crawlery – nowy gracz przy budżecie indeksowania

W 2025 i 2026 roku doszedł czynnik, którego kilka lat temu jeszcze nie było: boty modeli językowych. GPTBot, ClaudeBot i podobne roboty potrafią pochłonąć sporą część przepustowości serwera, co pośrednio ogranicza pojemność dostępną dla Googlebota. Jeśli Twój serwer jest już blisko limitu wydajności, ruch generowany przez crawlery AI realnie konkuruje o te same zasoby. To kolejny argument, żeby optymalizację zaczynać od warstwy serwerowej, a nie od kosmetyki treści – oraz żeby świadomie zarządzać dostępem botów w robots.txt.

Warto też pamiętać, że Googlebot nie jest jedynym robotem Google. AdsBot odwiedza strony docelowe reklam, by ocenić ich jakość, i ma własne, niezależne zapotrzebowanie. Jeśli łączysz SEO z płatnymi kampaniami, wydajny serwis pomoże obu kanałom – dlatego przy kampaniach Google Ads również dbamy o techniczną kondycję landing page’y.

Jak monitorować i analizować crawl budget?

Monitoring crawl budgetu zaczynasz w Google Search Console – to darmowe i wystarczające narzędzie dla większości serwisów. Trzy miejsca, które warto sprawdzać regularnie, opisujemy poniżej.

Raport „Statystyki indeksowania”

Raport Statystyki indeksowania (Ustawienia → Statystyki indeksowania) pokazuje, jak często Googlebot odwiedza Twój serwis, jak szybko odpowiada serwer i czy robot trafia na błędy hosta (5xx). Nagły spadek liczby żądań przy jednoczesnym wzroście czasu odpowiedzi to sygnał, że serwer stał się wąskim gardłem.

Raport „Stan indeksu stron”

Raport Stan indeksu stron obnaża crawl bloat, czyli rozdęcie liczby URL-i kosztem tych ważnych. Rosnąca kategoria „Wykryto – obecnie nie zaindeksowano” albo „Zindeksowano – obecnie nie zaindeksowano” to najczęstszy objaw marnowanego budżetu. Zestaw te liczby z realną liczbą stron, które chcesz mieć w indeksie.

Analiza logów serwera

Dla dużych serwisów najwięcej prawdy mówi analiza logów serwera – to jedyne miejsce, które pokazuje, co Googlebot faktycznie odwiedza, a nie co „powinien”. Zestawienie logów z mapą strony często obnaża całe rodziny adresów indeksowanych regularnie, a mimo to niegenerujących ruchu. Do audytów przydają się też narzędzia takie jak Screaming Frog SEO Spider czy Sitebulb, które symulują crawl i wychwytują duplikaty, przekierowania i błędne kody.

Taka diagnoza to standardowy element naszego audytu SEO – bez niej optymalizacja budżetu przypomina strzelanie na ślepo. Sprawdzamy wydajność serwera, strukturę URL-i, kody odpowiedzi i realny obraz z logów, a potem układamy listę priorytetów.

Crawl budget a pozycjonowanie – jak to przekłada się na widoczność?

Sam crawl budget nie jest czynnikiem rankingowym, ale wpływa na pozycje pośrednio i to bardzo konkretnie. Jeśli Googlebot nie zdąży odwiedzić i zaindeksować wartościowej podstrony, ta w ogóle nie rywalizuje o pozycje – nawet z najlepszą treścią. Na dużych serwisach sprawne indeksowanie oznacza szybsze wejście nowych treści do gry i utrzymanie aktualności tych istniejących.

Jest też druga zależność. Duża liczba stron crawlowanych, ale nieindeksowanych, bywa dla Google sygnałem o jakości i strukturze serwisu. Porządek techniczny wzmacnia więc nie tylko tempo indeksacji, ale i ogólną ocenę witryny. Dlatego traktujemy crawl budget jako element szerszej strategii pozycjonowania stron, a nie osobny, oderwany parametr.

Crawl budget to porządek, nie czarna magia

Budżet indeksowania rzadko jest samodzielnym problemem – częściej jest objawem. Wolny serwer, rozsypana struktura URL-i i duplikaty najpierw marnują crawl budget, a przy okazji obniżają jakość, jaką Google widzi na całej stronie. Uporządkuj fundament – szybkość, kody HTTP, canonicale, sitemapę – a robot sam zacznie częściej zaglądać tam, gdzie zależy Ci najbardziej.

Ciekawostka: próg 1 mln stron, od którego Google zaleca aktywne zarządzanie crawl budgetem, nie zmienił się od 2020 roku – Gary Illyes potwierdził to w 2025. To oznacza, że dla około 99% biznesowych witryn „problem z crawl budgetem” w rzeczywistości okazuje się problemem z jakością treści, linkowaniem wewnętrznym albo szybkością serwera.

Najczęściej zadawane pytania (FAQ)

Czy crawl budget wpływa na pozycje w Google?

Pośrednio tak. Sam budżet nie jest czynnikiem rankingowym, ale jeśli Googlebot nie zdąży odwiedzić i zaindeksować wartościowych podstron, nie będą one w ogóle rywalizować o pozycje. Na dużych serwisach sprawna optymalizacja crawl budgetu przyspiesza indeksację nowych treści i utrzymuje aktualność tych istniejących.

Jak zwiększyć crawl budget swojej strony?

Google wskazuje tylko dwa realne sposoby: zwiększyć wydajność serwera (szybsze odpowiedzi, niższy TTFB) oraz podnieść wartość i unikalność treści. Blokowanie stron w robots.txt samo w sobie nie „przekazuje” budżetu innym adresom – pomaga tylko wtedy, gdy serwer już wcześniej uderzał w limit wydajności.

Co marnuje crawl budget najbardziej?

Najwięcej budżetu pochłaniają duplikaty i warianty parametryczne URL (filtry, sortowania, identyfikatory sesji), łańcuchy przekierowań, błędy soft 404 oraz wolno odpowiadający serwer. W sklepach internetowych głównym winowajcą jest zwykle nawigacja fasetowa generująca tysiące niemal identycznych adresów.

Kiedy nie muszę przejmować się crawl budgetem?

Jeśli Twoja strona ma mniej niż ~10 tys. adresów, serwer odpowiada w granicach 300–400 ms, a nowe treści pojawiają się w Google w ciągu kilku dni – crawl budget nie jest Twoim problemem. Wystarczy dbać o aktualną sitemapę i regularnie sprawdzać raport indeksowania w Search Console.

Czy blokada strony w robots.txt usuwa ją z Google?

Nie. Robots.txt blokuje jedynie crawlowanie, ale zablokowany adres wciąż może pojawić się w wynikach (bez opisu), jeśli Google zna go z linków. Do usunięcia strony z indeksu służy tag noindex lub kod 404/410 – ale wtedy strona nie może być jednocześnie zablokowana w robots.txt, bo robot nie zobaczyłby tej dyrektywy.

Jak sprawdzić, czy mam problem z budżetem indeksowania?

Otwórz w Google Search Console raport „Stan indeksu stron” i sprawdź kategorię „Wykryto – obecnie nie zaindeksowano”. Duża i rosnąca liczba takich adresów, w połączeniu z wolnym serwerem i rozbudowaną nawigacją fasetową, to najczęstszy zestaw objawów. Pełny obraz da dopiero analiza logów serwera.

Źródła

• Google Search Central / Google for Developers – „Large site owner’s guide to managing crawl budget” (aktualizacja: grudzień 2025).
• Gary Illyes, Google – podcast „Search Off the Record” (maj 2025), wątek kosztu zapytań do bazy danych i TTFB.
• Search Engine Journal – aktualizacja wytycznych Google dot. parytetu linków mobile/desktop w kontekście crawl budgetu.
• Search Engine Land – „Crawl budget: what you need to know”, omówienie progów i sygnałów w Search Console.