Crawl budget to termin używany w SEO, który opisuje ilość zasobów, jakie wyszukiwarka, taka jak Google, przeznacza na skanowanie (crawlowanie) stron internetowych. Innymi słowy jest to liczba podstron, które roboty wyszukiwarek mogą odwiedzić i zindeksować w określonym czasie.
Crawl budget opiera się na dwóch innych czynnikach: Crawl Rate Limit (limit szybkości crawlowania) – czyli ograniczenie liczby indeksowanych podstron (crawl rate limit to pewnego rodzaju ograniczenie prędkości dla wyszukiwarki – mówi, jak szybko może przeszukiwać Twoją stronę). Wskaźnik ten jest automatycznie kontrolowany przez wyszukiwarkę, ale właściciele stron mogą wpływać na ten parametr za pomocą pliku robots.txt oraz ustawień w Google Search Console.
Drugie pojęcie, które jest związane z crawl budgetem to Crawl Demand (zapotrzeowanie na indeksowanie). Jest to termin, który odnosi się do tego, jak bardzo wyszukiwarka chce przeszukiwać i indeksować Twoją stronę internetową. Można to porównać do zainteresowania, jakie wyszukiwarka ma Twoją stroną. Jeśli Twoja strona jest często aktualizowana i popularna, wyszukiwarka będzie chciała przeszukiwać ją częściej.
Jak optymalizować Crawl Budget?
- Upewnij się, że struktura strony jest logiczna i łatwa do nawigacji dla robotów wyszukiwarek.
- Napraw wszystkie błędy 404 i przekierowania 301, które mogą marnować crawl budget.
- Blokuj indeksowanie stron o niskiej wartości (np. strony administracyjne, duplikaty).
- Często aktualizuj zawartość strony, aby zwiększyć crawl demand.
