Budżet indeksowania Google: jak to działa i jak go zmaksymalizować

Dla każdej witryny w Internecie Google ma ustalony budżet na liczbę stron, które mogą i są skłonne indeksować ich boty. Internet to duże miejsce, więc Googlebot może spędzać tylko tyle czasu na przeszukiwaniu i indeksowaniu naszych witryn. Optymalizacja budżetu indeksowania to proces zapewniający, że właściwe strony naszych witryn trafiają do indeksu Google i są ostatecznie wyświetlane osobom wyszukującym.

Rekomendacje Google dotyczące optymalizacji budżetu indeksowania są raczej ograniczone, ponieważ Googlebot indeksuje większość witryn bez osiągania swojego limitu. Jednak witryny korporacyjne i witryny e-commerce z tysiącami stron docelowych są zagrożone przekroczeniem budżetu. Badanie z 2018 r. wykazało nawet, że roboty indeksujące Google nie zdołały zaindeksować ponad połowy stron internetowych większych witryn biorących udział w eksperymencie.

Wpływanie na sposób wydatkowania budżetu indeksowania może być trudniejszą do wdrożenia optymalizacją techniczną dla strategów. Jednak w przypadku witryn korporacyjnych i witryn e-commerce warto zmaksymalizować budżet indeksowania tam, gdzie jest to możliwe. Dzięki kilku poprawkom właściciele witryn i stratedzy SEO mogą poinstruować Googlebota, aby regularnie przeszukiwał i indeksował ich najskuteczniejsze strony.

Jak Google określa budżet indeksowania?

Budżet na indeksowanie to zasadniczo czas i zasoby, które Google może przeznaczyć na indeksowanie Twojej witryny. Równanie wygląda następująco:

Budżet indeksowania = szybkość indeksowania + zapotrzebowanie na indeksowanie

Urząd domeny, linki zwrotne, szybkość witryny, błędy indeksowania i liczba stron docelowych mają wpływ na szybkość indeksowania witryny. Większe witryny zwykle mają wyższą szybkość indeksowania, podczas gdy mniejsze witryny, wolniejsze witryny lub te z nadmiernymi przekierowaniami i błędami serwera zwykle są indeksowane rzadziej.

Google określa również budżet indeksowania na podstawie „zapotrzebowania na indeksowanie”. Popularne adresy URL mają większe zapotrzebowanie na indeksowanie, ponieważ Google chce dostarczać użytkownikom najświeższe treści. Google nie lubi przestarzałej zawartości w swoim indeksie, więc strony, które nie były indeksowane od jakiegoś czasu, również będą miały większy popyt. Jeśli Twoja witryna przechodzi migrację witryny, Google zwiększy zapotrzebowanie na indeksowanie, aby szybciej zaktualizować indeks o nowe adresy URL.

Budżet indeksowania Twojej witryny może się zmieniać i na pewno nie jest stały. Jeśli poprawisz hosting serwera lub szybkość witryny, Googlebot może zacząć indeksować Twoją witrynę częściej, wiedząc, że nie spowalnia to korzystania z internetu przez użytkowników. Aby uzyskać lepsze wyobrażenie o aktualnej średniej szybkości indeksowania Twojej witryny, zajrzyj do raportu indeksowania Google Search Console.

Czy każda witryna musi martwić się o budżet na indeksowanie?

Mniejsze witryny, które koncentrują się tylko na uzyskaniu rankingu kilku stron docelowych, nie muszą martwić się o budżet indeksowania. Jednak większe witryny — zwłaszcza niezdrowe witryny z nadmiernymi uszkodzonymi stronami i przekierowaniami — mogą łatwo osiągnąć limit indeksowania.

Typy dużych witryn, które są najbardziej zagrożone maksymalnym budżetem na indeksowanie, zwykle mają dziesiątki tysięcy stron docelowych. Budżety indeksowania często negatywnie wpływają na główne witryny e-commerce. Natknąłem się na wiele witryn firmowych, których znaczna liczba stron docelowych nie została zindeksowana, co oznacza zerową szansę na pozycję w Google.

Istnieje kilka powodów, dla których w szczególności witryny e-commerce muszą zwracać większą uwagę na to, gdzie trafia ich budżet indeksowania.

• Wiele witryn e-commerce programowo tworzy tysiące stron docelowych dla swoich kodów SKU lub dla każdego miasta lub stanu, w którym sprzedają swoje produkty.
• Tego typu witryny regularnie aktualizują swoje strony docelowe, gdy produkty wyczerpią się, dodawane są nowe produkty lub następują inne zmiany w asortymencie.
• Witryny e-commerce mają tendencję do duplikowania stron (np. stron produktów) i identyfikatorów sesji (np. plików cookie). Oba są postrzegane przez Googlebota jako adresy URL o niskiej wartości dodanej, co negatywnie wpływa na szybkość indeksowania

Kolejnym wyzwaniem wpływającym na budżet indeksowania jest to, że Google może go w dowolnym momencie zwiększyć lub zmniejszyć. Chociaż mapa witryny jest ważnym krokiem w przypadku dużych witryn, aby usprawnić przeszukiwanie i indeksowanie ich najważniejszych stron, nie jest ona wystarczająca, aby zapewnić, że Google nie wykorzysta maksymalnego budżetu na indeksowanie stron o niższej wartości lub niskiej wydajności.

Jak więc webmasterzy mogą przeprowadzić optymalizację budżetu indeksowania?

Chociaż właściciele witryn mogą ustawić wyższe limity indeksowania na swoich kontach w Google Search Console, ustawienie to nie gwarantuje większej liczby żądań indeksowania ani nie wpływa na to, które strony ostatecznie indeksuje Google. Może się wydawać, że najbardziej naturalnym rozwiązaniem jest częstsze indeksowanie witryny przez Google, ale istnieją bardzo ograniczone optymalizacje, które mają bezpośredni związek ze zwiększoną szybkością indeksowania.

Wszyscy wiemy, że dobre budżetowanie nie polega na zwiększaniu limitów wydatków; chodzi o bycie bardziej wybiórczym w kwestii tego, na co wydajesz pieniądze. Zastosowanie tej samej koncepcji do indeksowania budżetu może przynieść ogromne rezultaty. Oto kilka strategicznych kroków, które pomogą Google wykorzystać budżet na swoją korzyść.

Krok 1: Zidentyfikuj, które strony Google faktycznie indeksuje w Twojej witrynie

Do niedawna raport indeksowania Google Search Console informował właścicieli witryn tylko o liczbie żądań indeksowania, które ich witryna otrzymała w określonych dniach. Chociaż nowy raport Google Crawl Stats Report zawiera znacznie bardziej szczegółowe informacje na temat indeksowania, najlepszym miejscem do zrozumienia, jak Google indeksuje Twoją witrynę, nadal są pliki dziennika serwera.

Gdy Google odwiedza Twoją witrynę, korzysta z określonego klienta użytkownika. Dzięki temu Twój serwer będzie wiedział, że ruch pochodzi z Googlebota, a nie z rzeczywistej osoby.

(Znajdziesz tam też bota Bingbota i Ahrefsa).

Analizator logów Oncrawl

Analiza plików dziennika w celu monitorowania botów i optymalizacji budżetu indeksowania. Wykryj problemy ze stanem witryny i popraw częstotliwość indeksowania.

Ucz się więcej

Właściciele witryn, którzy przeanalizują zawartość tego pliku dziennika, otrzymają mnóstwo informacji o budżecie indeksowania Google dla ich witryny. Plik ujawni kilka rzeczy:

• Które strony odwiedza klient użytkownika
• Ile stron dziennie indeksuje agent
• Niezależnie od tego, czy którakolwiek z indeksowanych stron wyświetla błąd 404 lub jest uszkodzony

W idealnym przypadku chcesz, aby Google indeksowało strony docelowe w Twojej witrynie, które są zoptymalizowane pod kątem słów kluczowych o najwyższej wartości. Ponadto właściciele witryn nigdy nie powinni marnować budżetu na indeksowanie na 404. Google Search Console pokaże tylko niektóre z twoich miękkich błędów 404, ale możesz je wszystkie zidentyfikować w dziennikach serwera.

Po uzyskaniu bardziej szczegółowych informacji o tym, które strony witryny są indeksowane, wykonaj następujące czynności:

• Dodaj tagi robotów: jeśli Googlebot indeksuje te błędy 404 lub uszkodzone strony, priorytetem numer jeden powinno być dodanie tagów robotów [noindex, nofollow], aby uniemożliwić Googlebotowi przemierzanie i indeksowanie tych stron.
• Dostosuj mapę witryny: jeśli z dzienników serwera wynika, że ​​Google nie indeksuje potencjalnie skutecznych stron, umieść je wyżej w mapie witryny, aby upewnić się, że zostaną zindeksowane.

Krok 2: Zaakceptuj, że nie wszystkie Twoje strony docelowe muszą być pozycjonowane w Google

Głównym powodem, dla którego tak wiele witryn firmowych marnuje budżet na indeksowanie, jest to, że umożliwiają one Google indeksowanie każdej strony docelowej w ich witrynie. Wiele witryn lubi nawet umieszczać wszystkie swoje strony w swojej aplikacji mobilnej, aby Google mógł je wszystkie znaleźć i zaindeksować. To błąd, ponieważ w rzeczywistości nie wszystkie nasze strony docelowe będą się pozycjonować.

Jaka jest wartość posiadania strony docelowej w indeksie Google? Ranking i konwersja. Jeśli Twoja witryna zawiera strony docelowe, które nie przyciągają uwagi dzięki rankingowi wielu słów kluczowych lub konwersji odwiedzających witrynę na potencjalnych klientów i przychody, po co w ogóle ryzykować, że Google je zindeksuje?

Właściciele witryn na poziomie przedsiębiorstw i witryn e-commerce powinni wiedzieć, które strony ich witryn są zoptymalizowane pod kątem konwersji i mają największe szanse na ranking i konwersję. Następnie powinni wykorzystać wszystkie możliwe zalety, aby upewnić się, że Google wydaje budżet indeksowania na te strony o wysokiej skuteczności.

Strony docelowe Twojej witryny, które mają wysoki ranking i potencjał konwersji, są warte przeznaczenia na budżet indeksowania. Oto kilka wskazówek, dzięki którym Googlebot uwzględni te strony w Twoim budżecie.

• Zmniejsz liczbę stron na mapie witryny . Skoncentruj się tylko na stronach, które faktycznie mają duże szanse na ranking i uzyskanie ruchu organicznego.
• Usuń mało wydajne lub niepotrzebne strony . Usuń te strony, które nie wnoszą żadnej wartości, ponieważ nie mają rankingu, konwersji ani celu funkcjonalnego.
• Przycinanie treści . Przycinaj strony, które w rzeczywistości nie generują żadnego ruchu organicznego, i przekierowuj je na inne strony docelowe w Twojej witrynie, które są odpowiednie i generują ruch. Zwróć uwagę, że przekierowania pochłaniają trochę budżetu indeksowania, więc staraj się używać ich oszczędnie i nigdy nie używaj ich dwa razy z rzędu.

Właścicielowi witryny trudno jest pozbyć się treści, ale znacznie łatwiej jest uniemożliwić Google indeksowanie niektórych stron niż zwiększyć ogólny budżet indeksowania przez Google. Uporządkowanie witryny, aby roboty indeksujące Google z większym prawdopodobieństwem znalazły i zaindeksowały najlepsze elementy, ma najwyższy priorytet, jeśli chcesz mądrze wydać budżet na indeksowanie.

Krok 3: Użyj wewnętrznych linków, aby podnieść skuteczność stron dla robotów Google

Gdy zidentyfikujesz strony indeksowane przez Google, dodasz niezbędne tagi robotów, usuniesz lub wyczyścisz strony o niskiej skuteczności, a także wprowadzisz poprawki w mapie witryny, roboty indeksujące Google będą bardziej skłonne wydawać swój budżet na właściwe strony Twojej witryny.

Ale aby naprawdę zmaksymalizować ten budżet, Twoje strony muszą mieć to, czego potrzeba do rankingu. Najlepsze praktyki SEO na stronie są kluczowe, ale bardziej zaawansowaną strategią techniczną jest wykorzystanie wewnętrznej struktury linków, aby podnieść te potencjalnie skuteczne strony.

Podobnie jak Googlebot ma ograniczony budżet na indeksowanie, Twoja witryna ma tylko określoną wartość kapitału witryny w oparciu o jej zasięg w Internecie. Twoim obowiązkiem jest mądrze skoncentrować swój kapitał. Oznacza to kierowanie kapitału witryny na te strony, które są kierowane na słowa kluczowe, dla których masz duże szanse na zajęcie pozycji w rankingu, i na te, które przynoszą ruch z właściwymi rodzajami klientów, tymi, którzy mogą dokonać konwersji i faktycznie mają wartość ekonomiczną.

Ta strategia SEO jest znana jako rzeźbienie PageRank. Jeśli masz dużą witrynę z tysiącami stron docelowych, zaawansowany strateg może przeprowadzić eksperymenty SEO, aby zoptymalizować profil linków wewnętrznych Twojej witryny w celu uzyskania lepszej dystrybucji PageRank. Jeśli jesteś nową witryną, możesz wyprzedzić konkurencję, włączając do architektury swojej witryny rzeźbienie PageRank i dbając o sprawiedliwość witryny z każdą nową stroną docelową, którą tworzysz.

Oto dwie z moich ulubionych strategii analizowania moich stron w celu określenia, która z nich najbardziej skorzysta na rzeźbieniu PageRank.

• Znajdź strony swojej witryny, które mają dobry ruch, ale nie mają wystarczającego PageRank . Znajdź sposoby, aby te strony uzyskać więcej wewnętrznych linków i wysłać tam więcej PageRank. Dodanie ich do nagłówka lub stopki witryny to świetny sposób, aby zrobić to szybko, ale nie przesadzaj z linkami w menu nawigacyjnym.
• Skoncentruj się na stronach, które mają dużo linków wewnętrznych, ale nie uzyskują dużego ruchu, wyświetleń w wynikach wyszukiwania i pozycji w rankingu dla bardzo niewielu słów kluczowych . Strony otrzymujące wiele wewnętrznych linków zazwyczaj zawierają dużo PageRank. Jeśli nie wykorzystują tego PageRank do przyciągnięcia ruchu organicznego do Twojej witryny, marnują go. Lepiej przenieść ten PageRank na strony, które faktycznie mogą poruszyć igłę.

Zrozumienie roli, jaką każdy link w Twojej witrynie odgrywa nie tylko w wysyłaniu Googlebota po Twojej witrynie, ale także w dystrybucji kapitału linków, jest ostatnim krokiem w optymalizacji budżetu indeksowania. Poprawna struktura wewnętrznych linków może prowadzić do radykalnej poprawy rankingów na stronach z pieniędzmi. Ostatecznie najlepszym sposobem na wykorzystanie budżetu na indeksowanie jest tworzenie stron docelowych, które najprawdopodobniej przyniosą dochód w Twojej kieszeni.

Po wprowadzeniu zmian miej oko na rankingi słów kluczowych tych ulepszonych stron w narzędziu Google Search Console. Poprawa rankingów tych stron oznacza, że ​​optymalizacja budżetu indeksowania działa. Następnie, dodając nowe strony do swojej witryny, bądź bardziej selektywny, czy zasługują na pochłonięcie budżetu indeksowania. Jeśli nie, kieruj roboty indeksujące tylko na strony, które pracują najciężej dla Twojej marki.