Jak zoptymalizować budżet indeksowania

W maju zorganizowaliśmy seminarium internetowe w języku francuskim na temat budżetu indeksowania Google. Na swoim drugim webinarium z OnCrawl, Erle Alberton, były szef SEO w Orange & Sosh (francuski dostawca Internetu), a teraz Customer Success Manager w OnCrawl, przedstawia koncepcję budżetu indeksowania, najlepsze praktyki jego optymalizacji, czego należy unikać itp. Praktyczne przykłady zilustrują tę koncepcję, która została niedawno potwierdzona przez zespół Google.

Co Google mówi o budżecie indeksowania

W połowie stycznia Google opublikował na swoim blogu artykuł, w którym stwierdza: „nie mamy ani jednego terminu, który opisywałby wszystko, co oznacza „crawl budget” zewnętrznie. Innymi słowy, to, co my, SEO, uważamy za budżet indeksowania.

Gigant internetowy wskazuje również, że jeśli Twoje nowe strony są zwykle indeksowane tego samego dnia ich publikacji, to tak naprawdę nie musisz się martwić o budżet indeksowania. Stwierdza również, że jeśli witryna ma mniej niż kilka tysięcy adresów URL, zostanie zindeksowana poprawnie, ponieważ budżet indeksowania jest zwykle zarezerwowany dla witryn o dużej liczbie wyświetleń… Jest to zarówno dobre, jak i złe, ponieważ wszystkie witryny w Google Search Console mają budżet indeksowania. Możemy to łatwo zobaczyć w danych Google.

Z tego artykułu dowiadujemy się również, że Google stara się osiągnąć „limit szybkości indeksowania”, który ogranicza maksymalną szybkość pobierania dla danej witryny. Widzimy, że na przykład, gdy czas ładowania jest zbyt długi, Google tnie budżet prawie o 2. Mając to na uwadze, istnieją czynniki, które mogą wpłynąć na budżet indeksowania, takie jak zła architektura (system, kody statusu, struktura wewnętrzna ), słaba i / lub zduplikowana treść, pułapki na pająki itp.

Jak działa budżet indeksowania Google?

Indeksowanie Google to zestaw prostych kroków, które działają rekurencyjnie dla każdej witryny. Oto wykres z Google, na którym widzimy, że indeksowanie rozpoczyna się od trafienia na robota txt, a następnie rozdziela się na zestaw adresów URL, które są skompilowane na liście. Następnie Google próbuje je pobrać, porównując ze znanymi mu adresami URL oraz tymi, które ma już w kopii zapasowej.

Jego celem jest wyczerpujące i precyzyjne uzupełnienie indeksu. Widzimy, że nawet jeśli witryna jest w JavaScript, Google wyśle ​​roboty indeksujące trzeciego poziomu. Nadal należy uważać na witryny JavaScript, ponieważ zużywają one dużo zasobów botów i są wysyłane średnio tylko raz na kwartał. Musimy ponownie przemyśleć naszą metodę, aby Google miał dostęp do stron poza nawigacją JavaScript.

Następnie Google sprawdzi stan aktualizacji strony (porównanie z wcześniej zaindeksowaną treścią), aby ocenić, czy strona jest ważna, czy mniej ważna. Rzeczywiście, Google musi zoptymalizować swoje zasoby indeksowania, ponieważ nie może zaindeksować każdej strony wszystkich witryn internetowych. Nazywa się to ważnością strony… jest to bardzo ważny wynik do naśladowania, którego szczegóły zobaczymy poniżej!

Fakt: jeśli Google optymalizuje, to dlatego, że jest ku temu powód

Budżet indeksowania zależy od:

• zdolność witryny do szybkiego odpowiadania;
• Poczytalność witryny – 4xx, 5xx, 3xx (gdy witryna zaczyna mieć błędy 404 lub 500, wpłynie to na budżet indeksowania, ponieważ zawsze dwukrotnie sprawdza, czy zostały wprowadzone poprawki);
• Jakość treści – semantyka i kompletność;
• Różnorodność kotwic (strona jest uważana za ważną, gdy otrzymuje dużo linków. Dzięki InRank OnCrawl możesz przeanalizować całość);
• Popularność strony – zewnętrzna i wewnętrzna;
• Czynniki możliwe do optymalizacji – uproszczenie indeksowania (zmniejsz rozmiar obrazu, pojemność do css, js, gif, czcionki itp.)

[Studium przypadku] Zwiększ budżet indeksowania na strategicznych stronach

Większość ruchu Manageo pochodzi z wyszukiwania organicznego. Ruch ten opiera się głównie na wyszukiwaniu z długiego ogona, co stwarza potrzebę jednoczesnej optymalizacji dla milionów słów kluczowych. Budżet indeksowania szybko stał się problemem.

Przeczytaj studium przypadku

Kluczowe składniki Google Page Ważność

Definicja ważności strony nie jest taka sama jak Page Rank:

• Lokalizacja strony w serwisie – głębokość indeksowania;
• Page Rank: TF/CF Page'a – Majestic;
• Wewnętrzny Page Rank — InRank OnCrawl;
• Rodzaj dokumentu : PDF, HTML, TXT (PDF jest zwykle ostatecznym dokumentem jakościowym, więc jest często indeksowany);
• Włączenie do sitemap.xml;
• Liczba linków wewnętrznych:
• Jakość/ważność kotwicy;
• Treść jakościowa: liczba słów, niewiele prawie duplikatów (Google będzie karać podobne treści, jeśli strony są zbyt blisko treści);
• Znaczenie strony „domowej”.

Jak zaplanować ważne adresy URL do indeksowania

Planowanie adresów URL: jakie strony Google chce odwiedzać i jak często?

W powyższym przykładzie (obserwacja częstotliwości indeksowania tej samej witryny) Google nie indeksuje z tą samą częstotliwością w różnych grupach. Widzimy, że kiedy Google indeksuje część witryny, wpływ rankingu jest szybko widoczny.

Więcej informacji o budżecie indeksowania Google

• 100% witryn Google Search Console zawiera dane indeksowania;
• Możemy śledzić jego zachowanie podczas indeksowania dzięki analizie logów, która pomaga szybko wykryć nieprawidłowości w zachowaniu bota;
• Zła struktura wewnętrzna (paginacja, strony osierocone, pajęcze pułapki) może uniemożliwić Google indeksowanie właściwych stron;
• Budżet indeksowania jest bezpośrednio powiązany z rankingiem.

Najpierw szybkość strony

Najważniejszym czynnikiem jest czas ładowania strony, ponieważ odgrywa on decydującą rolę w budżecie indeksowania. Rzeczywiście, żyjemy dzisiaj w mobilnym świecie. Twoim najlepszym atutem jest zatem czas ładowania strony, aby zoptymalizować budżet indeksowania i SEO. Wraz z rewolucją mobilną czas ładowania jest istotnym czynnikiem w ocenie jakości witryny. Jego zdolność do szybkiego reagowania — zwłaszcza w przypadku urządzeń mobilnych i najpierw indeksowania urządzeń mobilnych.

Aby go zoptymalizować, możemy skorzystać z rozwiązań CDN (Content Delivery Network), takich jak Cloudflare. Dzięki tym rozwiązaniom roboty Google mogą znajdować się jak najbliżej zasobów i ładować strony tak szybko, jak to możliwe.

Google stale testuje zdolność witryny do szybkiego reagowania. Jakość architektury i kodowania ma duży wpływ na notację Google.

Czas ładowania

To pierwszy czynnik alokacji budżetu indeksowania!

Jeśli chodzi o serwer , musisz:

• Unikaj przekierowań;
• Autoryzuj kompresję;
• Popraw czas reakcji.

Powyżej przykład z witryną Manageo , która miała liniowy budżet indeksowania i gdzie możemy zauważyć liniowy wzrost. W maju następuje spadek liczby stron indeksowanych dziennie, a co za tym idzie zmiana szybkości witryny. Google widzi, że witryna reaguje wolniej, więc zmniejsza o połowę budżet indeksowania. Aby to wszystko naprawić, musisz zoptymalizować swoje kody po stronie serwera, zmniejszyć przekierowania, zastosować kompresję i tak dalej.

Z przodu musisz:

• Obsługuj buforowanie przeglądarki
• Zmniejsz rozmiar zasobów (optymalizacja obrazu, użyj CDN/leniwego ładowania/usuń JS, który blokuje wyświetlanie;
• Używaj skryptów asynchronicznych.

Spadek jakości = koniec miłości = koniec budżetu

Aby upewnić się, że IS jest czysty, należy sprawdzić kody stanu wysyłane z powrotem do robotów Google. To jedyny sposób, w jaki Google może sprawdzić, czy jakość Twojego kodu i architektury jest czysta.

Śledzenie ich ewolucji w czasie zapewnia, że ​​aktualizacje kodu są przyjazne dla SEO. Google wydaje dużo na zasoby (css, img, js), więc upewnij się, że są one bezbłędne.

Unikalna i bogata treść

Strona jest ważniejsza, im bogatszy jest jej tekst. Jak pokazano powyżej, liczba stron zindeksowanych i niezindeksowanych przez Google jest powiązana z liczbą słów znajdujących się na stronie. Dlatego Twoje strony powinny być ulepszane i aktualizowane tak regularnie, jak to możliwe.

Uważaj na kanoniczne i duplikaty treści

Google wyda dwa razy więcej budżetu, gdy dwie podobne strony nie będą wskazywać tego samego kanonicznego adresu URL. W związku z tym zarządzanie kanoniczne może stać się krytyczne dla witryn z aspektami lub linkami zewnętrznymi z queryString.

Zarządzanie treścią prawie zduplikowaną i kanoniczną staje się ważnym aspektem optymalizacji budżetu indeksowania.

Struktura wewnętrzna i rozkład InRank

Strony generujące wizyty SEO są uważane za aktywne. Są to te, które znajdują się na szczycie architektury witryny. Z drugiej strony widzimy tutaj, że na stronie 15 pojawia się grupa stron. Być może te strony są znacznie częściej wyszukiwane przez użytkowników niż myślałeś i wymagałyby ulepszenia architektury, aby poprawić ich pozycję w rankingu.

Jak wiemy, im głębiej znajdują się strony, tym mniej Google je odwiedzi!

Czy moje strony z pieniędzmi są dobrze zlokalizowane?

Wskazówka: Jeśli chcesz zoptymalizować głębokość niektórych grup stron, nie wahaj się tworzyć planów witryn w formacie html, czyli stron, które są kluczowe dla zarządzania głębokością.

Google porówna strony Twojej struktury z zaindeksowanymi i aktywnymi. To powiedziawszy, korzystne byłoby rozwiązanie problemu osieroconych stron, na które Google niepotrzebnie wydaje budżet, i naprawienie architektury witryny, aby zwracały linki do aktywnych, ale niezwiązanych ze strukturą stron.

Czasami strony nie otrzymują już linków, nazywane są stronami osieroconymi. Z drugiej strony Google nie zapomniał o nich. Będzie ich nadal odwiedzał. Nie otrzymują już linków, więc tracą na znaczeniu, ale na odpowiednim wykresie niektóre osierocone strony nadal są odwiedzane przez SEO. Musisz wiedzieć, jak szybko je zidentyfikować i naprawić problemy z łączeniem, które występują w architekturze. To świetny sposób na optymalizację budżetu indeksowania.

Błędy, których należy unikać

• Robots.txt w 404;
• Sitemap.xml i sitemap.html nieaktualne;
• 50x / 40x / miękkie błędy 404;
• Posiadanie przekierowań łańcuchowych;
• błędy kanoniczne;
• Zduplikowana treść (stopka) / prawie duplikat / HTTP vs HTTPS;
• Zbyt długi czas odpowiedzi;
• Zbyt duże obciążenie strony;
• AMP/ błędy. Protokół ten jest szeroko stosowany przez Google, zwłaszcza w witrynach handlu elektronicznego (nie tylko witrynach multimedialnych);
• Złe linkowanie wewnętrzne + Rel=nofollow;
• Używanie JS bez żadnej innej alternatywy.

Wnioski

Aby zoptymalizować budżet indeksowania, musisz:

• Poznaj swoje strony dotyczące pieniędzy i poznaj reakcje Google;
• Popraw czas ładowania;
• Zoptymalizuj swoje wewnętrzne linki: umieść wszystkie strony z pieniędzmi na górze struktury;
• Napraw swoje osierocone strony;
• Dodaj tekst do swoich stron z pieniędzmi;
• Aktualizuj w pełni swoje strony z pieniędzmi – świeżość;
• Zmniejsz swoje słabe treści i duplikaty;
• Zoptymalizuj swoje kanoniczne, obrazy, wagę zasobów;
• Unikaj przekierowań łańcuchowych;
• Monitoruj swoje logi i reaguj, gdy pojawią się nieprawidłowości (sprawdź ten przypadek użycia z Manageo podczas SEOcamp Lyon na ten temat).

Aby zoptymalizować budżet indeksowania, musisz dokładnie monitorować robota Google

Niektóre momenty ścieżki Google w Twojej witrynie są ważniejsze niż inne, więc musisz wiedzieć, jak je zoptymalizować.

Aby zoptymalizować budżet indeksowania, konieczne jest prawidłowe zarządzanie migracją HTTPS (HTTP2)

Musisz być w stanie go śledzić i monitorować. Rzuć wyzwanie swoim zespołom IT, aby przeprowadziły migrację do HTTP2 z HTTPS.
OnCrawl pomaga śledzić budżet indeksowania Google na co dzień i szybko ukierunkowywać poprawki i zmiany strukturalne w celu poprawy wydajności SEO.

Rozpocznij bezpłatny 14-dniowy okres próbny

Przekonaj się sam, dlaczego Oncrawl jest najbardziej rozpoznawalną platformą pozycjonowania technicznego i danych na rynku! Nie jest wymagana karta kredytowa i żadne zobowiązania: tylko 14 dni w pełni funkcjonalnej wersji próbnej.

Rozpocznij okres próbny