Jak zdefiniować budżet indeksowania?

Wszyscy mówimy o tym jako o SEO, ale jak faktycznie działa budżet indeksowania? Wiemy, że liczba stron, które wyszukiwarki indeksują i indeksują podczas odwiedzania witryn naszych klientów, ma korelację z ich sukcesem w bezpłatnych wynikach wyszukiwania, ale czy zawsze lepszy jest większy budżet na indeksowanie?

Jak wszystko w Google, nie sądzę, aby związek między budżetem indeksowania Twoich witryn a wydajnością rankingu/SERP był w 100% prosty, zależy od wielu czynników.

Dlaczego budżet indeksowania jest ważny? Z powodu aktualizacji kofeiny w 2010 roku. Dzięki tej aktualizacji Google przebudował sposób indeksowania treści, stosując indeksowanie przyrostowe. Wprowadzając system „percolator”, usunęli „wąskie gardło” indeksowanych stron.

Jak Google określa budżet indeksowania?

Wszystko sprowadza się do Twojego PageRank, przepływu cytatów i przepływu zaufania.

Dlaczego nie wspomniałem o Domain Authority? Szczerze mówiąc, moim zdaniem jest to jeden z najczęściej nadużywanych i niezrozumianych wskaźników dostępnych dla SEO i content marketerów, który ma swoje miejsce, ale zbyt wiele agencji i SEO przywiązuje do niego zbyt dużą wartość, zwłaszcza przy tworzeniu linków.

PageRank jest teraz oczywiście nieaktualny, zwłaszcza odkąd porzucili pasek narzędzi, więc chodzi o współczynnik zaufania witryny (współczynnik zaufania = przepływ zaufania/przepływ cytatów). Zasadniczo mocniejsze domeny mają większe budżety na indeksowanie, więc jak rozpoznać aktywność botów Google w swojej witrynie i, co ważne, zidentyfikować wszelkie problemy z indeksowaniem przez boty? Pliki dziennika serwera.

Teraz wszyscy wiemy, że aby wskazać botowi Google strony, które są indeksowane (i ranking), używamy wewnętrznej struktury linków i trzymamy je blisko domeny głównej, a nie 5 podfolderów wzdłuż adresu URL. Ale co z innymi problemami technicznymi? Na przykład marnowanie budżetu, pułapki na boty lub jeśli Google próbuje wypełnić formularze w witrynie (zdarza się).

Identyfikowanie aktywności robota

Aby to zrobić, musisz zdobyć kilka plików dziennika serwera. Być może będziesz musiał poprosić o nie swojego klienta lub możesz je pobrać bezpośrednio od firmy hostingowej.

Pomysł polega na tym, że chcesz spróbować znaleźć zapis bota Google uderzającego w Twoją witrynę – ale ponieważ nie jest to zaplanowane wydarzenie, może być konieczne zebranie danych z kilku dni. Dostępne są różne programy do analizy tych plików.

Poniżej przykładowe trafienie na serwer Apache:

50.56.92.47 – – [31/May/2012:12:21:17 +0100] “GET” – “/wp-content/themes/wp-theme/help.php” – “404” “-” “Mozilla/ 5.0 (zgodny; Googlebot/2.1; +http://www.google.com/bot.html)” – www.hit-example.com

Stąd możesz używać narzędzi (takich jak OnCrawl) do analizowania plików dziennika i identyfikowania problemów, takich jak indeksowanie stron PPC przez Google lub nieskończone żądania GET do skryptów JSON – które można naprawić w pliku Robots.txt.

Kiedy budżet indeksowania stanowi problem?

Budżet na indeksowanie nie zawsze stanowi problem. Jeśli Twoja witryna ma wiele adresów URL i proporcjonalną alokację indeksowania, nic Ci nie jest. Ale co, jeśli Twoja witryna ma 200 000 adresów URL, a Google indeksuje tylko 2000 stron w Twojej witrynie każdego dnia? Zauważenie przez Google nowych lub odświeżonych adresów URL może zająć do 100 dni – teraz jest to problem.

Jednym z szybkich testów, aby sprawdzić, czy Twój budżet indeksowania stanowi problem, jest skorzystanie z Google Search Console i liczby adresów URL w Twojej witrynie, aby obliczyć „liczbę indeksowania”.

• Najpierw musisz określić, ile stron jest w Twojej witrynie, możesz to zrobić, wykonując witrynę: wyszukiwanie, na przykład oncrawl.com ma około 512 stron w indeksie:

• Po drugie, musisz przejść do swojego konta Google Search Console i przejść do indeksowania, a następnie statystyk indeksowania. Jeśli Twoje konto GSC nie zostało poprawnie skonfigurowane, możesz nie mieć tych danych.
• Trzecim krokiem jest podzielenie średniej liczby stron indeksowanych dziennie (środkowa) i łącznej liczby adresów URL w witrynie:

Łączna liczba stron w witrynie / średnia liczba stron indeksowanych dziennie = X

Jeśli X jest większe niż 10, musisz zoptymalizować budżet indeksowania. Jeśli jest mniej niż 5, brawo. Nie musisz czytać dalej.

Optymalizacja zdolności „budżetu indeksowania”

Możesz mieć największy budżet na indeksowanie w Internecie, ale jeśli nie wiesz, jak z niego korzystać, jest on bezwartościowy.

Tak, to banał, ale to prawda. Jeśli Google zaindeksuje wszystkie strony Twojej witryny i stwierdzi, że większość z nich jest zduplikowana, pusta lub ładuje się tak wolno, że powodują błędy przekroczenia limitu czasu, Twój budżet może równie dobrze być zilch.

Aby maksymalnie wykorzystać budżet indeksowania (nawet bez dostępu do plików dziennika serwera), wykonaj następujące czynności:

Usuń zduplikowane strony

Często w witrynach e-commerce narzędzia takie jak OpenCart mogą tworzyć wiele adresów URL dla tego samego produktu. Widziałem wystąpienia tego samego produktu w 4 adresach URL z różnymi podfolderami między miejscem docelowym a katalogiem głównym.

Nie chcesz, aby Google indeksowało więcej niż jedną wersję każdej strony, więc upewnij się, że masz tagi kanoniczne wskazujące Google właściwą wersję.

Usuń uszkodzone linki

Użyj Google Search Console lub oprogramowania do indeksowania, znajdź wszystkie uszkodzone linki wewnętrzne i zewnętrzne w swojej witrynie i napraw je. Korzystanie z 301 jest świetne, ale jeśli są to uszkodzone linki nawigacyjne lub linki w stopce, po prostu zmień adres URL, na który wskazują, bez polegania na 301.

Nie pisz cienkich stron

Unikaj umieszczania w witrynie wielu stron, które mają niewielką lub żadną wartość dla użytkowników lub wyszukiwarek. Bez kontekstu Google ma trudności z klasyfikacją stron, co oznacza, że ​​nie wnoszą one nic do ogólnej trafności witryny i są tylko pasażerami korzystającymi z budżetu indeksowania.

Usuń łańcuchy przekierowań 301

Przekierowania łańcuchowe są niepotrzebne, niechlujne i niezrozumiane. Łańcuchy przekierowań mogą na wiele sposobów uszkodzić budżet indeksowania. Gdy Google dociera do adresu URL i widzi 301, nie zawsze podąża za nim od razu, zamiast tego dodaje nowy adres URL do listy, a następnie podąża za nim.

Musisz również upewnić się, że mapa witryny XML (i mapa witryny HTML) jest dokładna, a jeśli Twoja witryna jest wielojęzyczna, upewnij się, że masz mapy witryn dla każdego języka witryny. Musisz także zaimplementować inteligentną architekturę witryny, architekturę adresów URL i przyspieszyć swoje strony. Korzystne byłoby również umieszczenie witryny za CDN, taką jak CloudFlare.

TL; DR:

Budżet indeksowania, jak każdy budżet, jest okazją. Teoretycznie wykorzystujesz swój budżet, aby kupić czas, który Googlebot, Bingbot i Slurp spędzają w Twojej witrynie, ważne jest, abyś jak najlepiej wykorzystał ten czas.

Optymalizacja budżetu indeksowania nie jest łatwa i na pewno nie jest „szybką wygraną”. Jeśli masz małą witrynę lub średniej wielkości witrynę, która jest dobrze utrzymana, prawdopodobnie wszystko jest w porządku. Jeśli masz gigantyczną witrynę z dziesiątkami tysięcy adresów URL, a pliki dzienników serwera przechodzą Ci przez głowę – może nadszedł czas, aby wezwać ekspertów.