[Webinar Digest] SEO na Orbicie: Odkrywanie sekretów indeksowania

Opublikowany: 2019-11-06

Webinarium Odkrywanie sekretów indeksowania jest częścią serii SEO w Orbit i zostało wyemitowane 12 czerwca 2019 r. W tym odcinku Kevin Indig dzieli się swoimi przemyśleniami na temat indeksowania stron oraz tego, jak indeksowane strony w witrynie wpływają na całą witrynę. rankingi i jakie strony nie powinny być indeksowane. Jakie jest właściwe podejście do tego pośredniego kroku między wykryciem stron a pojawieniem się ich w SERPach?

SEO w Orbicie to pierwsza seria webinariów, która wysyła SEO w kosmos. W całej serii omawialiśmy teraźniejszość i przyszłość technicznego SEO z najlepszymi specjalistami SEO, a 27 czerwca 2019 r. wysłaliśmy ich najlepsze wskazówki w kosmos.

Obejrzyj powtórkę tutaj:

Przedstawiamy Kevina Indig

Kevin Indig pomógł startupom pozyskać ponad 100 mln użytkowników w ciągu ostatnich 10 lat. Jest VP SEO & CONTENT @ G2, mentorem dla Growth @ GermanAccelerator, a wcześniej prowadził SEO @ Atlassian i Dailymotion. Jego specjalnością jest pozyskiwanie użytkowników, budowanie marki i utrzymanie użytkowników. Firmy, z którymi współpracował Kevin, to eBay, Eventbrite, Bosch, Samsung, Pinterest, Columbia, UBS i wiele innych. Prowadzi również wyselekcjonowany techniczny biuletyn marketingowy, Tech Bound.

Ten odcinek poprowadziła Rebecca Berbel, menedżer ds. treści w OnCrawl. Zafascynowana NLP i maszynowymi modelami języka w szczególności, a także systemami i ogólnym sposobem ich działania, Rebecca nigdy nie traci zainteresowania technicznych tematów SEO. Wierzy w ewangelizację technologii i wykorzystanie danych do zrozumienia wydajności witryny w wyszukiwarkach.

Definicje

Jednym z powodów, dla których warto rozmawiać o indeksowaniu, jest to, że jest to złożony temat. Wielu SEO zmaga się z indeksowaniem i tym, jak na nie wpłynąć.

– Czołganie

W uproszczeniu indeksowanie to techniczny proces odkrywania, w którym wyszukiwarki rozumieją stronę internetową i wszystkie jej elementy.

Pomaga to Google znaleźć wszystkie adresy URL, do których może wrócić i wyrenderować, a następnie zindeksować i ostatecznie uszeregować.

– 3-etapowy proces Google

Indeksowanie jest częścią trzyetapowego procesu Google, który prowadzi do możliwości tworzenia wyników wyszukiwania:

  1. Pełzanie
  2. Wykonanie
  3. Indeksowanie

Są to technicznie różne procesy, obsługiwane przez różne programy lub części wyszukiwarki.

Ranking jest potencjalnie czwartym krokiem w tym procesie.

– Indeksowanie

Indeksowanie to proces dodawania przez Google adresów URL do swojej długiej „listy” możliwych wyników. Jeśli Kevin musi unikać słowa „indeks” w definicji indeksowania, wolałby mówić o metaforycznej „liście”: Google ma „listę” adresów URL, których może użyć do rankingu i pokazania użytkownikom najlepszych wyników .

- Pliki dziennika

Serwery internetowe przechowują historię za każdym razem, gdy ktokolwiek lub cokolwiek poprosi o stronę lub zasób na serwerze.

Kevin naprawdę pasjonuje się plikami dziennika jako źródłem prawdy, jeśli chodzi o zrozumienie, w jaki sposób Google indeksuje i renderuje Twoją witrynę.

W dziennikach możemy znaleźć informacje o serwerze, jak często Google odwiedza Twoją witrynę i co tam robi, w bardzo prostych i prostych słowach. Pliki logów zawierają indywidualne zapisy każdej wizyty na stronie.

Możesz uzyskać mnóstwo informacji z plików dziennika:

  • Określone błędy kodu stanu
  • Problemy z indeksowaniem
  • Problemy z renderowaniem
  • Ile czasu Googlebot spędza w Twojej witrynie
  • Które Googleboty trafiają do Twojej witryny. Na przykład dzięki indeksowi Mobile First główny Googlebot używany do indeksowania został niedawno zaktualizowany.
  • Niezależnie od tego, czy Twoja techniczna struktura witryny jest czymś, co Google śledzi, czy też masz coś, co można zoptymalizować.

Sposoby sprawdzania indeksowania

– Niezalecane: zapytania „site:”

Kiedy Kevin zaczynał pracę w SEO około 10 lat temu, widział, które strony w jego witrynie zostały zaindeksowane, uruchamiając wyszukiwanie „site:” w Google. Choć czasami nadal z tego korzysta, nie jest to już niezawodny sposób na sprawdzenie, czy adres URL jest indeksowany.

Niedawno zapytał Johna Muellera o tę strategię; sprawdził, że nie jest to już zalecany sposób sprawdzania, co Google zaindeksowało, a czego nie.

– Zalecane: inspekcja adresów URL w Search Console

Zamiast tego John Mueller zaleca użycie narzędzia do sprawdzania adresów URL w Search Console, aby sprawdzić, co zostało zindeksowane.

– Zalecane: mapy witryn XML i raport pokrycia

Przesłanie mapy witryny XML w Search Console to jeden ze sposobów sprawdzenia partii adresów URL, a następnie sprawdzenia mapy witryny w raporcie pokrycia w konsoli wyszukiwania.

Znaczenie przy rozróżnianiu indeksu crawl-render-index

Jak wspomniano, istnieje trzyetapowy proces, w którym Google indeksuje, renderuje i indeksuje stronę. Bardzo ważne jest, aby rozróżnić każdy z tych kroków. W miarę jak sieć staje się coraz bardziej wyrafinowana, Google musiał indywidualnie dostosowywać, oddzielać i ulepszać te procesy.

Różne Googleboty

Wiele Googlebotów jest używanych przez Google do indeksowania i renderowania witryn. Masz różne rodzaje zasobów: obrazy, filmy, wiadomości, tekst… Google używa różnych robotów Google, aby zrozumieć każdy rodzaj treści.

Google ogłosił około miesiąc temu, że zaktualizował swój silnik renderujący, aby działał na wiecznie zielonym Googlebot i najnowszym silniku Chromium.

Jest to ważne, ponieważ indeksowanie i renderowanie to niezbędne kroki prowadzące do indeksowania.

Zmiana priorytetów w procesie Google

Do celów indeksowania Google indeksowało za pomocą Googlebota na komputery. To zostało zmienione; teraz używają Googlebota smartfona do indeksowania.

Indeksowanie Mobile-First zostanie wprowadzone od lipca 2019 r. dla wszystkich nowych witryn i pojawi się we wszystkich znanych istniejących witrynach, o ile nie zostały jeszcze zmienione.

Indeksowanie: sposoby, w jakie Google znajduje adresy URL do indeksowania

Aby móc zaindeksować stronę, Google musi ją zindeksować.

Jako pierwszy krok w procesie prowadzącym do indeksowania, aby upewnić się, że Twoje strony są poprawnie i szybko indeksowane, musisz upewnić się, że indeksowanie jest „bezpieczne i zdrowe”.

Istnieją zasadniczo trzy sposoby znajdowania adresów URL przez Google:

  1. Linki: na tym opierał się cały patent PageRank – znajdowanie nowych witryn za pomocą hiperłączy
  2. Mapy witryn XML
  3. Przeszłe indeksowania

– Jak Google ustala priorytety adresów URL (budżet indeksowania)

Google ustala priorytety, które witryny są indeksowane i jak często. Jest to często określane jako „budżet indeksowania”.

Na blogu Google dla webmasterów pojawił się artykuł o budżecie indeksowania, w którym przedstawiono kilka pomysłów na to, jak Google ustala priorytety indeksowania witryn.

– Popularność: linki zwrotne i PageRank

Jednym z punktów określonych w tym artykule jest to, że PageRank jest głównym czynnikiem wpływającym na szybkość i objętość indeksowania witryny.

Linki zwrotne są oczywiście głównym składnikiem PageRank, a zatem mają wpływ na szybkość indeksowania i indeksowania.

– Kody statusu

Uwzględniane są również kody statusu. Na przykład, jeśli masz w swojej witrynie dużo stron 404, prawdopodobnie doprowadzi to Google do zmniejszenia częstotliwości indeksowania.

Innym przykładem są łańcuchy i pętle przekierowań.

– Higiena na miejscu

Jeśli Twoja witryna jest zorganizowana w sposób, który marnuje dużo budżetu na indeksowanie, Google może skrócić czas spędzany w witrynie.

– Szybkość strony i czas odpowiedzi serwera

Budżet indeksowania miał również wpływ na szybkość strony i czas odpowiedzi serwera. Google nie chce DDoS Twojej witryny; jeśli zauważy, że Twój serwer ma trudności z dostarczaniem stron i zasobów z żądaną szybkością, dostosuje się do tego, co Twój serwer może obsłużyć w zakresie indeksowania.

Renderowanie: aktualizacja kofeiny

Aktualizacja kofeiny, która pojawiła się kilka lat temu, była w zasadzie aktualizacją struktury renderowania Google.

Indeksowanie: różne klastry dla typów treści

Istnieją różne archiwa indeksów, których Google używa do zwracania różnych wyników. Można sobie wyobrazić, że w indeksie istnieją różne klastry dla wyników wiadomości, a inne dla wyników obrazów itp.

Ranking: Oddzielne algorytmy

Wreszcie indeksowane adresy URL są klasyfikowane – ale jest to zupełnie inny algorytm.

Poprawa szybkości indeksowania

Zarówno szybsze indeksowanie stron, jak i uzyskiwanie większej liczby zindeksowanych stron są pod silnym wpływem PageRank, a zatem i linków zwrotnych. Ale strategie ulepszania każdego z nich są różne.

Jeśli chcesz, aby strony były szybciej indeksowane, chcesz zoptymalizować dwa pierwsze kroki (indeksowanie i renderowanie). Obejmuje to komponenty takie jak:

  • Łączenie wewnętrzne
  • Mapy witryn
  • Szybkość serwera
  • Szybkość strony

Poprawa liczby indeksowanych stron

Jeśli chcesz zindeksować więcej stron, ważniejszy jest aspekt indeksowania. Będziesz chciał ułatwić Google znajdowanie wszystkich Twoich stron. Jest to proste w przypadku małej witryny z tysiącem adresów URL, ale znacznie trudniejsze w przypadku większej witryny z milionami adresów URL.

Na przykład G2 ma mnóstwo stron różnych typów. Zespół SEO Kevina chce się upewnić, że Google jest w stanie znaleźć wszystkie strony, bez względu na głębokość indeksowania i bez względu na to, ile stron tego typu istnieje; jest to duże wyzwanie, do którego należy podejść z różnych perspektyw.

Różnice w szybkości indeksowania w zależności od profilu strony

W zależności od typu strony Kevin często znajduje różne szybkości indeksowania przez Google. Często zależy to od profilu linku zwrotnego adresu URL i linków wewnętrznych. To tutaj znajduje najwięcej zastosowań plików dziennika.

Segmentuje swoją witrynę według typu strony, aby zrozumieć, gdzie brakuje jej wydajności indeksowania lub gdzie wydajność indeksowania jest zbyt wysoka.

Związek między szybkością indeksowania, szybkością indeksowania i pozycją

Kevin absolutnie zaobserwował wyraźne korelacje między szybkością indeksowania, szybkością indeksowania i pozycją dla każdego typu stron. Dotyczy to nie tylko witryn, z którymi pracował, ale także korespondencji z innymi SEO w branży.

Bez podawania związku przyczynowego między indeksowaniem, indeksowaniem i rankingiem wydaje się, że podobne elementy, które napędzają indeksowanie, są również brane pod uwagę przy ustalaniu rankingu strony. Na przykład, jeśli masz mnóstwo linków zwrotnych do określonego szablonu strony dla danego typu strony (na przykład: strony docelowe), w plikach dziennika znajdziesz to, że jeśli Google ma wyższą szybkość indeksowania tych stron w całym witryny, Google indeksuje również te strony szybciej i zwykle umieszcza te strony wyżej niż inne strony.

Trudno jest formułować uniwersalne stwierdzenia, które byłyby ważne dla wszystkich witryn, ale Kevin zachęca wszystkich do sprawdzania plików dziennika, aby sprawdzić, czy jest to prawdą również w ich własnej witrynie. OnCrawl odkrył, że tak jest również w wielu różnych witrynach, które przeanalizowali.

Jest to część tego, co próbował nakreślić za pomocą opracowanego przez siebie modelu powiązań wewnętrznych TIPR.

Pomiar szybkości indeksowania

Aby zmierzyć szybkość indeksowania, chcesz odpowiedzieć na pytanie: jak często dany Googlebot odwiedza określony adres URL?

Jak „pokroić i pokroić” to kolejne pytanie. Kevin lubi sprawdzać co tydzień liczbę trafień Googlebota. Możesz też patrzeć na to w trybie dziennym lub miesięcznym.

– Koncentrowanie się na przed/po

Ważniejsze niż okres, którego używasz, jest patrzenie na zmiany w szybkości indeksowania. Powinieneś przyjrzeć się stawce przed wprowadzeniem zmian i po ich wdrożeniu.

– Skupienie się na różnicach między typami stron

Innym kluczem do pomiaru szybkości indeksowania jest sprawdzenie, gdzie znajdują się luki w Twojej witrynie. Na poziomie typu strony, gdzie są różnice między szybkościami indeksowania? Jaki typ stron jest indeksowanych w tonie? Jakie typy stron są prawie nie indeksowane?

– Częste obserwacje w zachowaniu indeksowania

Niektóre interesujące spostrzeżenia, które Kevin poczynił w przeszłości, obejmują:

  • Najczęściej indeksowany adres URL: robots.txt
  • Najwięcej czasu spędzonego na adresie URL/grupie adresów URL: mapy witryn XML, zwłaszcza gdy stają się nieco większe

Przeszukiwanie plików dziennika w celu znalezienia różnic w zachowaniu indeksowania między typami stron jest bardzo pouczające. Sprawdź, które adresy URL są indeksowane codziennie, a które adresy URL są indeksowane co miesiąc. To może wiele powiedzieć o tym, jak wydajna jest struktura Twojej witryny pod względem indeksowania (i indeksowania – nawet jeśli jest między nimi krok).

Podział budżetu indeksowania na podstawie modelu biznesowego

Aby poprawić wydajność indeksowania, strategia polega zwykle na zmniejszeniu uwagi, jaką Google poświęca niektórym typom stron i przekierowaniu jej na strony, które są ważniejsze dla witryny.

Sposób, w jaki chcesz sobie z tym poradzić, będzie zależał od tego, jak konwersje są obsługiwane w witrynie. Kevin wyróżnia dwa podstawowe modele lokalizacji: scentralizowane i zdecentralizowane modele biznesowe:

  • Zdecentralizowane modele mogą konwertować użytkowników na dowolnej stronie. Dobrym przykładem jest Trello: możesz zarejestrować się na dowolnej stronie. Wszystkie ich typy stron są stosunkowo podobne. Ponieważ żadna strona nie jest bardziej wartościowa niż inna dla rejestracji, celem może być uzyskanie równomiernej szybkości indeksowania w całej witrynie: chcesz, aby wszystkie typy stron były indeksowane z mniej więcej taką samą szybkością.
  • Modele scentralizowane mogą być czymś w rodzaju Jira. Jira nie ma jednego typu strony, który możemy powielić milion razy: jest tylko kilka stron docelowych, na których użytkownicy mogą się zarejestrować. Chcesz mieć pewność, że budżet indeksowania w takiej witrynie jest skoncentrowany wokół punktów konwersji (stron docelowych).

Sposób, w jaki chcesz rozłożyć budżet na indeksowanie, sprowadza się do pytania, w jaki sposób Twoja witryna zarabia pieniądze i jakie typy stron odgrywają w tym najważniejszą rolę.

Zajmowanie się marnotrawstwem indeksowania

Aby uniemożliwić Googlebotom wydawanie budżetu indeksowania na stronach, które są mniej ważne dla konwersji, istnieje kilka metod.

Najlepszym sposobem na pominięcie indeksowania jest plik robots.txt:

  • W 99,999999% przypadków Google przestrzega dyrektyw robots.txt.
  • Plik robots.txt może pomóc w zablokowaniu indeksowania dużych sekcji witryny z ubogą lub zduplikowaną treścią (klasyczne przykłady: profile użytkowników na forum; adresy URL parametrów…)

Istnieją uzasadnione przypadki, w których możesz chcieć, aby strona nie była indeksowana, ale nadal pomagała w indeksowaniu. Kevin uznałby, że niektóre strony centralne należą do tej kategorii. W tym miejscu użyłby meta noindexu.

Przyznaje, że John Mueller powiedział, że tagi meta noindex są ostatecznie traktowane jako nofollow, ale Kevin jak dotąd nigdy nie widział, żeby to się działo w terenie. Przyznaje, że może to być spowodowane tym, że trwa to bardzo długo (ponad rok lub dłużej). Zamiast tego zwykle uważa, że ​​Googleboty są „chciwe” i wyszukują i podążają za jak największą liczbą linków.

Radzi Kevina, aby używać robots.txt i używać go w pełnym zakresie. Możesz używać symboli wieloznacznych i bardzo wyrafinowanych technik, aby chronić niektóre rzeczy przed indeksowaniem.

Zasadą, której należy przestrzegać, jest to, że im cieńsza treść, tym większe prawdopodobieństwo wykluczenia z indeksowania.

Strony wykluczone z indeksowania przez plik robots.txt są nadal indeksowane przez Google, jeśli mają do nich odsyłacze wewnętrzne lub odsyłacze zwrotne. Jeśli tak się stanie, tekst opisu w wynikach wyszukiwania pokaże, że Google nie było w stanie zaindeksować strony z powodu ograniczenia w pliku robots.txt. Ogólnie jednak strony te nie zajmują wysokiej pozycji w rankingu, chyba że dopiero niedawno zostały wykluczone z pliku robots.txt.

Problemy z indeksowaniem spowodowane podobnymi stronami

– Błędy kanoniczne

Programowo deklaracje kanoniczne bardzo łatwo można pomylić. Kevin kilka razy widział przypadek, w którym kanoniczny miał średnik (;) zamiast dwukropka (:), a potem napotykasz mnóstwo problemów.

Dane kanoniczne są w niektórych przypadkach bardzo wrażliwe i mogą sprawić, że Google nie będzie ufał wszystkim Twoim kanonicznym, co może wtedy stanowić ogromny problem.

Jednak jednym z najczęstszych problemów z kanonikami są zapomniane kanoniki.

– Migracje stron

Migracje witryn są często źródłem problemów z kanonikami; Kevin zauważył problemy polegające na tym, że witryna po prostu zapomniała dodać nową domenę do kanonicznych.

Bardzo łatwo o tym zapomnieć, szczególnie gdy CSM wymaga ręcznej (zamiast programowej) korekty, aby wprowadzić zmianę podczas migracji.

Domyślnym ustawieniem jest to, że strona kanoniczna strony powinna wskazywać na siebie, chyba że istnieje konkretny powód, by wskazywać inny adres URL.

– HTTP do HTTPS

To kolejny powszechny błąd kanoniczny, który uniemożliwia indeksowanie właściwego adresu URL. Czasami w kanonicznym używany jest zły protokół.

– Znajdowanie źródła błędu, gdy Google ignoruje zadeklarowany kanoniczny

Google czasami wybiera własny kanon. Kiedy nie ufają Twojemu zadeklarowanemu kanonicznemu, zwykle istnieje przyczyna.

Kevin sugeruje unikanie sytuacji, w których możesz wysyłać do Google dwa sprzeczne sygnały:

  • Zajrzyj do swoich map witryn XML
  • Przeszukuj własną witrynę i szukaj wadliwych kanonicznych
  • Sprawdź ustawienia parametrów w Search Console, aby znaleźć sprzeczne ustawienia
  • Nie używaj jednocześnie noindex i kanonicznych

Rodzaje stron, które przyczyniają się do rozdęcia indeksu

W SEO dziesięć lat temu chciałeś wysłać jak najwięcej stron do zindeksowania: im więcej zindeksowanych stron, tym lepiej.

Dziś już tak nie jest. Chcesz w swoim sklepie tylko najwyższej jakości rzeczy. Nie chcesz, aby w indeksie znajdowała się żadna podrzędna zawartość.

„Rozdęcie indeksu” jest zwykle używane do opisania typu strony, która nie zapewnia żadnej wartości. To często sprowadza się do wszelkiego rodzaju cienkiej treści, szczególnie w przypadkach, w których mnożysz lub wzmacniasz liczbę istniejących stron bez zapewniania znaczącej wartości na każdej nowej stronie.

Klasyczne przypadki, w których możesz chcieć sprawdzić, ile stron określonego typu jest zaindeksowanych i czy zapewniają one dodatkową wartość, obejmują:

  • Parametry
  • Paginacja
  • Forum
  • Strony związane z katalogami lub strony przejściowe
  • Obszerne strony lokalne (miejskie), które nie rozróżniają usług ani treści
  • Nawigacje fasetowe

Jak indeksowanie wpływa na witrynę jako całość

Nie chcesz, aby dzisiaj były indeksowane gorsze strony, ponieważ wpływają one na to, jak Google widzi i ocenia Twoją witrynę jako całość.

Wiele z tego wraca do budżetu indeksowania. Chociaż Gary Illyes i John Mueller często stwierdzili, że większość witryn nie musi martwić się budżetem indeksowania, odbiorcami tego rodzaju dyskusji, jakie prowadzimy dzisiaj, są większe witryny, w których ma to duże znaczenie.

Chcesz mieć pewność, że Google znajdzie tylko treści wysokiej jakości.

Podobnie jak w przypadku związku, jaki Kevin obserwuje między szybkością indeksowania, indeksowaniem i rankingiem, zauważa również, że zwracanie uwagi na jakość indeksowanych stron wydaje się opłacać dla całej witryny. Chociaż trudno jest formułować uniwersalne stwierdzenia, wydaje się, że Google ma pewien rodzaj miernika jakości witryny, który jest zależny od zindeksowanych stron dla tej witryny. Innymi słowy, jeśli masz dużo zindeksowanych treści o niskiej jakości, wydaje się, że szkodzi to Twojej witrynie.

W tym miejscu rozdęcie indeksu jest szkodliwe: jest sposobem na osłabienie lub obniżenie ogólnego „wyniku” jakości witryny i marnuje budżet na indeksowanie.

Mapy witryn XML do szybkiego indeksowania

Zdaniem Kevina, gdy Google stał się mądrzejszy, liczba „hacków” z czasem się zmniejszyła.

Jednak jeśli chodzi o indeksowanie, odkrył, że jednym ze sposobów na szybkie zindeksowanie czegoś jest użycie mapy witryny XML.

Niedawno G2 przeniósł się do nowej domeny. Mają jeden typ strony, którego ponowne zindeksowanie zajmuje dużo czasu, więc w indeksie Google nadal widziałeś starą domenę we fragmentach stron tego typu. Kiedy Kevin zobaczył, że przekierowania 301 nie zostały wzięte pod uwagę, ponieważ nie zostały jeszcze zindeksowane, umieścił wszystkie tego typu strony w mapie witryny XML i przesłał mapę witryny do Google w Search Console.

Strategię tę można również zastosować w przypadku dużych zmian technicznych w witrynie, które Kevin chce, aby firma Google jak najszybciej zrozumiała.

Rosnące znaczenie SEO technicznego

SEO techniczne zyskało na znaczeniu w ciągu ostatnich trzech lat. Często pytania techniczne dotyczące SEO podkreślają obszary, które są naprawdę niedoceniane.

Często słyszysz, że treść i linki zwrotne to jedyne rzeczy, o które musisz zadbać. Chociaż Kevin uważa, że ​​są to bardzo wpływowe dziedziny SEO, sądzi, że mogą one mieć jeszcze większy wpływ, jeśli dobrze znasz swoje techniczne SEO.

[Ebook] Indeksowanie

Upewnij się, że Twoje witryny spełniają wymagania wyszukiwarek w zakresie indeksowania, aby zwiększyć wydajność SEO.
Przeczytaj ebook

Pytania i odpowiedzi

– Bing i indeksowanie 10 000 adresów URL/dzień

Bing oferuje webmasterom możliwość bezpośredniego przesyłania do 10 000 adresów URL dziennie za pomocą narzędzi dla webmasterów w celu szybszego indeksowania.

Kevin uważa, że ​​jest to kierunek, w którym może zmierzać również Google. Nawet Google, jako jedna z najcenniejszych firm na świecie, musi chronić swoje zasoby. Jest to jeden z powodów, dla których, jeśli zmarnujesz ich zasoby indeksowania, odpowiednio się dostosują.

To, czy tego rodzaju funkcja jest opłacalna dla webmasterów, zależy również od rozmiaru Twojej witryny. Liczba witryn, które skorzystałyby z możliwości przesyłania tak wielu adresów URL dziennie, jest ograniczona – prawdopodobnie w tysiącach lub dziesięciu tysiącach. Kevin zakłada, że ​​na te witryny Google przeznacza już znaczne zasoby. Wygląda na to, że w przypadku największych witryn w sieci Google dobrze sobie radzi z ich indeksowaniem, oczywiście ze zwykłymi wyjątkami.

Bing prawdopodobnie znacznie łatwiej zaimplementować coś na taką skalę: po pierwsze, ich udział w rynku jest znacznie mniejszy, więc zapotrzebowanie na tę funkcję jest mniejsze. Ich wielkość indeksu jest również prawdopodobnie znacznie mniejsza, więc prawdopodobnie odniosą większe korzyści.

– Gdy Google ignoruje plik robots.txt

Google bardzo rzadko ignoruje plik robots.txt.

Czasami to, co prowadzi nas do założenia, że ​​Google ignoruje plik robots.txt, to fakt, że, jak już wspomnieliśmy wcześniej, Google może czasami indeksować strony zablokowane przez plik robots.txt, które nadal można znaleźć na wiele innych sposobów.

Możesz również zmusić Google do ignorowania instrukcji w pliku robots.txt, jeśli Twoja składnia w pliku robots.txt jest nieprawidłowa:

  • Błędne znaki
  • Używanie tagów, które nie działają lub nie powinny działać, takich jak dyrektywy noindex

[Uwaga: Kevin cytuje studium przypadku, w którym stwierdzono, że Google respektuje dyrektywy noindex przedstawione w pliku robots.txt. Jednak wkrótce po wyemitowaniu tego webinaru Google ogłosił zakończenie milczącego wsparcia dla tej dyrektywy w plikach robots.txt, ze skutkiem od 1 września 2019 r.]

Jednak Google jest jedną z firm, które trzymają swoje boty na wysokim poziomie i nie ignorują robots.txt.

Najlepsza wskazówka

„PageRank jest głównym motorem szybkości i objętości indeksowania”.

Pozycjonowanie w Orbicie powędrowało w kosmos

Jeśli przegapiłeś naszą podróż w kosmos 27 czerwca, złap ją tutaj i odkryj wszystkie wskazówki, które wysłaliśmy w kosmos.