グーグルのクロール予算：それがどのように機能するか、そしてあなたを最大化する方法
公開: 2021-03-02Googleは、インターネット上のすべてのWebサイトについて、ボットがクロールできるページ数とクロールできるページ数に固定の予算を設定しています。 インターネットは大きな場所であるため、Googlebotはウェブサイトのクロールとインデックス作成に多くの時間を費やすことができます。 クロール予算の最適化は、ウェブサイトの適切なページが最終的にGoogleのインデックスに登録され、最終的に検索者に表示されるようにするプロセスです。
Googlebotは制限に達することなくほとんどのウェブサイトをクロールするため、クロール予算を最適化するためのGoogleの推奨事項はかなり制限されています。 しかし、何千ものランディングページがあるエンタープライズレベルのeコマースサイトは、予算を使い果たすリスクがあります。 2018年の調査では、Googleのクローラーは、実験で大規模なサイトのWebページの半分以上をクロールできなかったことがわかりました。
クロール予算の使用方法に影響を与えることは、ストラテジストが実装するためのより困難な技術的最適化になる可能性があります。 ただし、エンタープライズレベルおよびeコマースサイトの場合は、可能な限りクロール予算を最大化するために努力する価値があります。 いくつかの調整を加えることで、サイト所有者とSEOストラテジストは、Googlebotをガイドして、最もパフォーマンスの高いページを定期的にクロールしてインデックスに登録することができます。
Googleはクロール予算をどのように決定しますか？
クロール予算は、基本的にGoogleがウェブサイトのクロールに費やす時間とリソースです。 方程式は次のとおりです。
クロール予算=クロールレート+クロール需要
ドメインオーソリティ、バックリンク、サイトの速度、クロールエラー、およびランディングページの数はすべて、Webサイトのクロール速度に影響を与えます。 通常、大規模なサイトではクロールレートが高くなりますが、小規模なサイト、低速なサイト、またはリダイレクトやサーバーエラーが多すぎるサイトでは、通常、クロールの頻度が低くなります。
Googleはまた、「クロール需要」によってクロール予算を決定します。 Googleはユーザーに最新のコンテンツを提供したいので、人気のあるURLはクロールの需要が高くなります。 グーグルはそのインデックスの古いコンテンツを好まないので、しばらくの間クロールされていないページもより高い需要があります。 ウェブサイトがサイトの移行を経た場合、Googleはクロールの需要を増やし、新しいURLでインデックスをより迅速に更新します。
あなたのウェブサイトのクロール予算は変動する可能性があり、確かに固定されていません。 サーバーホスティングまたはサイトの速度を向上させると、Googlebotは、ユーザーのWebエクスペリエンスを低下させていないことを認識して、サイトのクロールをより頻繁に開始する可能性があります。 サイトの現在の平均クロール速度をよりよく理解するには、Google検索コンソールのクロールレポートを参照してください。
すべてのウェブサイトはクロール予算について心配する必要がありますか？
いくつかのランディングページのランキングを取得することにのみ焦点を当てている小さなWebサイトでは、クロールの予算について心配する必要はありません。 ただし、大規模なWebサイト（特にページが壊れたりリダイレクトが多すぎたりする不健全なサイト）は、クロールの制限に簡単に達する可能性があります。
クロール予算を最大化するリスクが最も高いタイプの大規模なWebサイトには、通常、数万のランディングページがあります。 特に主要なeコマースWebサイトは、クロール予算によって悪影響を受けることがよくあります。 かなりの数のランディングページがインデックスに登録されていない複数のエンタープライズWebサイトに出くわしました。これは、Googleでランク付けされる可能性がゼロであることを意味します。
特にeコマースサイトがクロール予算の行き先にもっと注意を払う必要がある理由はいくつかあります。
- 多くのeコマースサイトは、SKUまたは製品を販売するすべての都市や州の何千ものランディングページをプログラムで作成しています。
- これらのタイプのサイトは、アイテムの在庫切れ、新製品の追加、またはその他の在庫変更が発生したときに、ランディングページを定期的に更新します。
- eコマースサイトは、ページ（製品ページなど）とセッション識別子（Cookieなど）が重複する傾向があります。 どちらもGooglebotによって「低付加価値」のURLとして認識され、クロール速度に悪影響を及ぼします
クロール予算に影響を与えるもう1つの課題は、Googleがいつでも予算を増減できることです。 サイトマップは、大規模なWebサイトにとって最も重要なページのクロールとインデックス作成を改善するための重要なステップですが、Googleが価値の低いページやパフォーマンスの低いページでクロール予算を最大限に活用しないようにするためには十分ではありません。
では、ウェブマスターはどのようにしてクロール予算の最適化を実行できるのでしょうか。
サイト所有者はGoogle検索コンソールアカウントでより高いクロール制限を設定できますが、この設定は、クロールリクエストの増加を保証したり、Googleがクロールするページに影響を与えたりすることを保証するものではありません。 最も自然な解決策は、Googleにウェブサイトをより頻繁にクロールさせることだと思われるかもしれませんが、クロール速度の増加と直接的な相関関係がある最適化は非常に限られています。
私たちは皆、良い予算はあなたの支出制限を増やすことではないことを知っています。 それはあなたがあなたのお金を使うものをより選択的にすることについてです。 これと同じ概念をクロール予算に適用すると、大きな結果が得られる可能性があります。 Googleが予算を有利に使うための戦略的な手順は次のとおりです。
ステップ1：Googleが実際にサイトでクロールしているページを特定する
最近まで、Google Search Consoleのクロールレポートは、サイトの所有者に、特定の日にサイトが受信したクロールリクエストの数のみを通知していました。 Googleの新しいクロール統計レポートはクロールに関するはるかに詳細な情報を提供しますが、Googleがサイトをクロールする方法を理解するのに最適な場所は、サーバーログファイルにあります。
Googleがあなたのウェブサイトにアクセスするとき、彼らは特定のユーザーエージェントを使用します。 これにより、トラフィックが実際にはGooglebotであり、実在の人物ではないことがサーバーに通知されます。
（BingbotとAhrefsのボットもそこにあります）。
オンクロールログアナライザ
もっと詳しく知るこのログファイルの内容を分析するサイト所有者は、サイトのGoogleのクロール予算に関する大量の情報を取得します。 ファイルはいくつかのことを明らかにします：
- ユーザーエージェントがアクセスするページ
- エージェントが1日にクロールするページ数
- クロールされたページのいずれかが404または壊れているかどうか
理想的には、最も価値の高いキーワード用に最適化されたWebサイトのランディングページをGoogleがクロールするようにします。 また、サイトの所有者は404のクロール予算を無駄にしないでください。 Google検索コンソールにはソフト404エラーの一部しか表示されませんが、サーバーログですべてを特定できます。
Webサイトのどのページがクロールされているかについての詳細情報を入手したら、次のアクションアイテムを実行します。
- ロボットタグの追加： Googlebotがこれらの404または壊れたページをクロールしている場合、Googlebotがこれらのページをクロールしてインデックスに登録しないように、優先度1はロボットタグ[noindex、nofollow]を追加する必要があります。
- サイトマップを調整する：サーバーログで、パフォーマンスが高い可能性のあるページをGoogleがクロールしていないことがわかった場合は、サイトマップの上位に配置して、クロールされるようにします。
ステップ2：すべてのランディングページがGoogleでランク付けされる必要はないことを受け入れる
多くのエンタープライズレベルのウェブサイトがクロール予算を浪費する主な理由は、Googleがサイトのすべてのランディングページをクロールできるようにするためです。 多くのウェブサイトは、Googleがすべてのページを見つけてクロールできるように、すべてのページをモバイルアプリに配置することを好みます。 これは間違いです。実際には、すべてのランディングページがランク付けされるわけではないからです。
Googleのインデックスにランディングページを含めることの価値は何ですか？ ランキングと変換。 複数のキーワードでランク付けしたり、サイトの訪問者をリードや収益に変換したりすることで重みを引いていないランディングページがウェブサイトにある場合、なぜGoogleにそれらをクロールさせるリスクを冒すのでしょうか。
エンタープライズレベルおよびeコマースサイトの所有者は、Webサイトのどのページがコンバージョンに最適化されており、ランキングとコンバージョンの可能性が最も高いかを知っている必要があります。 次に、Googleがこれらの高性能ページにクロール予算を費やすことを確実にするために、可能な限りの利点を活用する必要があります。
ランキングとコンバージョンの可能性が高いウェブサイトのランディングページは、クロール予算を費やす価値があります。 Googlebotがこれらのページを予算に含めるためのヒントをいくつか紹介します。
- サイトマップのページ数を減らします。 実際にランク付けしてオーガニックトラフィックを獲得する可能性が高いページにのみ焦点を当てます。
- パフォーマンスの低いページや不要なページを削除します。 ランキング、変換、または機能上の目的がないために価値をもたらさないページを削除します。
- コンテンツの整理。 実際にオーガニックトラフィックを獲得していないページを整理し、関連性がありトラフィックを獲得しているサイト上の他のランディングページにリダイレクトします。 リダイレクトはクロール予算の一部を消費することに注意してください。そのため、リダイレクトは慎重に使用し、2回続けて使用しないようにしてください。
サイト所有者がコンテンツを手放すことは困難ですが、Googleに全体的なクロール予算を増やすよりも、Googleが特定のページをクロールするのを防ぐ方がはるかに簡単です。 クロールの予算を賢く使いたい場合は、Googleのクローラーが最適なものを見つけてインデックスに登録する可能性が高くなるように、サイトをクリーンアップすることが最優先事項です。
ステップ3：内部リンクを使用して、Googleのクローラーのパフォーマンスの高いページを昇格させる
Googleがクロールしているページを特定し、必要なロボットタグを追加し、パフォーマンスの低いページを削除または削除し、サイトマップを調整すると、Googleのクローラーはウェブサイトの適切なページに予算を費やす傾向があります。
しかし、その予算を真に最大化するために、あなたのページはそれがランク付けするのに必要なものを持っている必要があります。 ページ上のSEOのベストプラクティスが重要ですが、より高度な技術戦略は、内部リンク構造を使用して、パフォーマンスが高い可能性のあるページを向上させることです。
Googlebotのクロール予算が限られているのと同じように、ウェブサイトにはインターネットフットプリントに基づいて一定量のサイトエクイティしかありません。 スマートな方法であなたの公平を集中することはあなたの責任です。 つまり、ランキングの可能性が高いキーワードをターゲットとするページや、適切な種類の顧客、つまりコンバージョンにつながり、実際に経済的価値のある顧客とのトラフィックをもたらすページにサイトの公平性を向けることを意味します。
このSEO戦略は、PageRankスカルプティングとして知られています。 何千ものランディングページがある大規模なWebサイトがある場合、高度なストラテジストがSEO実験を実行して、Webサイトの内部リンクプロファイルを最適化し、PageRankの配布を改善できます。 新しいWebサイトの場合は、PageRankのスカルプティングをサイトのアーキテクチャに組み込み、新しいランディングページを作成するたびにサイトの公平性について考えることで、時代を先取りすることができます。
これが私のページを分析してPageRankスカルプティングから最も恩恵を受けるものを決定するための私のお気に入りの戦略の2つです。
- トラフィックは多いがPageRankが不足しているWebサイトのページを見つけます。 それらのページをより多くの内部リンクを取得し、そこにさらに多くのPageRankを送信する方法を見つけてください。 それらをWebサイトのヘッダーまたはフッターに追加することは、これをすばやく行うための優れた方法ですが、ナビゲーションメニューのリンクをやりすぎないでください。
- 内部リンクが多いが、トラフィックや検索インプレッションが少なく、キーワードのランクが非常に低いページに注目してください。 多くの内部リンクを受け取るページには、通常、多くのPageRankが含まれています。 彼らがあなたのサイトに有機的なトラフィックをもたらすためにそのPageRankを使用していない場合、彼らはそれを無駄にしています。 そのPageRankを、実際に針を動かすことができるページに移動することをお勧めします。
ウェブサイトにGooglebotを送信するだけでなく、リンクエクイティを配布する際に、ウェブサイト上のすべてのリンクが果たす役割を理解することは、クロール予算の最適化の最終ステップです。 内部リンク構造を正しくすることで、マネーページのランキングを劇的に向上させることができます。 結局のところ、クロール予算を使う最善の方法は、収益をポケットに入れる可能性が最も高いランディングページを使用することです。
変更を実装した後、Google検索コンソールツールでそれらの改善されたページのキーワードランキングを監視してください。 これらのページのランキングが向上した場合は、クロール予算の最適化が機能していることを示しています。 次に、Webサイトに新しいページを追加するときに、クロールの予算を使い果たすに値するかどうかをより選択します。 そうでない場合は、ブランドにとって最も効果的なページにのみクローラーを誘導し続けます。