より最適化されたクロール予算で上位にランク付けを開始する方法

ランキングに影響を与える複数の要因があります—外部リンク、キーワードの使用法、サイトの速度、その他多数。 ただし、サイトの最適化を開始するときは、サイトを完済するためのすべての最適化の取り組みについて、クロールしてインデックスを作成する必要があることを覚えておく必要があります。

ウェブサイトがクロールされる方法は、クロール予算（Googlebotが特定の期間にサイトにアクセスした回数）によって決まります。 また、サイトの可視性は、クロール予算のバランスが取れているかどうかによって異なります。

クロール予算がGoogleでのサイトの可視性に影響するのはなぜですか。

クロール予算は限られています。 それはいくつかの課題を生み出します：

• クロール予算が最適化されていない場合、Googlebotがすべてのサイトページにアクセスしているわけではありません。 その結果、それらはインデックスに登録されず、検索結果でランク付けされません。
• 更新されたページは、他のWebサイトのページがクロールされる頻度が高いため、Googlebotから長い間注目されません。 これはSEOのタイムラインに悪影響を及ぼします。Googleが最適化の取り組みについて知らない限り、SERPの可視性は向上しません。

したがって、すべての重要なページに定期的にアクセスするには、クロールの予算を最適化する必要があります。 これがあなたがそれをする方法です。

現在のクロール予算を決定する方法

クロール予算を最適化する必要があるかどうかを判断するには、まず予算が不足していないかどうかを確認します。 GoogleのGaryIllyesによると、クロールするものに優先順位を付ける必要があるのは大規模なサイトだけです。特に、パラメータに基づいて多数のURLを自動生成するサイトはそうです。 サイトで追加のクロール予算のバランス調整が必要だと思われる場合は、次の方法から始めてください。

Google検索コンソールでは、現在のサイトのクロール統計を検索し、クロール予算の詳細を確認できます。

おおよそのクロールバジェットは次のように計算できます。

1日あたりの平均クロールページ数x1か月の日数=
おおよそのクロール予算

たとえば、以下のレポートから、このWebサイトでGoogleが1日あたり371ページをクロールしていることがわかります。

Google検索コンソールのクロール統計グラフ

したがって、このWebサイトのおおよそのクロール予算は次のとおりです。

371 x 30 = 11130

ただし、GoogleクローラーがWebサイトにアクセスする頻度を正確に知るには、サーバーログを確認する必要があります。 Google Search Consoleには、12個のボットの集計されたクロール予算が表示されます。正確なクロール予算の分布を確認するには、ログ分析ツールが必要です。

クロールグラフの浮き沈みは問題の兆候である可能性がありますが、常にそうであるとは限りません。 たとえば、上のグラフの急上昇は、再送信されたサイトマップを表しています。これは、Googlebotがウェブサイトに再アクセスするためのトリガーです。

クロール予算を最適化する方法

クロール予算を最適化するには、次の単純なルールに従う必要があります。

クロールする必要があるものがクロールされ、クロールする必要がないものがクロールされていないことを確認してください。

つまり、重要なページが十分に注目されており、サイトに価値をもたらしていないページは除外されています。 そこにたどり着く正確な手順は次のとおりです。

1.重要なページすべてにGooglebotがアクセスできることを確認します（たとえば、robots.txtでブロックされていない）

驚いたことに、robots.txtファイルで重要なページのステータスが否認されている場合は非常に一般的です。 このように、それらはGooglebotによって無視されるため、インデックス作成から隠されます。 あなたの仕事は、クロールしたいページがそのステータスを持たず、クローラーがアクセスできることを確認することです。

robots.txtファイルはGoogle検索コンソールにあります。 重要なページが否認されないようにするには、ファイルを参照するだけです。

2. Googlebotのアクセス頻度に影響するため、サイトの全体的な状態を確認します（クロールレート制限とも呼ばれます）。

グーグル自身が言うように、クロール速度制限は与えられたサイトの最大フェッチ速度です。 簡単に言うと、Googlebotがサイトをクロールするために作成できる並列接続の数と、フェッチの間に待機する時間を指定します。 サイトの速度が速い場合、制限が上がり、Googlebotはより多くの同時接続を作成します。 サイトの応答率が低いか、サーバーエラーが返されると、制限が下がり、Googlebotのクロールが少なくなります。

したがって、サイトのクロール方法もサイトの状態に影響されます。 これには、サイトの速度、モバイルの使いやすさ、404エラーの量などが含まれます。

これらのツールを使用して、サイトの状態を確認できます。

• OnCrawlを使用すると、コンテンツが重複しているページやほぼ重複しているページ、404ページや孤立したページ（内部リンクがない）などを見つけることができます。

OnCrawlでコンテンツウィジェットを複製する

OnCrawlの孤立したページウィジェット

• Googleのモバイルフレンドリーテストは、ウェブサイトのモバイルフレンドリーをチェックします
• サイトの速度は、PageSpeedInsightsまたはGTmetrix無料ツールを使用して確認できます。

次に、OnCrawlなどのログファイルアナライザーを使用してクロール頻度を監視し、Googlebotがページに頻繁にアクセスしているかどうかを確認できます。

3.ユーザーに価値をもたらさないページを除外します

これらは、コンテンツが弱いかまったくないページ、技術ページなどです。これらはインデックスに登録されており、表示回数が少ないため、Google検索コンソールで見つけることができます。 それらを見つける別の場所は、OnCrawlのSEOインパクトレポートです。 たとえば、単語数がクロール頻度に与える影響を示します。

たとえば、大規模なeコマースWebサイトの一般的な問題は、ファセットナビゲーションです。 Ryan Stewartは、クロール予算の最適化についてのビデオでそれについて語っています（7:20にジャンプしてこれを確認できますが、ビデオ全体も非常に役立ちます）。 ユーザーがWebサイトでカテゴリを選択すると、そのパラメータがページのURLに追加されます。 Googlebotによると、その瞬間から、それは別のURLであり、別のアクセスが必要です。 可能なカテゴリの組み合わせの数は膨大であり、クロールバジェットを大幅に過負荷にする可能性があるため、このようなページは除外する必要があります。

セッション識別子がURL内に配置されている場合にも、同様の問題が発生します。 このようなページも除外する必要があります。

4.最も重要なページがより頻繁にクロールされるように、ページに優先順位を付けます

このページは、トラフィックの可能性が高い場合に重要です。

まず第一に、これらはすでに多くのトラフィックがあるページです。 あなたはGoogleAnalyticsでそれらを見つけることができます。 [行動レポート]で、[サイトコンテンツ] →[すべてのページ]に移動し、ページビュー数でページを並べ替えます。

第二に、それは位置が向上しているページであり、それはそれらが人気を増していることを意味します。 このようなページはGoogle検索コンソールで見つけることができますが、フィルタリングオプションが制限されているため、それらを見つけるまでに時間がかかる場合があります。

別の方法として、AccuRankerを使用することもできます。これにより、どの種類のページの可視性が高まっているかを確認できます。 それを使い始めるために、あなたはワンクリックでグーグル検索コンソールからキーワードのリストをインポートして、それからどのページが最も有望であるかを見つけることができます。

さらに、次の数週間および数か月以内に追加のSEOトラフィックが発生する可能性のあるページを見つける方法があります。 Google SearchConsoleAPIとGoogleDataStudioで遊ぶ必要がありますが、結果はやや驚くべきものです。 ランディングページをディメンションとして使用し、インプレッション、URLクリック、URL CTRを指標として使用することで、他のページよりも急速に人気が高まっているページを見つけることができます。

どのページに優先順位を付ける必要があるかを見つけたら、次のようにして、ページがより頻繁にクロールされるようにします。

• 最も重要なページをメインページの近くに移動するか、そこにそれらへのリンクを表示します。 たとえば、ナビゲーションまたは「特別オファー」セクションへのページリンクを追加できます。
• 商品がない（在庫切れ/季節商品）すべてのページカテゴリに301リダイレクトを配置します。 問題の商品が再入荷したら、そのリダイレクトをオフにすることを忘れないでください。

5.ページへの十分な内部リンクを提供します

内部リンクは、Googlebotの主要な経路としてクロールするために重要です。 ページに内部リンクがないと、先に進むことはできません。 したがって、ページにつながるリンクを追加することで、インデックスに登録される可能性が高くなります。

たとえば、古いページをより頻繁にクロールする場合は、そのページにつながるリンクを新しいページに追加します。 Googlebotが新しいページにアクセスすると、古いページのインデックスも再作成されます。

ウェブサイトのナビゲーションメニューにページリンクを追加することで、ユーザーやGooglebotから簡単にアクセスできるようになります。 SEMrushはこの手法を使用して、新しいブログ投稿のクロールを高速化します。 すべての新しい記事はメインページの[最近の投稿]セクションに表示されるため、Googlebotによって優先されます。

この手法は、eコマースWebサイトの新製品ページのインデックス作成を高速化するためにも使用できます。

まとめ

上記のように、クロール予算の最適化は、eコマースサイトなどの分岐構造を持つ大規模なサイトにとってより重要です。 ただし、適切なページクロールはSEOの基盤であり、SERPの可視性に直接影響するため、クロール統計を修正し、クロール予算のバランスを取り、SEOの取り組みの結果をスピードアップすることをお勧めします。

クロールバジェット最適化の基本的なツールキットには、次のものが含まれます。

• Google検索コンソールで現在のクロール予算の見積もりを確認
• 重複コンテンツ、404ページ、孤立したページなどを見つけるためのOnCrawlなどのサイトヘルス監査人。
• Googleのモバイルフレンドリーテストなど、サイトのモバイルフレンドリーを確認するためのツール
• PageSpeedInsightsやGTmetrixなどのサイト速度チェッカー
• 人気の可能性が高いページを見つけるためのツール—すでにトラフィックが多いページ（Google Analyticsで確認できます）または可視性の傾向が高まっているページ（AccuRankerを使用して見つけることができます）。