更新前後のクロール予算追跡
公開: 2019-12-10Psst…伝えたい秘密があります。
あなたのサイトには、Googleによって設定された「クロール予算」があります。
これは、Googleが2つのことを測定するために使用する秘密の指標です。
- あなたのサイトがどれだけうまく構築されているか
- あなたのサイトはどれくらい人気がありますか
この記事では、最初のポイントに焦点を当てます。
サイトのビルド品質を改善すると、クロールの予算が増えます。
クロール予算が大きいほど、Googleが立ち寄ってページを読む頻度が高くなります。
クロール予算とは何かについての理解を共有することから始めましょう。
クロール予算とは
Googleは、Webクローラー（またはスパイダー）と呼ばれる特別なソフトウェアプログラムを使用して、サイトのページを読み取ります。
彼らはこのウェブクローラーをGooglebotと呼んでいます。
クロール予算は、Googlebotがページをクロールする頻度を表す用語です。
サイトを最適化することで、クロールの予算を増やすことができます。
Googleによると、クロール予算は次の組み合わせです。
- クロール速度–Googlebotがサーバーを壊すことなくサイトをクロールできる速度
- クロール需要–あなたのウェブページがGoogleのユーザーにとってどれほど重要か
これらの指標が改善されると、Googlebotがより頻繁にアクセスするようになります。 すべての訪問でより多くのページを読んでください。
Googleがページをクロールすると、コンテンツがGoogleインデックスに追加されます。 次に、Google検索結果に表示される情報を更新します。
クロール予算を最適化することで、サイトからGoogle検索への更新速度を向上させることができます。
クロール予算を改善する必要がある理由
Googleには難しい仕事があります。 彼らはインターネット上のすべてのページをクロールしてインデックスを作成する必要があります。
これを行うために必要な力は非常に大きく、すべてのページにインデックスを付けることはできません。
クロール予算を最適化すると、サイトが検索に表示される可能性が最も高くなります。
[ケーススタディ]Googleのボットクロールの管理
ケーススタディを読むクロール予算を改善する方法
サイトの改善とは、サイトでのGooglebotの時間を可能な限り効率的にすることです。
私たちは望んでいません：
- Googlebotは、Google検索で不要なページを読んでいます。
- サーバーエラーを確認しているGooglebot
- 壊れた/死んだリンクをたどるGooglebot
- ページが読み込まれるのを待っているGooglebot
- 重複コンテンツを読み取るGooglebot
上記のすべてがGoogleの貴重なリソースを浪費しており、クロール速度が低下する可能性があります。
クロール予算とテクニカルSEO
技術的なSEOの一環として行う必要があることの多くは、クロール予算を最適化することと同じです。
必要なもの：
- robots.txtを最適化し、エラーをチェックします
- hreflangおよび正規リンクタグを修正します
- 200ページ以外を解決する
- リダイレクトとリダイレクトループを修正する
- サイトマップにエラーがないことを確認します
次に、Googlebotに最適なページを作成してみましょう。
完璧なページを作成する方法
OK、完璧なページではないかもしれませんが、できる限りページを改善する必要があります。
改善できる一般的なページ上の問題を見てみましょう。
ページの問題
- 重複コンテンツ–サイト上の重複コンテンツに正規リンクタグを付けます。
- 非SSLページ– HTTPリンクを見つけて、HTTPSに変換します。 SSL証明書をお持ちでない場合は、Let'sEncryptから無料の証明書を入手してください。
- 有用なページのみをクロールする– robots.txtファイルを使用して、Googlebotが移動できる場所を減らします。 たとえば、管理者に使用されるページがある場合は、robots.txtファイルでこれを禁止します。
- 薄いコンテンツ–薄いコンテンツまたは非常に少ないコンテンツのページのスクレイピングをブロックすることを検討してください。 ユーザーにとってほとんど価値のないページがある場合は、これらのページでGooglebotの時間を無駄にしないでください。
- サーバーエラー–サーバーエラーは、異常なWebサーバーの兆候です。 サイトが5xxエラーを返している場合、これらを修正するとクロール速度が上がる可能性があります。
ページの読み込みが遅い
クロールバジェットを改善する1つの方法は、ページを高速化することです。
高速ページはGooglebotを高速化します。これは、ウェブサーバーが「正常」であることをGoogleに示しています。
グーグルはすでにページ速度がクロール速度を上げると言っています：
サイトを高速化すると、ユーザーエクスペリエンスが向上すると同時に、クロール速度も向上します。
- ページの重み–このメトリックは、ページの全体的なサイズです。 これには、ページ上のすべてのJavascriptCSSと画像が含まれます。 これは合計で1MB未満である必要があります。
- 最適化された画像–画像は、品質を損なうことなく、KB単位で可能な限り小さくする必要があります。 Squooshのようなツールを使用すると、これに役立ちます。
- 縮小されたCSSおよびJS –JSおよびCSSファイルを縮小します。 これは、ファイルから不要な文字をすべて削除するプロセスです。 CSSNanoとUglifyJSを使用してファイルを縮小します。
- 圧縮とキャッシュ–サーバーでGZipまたはBR圧縮を確認してください。 これにより、ファイルの取得にかかる時間が短縮されます。 ファイルが1回だけダウンロードされるように、キャッシュを追加します。
ページ速度の改善のリストについては、この詳細なWebサイトのパフォーマンスレビューを参照してください。 Webサイトのパフォーマンスを向上させるための30のステップがあります。
変更を測定する方法
スマートSEOとして、最適化を開始する前に、変更を追跡する必要があります。
次の2つのプロパティを持つデータポイントを選択する必要があります。
- 時間の経過とともにデータポイントを追跡できる必要があります。
- アクションでそのデータに影響を与えることができなければなりません。
では、クロール予算のために追跡する必要があるデータポイントは何ですか？
Googleは、クロール予算を決定する際に2つの要素を使用すると前述しました。
- クロール速度–Googlebotがサーバーを壊すことなくサイトをクロールできる速度
- クロール需要–あなたのウェブページがGoogleのユーザーにとってどれほど重要か
私たちは技術的なSEOであるため、私たちの仕事はクロール速度を改善することです。
したがって、これは追跡する必要のあるデータポイントです。
クロールレートの追跡
では、Googlebotのクロール率をどのように追跡するのでしょうか。
Webサーバーのアクセスログを使用する必要があります。
ログには、Webサーバーに対して行われたすべてのリクエストが保存されます。 ユーザーまたはGooglebotがサイトにアクセスするたびに、ログエントリがアクセスログファイルに追加されます。
Googlebotのエントリは次のようになります。
127.0.0.1 --- [11 / Nov / 2019：08：29：01 +0100] "GET / example HTTP / 1.1" 200 2326 "-" "Mozilla / 5.0（互換; Googlebot / 2.1; + http：// www .google.com / bot.html）」
各ログには3つの重要なデータポイントがあります。 日付：
[2019年11月11日：08：29：01 +0100]
URL：
「GET/exampleHTTP/1.1」
そして、Googlebotがリクエストを行っていることを通知するユーザーエージェント：
「Mozilla/5.0（互換性; Googlebot / 2.1; + http：//www.google.com/bot.html）」
上記のログはNginxウェブサーバーからのものです。 ただし、ApacheやIISなどのすべてのWebサーバーには、同様のアクセスログエントリがあります。
設定によっては、コンテンツ配信ネットワーク（CDN）を使用している場合があります。 CloudflareやFastlyなどのCDNもアクセスログを作成します。
アクセスログを手動で分析することは可能ですが、最も楽しいことではありません。
access.logをダウンロードし、Excelを使用してこれを分析できます。 ただし、OnCrawlのようなログアナライザーを使用することをお勧めします。
これにより、Googlebotのクロール率をグラフでリアルタイムに確認できます。 クロール速度を追跡するためのこの監視設定ができたら、それを改善し始めることができます。
変更を加える
これで、追跡しているものがわかったので、いくつかの改善を行うことができます。 ただし、同時に多くの変更を加えないでください。 整然として、1つずつ変更を加えます。
構築、測定、学習。
この手法を使用すると、学習しながら行っている変更を適応させることができます。 クロール速度を向上させるタスクに集中します。
急いで一度に変更しすぎると、結果を理解するのが難しくなる可能性があります。
何が機能し、何が機能しなかったかを判断するのが難しくなります。
時間の経過とともにページが改善されると、クロールレートが上がるにつれてクロールバジェットが増加します。
まとめ、更新前後の予算追跡のクロール
クロール予算とは何かを正確に説明しました。
テクニカルSEOとして、あなたはサイトのクロール速度を上げる力を持っています。
技術的な健全性を向上させることで、サイトでのGooglebotの時間を効率的にすることができます。
正確な結果を得るために、ログを使用してクロール速度を追跡します。
ビルド、測定、学習をテクニックとして使用して、一度に1つの変更を加え、進行中に改善します。
時間の経過とともに、クロール速度は増加します。 あなたのページはGoogle検索結果でより速く表示されます。 そして、ユーザーはあなたのサイトで素晴らしい体験をするでしょう。