Googleクロール統計レポートとログファイル分析：どちらが勝者ですか？
公開: 2020-12-2211月24日、Googleは検索コンソールのクロール統計レポートの新しいバージョンをリリースしました。 この更新により、クロールの問題をデバッグし、サイトの状態を確認するために使用できるデータが提供されます。
以前のバージョンでは、1日あたりのクロールされたページ数、1日あたりのダウンロードされたキロバイト数、1日あたりのページのダウンロードに費やされた時間のみが示されていました。
この新しいバージョンでは、検索コンソールの他の部分と一致するようにルックアンドフィールが更新された同じ情報が利用可能です。
しかし、それだけではありません。 グーグルは彼らがあなたのサイトをどのようにクロールするかについてもっと多くの情報を提供します。 そして、グーグルから直接入手できる非常に多くの情報で、それは疑問を投げかけます：私たちはまだログファイルが必要ですか？
まず、新しいレポート自体を見てみましょう。
Google検索コンソールのクロール統計レポートについて知っておくべきことはすべて
新しいクロール統計レポートはどこにありますか？
新しいクロール統計レポートは、Google検索コンソールアカウントを持っている人なら誰でも自動的に利用できます。
検索コンソールにログインし、左側のサイドバーの「設定」に移動します。 次に、「クロール統計」をクリックします。
新しいクロール統計レポートには何が含まれていますか？
広範囲にわたる新しい情報を見つけるのに役立つように、TwitterでのTomekRudzkiのウォークスルーをお勧めします。
新しいGSCクロール統計は素晴らしいです！
最初のスクリーンショットは以前のバージョンのレポートと似ていますが、他のレポートには隠された宝石があります
1 / n pic.twitter.com/oCNzMhnGsQ— Tomek Rudzki（@TomekRudzki）2020年11月24日
Tomekは、それぞれの新しいデータとSEOのユースケースを強調しています。
- Googlebotのヒット数が最も多いホスト：Googleによって最も頻繁にクロールされるサブドメインを見つけます。
- Googlebotに返されるステータスコード：クロール予算の何パーセントが200以外の応答（つまり、リダイレクト、ページの欠落、エラー）によって使用されているかを調べます。
- ファイルの種類：GooglebotがCSSファイル、JavaScriptファイル、画像などのリソースファイルをリクエストする頻度を理解します。
- Googlebot訪問の目的：Googleが新しいコンテンツを発見しているのか、それともすでに知っているコンテンツを更新しているのかを学びます。
- スマートフォンのGooglebotによるリクエストとデスクトップのGooglebotによるリクエストの分割：サイトが2021年3月にモバイルファーストインデックスに完全に移行する準備ができているかどうかを確認します。
- クロールされたURLのサンプル：サイトで最近クロールされたURLのいくつかを把握します。
- ホストステータス：サーバーに最近問題が発生したかどうかを示す新しいメトリック。 たとえば、robots.txtの可用性とDNS解決が考慮されます。
クロール統計レポートに関する私たちのトップ3のお気に入り
特にログファイルにアクセスできない場合は、クロール統計レポートによって提供される利点が多すぎてすべてを一覧表示できません。 しかし、ここに私たちのトップ3があります：
1.このレポートはすべての人を対象としています。
読みやすい高レベルのGooglebotクロール統計を提供します。 物事がうまくいっているとき、そして対処する必要があるかもしれない問題があるときは明らかです。 場合によっては、さらに進んでいます。たとえば、ホストステータスの緑/黄/赤のステータスインジケータなどのヒントを提供します。
ボットとクロールの予算追跡に慣れていない場合でも、これらのレポートを見るときに迷子になることはありません。
2.ドキュメントは素晴らしいです。
このドキュメントは、質問の99％に回答するだけでなく、サーバーヘルス、危険信号、クロール頻度管理、基本的なgooglebotラングリングのベストプラクティスとヒントも提供します。
3.Googlebotリクエストの背後にある「理由」に関するデータ
Googlebotを追跡することはできますが、Googleがページにアクセスしている理由に関する多くの結論は、限られたデータに基づいて導き出される必要があります。 「目的別のクロール」セクションと「ページリソースの読み込み」の下に表示されるレンダリングリクエストは、いくつかの質問に対する明確な回答を提供します。 これで、Googleがページを検出するのか、ページを更新するのか、ページをレンダリングするために別の2番目のパスでリソースをダウンロードするのかが確実にわかります。
[ケーススタディ]Googleのボットクロールの管理
ケーススタディを読むログファイルで利用可能な情報とクロール統計レポートの違いは何ですか？
クロール統計はGooglebotに限定されています
クロール統計：0
ログ：1
サーバーのログファイルには、Webサイトを構成するファイルやリソースに対するすべての要求が、それらが誰からのものであるかに関係なく記録されます。 これは、ログがGooglebotだけではないことを教えてくれることを意味します。
ただし、Googleのクロール統計レポートは（当然のことながら！）サイトでのGoogle自身のアクティビティに限定されています。
クロール統計に表示されないログファイルから得られる洞察の一部を次に示します。
- Bingなどの他の検索エンジンに関する情報。 彼らがあなたのサイトをどのようにクロールするかを見ることができますが、彼らの行動がGooglebotの行動とどのように異なるかまたは一致するかも見ることができます：
Logflareはとても便利です。 ライブログでBingbotと比較してGooglebotの異なるクロール動作を確認するのは興味深いことです。 Googlebotは301を認識し、次に返されるURLはURLにリダイレクトされますが、Bingbotはそれを行わないようです。 ただ301を見て、それからどこかに行きます
— Dawn Anderson（@dawnieando）2020年1月22日
- どのツール（および競合他社）がサイトをクロールしようとしているのかに関する情報。 利用できる情報はGooglebotに限定されていないため、サイトで他のボットがアクティブになっているかどうかも確認できます。
- 参照ページに関する情報。 これは、最もアクティブな被リンクに関する詳細情報を見つけるのに役立ちます。 HTTPSでは、最後にアクセスしたページ、つまり「参照ページ」もリクエストごとに記録されます。
- Googleからのトラフィックだけでなく、オーガニックトラフィックに関する情報もあります。 参照ページを使用すると、検索エンジンの結果ページからトラフィックを識別し、これらの訪問者がサイトとどのようにやり取りしているかをよりよく確認できます。 この種の情報は、Analyticsソリューションが提供する番号を使用している場合は、それを確認または修正するために使用できます。
- 孤立したページの識別。 ログには訪問者から要求されたすべてのURLが含まれているため、サイト構造でリンクされていないボットまたは人的トラフィックを含む「アクティブな」ページがログに表示されます。 ログファイル内のURLのリストをクロールからのサイト構造内のURLのリストと比較することにより、孤立したページを簡単に見つけることができます。
完全で最新ですか？
クロール統計：0
ログ：2
データは完全で最新ですか？ あなたのログはです。 そして、あなたのクロール統計はそうかもしれません。
多くの人が、Google Search Consoleレポートとログファイルの20〜40％の違いにすぐに気づきました。クロール統計レポートは、現時点でGooglebotのアクティビティを過少報告しています。 これはクロール統計の既知の問題ですが、ログにはありません。
さらに、検索コンソールのすべての情報と同様に、データの最後の利用可能な日付と今日の日付の間に遅れが生じる可能性があります。 これまでのところ、クロール統計レポートで最大8日間の違いが見られました。
一方、ログファイルをリアルタイムの監視に使用できます。遅延は発生しません。
クロールされたURLの集約リストと完全リスト
クロール統計：0
ログ：3
クロール統計は、すべてのURLの集計データを提供します。 レポートはダッシュボードに相当します。 特定のメトリックの背後にあるURLのリストを探すと、「例」のリストが表示されます。 たとえば、画像ファイルに対する4.56Kのリクエストの例が数百ある場合があります。
ただし、ログファイルには、メトリックの背後にあるURLの完全なリストがあります。 サンプルだけでなく、すべてのリクエストをログに表示できます。
地域、日付、URLのフィルタリング…
クロール統計：0
ログ：4
本当に役立つために、クロール統計は、サンプルだけでなく、すべてのリクエストに適用されるより広範なフィルターの恩恵を受けることができます。 
次のような柔軟性があれば素晴らしいと思います。
- 表示している日付範囲を変更します
- IPルックアップによって特定の地理的地域に焦点を当てる
- URLグループによるより良いフィルタリング
- グラフにフィルターオプションを適用する
これらすべて、およびさらに多くのことをログファイルで実行できます。
Googlebot固有の情報
クロール統計：1
ログ：4
これまで見てきたように、Googleはクロール統計レポートを使用してクロールの目的に関する情報を提供します。
- 更新と発見
- ページリソース（セカンダリフェッチ）
ログファイルのデータをどれほど巧妙に調べても、この情報は他のどこにも見つかりません。
簡単にアクセス
クロール統計：2
ログ：4
クロール統計レポートへのアクセスは簡単です。クロール統計は、検索コンソールにアクセスできるすべてのユーザーが自動的に利用できます。
技術的には、ログファイルはすべてのウェブマスターが利用できるようにする必要があります。 しかし、これは多くの場合そうではありません。 多くの場合、開発チーム、ITチーム、またはクライアント企業は、ログファイルへのアクセスを提供することの重要性を理解していません。 プライバシー法がIPアドレスなどの「個人を特定できるデータ」へのアクセスを制限しているEUのような地域では、ログファイルへのアクセスが法的な問題を引き起こす可能性があります。 機密情報を保存しないOnCrawlなどの特定のツールを使用できます。
ログファイルにアクセスできるようになると、データを分析するための無料のツールがあり、独自の形式はほとんどありません。 言い換えれば、ログファイルはかなり民主的なデータソースです…一度手に入れれば。
それは事実です。多くのSEOは、ログにアクセスするのに問題があります。 したがって、理論的には、ログファイルを使用するとデータに簡単にアクセスできますが、このレポートのポイントは、Googleの無料ツールから2回クリックするだけで利用できるクロール統計レポートにあります。
オンクロールログアナライザ
もっと詳しく知る他のツールや分析との統合には（まだ）利用できません
クロール統計：2
ログ：5
Google Search Consoleを使用すると、クロール統計レポートのWebインターフェイスを介して利用可能な情報をエクスポートおよびダウンロードできます。 ただし、ダウンロードされた情報には、画面上のバージョンと同じ制限があることを意味します。
さらに、クロール統計はAPIを介して（まだ？）利用できないため、この情報をレポートと分析のための自動化されたプロセスに接続したり、履歴データのより広いビューのためにバックアップしたりすることさえ難しい場合があります。
ログファイルの場合、ストレージ、アクセス、および再利用は通常、ユーザー次第です。 これにより、ランクトラッキング、クロールデータ、分析データなどの他のデータソースとマージするときに、ログファイルがはるかに使いやすくなります。 また、レポート、ダッシュボード、データ視覚化フローへの統合も簡単です。
最終的な勝者：ログファイル！
クロール統計レポートでは5ポイントから2ポイントしかないため、検索エンジンがサイトとどのように相互作用するかについて完全な洞察が必要な場合は、ログファイルがここで明らかに勝者となります。
ただし、明確にしましょう。アップグレードされたクロール統計レポートには、ステータスコード、ファイルタイプ、サブドメイン（ドメインプロパティ用）、ホストステータスの詳細などの多くの新しい情報が含まれています。 これにより、Webサイトがどのようにクロールされているかを理解するためのより詳細な洞察と実用的なデータが得られ、クロールパターンの変化を追跡できるようになりました。
自分やクライアントのログファイルにアクセスできない人にとっては、大きな前進となるでしょう。
しかし、それはすべてのプロではありません！
新しいGSCクロール統計の長所と短所：https：//t.co/bjpG7QjeVt
長所：
+アップグレードされたデータメトリック
+より良いUX（ローバーTBH）
+クロールされたURLのダウンロード可能なデータ！
+クロールリクエストの内訳
+重要なホストの問題が指摘されました短所：
-日付範囲のフィルターはありません
-グラフを変更するためのフィルターオプションはありません— Micah Fisher-Kirshner（@micahfk）2020年11月24日
新しいレポートの欠点は、Googlebotの監視に適したダッシュボードであり、ログファイル分析を補完する優れた追加機能ですが、多くの点で制限されていることです。 全体的な傾向ではなく、ログファイルのみがURLごとのすべてのリクエストを表示することを忘れないでください。
さらに、GSCレポートには既知の問題があり、現時点では一部のリクエストがカウントされておらず、データがクロール統計レポートに表示されるまでに最大1週間かかる場合があります。 （ただし、Googleがこれらの問題に取り組んでおり、まもなく解消されると確信しています！）
おすすめの方法は次のとおりです。このレポートを使用して、ログファイルで何を探すべきかを正確に把握してください。 そして、ログ分析に飛び込みましょう！