SEOログファイル分析の概要
公開: 2021-05-17ログ分析は、検索エンジンが私たちのサイトをどのように読み取るかを分析するための最も徹底的な方法です。 毎日、SEO、デジタルマーケター、ウェブ分析スペシャリストは、トラフィック、ユーザーの行動、コンバージョンに関する図を表示するツールを使用しています。 SEOは通常、GoogleがGoogle検索コンソールを介してサイトをクロールする方法を理解しようとします。
では、なぜSEOは他のツールを分析して、検索エンジンがサイトを正しく読み取っているかどうかを確認する必要があるのでしょうか。 では、基本から始めましょう。
ログファイルとは何ですか？
ログファイルは、サーバーWebが、ボットまたはユーザーによって要求されたWebサイト上のすべてのリソースの行を書き込むファイルです。 各行には、リクエストに関するデータが含まれています。これには、次のものが含まれます。
発信者のIP、日付、必要なリソース（ページ、.css、.js、…）、ユーザーエージェント、応答時間、…
行は次のようになります。
66.249.**.** - - [13/Apr/2021:00:07:31 +0200] "GET /***/x_*** HTTP/1.1" 200 40960 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "www.***.it" "-"
クロール可能性と更新可能性
すべてのページには、3つの基本的なSEOステータスがあります。
- クロール可能
- インデックス可能
- ランク付け可能
ログ分析の観点から、インデックスを作成するには、ボットがページを読み取る必要があることがわかっています。 同様に、検索エンジンによってすでにインデックスが作成されているコンテンツは、検索エンジンのインデックスで更新されるように再クロールする必要があります。
残念ながら、Google Search Consoleには、このレベルの詳細はありません。過去3か月間にGooglebotがサイトのページを読み取った回数と、ウェブサーバーの応答速度を確認できます。
ボットがページを読んだかどうかを確認するにはどうすればよいですか？ もちろん、ログファイルとログファイルアナライザーを使用します。
SEOがログファイルを分析する必要があるのはなぜですか？
ログファイル分析により、SEO（およびシステム管理者も）は以下を理解できます。
- ボットが読み取る正確な内容
- ボットがそれを読み取る頻度
- 費やした時間（ミリ秒）で表したクロールのコスト
ログ分析ツールを使用すると、情報を「パス」、ファイルタイプ、または応答時間でグループ化してログを分析できます。 優れたログ分析ツールを使用すると、ログファイルから取得した情報をGoogle検索コンソール（クリック数、表示回数、平均掲載順位）やGoogleアナリティクスなどの他のデータソースと結合することもできます。
オンクロールログアナライザ
もっと詳しく知るログファイルで何を探すべきですか？
ログファイルの主な重要な情報の1つは、ログファイルにないものです。 本当に、私は冗談ではありません。 ページがインデックスに登録されていない、または最新バージョンに更新されていない理由を理解するための最初のステップは、ボット（Googlebotなど）がページを読み取ったかどうかを確認することです。
これに続いて、ページが頻繁に更新される場合、ボットがページまたはサイトセクションを読み取る頻度を確認することが重要になる場合があります。
次のステップは、ボットが最も頻繁に読み取るページを確認することです。 それらを追跡することにより、これらのページが次のかどうかを確認できます。
- 頻繁に読む価値があります
- または、ページ上の何かが絶え間なく制御不能な変化を引き起こすため、頻繁に読まれます
たとえば、数か月前、私が取り組んでいたサイトでは、奇妙なURLでボットの読み取りが非常に頻繁に発生していました。 ボットは、このページがJSスクリプトによって作成されたURLからのものであり、このページにページが読み込まれるたびに変更されるデバッグ値がスタンプされていることを明らかにしました…この啓示に続いて、優れたSEOはこれを修正するための適切な解決策を確実に見つけることができます予算の穴をクロールします。
クロール予算
クロール予算？ それは何ですか？ すべてのサイトには、検索エンジンとそのボットに関連する比喩的な予算があります。 はい：Googleはあなたのサイトに一種の予算を設定します。 これはどこにも記録されていませんが、次の2つの方法で「計算」できます。
- Google検索コンソールのクロール統計レポートを確認する
- ログファイルをチェックし、「Googlebot」を含むユーザーエージェントによってそれらをgrep（フィルタリング）します（これらのユーザーエージェントが正しいGoogle IPと一致することを確認すると最良の結果が得られます… ）
サイトが興味深いコンテンツで更新されたとき、定期的にコンテンツを更新したとき、またはサイトが適切な被リンクを受け取ったときに、クロール予算が増加します。
クロール予算がサイトでどのように使われるかは、次の方法で管理できます。
- 内部リンク（follow / nofollowも！）
- noindex / canonical
- robots.txt（注意：これはユーザーエージェントを「ブロック」します）
ゾンビページ
私にとって「ゾンビページ」とは、かなりの期間、オーガニックトラフィックやボットへのアクセスがなかったすべてのページですが、それらを指す内部リンクがあります。
このタイプのページは、クロールバジェットを使いすぎて、内部リンクのために不必要にページランクを受け取る可能性があります。 この状況は解決できます：
- これらのページがサイトにアクセスするユーザーにとって役立つ場合は、それらをnoindexに設定し、それらへの内部リンクをnofollowとして設定できます（またはdisallow robots.txtを使用しますが、これには注意してください… ）
- これらのページがサイトにアクセスするユーザーにとって役に立たない場合は、それらを削除して（そして、ステータスコード410または404を返す）、すべての内部リンクを削除することができます。
Oncrawlを使用すると、以下に基づいて「ゾンビレポート」を作成できます。
- GSCの印象
- GSCクリック
- GAセッション
ログイベントを使用してゾンビページを発見することもできます。たとえば、0イベントフィルターを定義できます。 これを行う最も簡単な方法の1つは、セグメンテーションを作成することです。 以下の例では、次の基準ですべてのページをフィルタリングします。Googlebotはヒットしませんが、Inrankを使用します（これは、これらのページに、それらを指す内部リンクがあることを意味します）。 
これで、すべてのOncrawlレポートでこのセグメンテーションを使用できるようになりました。 これにより、任意のグラフィックから洞察を得ることができます。たとえば、200のステータスコードを返す「ログゾンビページ」はいくつありますか。 
孤立したページ
私にとって、注意深く見る価値のある「孤立したページ」とは、重要な指標（GAセッション、GSCインプレッション、ログヒットなど）で最も価値の高いすべてのページであり、ページランクを共有するための内部リンクがありません。ページの重要性を示します。
「ゾンビページ」と同様に、ログベースのレポートを作成するには、新しいセグメンテーションを作成するのが最善の方法です。 
うわー、セッションとヒットがあり、インリンクがないページがたくさんあります！
「ゼロフォローインリンク」に基づくレポートを確認するときは、クロールステータスに注意してください。Oncrawlはすべてのサイトをクロールできましたか、それとも数ページしかクロールできませんでしたか？ これは、プロジェクトのメインページで確認できます。 
最大深度に達した場合：
- クロール構成を確認してください
- サイトの構造を確認してください
ログファイルとオンクロール
Oncrawlはデフォルトのダッシュボードで何を提供しますか？
ライブログ
このダッシュボードは、ボットがサイトにアクセスするとすぐに、ログファイルからの情報が完全に処理される前に、ボットがサイトをどのように読み取っているかに関する重要な情報を確認するのに役立ちます。 それを最大限に活用するには、ログファイルを頻繁にアップロードすることをお勧めします。FTP経由、Amazon S3用などのコネクタ経由、またはWebインターフェイス経由で手動でアップロードできます。
最初のグラフは、サイトが読み取られる頻度とボットを示しています。 以下の例では、デスクトップアクセスとモバイルアクセスを確認できます。 この場合、Googlebot専用にフィルタリングされたログファイルをOncrawlに送信しました。 
モバイル読み取りの量がまだ非常に多いのを見るのは興味深いです：それは正常ですか？ 状況によって異なります…分析しているサイトはまだ「モバイルファーストインデックス」にありますが、完全にレスポンシブなWebサイトではありません。動的なサービスを提供するWebサイトであり（Googleはそれを呼んでいます）、Googleは引き続き両方のバージョンをチェックします。
もう1つの興味深い図は、「ページグループ別のボットヒット」です。 デフォルトでは、OncrawlはURLパスに基づいてグループを作成します。 ただし、一緒に分析するのに最も意味のあるURLをグループ化するために、グループを手動で設定できます。 
ご覧のとおり、黄色が勝ちます！ これは商品パスを含むURLを表すため、特にGoogleの有料ショッピングキャンペーンがあるため、このような大きな影響を与えるのは通常のことです。
そして…はい、Googleが標準のGooglebotを使用して、販売者フィードに関連する商品のステータスを確認していることを確認しました。
クロール動作
このダッシュボードには「ライブログ」と同様の情報が表示されますが、この情報は完全に処理されており、日、週、または月ごとに集計されています。 ここでは、日付期間（開始/終了）を設定できます。これにより、好きなだけ時間を遡ることができます。 ログ分析をさらに進めるための2つの新しい図があります。
- クロール動作：クロールされたページと新しくクロールされたページの比率を確認します
- 1日あたりのクロール頻度
これらの図を読む最良の方法は、結果をサイトのアクションに関連付けることです。
- ページを移動しましたか？
- いくつかのセクションを更新しましたか？
- 新しいコンテンツを公開しましたか？
SEOの影響
SEOの場合、最適化されたページがボットによって読み取られるかどうかを監視することが重要です。 「孤立したページ」について書いたように、最も重要な/更新されたページがボットによって読み取られ、最新の情報が検索エンジンでランク付けできるようにすることが重要です。
Oncrawlは、「アクティブページ」の概念を使用して、検索エンジンからオーガニックトラフィックを受信するページを示します。 この概念から始めて、次のようないくつかの基本的な数値を示します。
- SEO訪問
- SEOアクティブページ
- SEOアクティブ率（クロールされたすべてのページに占めるアクティブページの割合）
- フレッシュランク（ボットが最初にページを読んでから最初のオーガニック訪問までの平均時間）
- クロールされていないアクティブなページ
- 新しくアクティブなページ
- アクティブなページの1日あたりのクロール頻度
Oncrawlの哲学と同様に、シングルクリックで、クリックしたメトリックでフィルタリングされた情報湖に深く入り込むことができます。 例：クロールされていないアクティブなページはどれですか？ ワンクリック… 
探査の正気
この最後のダッシュボードを使用すると、boのクロールの品質を確認できます。より正確には、サイトが検索エンジンにどの程度表示されているかを確認できます。
- ステータスコード分析
- 日ごとのステータスコード分析
- ページグループごとのステータスコード分析
- 応答時間分析
優れたSEO作業には、次のことが必須です。
- 内部リンクからの301応答の数を減らす
- 内部リンクから404/410応答を削除します
- Googlebotのクロール品質は応答時間に直接関係しているため、応答時間を最適化します。サイトの応答時間を半分に短縮すると、クロールされたページの数が2倍になることがわかります（数日後）。
ログ分析とOncrawlのデータエクスプローラーの科学
これまで、標準のOncrawlレポートと、それらを使用してセグメンテーションとページグループを介してカスタム情報を取得する方法を見てきました。
しかし、ログ分析の中核は、何か問題を見つける方法を理解することです。 通常、分析の開始点は、ピークをチェックし、それらをトラフィックおよび目的と比較することです。
- 最もクロールされたページ
- クロールが最も少ないページ
- ほとんどのクロールされたリソース（ページではない）
- ファイルの種類ごとのクロール頻度
- 3xx/4xxステータスコードの影響
- 5xxステータスコードの影響
- クロールが遅いページ
- …
もっと深く行きたいですか？ 良い…データを追加する必要があります。 また、Oncrawlは、データエクスプローラーのような非常に強力なツールを提供します。
前のスクリーンショット（クロールされていないアクティブなページ）でわかるように、分析フレームワークに基づいて必要なすべてのレポートを作成できます。
例えば：
- ボットによるクロールが多い最悪のオーガニックトラフィックページ
- ボットによるクロールが多すぎる最高のオーガニックトラフィックページ
- SERPインプレッションが多い遅いページ
- …
以下に、SEOセッションの数に関連して最もクロールされたページを確認した方法を示します。 
要点
ログ分析は厳密には技術的なものではありません。可能な限り最善の方法で分析するには、技術スキル、SEOスキル、マーケティングスキルを組み合わせる必要があります。
お客様がログファイルにアクセスできないため、またはコストのかかる分析になる可能性があるため、分析が「SEOチェックリスト」から除外されることがよくあります。
現実には、ログはボットがサイトのどこに向かっているのかを実際にチェックし、サーバーがボットにどのように応答しているかを知るための唯一のソースです。
Oncrawlのようなツールは、技術的な要件を大幅に減らすことができます。ログファイルをアップロードして分析を開始するだけです。