クロールとログデータを組み合わせる5つの大きな理由
公開: 2018-03-27SEOコミュニティでは、SEOのログファイルデータの理解がますます高まっています。 ログファイルは、実際にはWebサイトで何が起こっているかを定性的に表したものだけです。 しかし、それでも彼らに効果的に話せるようにする必要があります。
正確なSEO訪問とボットの動作は、ログファイルに存在します。 一方、クロールレポートのデータは、オンサイトのパフォーマンスに関する十分な知識を提供できます。 ウェブサイトを分析するときは、ログファイルとクロールデータを組み合わせて新しいディメンションを強調する必要があります。
この記事では、クロールとログファイルのデータを組み合わせる5つの優れた方法を紹介します。 明らかに、使用できるものは他にもたくさんあります。
1＃孤立ページの検出とクロールバジェットの最適化
孤立したページとは何ですか？ サイトのアーキテクチャに含まれていないURLがログに表示される場合、このURLは孤立と呼ばれます。
グーグルは巨大なインデックスを持っています！ 時間の経過とともに、アーキテクチャに存在しなくなった場合でも、Webサイトですでに検出されたすべてのURLが保持されます（スラッグの変更、ページの削除、完全なサイト移行、エラーのある外部リンク、または変換された外部リンク）。 明らかに、これらのいわゆる孤立したページをGoogleにクロールさせると、クロール予算の最適化に影響を与える可能性があります。 廃止されたURLがクロールバジェットを消費する場合、これにより他のURLがより定期的にクロールされるのを防ぎ、必然的にSEOに影響を与えます。
Webサイトをクロールするとき、OnCrawlはすべてのリンクを調べて、サイトの完全なアーキテクチャを詳細に検出します。 一方、ログファイルの監視中、OnCrawlはGoogleボットのヒットとSEO訪問からのデータをコンパイルします。
Googleが知っているURLと、アーキテクチャでリンクされているURLの違いは非常に重要です。 忘れられたリンクや壊れたリンクを修正し、孤立したページを減らすことを目的としたSEOの最適化は不可欠です。
ログとクロールのクロスデータ分析に基づくOnCrawlSEO影響レポート
上のスクリーンショットは、最新のログとクロールデータを示しています。 あなたはすぐにそれに気付くことができます：
- 25,990ページが構造内にあります。クローラーによって検出され、Webサイトでたどったすべてのリンクが考慮されます。
- 73,058ページがGoogleによってクロールされます–これは構造の3倍です。
- クロール率84％–（OnCrawlクロールページ+ログからのアクティブページ+ Googleクロールページ）/Googleクロールページ;
- 内部ページの6％以上がクロールされていません。黒いバケットをクリックするだけで、データエクスプローラーにこれらのページのリストが表示されます。
- 60Kの孤立したページ–構造内のページとGoogleによってクロールされたページの間のデルタ。
- これらのページで34KSEOが訪問–内部リンクに問題があるようです！
ベストプラクティス：OnCrawlには、クリックするだけで各グラフまたはメトリックの背後にあるデータを探索できるという利点があります。 このようにして、探索しているスコープで直接フィルタリングされたURLのダウンロード可能なリストを取得します。
2＃どのURLが最も多くの（または最も少ない）クロールバジェットを消費しているかを調べます
Googleボットの訪問によるすべてのイベントは、OnCrawlデータプラットフォームによって認識されます。 これにより、URLごとに、時間に従ってコンパイルされたすべてのデータを知ることができます。
データエクスプローラーでは、URLごとに、ボットのヒット列（45日間）と、日ごとおよびボットごとのヒットを追加できます。これは、1日あたりの平均値です。 これらの情報は、Googleのクロール予算の消費を評価するのに役立ちます。 この予算はすべてのサイトで均一ではないことがよくあります。
クロールメトリックを使用し、日ごとにボットヒットでフィルタリングされたデータエクスプローラーからのすべてのURLのリスト
実際、いくつかの要因がクロールバジェットをトリガーまたは削減する可能性があります。 次に、Googleページの重要性に関するこの記事で最も重要な指標のリストを作成しました。 深さ、ページを指すリンクの数、キーワードの数、ページの速度、InRank（内部人気）は、ボットのクロールに影響を与えます。 詳細については、次の段落で説明します。
3＃あなたの最高のSEOページ、あなたの最悪のSEOページを知り、ページの成功要因を決定する
データエクスプローラーを使用すると、ページに関する主要な指標にアクセスできますが、数百行と指標を一緒に比較するのは複雑な場合があります。 列を使用してボットヒットを日ごとにセグメント化し、SEO訪問を日ごとにセグメント化することは、データマイニングの味方です。
- CS –日ごとのボットヒットおよびCS –日ごとのSEO訪問JSONファイルをダウンロードします。
- それらを新しいセグメンテーションとして追加します。
実際、ログ分析から得られたこれら2つの値に基づいてセグメンテーションを作成し、グループごとにページを最初に配布することができます。 ただし、これらのセグメンテーションの各グループをフィルタリングして、各OnCrawlレポートで、どのページが期待値に達していないかをすばやく検出することもできます。
プロジェクトのホームページで、[セグメンテーションの構成]ボタンをクリックします。
次に、新しいセグメンテーションを作成します
「JSONの使用」容量を選択してJSONインポートを使用し、ダウンロードしたファイルをコピーして貼り付けます。
これで、各レポートのトップメニューを使用してセグメンテーションを切り替えることができます。
すべてのOnCrawlレポートでのライブセグメンテーションの変更
これにより、ボットヒットまたはSEO訪問によってグループ化されたページに関連して分析しているメトリックの影響が、各グラフィックに表示されます。
次の例では、これらのセグメントを使用して、InRankの内部人気の影響を理解しました。これは、リンクの深さによる力に基づいています。 さらに、ボットヒットとSEO訪問は同じ軸上で相関しています。
日ごとのボットヒットによるInRankの分布
日ごとのSEO訪問によるInRankの分布
深さ（ホームページからのクリック数）は、ボットのヒットとSEOの訪問の両方に明らかに影響を与えます。
同様に、各ページグループを個別に選択して、最もヒットまたは訪問したページのデータを強調表示できます。
これにより、最適化された場合にパフォーマンスが向上する可能性のあるページ（ページ内の単語数、深さ、着信リンク数など）をすばやく検出できます。
適切なセグメンテーションと分析するページのグループを選択するだけです。
日ごとにヒットしたボットが0を含むグループのページでの単語の分布
4＃クロール予算とSEO訪問を最大化するためのしきい値を決定する
さらに、SEO影響レポート（クロールとログのクロスデータ分析）は、SEOの訪問、クロールの頻度、またはページの検出を増やすのに役立つしきい値を検出できます。
クロール頻度に対する単語数の影響
単語数によるクロール頻度
単語数が800を超えると、クロール頻度が2倍になります。また、ページ内の単語数が1200単語を超えると、クロール頻度も2倍になります。
クロール率に対するリンク数の影響
サイト全体のリンク数によるクロール率
ウェブサイトの特定の部分のリンク数によるクロール率（検索ページ）
ページのアクティブ性に対する深さの影響
深さによってSEO訪問を生成する（または生成しない）ページ
クロールおよびクロッシングログデータ中に適切なサイトメトリックを設定すると、Googleのクロールを操作してSEO訪問を改善するために必要なSEO最適化を即座に検出できることがわかります。
5＃SEOランキング要因がクロール頻度にどのように影響するかを判断する
SEOを最大化するためにどの値をターゲットにするかを知ることができると想像してみてください。 これが、クロスデータ分析の目的です。 これにより、メトリックごとに、クロール頻度、クロール速度、またはアクティブ性が最大化されるしきい値を正確に判別できます。
上記の例では、ページあたりの単語数とクロール頻度について、クロール頻度のトリガー値があることがわかりました。 ボットの動作やSEOの訪問数の急増を探しているため、これらのギャップを分析して、ページの種類ごとに比較する必要があります。
以下に示すもののように：
クロール頻度には、100以上のリンクにギャップがあります
クロール速度は高速ページの方が優れています
SEO訪問の最初のギャップはInRank5,75にあり、最高はInRank 10（ホームページ）にあります
クロールとログのデータを組み合わせることで、Googleブラックボックスを開き、ボットのクロールと訪問に対するメトリックの影響を正確に判断できます。 これらの分析に最適化を実装すると、各リリースの時点でSEOを改善できます。 この高度な使用法は、各クロスデータ分析で到達する新しい値を検出できるため、時間の経過とともに耐久性があります。
共有したいクロスデータ分析に関する他のトリックはありますか？