5 alasan bagus untuk menggabungkan data perayapan dan log Anda

Pemahaman tentang data file log dalam SEO semakin meningkat di komunitas SEO. File log sebenarnya adalah satu-satunya representasi kualitatif dari apa yang terjadi di situs web. Tapi kita tetap harus bisa membuat mereka berbicara secara efektif.

Kunjungan SEO yang tepat dan perilaku bot ada di file log Anda. Di sisi lain, data dari laporan perayapan Anda dapat memberikan pengetahuan yang baik tentang kinerja di tempat Anda. Anda perlu menggabungkan file log dan data perayapan untuk menyoroti dimensi baru saat menganalisis situs web Anda.

Artikel ini akan menunjukkan kepada Anda lima cara terbaik untuk menggabungkan data perayapan dan file log. Jelas, masih banyak lagi yang bisa Anda gunakan.

1# Deteksi halaman yatim piatu dan pengoptimalan anggaran perayapan

Apa itu halaman yatim piatu? Jika URL muncul di log tanpa berada di arsitektur situs, URL ini disebut yatim piatu.

Google memiliki indeks kolosal! Seiring waktu, itu akan menyimpan semua URL yang telah ditemukan di situs web Anda, bahkan jika mereka tidak lagi ada dalam arsitektur (perubahan siput, halaman yang dihapus, migrasi situs lengkap, tautan eksternal salah atau diubah). Jelas, membiarkan Google merayapi apa yang disebut halaman yatim piatu ini dapat berdampak pada pengoptimalan anggaran perayapan Anda. Jika URL usang menghabiskan anggaran perayapan Anda, ini mencegah URL lain dirayapi lebih teratur dan akan berdampak pada SEO Anda.

Saat merayapi situs web Anda, OnCrawl menelusuri semua tautan untuk menemukan, kedalaman demi kedalaman, arsitektur lengkap situs Anda. Di sisi lain, selama pemantauan file log, OnCrawl mengumpulkan data dari hit bot Google dan kunjungan SEO.

Perbedaan antara URL yang dikenal oleh Google dan yang ditautkan dalam arsitektur bisa sangat penting. Optimalisasi SEO yang bertujuan untuk memperbaiki tautan yang terlupakan atau rusak dan mengurangi halaman yang tidak digunakan adalah penting.

Laporan Dampak SEO OnCrawl berdasarkan Log dan analisis lintas data Perayapan

Tangkapan layar di atas memberikan status seni log dan data perayapan Anda. Anda dapat dengan cepat memperhatikan bahwa:

• 25.990 halaman ada dalam struktur – ditemukan oleh perayap kami dan dengan mempertimbangkan semua tautan yang diikutinya di situs web;
• 73.058 halaman dirayapi oleh Google – ini 3x lebih banyak daripada di struktur;
• Rasio perayapan 84% – (Halaman perayapan OnCrawl + halaman aktif dari log + halaman perayapan Google) / halaman perayapan Google;
• Lebih dari 6% halaman internal tidak di-crawl – cukup klik pada kotak hitam untuk mendapatkan daftar halaman ini di Data Explorer;
• 60K halaman yatim piatu – delta antara halaman dalam struktur dan halaman yang dirayapi oleh Google;
• 34K kunjungan SEO di halaman ini – sepertinya ada masalah pada tautan internal!

Praktik Terbaik: OnCrawl memberi Anda keuntungan untuk menjelajahi data di balik setiap grafik atau metrik hanya dengan mengkliknya. Dengan cara ini, Anda akan mendapatkan daftar URL yang dapat diunduh yang langsung difilter pada cakupan yang telah Anda jelajahi.

2# Cari tahu URL mana yang paling banyak menghabiskan (atau paling sedikit) anggaran perayapan

Semua peristiwa dari kunjungan bot Google diketahui oleh platform data OnCrawl. Ini memungkinkan Anda mengetahui – untuk setiap URL – semua data yang dikompilasi menurut waktu.
Di Penjelajah Data, Anda dapat menambahkan untuk setiap kolom klik bot URL (selama periode 45 hari) dan klik menurut hari dan oleh bot, yang merupakan nilai rata-rata per hari. Informasi ini berharga untuk mengevaluasi konsumsi anggaran perayapan Google. Anda akan sering menemukan bahwa anggaran ini tidak seragam di semua situs.

Daftar semua URL dari Data Explorer dengan metrik perayapan dan difilter menurut hit bot menurut hari

Bahkan, beberapa faktor dapat memicu atau mengurangi anggaran perayapan. Kami kemudian membuat daftar metrik terpenting dalam artikel ini tentang pentingnya halaman Google. Kedalaman, jumlah tautan yang mengarah ke halaman, jumlah kata kunci, kecepatan halaman, InRank (populer internal) memengaruhi perayapan bot. Anda akan mempelajari lebih lanjut di paragraf berikut.

3# Ketahui halaman SEO terbaik Anda, halaman SEO terburuk Anda dan tentukan faktor keberhasilan halaman

Saat menggunakan Penjelajah Data, Anda memiliki akses ke metrik utama tentang halaman – tetapi bisa jadi rumit untuk membandingkan ratusan baris dan metrik secara bersamaan. Menggunakan kolom untuk mengelompokkan hit bot menurut hari dan kunjungan SEO menurut hari adalah sekutu dalam penambangan data Anda.

• Unduh CS – Hit Bot berdasarkan Hari dan CS – kunjungan SEO berdasarkan hari file JSON;
• Tambahkan mereka sebagai segmentasi baru.

Bahkan, Anda dapat membuat segmentasi berdasarkan dua nilai ini yang dihasilkan dari analisis log untuk mendapatkan distribusi pertama halaman Anda berdasarkan grup. Namun Anda juga dapat memfilter setiap grup segmentasi ini untuk mendeteksi dengan cepat – di setiap laporan OnCrawl – halaman mana yang tidak mencapai nilai yang diharapkan.

Di beranda proyek Anda, klik tombol "Konfigurasikan Segmentasi".

Kemudian Buat segmentasi baru

Gunakan impor JSON dengan memilih kapasitas "Menggunakan JSON" dan salin/tempel file yang telah Anda unduh.

Sekarang Anda dapat beralih segmentasi menggunakan menu atas pada setiap laporan.

Perubahan segmentasi langsung di semua laporan OnCrawl

Ini akan memberi Anda pada setiap grafik dampak metrik yang Anda analisis dan terkait dengan halaman yang dikelompokkan berdasarkan klik bot atau kunjungan SEO.

Dalam contoh berikut, kami telah menggunakan segmen ini untuk memahami dampak popularitas internal InRank – berdasarkan kekuatan tautan berdasarkan kedalaman. Selain itu, hit bot dan kunjungan SEO berkorelasi pada sumbu yang sama.

Distribusi InRank berdasarkan hit bot setiap hari

Distribusi InRank berdasarkan kunjungan SEO per hari

Kedalaman (jumlah klik dari beranda) jelas berdampak pada hit bot dan kunjungan SEO.

Dengan cara yang sama, setiap grup halaman dapat dipilih secara independen untuk menyorot data dari halaman yang paling banyak dikunjungi atau dikunjungi.

Ini memungkinkan untuk dengan cepat mendeteksi halaman yang dapat berkinerja lebih baik jika dioptimalkan, jumlah kata di halaman, kedalaman atau jumlah tautan masuk misalnya.

Cukup pilih segmentasi yang tepat dan grup halaman yang ingin Anda analisis.

Distribusi kata di halaman untuk grup yang berisi 0 bot yang terkena hari

4# Tentukan nilai ambang batas untuk memaksimalkan anggaran perayapan dan kunjungan SEO

Untuk melangkah lebih jauh, Laporan Dampak SEO – perayapan dan analisis data lintas log – dapat mendeteksi nilai ambang batas yang membantu meningkatkan kunjungan SEO, frekuensi perayapan, atau penemuan halaman.

Dampak jumlah kata pada frekuensi perayapan

Frekuensi perayapan dengan jumlah kata

Kami mencatat bahwa frekuensi perayapan digandakan bila jumlah kata melebihi 800. Kemudian, frekuensi perayapan juga berlipat ganda bila jumlah kata di halaman melebihi 1200 kata.

Dampak jumlah tautan pada rasio perayapan

Rasio perayapan dengan jumlah tautan di seluruh situs

Rasio perayapan berdasarkan jumlah tautan pada bagian tertentu dari situs web (Halaman Pencarian)

Dampak kedalaman pada keaktifan halaman

Halaman yang menghasilkan kunjungan SEO (atau tidak) berdasarkan kedalaman

Anda dapat melihat bahwa memiliki metrik situs yang tepat selama perayapan dan persilangan data log memungkinkan Anda untuk segera mendeteksi pengoptimalan SEO apa yang diperlukan untuk memanipulasi perayapan Google dan meningkatkan kunjungan SEO Anda.

5# Tentukan bagaimana faktor peringkat SEO memengaruhi frekuensi perayapan Anda

Bayangkan jika Anda bisa mengetahui nilai apa yang harus ditargetkan untuk memaksimalkan SEO Anda? Untuk itulah analisis lintas data dibuat! Ini memungkinkan Anda menentukan dengan tepat, untuk setiap metrik, di mana frekuensi perayapan ambang batas, kecepatan perayapan, atau keaktifan dimaksimalkan.

Kami melihat di atas – pada contoh tentang jumlah kata per halaman dan frekuensi perayapan – bahwa ada nilai pemicu frekuensi perayapan. Kesenjangan ini harus dianalisis dan dibandingkan untuk setiap jenis halaman karena kami mencari lonjakan perilaku bot atau kunjungan SEO.

Seperti yang disajikan di bawah ini:

Frekuensi perayapan memiliki celah pada 100+ tautan

Tingkat perayapan lebih baik di halaman cepat

Kesenjangan pertama pada kunjungan SEO ada di InRank 5,75, yang terbaik ada di InRank 10 (beranda)

Menggabungkan data perayapan dan log memungkinkan Anda membuka kotak hitam Google dan secara tepat menentukan dampak metrik Anda pada perayapan dan kunjungan bot. Saat menerapkan pengoptimalan Anda pada analisis ini, Anda dapat meningkatkan SEO Anda pada saat setiap rilis Anda. Penggunaan lanjutan ini tahan lama, karena Anda dapat mendeteksi nilai baru untuk dicapai pada setiap analisis lintas data.

Adakah trik lain dengan analisis lintas data yang ingin Anda bagikan?