Laporan Statistik Perayapan Google vs Analisis File Log: Manakah pemenangnya?

Diterbitkan: 2020-12-22

Pada tanggal 24 November, Google merilis versi baru dari laporan Statistik Perayapan Search Console mereka. Pembaruan ini memberi Anda data yang dapat Anda gunakan untuk men-debug masalah perayapan dan memeriksa kesehatan situs Anda.

Versi sebelumnya hanya menunjukkan jumlah halaman yang dirayapi per hari, kilobyte yang diunduh per hari, waktu yang dihabiskan untuk mengunduh halaman per hari.

Dengan versi baru ini, informasi yang sama tersedia dengan tampilan dan nuansa yang diperbarui agar sesuai dengan Search Console lainnya:

Tapi itu tidak berhenti di situ. Google memberikan lebih banyak informasi tentang cara mereka merayapi situs Anda. Dan dengan begitu banyak informasi yang tersedia langsung dari Google, menimbulkan pertanyaan: apakah kita masih memerlukan file log?

Mari kita mulai dengan melihat laporan baru itu sendiri.

Semua yang perlu Anda ketahui tentang Laporan Statistik Perayapan Google Search Console

Di mana Anda dapat menemukan Laporan Statistik Perayapan yang baru?

Laporan statistik perayapan baru tersedia secara otomatis untuk siapa saja yang memiliki akun Google Search Console.

Masuk ke Search Console dan navigasikan ke "Pengaturan" di bilah sisi kiri. Kemudian klik "Statistik Perayapan".

Apa yang ada di Laporan Statistik Perayapan yang baru?

Untuk membantu Anda menemukan informasi baru yang ekstensif, kami merekomendasikan panduan Tomek Rudzki di Twitter:

Statistik Perayapan GSC baru luar biasa!
Tangkapan layar pertama mirip dengan versi laporan sebelumnya, tetapi ada permata tersembunyi di laporan lain
1/n pic.twitter.com/oCNzMhnGsQ
— Tomek Rudzki (@TomekRudzki) 24 November 2020

Tomek menyoroti data baru dan kasus penggunaan SEO untuk masing-masing:

Host dengan hit Googlebot terbanyak: temukan subdomain yang paling sering dirayapi oleh Google.
Kode status dikembalikan ke Googlebot: cari tahu berapa persentase anggaran perayapan Anda yang digunakan oleh respons non-200 (yaitu: pengalihan, halaman yang hilang, dan kesalahan).
Jenis file: pahami seberapa sering Googlebot meminta file sumber daya seperti file CSS, file JavaScript, dan gambar.
Tujuan kunjungan Googlebot: pelajari apakah Google menemukan konten baru atau menyegarkan konten yang sudah diketahuinya.
Pemisahan antara permintaan yang dibuat oleh Googlebot ponsel cerdas dan yang dibuat oleh Googlebot desktop: konfirmasikan apakah situs Anda siap untuk peralihan penuh ke Pengindeksan Seluler Pertama pada Maret 2021.
Contoh URL yang dirayapi: dapatkan gambaran tentang beberapa URL yang baru saja dirayapi di situs Anda.
Status host: metrik baru yang menunjukkan apakah server Anda mengalami masalah baru-baru ini. Misalnya, ini mempertimbangkan ketersediaan robots.txt dan resolusi DNS.

Tiga hal favorit teratas kami tentang Laporan Statistik Perayapan

Ada terlalu banyak manfaat yang ditawarkan oleh Laporan Statistik Perayapan untuk mencantumkan semuanya, terutama jika Anda tidak memiliki akses ke file log. Tapi inilah tiga teratas kami:

1. Laporan ini ditujukan untuk semua orang.
Ini memberikan statistik perayapan Googlebot tingkat tinggi yang mudah dibaca. Jelas ketika segala sesuatunya berjalan dengan baik, dan ketika ada masalah yang mungkin perlu ditangani. Dalam beberapa kasus, ini bahkan lebih jauh: misalnya, ini memberikan petunjuk seperti indikator status hijau/kuning/merah untuk status host.

Meskipun Anda baru mengenal bot dan crawl pelacakan anggaran, Anda tidak boleh tersesat saat melihat laporan ini.

2. Dokumentasinya bagus.
Dokumentasi ini tidak hanya menjawab 99% pertanyaan Anda, tetapi juga memberikan praktik dan kiat terbaik untuk kesehatan server, tanda bahaya, manajemen frekuensi perayapan, dan pertengkaran dasar googlebot.

3. Data tentang "mengapa" di balik permintaan Googlebot
Kami dapat melacak Googlebot, tetapi banyak kesimpulan tentang mengapa Google mengunjungi suatu halaman harus diambil berdasarkan data yang terbatas. Bagian Perayapan Berdasarkan Tujuan dan permintaan rendering yang terlihat di bawah "Pemuatan Sumber Daya Halaman" memberikan jawaban yang tidak ambigu untuk beberapa pertanyaan kami. Kami sekarang tahu pasti apakah Google sedang menemukan halaman, memperbarui halaman, atau mengunduh sumber daya dalam pass kedua yang terpisah untuk merender halaman.

[Studi Kasus] Mengelola perayapan bot Google

Dengan lebih dari 26.000 referensi produk, 1001Pneus membutuhkan alat yang andal untuk memantau kinerja SEO mereka dan memastikan bahwa Google mencurahkan anggaran perayapannya pada kategori dan halaman yang tepat. Pelajari cara berhasil mengelola anggaran perayapan untuk situs web e-niaga dengan OnCrawl.

Baca studi kasus

Apa perbedaan antara informasi yang tersedia di file log dan Laporan Statistik Perayapan?

Statistik Perayapan terbatas pada Googlebots

Statistik Perayapan: 0
Log: 1

File log server Anda merekam setiap permintaan untuk file dan sumber daya apa pun yang membentuk situs web Anda, tidak peduli dari siapa mereka berasal. Artinya, log dapat memberi tahu Anda lebih dari sekadar Googlebot.

Namun, Laporan Statistik Perayapan Google (tentu saja!) terbatas pada aktivitas Google sendiri di situs Anda.

Berikut adalah beberapa wawasan yang bisa Anda dapatkan dari file log yang tidak muncul di Statistik Perayapan:

Informasi tentang mesin pencari lain, seperti Bing. Anda dapat melihat bagaimana mereka merayapi situs Anda, tetapi juga melihat bagaimana perilaku mereka berbeda atau selaras dengan perilaku Googlebot:
Logflare sangat berguna. Menarik untuk melihat perilaku perayapan Googlebots yang berbeda dibandingkan dengan Bingbots di log langsung. Googlebot melihat 301 dan kemudian URL berikutnya yang dikembalikan adalah yang dialihkan ke URL tetapi Bingbot tampaknya tidak melakukannya. Hanya melihat 301 dan kemudian pergi ke tempat lain

— Dawn Anderson (@dawnieando) 22 Januari 2020
Informasi tentang alat (dan pesaing) apa yang mencoba merayapi situs Anda. Karena informasi yang tersedia tidak terbatas pada Googlebot, Anda juga dapat melihat apakah bot lain aktif di situs Anda.
Informasi tentang halaman rujukan. Ini dapat membantu Anda menemukan lebih banyak informasi tentang backlink Anda yang paling aktif. Di HTTPS, halaman terakhir yang dikunjungi, atau "halaman rujukan" juga dicatat dengan setiap permintaan.
Informasi tentang lalu lintas organik… dan bukan hanya lalu lintas dari Google! Dengan menggunakan laman perujuk, Anda dapat mengidentifikasi lalu lintas dari laman hasil mesin telusur, dan melihat lebih baik bagaimana pengunjung ini berinteraksi dengan situs Anda. Jenis informasi ini dapat digunakan untuk mengonfirmasi atau mengoreksi angka yang disediakan oleh solusi Analytics Anda, jika Anda menggunakannya.
Identifikasi halaman yatim piatu. Karena log Anda berisi semua URL yang diminta oleh pengunjung, halaman "aktif" dengan lalu lintas bot atau manusia yang tidak tertaut ke dalam struktur situs Anda akan muncul di log Anda. Dengan membandingkan daftar URL di file log Anda ke daftar URL di struktur situs Anda dari perayapan, akan mudah untuk menemukan halaman yatim piatu.

Lengkap dan terkini?

Statistik Perayapan: 0
Log: 2

Apakah data Anda lengkap dan up-to-date? Log Anda. Dan Statistik Perayapan Anda mungkin.

Banyak orang dengan cepat melihat perbedaan 20-40% antara laporan Google Search Console dan file log mereka: laporan Statistik Perayapan kurang melaporkan aktivitas Googlebot saat ini. Ini adalah masalah yang diketahui di Statistik Perayapan—tetapi tidak di log Anda!

Selain itu, seperti semua informasi di Search Console, mungkin ada jeda antara tanggal data terakhir yang tersedia, dan tanggal hari ini. Sejauh ini, kami telah melihat perbedaan hingga delapan hari dalam laporan Statistik Perayapan.

Di sisi lain, Anda dapat menggunakan file log Anda untuk pemantauan waktu nyata: tidak pernah ada penundaan!

Agregat vs daftar lengkap URL yang dirayapi

Statistik Perayapan: 0
Log: 3

Statistik Perayapan menyediakan data agregat untuk semua URL Anda. Laporan ini setara dengan dasbor. Saat Anda mencari daftar URL di balik metrik tertentu, Anda akan melihat daftar "contoh". Misalnya, Anda mungkin memiliki beberapa ratus contoh permintaan 4,56K untuk file gambar:

Namun, dalam file log, Anda memiliki daftar lengkap URL di balik metrik apa pun. Anda dapat melihat SEMUA permintaan di log Anda, bukan hanya sampel.

Memfilter wilayah, tanggal, URL…

Statistik Perayapan: 0
Log: 4

Agar benar-benar berguna, Statistik Perayapan dapat memanfaatkan filter yang lebih luas yang berlaku untuk semua permintaan, bukan hanya sampel:

Akan lebih baik jika Anda memiliki lebih banyak fleksibilitas untuk:

Ubah rentang tanggal yang kita lihat
Fokus pada wilayah geografis tertentu dengan pencarian IP
Filter yang lebih baik menurut grup URL
Terapkan opsi filter ke grafik

Anda dapat melakukan semua ini — dan banyak lagi — dalam file log.

Informasi khusus Googlebot

Statistik Perayapan: 1
Log: 4

Seperti yang telah kita lihat, Google menggunakan Laporan Statistik Perayapan untuk memberikan informasi tentang tujuan perayapan mereka:

- Segarkan vs Penemuan

Sumber daya halaman (pengambilan sekunder)

Informasi ini tidak dapat ditemukan di tempat lain, tidak peduli seberapa pintar Anda melihat data di file log Anda.

Akses mudah

Statistik Perayapan: 2
Log: 4

Akses ke laporan Statistik Perayapan sangat mudah: Statistik Perayapan otomatis tersedia bagi siapa saja yang memiliki akses ke Search Console.

Secara teknis, file log juga harus tersedia untuk webmaster mana pun. Tapi ini sering tidak terjadi. Seringkali tim pengembang, tim TI, atau perusahaan klien tidak memahami pentingnya menyediakan akses ke file log. Di area seperti UE, di mana undang-undang privasi membatasi akses ke “data pengenal pribadi”, seperti alamat IP, akses ke file log dapat menimbulkan masalah hukum. Anda dapat menggunakan alat tertentu, seperti OnCrawl, yang tidak menyimpan informasi sensitif.

Setelah Anda memiliki akses ke file log, ada alat gratis untuk menganalisis data, dan ada beberapa format berpemilik. Dengan kata lain, file log adalah sumber data yang cukup demokratis… begitu Anda mendapatkannya.

Itu fakta: banyak SEO kesulitan mendapatkan akses ke log. Jadi, sementara, secara teoritis, file log menyediakan akses mudah ke data, poin yang satu ini mengarah ke Laporan Statistik Perayapan, yang tersedia dalam dua klik dari alat gratis Google.

Penganalisis Log Perayapan

Analisis file log untuk pemantauan bot dan pengoptimalan anggaran perayapan. Deteksi masalah kesehatan situs dan tingkatkan frekuensi perayapan Anda.

Belajarlah lagi

Tidak (belum) tersedia untuk integrasi di alat dan analisis lain

Statistik Perayapan: 2
Log: 5

Google Search Console memungkinkan Anda mengekspor dan mengunduh informasi yang tersedia melalui antarmuka web Laporan Statistik Perayapan. Namun, itu berarti bahwa informasi yang diunduh memiliki batasan yang sama dengan versi di layar.

Selain itu, Statistik Perayapan belum (belum?) tersedia melalui API, sehingga mungkin sulit untuk menghubungkan informasi ini ke dalam proses otomatis untuk pelaporan dan analisis, atau bahkan mencadangkannya untuk tampilan data historis yang lebih luas.

Dengan file log, penyimpanan, akses, dan penggunaan kembali umumnya terserah Anda. Ini membuat file log jauh lebih mudah digunakan saat menggabungkan dengan sumber data lain seperti pelacakan peringkat, data perayapan, atau data analitik. Mereka juga lebih mudah diintegrasikan ke dalam alur pelaporan, dasbor, dan visualisasi data.

Pemenang terakhir: file log!

Dengan lima poin menjadi hanya dua poin untuk laporan Statistik Perayapan, file log adalah pemenang yang jelas di sini jika Anda ingin wawasan lengkap tentang bagaimana mesin telusur berinteraksi dengan situs Anda.

Tapi mari kita perjelas: Laporan Statistik Perayapan yang ditingkatkan memberikan banyak informasi baru: kode status, jenis file, subdomain (untuk properti domain), detail status host, dan banyak lagi. Ini memberi Anda wawasan yang lebih terperinci dan data yang dapat ditindaklanjuti untuk memahami bagaimana situs web Anda dirayapi dan sekarang, Anda dapat melacak perubahan dalam pola perayapan.

Ini akan menjadi langkah maju yang besar bagi orang-orang yang tidak dapat mengakses file log mereka atau klien mereka.

Namun, tidak semuanya pro!

Pro & Kontra Statistik Perayapan GSC baru: https://t.co/bjpG7QjeVt
Kelebihan:
+Metrik data yang ditingkatkan
+ UX yang lebih baik (TBH bar rendah)
+Data URL yang dapat diunduh yang dirayapi!
+Perincian permintaan perayapan
+ Masalah tuan rumah penting dicatat
Kontra:
-Tidak ada filter untuk rentang tanggal
-Tidak ada opsi filter untuk mengubah grafik
— Micah Fisher-Kirshner (@micahfk) 24 November 2020

Kelemahan dari laporan baru ini adalah, meskipun merupakan dasbor yang bagus untuk pemantauan Googlebot dan tambahan yang bagus untuk melengkapi analisis file log, namun terbatas dalam banyak hal. Jangan lupa, hanya file log Anda yang akan menampilkan semua permintaan Anda per URL daripada tren agregat.

Selain itu, ada masalah yang diketahui dalam laporan GSC di mana beberapa permintaan tidak dihitung saat ini, dan data dapat memakan waktu–pada saat penulisan ini–hingga seminggu untuk muncul di laporan Statistik Perayapan. (Namun, kami percaya Google sedang menangani masalah ini dan masalah ini akan segera hilang!)

Inilah yang kami sarankan: gunakan laporan ini untuk mengetahui apa sebenarnya yang harus dicari di file log Anda. Dan kemudian selami analisis log Anda!