Analisis File Log: Alternatif Cerdas untuk Google Analytics

Diterbitkan: 2022-03-08

Tahukah Anda apa yang terjadi di situs web Anda setiap hari? Hal pertama yang terlintas dalam pikiran ketika menjawab pertanyaan ini kemungkinan besar adalah menggunakan alat pelacak audiens dan perilaku. Ada banyak alat seperti itu yang tersedia di pasar termasuk: Google Analytics, At Internet, Matomo, Fathom Analytics, dan Simple Analytics untuk menyebutkan beberapa saja. Meskipun alat ini memungkinkan kami untuk memiliki gambaran umum yang cukup bagus tentang apa yang terjadi pada waktu tertentu di situs web kami, praktik etis yang digunakan oleh alat ini, lebih khusus Google Analytics, sekali lagi dipertanyakan.

Ini menunjukkan bahwa ada sumber data lain yang saat ini tidak cukup dimanfaatkan oleh semua pemilik situs web: log.

Alat analisis dan GDPR (fokus pada Google Analytics)

Data pribadi telah menjadi subjek sensitif di Prancis sejak penerapan Peraturan Perlindungan Data Umum (GDPR) dan pembentukan Komisi Nasional untuk Informatika dan Kebebasan (CNIL). Perlindungan data telah menjadi prioritas.

Jadi, apakah situs web Anda masih “ramah GDPR”?

Jika kita melihat semua situs web, kita dapat menemukan bahwa banyak yang telah menemukan cara untuk menyiasati aturan dengan menggunakan cookie mereka (spanduk pengumpulan data) untuk mengumpulkan informasi yang mereka butuhkan, sementara yang lain masih secara ketat mematuhi peraturan resmi.

Dengan mengumpulkan informasi ini, alat analisis data memungkinkan kami menganalisis dari mana audiens berasal dan perilaku pengunjung. Analisis semacam ini membutuhkan rencana penandaan yang sempurna untuk mengumpulkan data yang paling andal dan akurat dan pada akhirnya data yang dikumpulkan adalah hasil dari setiap tindakan dan peristiwa di sebuah situs.

Menyusul sejumlah keluhan, CNIL memutuskan untuk memberi tahu Google Analytics dengan menjadikannya ilegal di Prancis, untuk sementara waktu. Sanksi ini berasal dari kurangnya pengawasan terkait transfer data pribadi ke badan intelijen di Amerika Serikat meskipun informasi pengunjung sebelumnya telah dikumpulkan dengan persetujuan. Perkembangan harus dipantau secara ketat.

Dalam konteks saat ini, dengan akses terbatas atau tanpa akses ke Google Analytics, mungkin menarik untuk melihat opsi pengumpulan data lainnya. Sebuah kompilasi dari peristiwa sejarah situs dan relatif mudah untuk dipulihkan, file log adalah sumber informasi yang bagus.

Meskipun file log menyediakan akses ke arsip informasi yang menarik untuk dianalisis, file tersebut tidak mengizinkan kami menampilkan nilai bisnis atau perilaku nyata pengunjung situs, seperti navigasi situs dari awal hingga dia memvalidasi keranjang belanja atau meninggalkan lokasi. Namun, aspek perilaku tetap spesifik untuk alat yang disebutkan di atas; analisis log dapat membantu kita untuk melangkah cukup jauh.

Memahami file log

Apa itu file log? Log adalah jenis file yang misi utamanya adalah menyimpan riwayat peristiwa.

Apa jenis acara yang kita bicarakan? Pada dasarnya, 'event' adalah pengunjung dan robot yang mengakses situs Anda setiap hari.

Google Search Console juga dapat mengumpulkan informasi ini, tetapi karena beberapa alasan – khususnya, alasan privasi – ini menerapkan filter yang sangat spesifik.

(Sumber: https://support.google.com/webmasters/answer/7576553. “Perbedaan antara Search Console dan alat lainnya”.)

Akibatnya, Anda hanya akan memiliki contoh dari apa yang dapat diberikan oleh analisis log. Dengan file log, Anda memiliki akses ke 100% data!

Menganalisis baris file log dapat membantu Anda memprioritaskan tindakan di masa mendatang.

Berikut adalah beberapa contoh kunjungan sebelumnya ke situs Oncrawl dari robot yang berbeda:

FACEBOOK:

66.220.149.10 www.oncrawl.com - [07/Feb/2022:00:18:35 +0000] "GET /feed/ HTTP/1.0" 200 298008 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"

SEMRUSH:

185.191.171.20 fr.oncrawl.com - [13/Feb/2022:00:18:27 +0000] "GET /infographie/mises-jour-2017-algorithme-google/ HTTP/1.0" 200 50441 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"

BING:

207.46.13.188 www.oncrawl.com - [22/Jan/2022:00:18:40 +0000] "GET /wp-content/uploads/2018/04/url-detail-word-count.png HTTP/1.0" 200 156829 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

GOOGLE BOT:

66.249.64.6 www.oncrawl.com - [21/Jan/2022:00:19:12 +0000] "GET /product-updates/introducing-search-console-integration-skyrocket-organic-search/ HTTP/1.0" 200 73497 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Harap dicatat bahwa beberapa kunjungan bot mungkin palsu. Penting untuk diingat untuk memverifikasi alamat IP untuk mengetahui apakah itu kunjungan nyata dari Googlebot, Bingbot, dll. Di balik agen pengguna palsu ini, mungkin ada profesional yang terkadang meluncurkan robot untuk mengakses situs Anda dan memeriksa harga, konten Anda, atau lainnya informasi yang mereka anggap berguna. Untuk mengenalinya, hanya IP yang akan membantu!

Berikut adalah beberapa contoh kunjungan situs Oncrawl oleh pengguna Internet:

Dari Google.com:

41.73.11x.xxx fr.oncrawl.com - [13/Feb/2022:00:25:29 +0000] "GET /seo-technique/predire-trafic-seo-prophet-python/ HTTP/1.0" 200 57768 "https://www.google.com/" "Mozilla/5.0 (Linux; Android 10; Orange Sanza touch) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.98 Mobile Safari/537.36"

Dari UTM Google Ads:

199.223.xxx.x www.oncrawl.com - [11/Feb/2022:15:18:30 +0000] "GET /?utm_source=sea&utm_medium=google-ads&utm_campaign=brand&gclid=EAIaIQobChMIhJ3Aofn39QIVgoyGCh332QYYEAAYASAAEgLrCvD_BwE HTTP/1.0" 200 50423 "https://www.google.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"

Dari LinkedIn terima kasih kepada perujuk:

181.23.1xx.xxx www.oncrawl.com - [14/Feb/2022:03:54:14 +0000] "GET /wp-content/uploads/2021/07/The-SUPER-SEO-Game-Building-an-NLP-pipeline-with-BigQuery-and-Data-Studio.pdf HTTP/1.0" 200 3319668 "https://www.linkedin.com/"

[Ebook] Empat Kasus Penggunaan untuk Memanfaatkan Analisis Log SEO

Pelajari bagaimana file log, sebagai referensi tunggal yang dapat diandalkan untuk lalu lintas situs web, dapat memberikan jawaban mudah untuk pertanyaan SEO yang sulit.
Unduh gratis

Mengapa menganalisis konten log?

Sekarang setelah kita mengetahui apa sebenarnya isi log, apa yang dapat kita lakukan dengannya? Jawabannya: analisis mereka, seperti alat analisis lainnya.

Bot atau robot

Di sini, kita dapat bertanya pada diri sendiri pertanyaan berikut:

Robot mana yang paling banyak menghabiskan waktu di situs web saya?

Jika kita fokus pada mesin pencari, dengan tampilan detail masing-masing bot, inilah yang bisa kita lihat:

Sumber: Aplikasi Oncrawl

Jelas, Google Seluler dan Desktop menghabiskan lebih banyak waktu untuk merayapi daripada bot Bing atau Yandex. Googlebot memiliki pangsa pasar global lebih dari 90%.

Jika Google merayapi halaman saya, apakah halaman saya diindeks secara otomatis? Tidak, belum tentu.

Jika kita kembali beberapa tahun, Google menggunakan refleks otomatis untuk mengindeks halaman langsung setelah mengunjunginya. Hari ini, ini tidak lagi terjadi mengingat volume halaman yang harus diproses. Akibatnya, pertempuran SEO terjadi dalam hal anggaran perayapan.

Semua yang dikatakan, Anda mungkin bertanya: apa gunanya mengetahui bot mana yang menghabiskan lebih banyak waktu daripada yang lain di situs saya?

Jawaban atas pertanyaan itu semua tergantung pada algoritma masing-masing bot. Mereka masing-masing sedikit berbeda dan tidak selalu kembali untuk alasan yang sama.

Setiap mesin pencari memiliki anggaran perayapan sendiri yang dibagi di antara bot ini . Dengan kata lain, itu berarti Google membagi anggaran perayapannya di antara semua bot ini. Oleh karena itu, menjadi sangat menarik untuk melihat lebih dekat apa yang dilakukan GooglebotAds, terutama jika kita memiliki 404. Membersihkannya adalah cara untuk mengoptimalkan anggaran perayapan dan akhirnya SEO Anda.

Penganalisis Log Perayapan

Analisis file log untuk pemantauan bot dan pengoptimalan anggaran perayapan. Deteksi masalah kesehatan situs dan tingkatkan frekuensi perayapan Anda.
Belajarlah lagi

Referensi silang data Googlebot dengan data Perayap Oncrawl

Untuk menganalisis perilaku Googlebot lebih dalam, Oncrawl merujuk silang data log dengan data perayapan untuk mendapatkan informasi yang paling detail dan akurat.

Tujuannya juga untuk menegaskan atau menyangkal hipotesis yang terkait dengan beberapa KPI seperti kedalaman, konten, kinerja, dll.

Oleh karena itu, Anda harus bertanya pada diri sendiri pertanyaan yang tepat:

  • Apakah Googlebot merayapi semua laman di situs Anda? Perhatikan rasio perayapan yang dengan jelas memberikan informasi ini yang juga dapat Anda filter dengan segmentasi halaman Anda.

Sumber: Aplikasi Oncrawl

  • Di kategori mana Googlebot menghabiskan waktunya? Apakah ini penggunaan anggaran perayapan yang optimal? Grafik di Laporan Dampak SEO Oncrawl ini merujuk silang data dan memberi Anda informasi ini.

Sumber: Aplikasi Oncrawl

  • Kami mungkin juga memiliki pertanyaan di luar bidang yang ditawarkan oleh laporan perayapan Oncrawl secara default. Misalnya, apakah panjang deskripsi berdampak pada perilaku Googlebot? Kami memiliki data tentang ini berkat perayapan, sehingga kami dapat menggunakannya untuk membuat segmentasi seperti di bawah ini:

Sumber: Aplikasi Oncrawl

Deskripsi yang terlalu pendek dirayapi jauh lebih sedikit daripada deskripsi yang memiliki ukuran ideal yang ditetapkan sebagai "sempurna" atau "baik" di sini oleh aplikasi Oncrawl (antara 110 dan 169 karakter).

Jika deskripsi memenuhi kriteria relevansi dan ukuran, antara lain, Googlebot akan dengan senang hati meningkatkan anggaran perayapan pada halaman yang relevan.

Catatan: halaman yang dianggap terlalu panjang terkadang ditulis ulang oleh Google.

Analisis kunjungan situs web menggunakan log

Selanjutnya, jika kita melihat contoh SEO, karena inilah yang kita coba analisis dengan Oncrawl, saya sarankan Anda bertanya pada diri sendiri pertanyaan lain:

  • Apa korelasi antara perilaku Googlebot dan kunjungan SEO?

Oncrawl memiliki grafik yang sama untuk referensi silang data antara crawl dan kunjungan SEO yang diambil di log.

Sumber: Aplikasi Oncrawl

Jawabannya sangat jelas: halaman yang memiliki panjang deskripsi “sempurna” adalah halaman yang tampaknya paling banyak menghasilkan kunjungan SEO. Oleh karena itu, kita harus memusatkan upaya kita pada poros ini. Selain "memberi makan" Googlebot, pengguna tampaknya menghargai relevansi deskripsi.

Aplikasi Oncrawl menyediakan data serupa untuk banyak KPI lainnya. Jangan ragu untuk memverifikasi hipotesis Anda!

Kesimpulannya

Sekarang setelah Anda mengetahui dan memahami kemungkinan menjelajahi apa yang terjadi di situs Anda setiap hari berkat log, saya mendorong Anda untuk menganalisis pengguna internet dan kunjungan robot untuk menemukan berbagai cara mengoptimalkan situs Anda. Jawabannya mungkin teknis atau terkait konten, tetapi ingatlah bahwa segmentasi yang baik adalah kunci untuk analisis yang baik.

Namun, analisis semacam ini tidak mungkin dilakukan dengan alat Google Analytics; data mereka terkadang dapat dikacaukan dengan data perayap kami. Memiliki data sebanyak mungkin yang Anda inginkan juga merupakan solusi yang baik.

Untuk mendapatkan lebih banyak lagi dari data log Anda dan analisis perayapan, silakan lihat studi yang dilakukan oleh tim Oncrawl yang mengumpulkan 5 KPI SEO yang terkait dengan log di situs e-niaga.