Bagaimana cara menentukan anggaran perayapan?

Kita semua membicarakannya sebagai SEO, tetapi bagaimana cara kerja anggaran perayapan? Kami tahu bahwa jumlah halaman yang dirayapi dan diindeks oleh mesin telusur ketika mereka mengunjungi situs web klien kami memiliki korelasi dengan keberhasilan mereka dalam penelusuran organik, tetapi apakah memiliki anggaran perayapan yang lebih besar selalu lebih baik?

Seperti segala sesuatu dengan Google, saya tidak berpikir bahwa hubungan antara anggaran perayapan situs web Anda dan kinerja peringkat/SERP 100% mudah, itu tergantung pada sejumlah faktor.

Mengapa anggaran perayapan penting? Karena pembaruan Kafein 2010. Dengan pembaruan ini, Google membangun kembali cara pengindeksan konten, dengan pengindeksan inkremental. Memperkenalkan sistem 'perkolator', mereka menghilangkan 'hambatan' halaman yang diindeks.

Bagaimana cara Google menentukan anggaran perayapan?

Ini semua tentang PageRank, Aliran Kutipan, dan Aliran Kepercayaan Anda.

Mengapa saya tidak menyebutkan Otoritas Domain? Sejujurnya, menurut saya ini adalah salah satu metrik yang paling disalahgunakan dan disalahpahami yang tersedia untuk SEO dan pemasar konten yang, memiliki tempatnya, tetapi terlalu banyak agensi dan SEO yang terlalu menghargainya, terutama saat membangun tautan.

PageRank sekarang, tentu saja, sudah ketinggalan zaman, terutama karena mereka telah menghapus bilah alat, jadi ini semua tentang Rasio Kepercayaan sebuah situs (Rasio Kepercayaan = Aliran Kepercayaan/Aliran Kutipan). Pada dasarnya domain yang lebih kuat memiliki anggaran perayapan yang lebih besar, jadi bagaimana Anda mengidentifikasi aktivitas bot Google di situs web Anda dan yang terpenting, mengidentifikasi masalah perayapan bot? File log server.

Sekarang kita semua tahu bahwa untuk menunjukkan halaman ke bot Google yang kita indeks (dan peringkat) kita menggunakan struktur tautan internal dan menjaganya tetap dekat dengan domain root, bukan 5 sub-folder di sepanjang URL. Tapi bagaimana dengan masalah yang lebih teknis? Seperti pemborosan anggaran perayapan, perangkap bot atau jika Google mencoba mengisi formulir di situs (itu terjadi).

Mengidentifikasi aktivitas perayap

Untuk melakukan ini, Anda perlu mendapatkan beberapa file log server. Anda mungkin perlu meminta ini dari klien Anda, atau Anda dapat mengunduhnya langsung dari perusahaan hosting.

Ide di balik ini adalah Anda ingin mencoba dan menemukan catatan bot Google mengenai situs Anda – tetapi karena ini bukan acara terjadwal, Anda mungkin perlu mendapatkan data selama beberapa hari. Ada berbagai perangkat lunak yang tersedia untuk menganalisis file-file ini.

Di bawah ini adalah contoh hit ke server Apache:

50.56.92.47 – – [31/Mei/2012:12:21:17 +0100] “GET” – “/wp-content/themes/wp-theme/help.php” – “404” “-” “Mozilla/ 5.0 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)” – www.hit-example.com

Dari sini Anda dapat menggunakan alat (seperti OnCrawl) untuk menganalisis file log dan mengidentifikasi masalah seperti Google merayapi halaman PPC atau permintaan GET tak terbatas ke skrip JSON – keduanya dapat diperbaiki dalam file Robots.txt.

Kapan anggaran perayapan menjadi masalah?

Anggaran perayapan tidak selalu menjadi masalah, jika situs Anda memiliki banyak URL dan memiliki alokasi 'perayapan' yang proporsional, Anda baik-baik saja. Tetapi bagaimana jika situs web Anda memiliki 200.000 URL dan Google hanya merayapi 2.000 halaman di situs Anda setiap hari? Diperlukan waktu hingga 100 hari bagi Google untuk melihat URL baru atau yang diperbarui – sekarang itu masalahnya.

Satu tes cepat untuk melihat apakah anggaran perayapan Anda bermasalah adalah menggunakan Google Search Console dan jumlah URL di situs Anda untuk menghitung 'nomor perayapan' Anda.

• Pertama Anda perlu menentukan berapa banyak halaman yang ada di situs Anda, Anda dapat melakukan ini dengan melakukan pencarian situs, misalnya oncrawl.com memiliki sekitar 512 halaman dalam indeks:

• Kedua Anda harus pergi ke akun Google Search Console Anda dan pergi ke Crawl, dan kemudian Crawl Stats. Jika akun GSC Anda belum dikonfigurasi dengan benar, Anda mungkin tidak memiliki data ini.
• Langkah ketiga adalah mengambil jumlah rata-rata “Halaman yang dirayapi per hari” (yang di tengah) dan jumlah total URL di situs web Anda dan membaginya:

Total Halaman Di Situs / Rata-Rata Halaman yang Dirayapi Per Hari = X

Jika X lebih besar dari 10, Anda perlu melihat pengoptimalan anggaran perayapan Anda. Jika kurang dari 5, bravo. Anda tidak perlu membaca.

Mengoptimalkan kapasitas 'anggaran perayapan' Anda

Anda dapat memiliki anggaran perayapan terbesar di internet, tetapi jika Anda tidak tahu cara menggunakannya, itu tidak ada gunanya.

Ya, itu klise, tapi itu benar. Jika Google merayapi semua halaman situs Anda dan menemukan bahwa sebagian besar halaman adalah duplikat, kosong, atau memuat dengan sangat lambat, hal itu menyebabkan kesalahan waktu habis, anggaran Anda mungkin juga nihil.

Untuk memaksimalkan anggaran perayapan Anda (bahkan tanpa akses ke file log server), Anda perlu memastikan bahwa Anda melakukan hal berikut:

Hapus halaman duplikat

Seringkali di situs e-niaga, alat seperti OpenCart dapat membuat beberapa URL untuk produk yang sama, saya telah melihat contoh produk yang sama pada 4 URL dengan subfolder yang berbeda antara tujuan dan root.

Anda tidak ingin Google mengindeks lebih dari satu versi setiap halaman, jadi pastikan Anda memiliki tag kanonik yang mengarahkan Google ke versi yang benar.

Mengatasi Tautan Rusak

Gunakan Google Search Console, atau perangkat lunak perayapan, dan temukan semua tautan internal dan eksternal yang rusak di situs Anda dan perbaiki. Menggunakan 301 itu bagus, tetapi jika itu adalah tautan navigasi atau tautan footer yang rusak, cukup ubah URL yang mereka tunjuk tanpa bergantung pada 301.

Jangan Menulis Halaman Tipis

Hindari memiliki banyak halaman di situs Anda yang menawarkan sedikit atau tidak ada nilai bagi pengguna, atau mesin telusur. Tanpa konteks, Google merasa sulit untuk mengklasifikasikan halaman, yang berarti mereka tidak memberikan kontribusi apa pun terhadap relevansi situs secara keseluruhan dan mereka hanya penumpang yang menghabiskan anggaran perayapan.

Hapus 301 Redirect Chain

Pengalihan rantai tidak perlu, berantakan, dan disalahpahami. Rantai pengalihan dapat merusak anggaran perayapan Anda dalam beberapa cara. Saat Google mencapai URL dan melihat 301, itu tidak selalu langsung mengikutinya, melainkan menambahkan URL baru ke daftar dan kemudian mengikutinya.

Anda juga perlu memastikan peta situs XML Anda (dan peta situs HTML) akurat, dan jika situs web Anda multibahasa, pastikan Anda memiliki peta situs untuk setiap bahasa situs web. Anda juga perlu menerapkan arsitektur situs cerdas, arsitektur URL, dan mempercepat halaman Anda. Menempatkan situs Anda di belakang CDN seperti CloudFlare juga akan bermanfaat.

TL; DR:

Anggaran perayapan seperti anggaran apa pun adalah peluang, secara teori Anda menggunakan anggaran Anda untuk membeli waktu yang dihabiskan Googlebot, Bingbot, dan Slurp di situs Anda, penting bagi Anda untuk memanfaatkan waktu ini sebaik-baiknya.

Pengoptimalan anggaran perayapan tidak mudah, dan tentu saja bukan 'kemenangan cepat'. Jika Anda memiliki situs kecil, atau situs berukuran sedang yang terpelihara dengan baik, Anda mungkin baik-baik saja. Jika Anda memiliki situs raksasa dengan puluhan ribu URL, dan file log server memenuhi kepala Anda – mungkin ini saatnya untuk memanggil ahlinya.