Anggaran Perayapan Google: Cara Kerjanya dan Cara Memaksimalkan Anggaran Perayapan Anda

Untuk setiap situs web di internet, Google memiliki anggaran tetap untuk berapa banyak halaman yang dapat dan bersedia dijelajahi oleh bot mereka. Internet adalah tempat yang besar, jadi Googlebot hanya dapat menghabiskan begitu banyak waktu untuk merayapi dan mengindeks situs web kita. Pengoptimalan anggaran perayapan adalah proses memastikan bahwa halaman yang tepat dari situs web kami berakhir di indeks Google dan akhirnya ditampilkan kepada pencari.

Rekomendasi Google untuk mengoptimalkan anggaran perayapan agak terbatas, karena Googlebot merayapi sebagian besar situs web tanpa mencapai batasnya. Tetapi situs tingkat perusahaan dan e-niaga dengan ribuan halaman arahan berisiko menghabiskan anggaran mereka secara maksimal. Sebuah studi 2018 bahkan menemukan bahwa perayap Google gagal merayapi lebih dari setengah halaman web situs yang lebih besar dalam percobaan.

Mempengaruhi bagaimana anggaran perayapan dihabiskan dapat menjadi pengoptimalan teknis yang lebih sulit untuk diterapkan oleh ahli strategi. Namun untuk situs tingkat perusahaan dan e-niaga, ada baiknya upaya untuk memaksimalkan anggaran perayapan jika Anda bisa. Dengan beberapa penyesuaian, pemilik situs dan ahli strategi SEO dapat memandu Googlebot untuk merayapi dan mengindeks halaman berkinerja terbaik mereka secara teratur.

Bagaimana cara Google menentukan anggaran perayapan?

Anggaran perayapan pada dasarnya adalah waktu dan sumber daya yang bersedia dihabiskan Google untuk merayapi situs web Anda. Persamaannya adalah sebagai berikut:

Anggaran Perayapan = Tingkat Perayapan + Permintaan Perayapan

Otoritas Domain, tautan balik, kecepatan situs, kesalahan perayapan, dan jumlah halaman arahan semuanya memengaruhi tingkat perayapan situs web. Situs yang lebih besar biasanya memiliki tingkat perayapan yang lebih tinggi, sementara situs yang lebih kecil, situs yang lebih lambat, atau yang memiliki pengalihan berlebihan dan kesalahan server, biasanya lebih jarang dirayapi.

Google juga menentukan anggaran perayapan dengan "permintaan perayapan". Url populer memiliki permintaan perayapan yang lebih tinggi karena Google ingin memberikan konten terbaru kepada pengguna. Google tidak menyukai konten basi dalam indeksnya, sehingga halaman yang belum dijelajahi dalam beberapa waktu juga akan memiliki permintaan yang lebih tinggi. Jika situs web Anda mengalami migrasi situs, Google akan meningkatkan permintaan perayapan untuk lebih cepat memperbarui indeksnya dengan url baru Anda.

Anggaran crawl website Anda bisa fluktuatif dan tentunya tidak tetap. Jika Anda meningkatkan hosting server atau kecepatan situs, Googlebot mungkin mulai merayapi situs Anda lebih sering karena mengetahui bahwa itu tidak memperlambat pengalaman web bagi pengguna. Untuk mendapatkan gambaran yang lebih baik tentang kecepatan perayapan rata-rata situs Anda saat ini, lihat Laporan Perayapan Google Search console Anda.

Apakah setiap situs web perlu khawatir tentang anggaran perayapan mereka?

Situs web yang lebih kecil yang hanya fokus untuk mendapatkan beberapa peringkat halaman arahan tidak perlu khawatir tentang anggaran perayapan. Tetapi situs web yang lebih besar — ​​terutama situs yang tidak sehat dengan halaman rusak yang berlebihan dan pengalihan — dapat dengan mudah mencapai batas perayapannya.

Jenis situs web besar yang paling berisiko menghabiskan anggaran perayapannya biasanya memiliki puluhan ribu halaman arahan. Situs web e-niaga utama khususnya sering terkena dampak negatif oleh anggaran perayapan. Saya telah menemukan beberapa situs web perusahaan dengan sejumlah besar halaman arahan mereka tidak terindeks, yang berarti nol peluang peringkat di Google.

Ada beberapa alasan mengapa situs e-niaga khususnya perlu lebih memperhatikan ke mana anggaran perayapan mereka pergi.

• Banyak situs e-niaga secara terprogram membuat ribuan laman landas untuk SKU mereka atau untuk setiap kota atau negara bagian tempat mereka menjual produk.
• Jenis situs ini secara teratur memperbarui halaman arahan mereka ketika item kehabisan stok, produk baru ditambahkan, atau perubahan inventaris lainnya terjadi.
• Situs e-niaga cenderung ke arah halaman duplikat (misalnya halaman produk) dan pengenal sesi (misalnya cookie). Keduanya dianggap sebagai url "bernilai tambah rendah" oleh Googlebot, yang berdampak negatif pada tingkat perayapan

Tantangan lain dalam memengaruhi anggaran perayapan adalah bahwa Google dapat menambah atau menguranginya kapan saja. Meskipun peta situs merupakan langkah penting bagi situs web besar untuk meningkatkan perayapan dan pengindeksan laman terpenting mereka, itu tidak cukup untuk memastikan Google tidak memaksimalkan anggaran perayapan Anda pada laman yang bernilai rendah atau berkinerja buruk.

Jadi bagaimana webmaster dapat melakukan pengoptimalan anggaran perayapan?

Meskipun pemilik situs dapat menetapkan batas perayapan yang lebih tinggi di akun Google Search Console mereka, setelan tersebut tidak menjamin peningkatan permintaan perayapan atau memengaruhi laman mana yang akhirnya dirayapi oleh Google. Ini mungkin terasa seperti solusi paling alami adalah membuat Google merayapi situs web Anda lebih sering, tetapi ada pengoptimalan yang sangat terbatas yang memiliki korelasi langsung dengan peningkatan laju perayapan.

Kita semua tahu bahwa penganggaran yang baik bukanlah tentang meningkatkan batas pengeluaran Anda; ini tentang menjadi lebih selektif dalam membelanjakan uang Anda. Ketika Anda menerapkan konsep yang sama untuk merayapi anggaran, itu dapat menghasilkan hasil yang sangat besar. Berikut adalah beberapa langkah strategis untuk membantu Google membelanjakan anggaran Anda demi keuntungan Anda.

Langkah 1: Identifikasi halaman mana yang sebenarnya dirayapi Google di situs Anda

Sampai saat ini, laporan perayapan Google Search Console hanya memberi tahu pemilik situs berapa banyak permintaan perayapan yang diterima situs mereka pada hari tertentu. Meskipun Laporan Statistik Perayapan Google yang baru memberikan informasi yang jauh lebih detail tentang perayapan, tempat terbaik untuk memahami bagaimana Google merayapi situs Anda masih dalam file log server Anda.

Saat Google mengunjungi situs web Anda, mereka menggunakan agen pengguna tertentu. Ini memungkinkan server Anda mengetahui bahwa lalu lintas sebenarnya adalah Googlebot dan bukan orang sungguhan.

(Anda juga akan menemukan bot Bingbot dan Ahrefs di sana).

Penganalisis Log Perayapan

Analisis file log untuk pemantauan bot dan pengoptimalan anggaran perayapan. Deteksi masalah kesehatan situs dan tingkatkan frekuensi perayapan Anda.

Belajarlah lagi

Pemilik situs yang menganalisis isi file log ini akan mendapatkan banyak informasi tentang anggaran perayapan Google untuk situs mereka. File akan mengungkapkan beberapa hal:

• Halaman mana yang dikunjungi agen pengguna
• Berapa banyak halaman yang dirayapi agen per hari
• Apakah ada halaman yang dirayapi atau tidak, 404 atau rusak

Idealnya, Anda ingin Google merayapi laman landas di situs web Anda yang dioptimalkan untuk kata kunci bernilai tertinggi. Selain itu, pemilik situs tidak boleh menyia-nyiakan anggaran perayapan untuk 404. Google Search Console hanya akan menampilkan beberapa kesalahan 404, tetapi Anda dapat mengidentifikasi semuanya di log server Anda.

Setelah Anda memiliki informasi lebih rinci tentang halaman mana dari situs web Anda yang sedang dirayapi, selesaikan item tindakan berikut:

• Tambahkan tag robot: Jika Googlebot merayapi halaman 404 atau rusak itu, prioritas nomor satu harus menambahkan tag robot [noindex, nofollow] untuk mencegah Googlebot merayapi dan mengindeks halaman tersebut.
• Sesuaikan peta situs Anda: Jika log server Anda mengungkapkan bahwa Google tidak merayapi halaman Anda yang berpotensi berkinerja tinggi, letakkan mereka lebih tinggi di peta situs Anda untuk memastikannya dirayapi.

Langkah 2: Terima bahwa tidak semua halaman arahan Anda perlu diberi peringkat di Google

Alasan utama mengapa begitu banyak situs web tingkat perusahaan membuang anggaran perayapan mereka adalah karena mereka mengizinkan Google merayapi setiap laman landas di situs mereka. Banyak situs web bahkan suka memasukkan semua halaman mereka ke dalam aplikasi seluler mereka sehingga Google dapat menemukan dan merayapi semuanya. Ini adalah kesalahan, karena pada kenyataannya, tidak semua halaman arahan kami akan diberi peringkat.

Apa nilai memiliki halaman arahan di indeks Google? Peringkat dan konversi. Jika situs web Anda memiliki halaman arahan yang tidak menarik bobotnya dengan memberi peringkat untuk beberapa kata kunci atau mengubah pengunjung situs menjadi prospek dan pendapatan, mengapa mengambil risiko membiarkan Google merayapinya?

Pemilik situs e-niaga dan tingkat perusahaan harus mengetahui halaman mana dari situs web mereka yang dioptimalkan untuk konversi dan memiliki peluang peringkat dan konversi terkuat. Kemudian, mereka harus memanfaatkan setiap keuntungan yang mereka bisa untuk memastikan Google menghabiskan anggaran perayapan pada halaman berperforma tinggi tersebut.

Halaman arahan situs web Anda yang memiliki peringkat tinggi dan potensi konversi layak untuk menghabiskan anggaran perayapan. Berikut adalah beberapa kiat untuk memastikan bahwa Googlebot menyertakan laman tersebut dalam anggaran Anda.

• Kurangi jumlah halaman di peta situs Anda . Fokus hanya pada halaman yang benar-benar memiliki peluang bagus untuk peringkat dan mendapatkan lalu lintas organik.
• Hapus halaman yang berkinerja buruk atau tidak perlu . Hapus halaman yang tidak memberikan nilai karena tidak memiliki peringkat, konversi, atau tujuan fungsional.
• Pangkas konten . Pangkas halaman yang tidak benar-benar mendapatkan lalu lintas organik dan alihkan ke halaman arahan lain di situs Anda yang relevan dan dapatkan lalu lintas. Perhatikan bahwa pengalihan memakan sedikit anggaran perayapan Anda, jadi cobalah untuk menggunakannya dengan hemat dan jangan pernah menggunakannya dua kali berturut-turut.

Sulit bagi pemilik situs mana pun untuk melepaskan konten, tetapi jauh lebih mudah untuk mencegah Google merayapi halaman tertentu daripada membuat Google meningkatkan anggaran perayapan Anda secara keseluruhan. Membersihkan situs Anda sehingga perayap Google lebih mungkin menemukan dan mengindeks hal-hal terbaik adalah prioritas utama jika Anda ingin membelanjakan anggaran perayapan dengan bijak.

Langkah 3: Gunakan tautan internal untuk meningkatkan laman berkinerja tinggi bagi perayap Google

Setelah Anda mengidentifikasi halaman mana yang dirayapi Google, menambahkan tag robot yang diperlukan, menghapus atau memangkas halaman yang berkinerja buruk, dan membuat penyesuaian pada peta situs Anda, perayap Google akan lebih cenderung menghabiskan anggaran mereka di halaman yang tepat di situs web Anda.

Tetapi untuk benar-benar memaksimalkan anggaran itu, halaman Anda harus memiliki apa yang diperlukan untuk menentukan peringkat. Praktik terbaik SEO di halaman adalah kuncinya, tetapi strategi teknis yang lebih maju adalah menggunakan struktur tautan internal Anda untuk meningkatkan halaman yang berpotensi berkinerja tinggi.

Sama seperti Googlebot yang hanya memiliki anggaran perayapan terbatas, situs web Anda hanya memiliki sejumlah ekuitas situs berdasarkan jejak Internetnya. Adalah tanggung jawab Anda untuk memusatkan ekuitas Anda dengan cara yang cerdas. Itu berarti mengarahkan ekuitas situs ke halaman-halaman yang menargetkan kata kunci yang Anda memiliki peluang bagus untuk diperingkat dan pada halaman-halaman yang membawa Anda lalu lintas dengan jenis pelanggan yang tepat, mereka yang cenderung berkonversi dan benar-benar memiliki nilai ekonomi.

Strategi SEO ini dikenal sebagai PageRank sculpting. Jika Anda memiliki situs web besar dengan ribuan halaman arahan, ahli strategi tingkat lanjut dapat menjalankan eksperimen SEO untuk mengoptimalkan profil tautan internal situs web Anda untuk distribusi PageRank yang lebih baik. Jika Anda adalah situs web baru, Anda dapat menjadi yang terdepan dengan memasukkan pemahatan PageRank ke dalam arsitektur situs Anda dan memikirkan tentang ekuitas situs dengan setiap halaman arahan baru yang Anda buat.

Berikut adalah dua strategi favorit saya untuk menganalisis halaman saya untuk menentukan mana yang paling diuntungkan dari pembuatan PageRank.

• Temukan halaman situs web Anda yang memiliki lalu lintas bagus tetapi tidak memiliki cukup PageRank . Temukan cara untuk mendapatkan lebih banyak tautan internal halaman tersebut dan mengirim lebih banyak PageRank ke sana. Menambahkannya ke header atau footer situs web Anda adalah cara yang bagus untuk melakukannya dengan cepat, tetapi jangan berlebihan dalam membuat tautan di menu navigasi Anda.
• Fokus pada halaman yang memiliki banyak tautan internal, tetapi tidak mendapatkan banyak lalu lintas, tayangan penelusuran, dan peringkat untuk kata kunci yang sangat sedikit . Halaman yang menerima banyak tautan internal biasanya berisi banyak PageRank. Jika mereka tidak menggunakan PageRank itu untuk membawa lalu lintas organik ke situs Anda, mereka menyia-nyiakannya. Lebih baik pindahkan PageRank itu ke halaman yang benar-benar bisa menggerakkan jarum.

Memahami peran yang dimainkan setiap tautan di situs web Anda tidak hanya dalam mengirimkan Googlebot ke situs web Anda, tetapi juga dalam mendistribusikan ekuitas tautan Anda, adalah langkah terakhir dalam pengoptimalan anggaran perayapan. Mendapatkan struktur tautan internal Anda dengan benar dapat mengarah pada peningkatan peringkat yang dramatis untuk halaman uang Anda. Pada akhirnya, cara terbaik untuk membelanjakan anggaran perayapan Anda adalah pada halaman arahan yang kemungkinan besar akan menghasilkan pendapatan di saku Anda.

Setelah Anda menerapkan perubahan, perhatikan peringkat kata kunci untuk halaman yang ditingkatkan tersebut di alat Google Search Console. Jika peringkat meningkat untuk halaman tersebut, ini menunjukkan bahwa pengoptimalan anggaran perayapan Anda berfungsi. Kemudian, saat Anda menambahkan halaman baru ke situs web Anda, lebih selektif apakah halaman tersebut layak untuk menghabiskan anggaran perayapan Anda atau tidak. Jika tidak, tetap arahkan crawler hanya ke halaman yang paling bekerja keras untuk merek Anda.