Bagaimana memulai peringkat lebih tinggi dengan anggaran perayapan yang dioptimalkan dengan lebih baik

Ada banyak faktor yang memengaruhi peringkat — tautan eksternal, penggunaan kata kunci, kecepatan situs, dan banyak lagi. Tetapi ketika Anda mulai mengoptimalkan situs Anda, yang perlu Anda ingat adalah bahwa untuk semua upaya pengoptimalan Anda untuk melunasi situs Anda perlu dirayapi dan diindeks.

Cara situs web Anda dirayapi ditentukan oleh anggaran perayapan Anda — berapa kali Googlebot mengunjungi situs Anda selama jangka waktu tertentu. Dan visibilitas situs Anda bergantung pada seberapa baik anggaran perayapan seimbang.

Mengapa anggaran perayapan memengaruhi visibilitas situs Anda di Google?

Anggaran perayapan terbatas. Itu menciptakan beberapa tantangan:

• Ketika anggaran perayapan tidak dioptimalkan, tidak semua halaman situs dikunjungi oleh Googlebot. Akibatnya, mereka tidak diindeks dan tidak diberi peringkat dalam hasil pencarian.
• Halaman yang diperbarui tidak dapat menerima perhatian dari Googlebot untuk waktu yang lama karena frekuensi perayapan halaman situs web lain. Ini berdampak negatif pada timeline SEO Anda: selama Google tidak tahu tentang upaya pengoptimalan Anda, visibilitas SERP Anda tidak akan meningkat.

Jadi, untuk memastikan bahwa semua halaman penting dikunjungi secara teratur, anggaran perayapan perlu dioptimalkan. Inilah cara Anda dapat melakukannya.

Cara menentukan anggaran perayapan Anda saat ini

Untuk mengetahui apakah anggaran perayapan Anda perlu dioptimalkan, pertama-tama periksa apakah Anda kekurangan anggaran sama sekali. Menurut Gary Illyes dari Google, hanya situs besar yang benar-benar perlu memprioritaskan apa yang harus dirayapi, terutama yang secara otomatis menghasilkan banyak URL berdasarkan parameter. Jika menurut Anda situs Anda memerlukan penyeimbangan anggaran perayapan tambahan, inilah cara Anda memulai.

Di Google Search Console, Anda dapat menemukan statistik perayapan situs Anda saat ini dan mengetahui detail anggaran perayapan Anda.

Perkiraan anggaran perayapan dapat dihitung seperti ini:

Rata-rata jumlah halaman yang dirayapi per hari x jumlah hari dalam sebulan =
Perkiraan anggaran perayapan

Misalnya, dari laporan di bawah ini, Anda dapat melihat bahwa di situs web ini Google merayapi 371 halaman per hari.

Grafik Statistik Perayapan di Google Search Console

Jadi, perkiraan anggaran perayapan situs web ini adalah:

371 x 30 = 11130

Tetapi untuk mengetahui dengan tepat seberapa sering perayap Google mengunjungi situs web Anda, Anda perlu memeriksa log server. Google Search Console menunjukkan anggaran perayapan gabungan untuk 12 bot, dan untuk melihat distribusi anggaran perayapan yang tepat, Anda memerlukan alat analisis log.

Naik turunnya grafik perayapan bisa menjadi tanda adanya masalah, tetapi tidak selalu demikian. Misalnya, lonjakan pada grafik di atas menunjukkan peta situs yang dikirim ulang, yang merupakan pemicu Googlebot untuk mengunjungi kembali situs web.

Cara mengoptimalkan anggaran perayapan Anda

Untuk mengoptimalkan anggaran perayapan, Anda harus mengikuti aturan sederhana:

Pastikan apa yang perlu dirayapi dirayapi dan apa yang tidak perlu dirayapi tidak dirayapi.

Itu berarti, bahwa halaman-halaman penting mendapatkan perhatian yang cukup dan halaman-halaman yang tidak memberikan nilai apa pun bagi situs Anda akan ditinggalkan. Berikut adalah langkah-langkah tepat yang akan membawa Anda ke sana.

1.Pastikan semua halaman penting Anda dapat diakses oleh Googlebot (misalnya tidak diblokir di robots.txt)

Anehnya, sangat umum ketika halaman penting memiliki status penolakan di file robots.txt. Dengan cara ini mereka diabaikan oleh Googlebot dan, dengan demikian, disembunyikan dari pengindeksan. Tugas Anda adalah memastikan bahwa halaman yang ingin Anda jelajahi tidak memiliki status tersebut dan dapat diakses oleh perayap.

Anda dapat menemukan file robots.txt di Google Search Console. Untuk memastikan bahwa halaman penting Anda tidak ditolak, cukup telusuri file tersebut.

2. Periksa kesehatan umum situs Anda karena memengaruhi frekuensi kunjungan Googlebot (juga dikenal sebagai batas kecepatan perayapan)

Seperti yang dikatakan Google sendiri, batas kecepatan perayapan adalah kecepatan pengambilan maksimum untuk situs tertentu. Sederhananya, ini menentukan berapa banyak koneksi paralel yang dapat dibuat Googlebot untuk merayapi situs dan berapa lama harus menunggu di antara pengambilan. Saat kecepatan situs tinggi dan, batasnya naik dan Googlebot membuat lebih banyak koneksi simultan. Saat tingkat respons situs rendah atau mengembalikan kesalahan server, batasnya akan turun dan Googlebot merayapi lebih sedikit.

Jadi, cara situs Anda dirayapi juga dipengaruhi oleh kesehatan situs. Ini termasuk kecepatan situs, keramahan seluler, jumlah kesalahan 404, dll.

Kesehatan situs dapat diperiksa dengan alat ini.

• OnCrawl memungkinkan Anda menemukan halaman dengan konten duplikat dan hampir duplikat, 404 dan halaman yatim piatu (yang tidak memiliki tautan internal yang mengarah ke sana), dll.

Widget konten duplikat di OnCrawl

Widget halaman anak yatim di OnCrawl

• Tes Ramah Seluler Google memeriksa kesesuaian situs web untuk seluler
• Kecepatan situs dapat diperiksa dengan bantuan PageSpeed ​​Insights atau alat gratis GTmetrix.

Anda kemudian dapat memantau frekuensi perayapan Anda menggunakan penganalisa file log seperti OnCrawl dan melihat apakah Googlebot telah mencapai halaman Anda lebih sering.

3. Kecualikan halaman yang tidak memberikan nilai apa pun kepada pengguna

Ini adalah halaman yang memiliki konten yang lemah atau tidak ada, halaman teknis, dll. Karena diindeks dan memiliki sedikit tayangan, halaman tersebut dapat ditemukan di Google Search Console. Tempat lain untuk menemukannya adalah laporan Dampak SEO OnCrawl. Misalnya, ini menunjukkan dampak jumlah kata pada frekuensi perayapan.

Misalnya, masalah umum untuk situs web e-niaga besar adalah navigasi segi. Ryan Stewart membicarakannya dalam videonya tentang pengoptimalan anggaran perayapan (Anda dapat melompat ke 7:20 untuk memeriksanya, tetapi keseluruhan video juga sangat berguna). Saat pengguna memilih kategori di situs web, parameternya ditambahkan ke URL halaman. Menurut Googlebot, sejak saat itu, itu adalah URL yang berbeda dan memerlukan kunjungan terpisah. Karena jumlah kemungkinan kombinasi kategori sangat banyak dan dapat membebani anggaran perayapan secara signifikan, halaman seperti itu perlu disaring.

Masalah serupa terjadi ketika pengidentifikasi sesi ditempatkan di dalam URL. Halaman tersebut harus disaring juga.

4. Prioritaskan halaman Anda agar yang terpenting lebih sering di-crawl

Halaman itu penting jika memiliki potensi lalu lintas yang besar.

Pertama-tama, ini adalah halaman yang sudah memiliki banyak lalu lintas; Anda dapat menemukannya di Google Analytics. Di bawah Laporan Perilaku , buka Konten Situs → Semua Halaman dan urutkan halaman berdasarkan jumlah tampilan halaman.

Kedua, halaman yang posisinya meningkat, yang berarti popularitasnya semakin meningkat. Halaman tersebut dapat ditemukan di Google Search Console, tetapi dengan opsi pemfilteran yang terbatas, mungkin perlu beberapa saat sebelum Anda menemukannya.

Alternatifnya adalah menggunakan AccuRanker karena memungkinkan Anda melihat jenis halaman apa yang memiliki tren visibilitas yang berkembang. Untuk mulai menggunakannya, Anda dapat mengimpor daftar kata kunci dari Google Search Console dalam satu klik dan kemudian melihat halaman mana yang paling menjanjikan.

Selain itu, ada cara untuk menemukan halaman yang dapat memiliki lalu lintas SEO tambahan di minggu dan bulan berikutnya. Ini melibatkan beberapa permainan dengan Google Search Console API dan Google Data Studio, tetapi hasilnya agak luar biasa. Dengan menggunakan Laman Landas sebagai dimensi dan Tayangan, Klik URL, dan RKT URL sebagai metrik, Anda dapat menemukan laman yang semakin populer lebih cepat daripada yang lain.

Saat Anda mengetahui halaman mana yang perlu diprioritaskan, berikut yang dapat Anda lakukan untuk memastikan halaman tersebut dirayapi lebih sering:

• Pindahkan halaman terpenting lebih dekat ke halaman utama atau bahkan tampilkan tautan ke sana. Misalnya, Anda dapat menambahkan tautan halaman ke bagian Navigasi atau "Penawaran khusus".
• Letakkan pengalihan 301 di semua kategori halaman yang tidak memiliki produk (stok habis/produk musiman). Jangan lupa untuk mematikan pengalihan itu setelah produk yang bersangkutan tersedia kembali.

5. Berikan tautan internal yang cukup ke halaman

Tautan internal sangat penting untuk perayapan sebagai jalur utama Googlebot. Tanpa tautan internal pada halaman, itu tidak bisa bergerak maju. Jadi, dengan menambahkan tautan yang mengarah ke halaman, Anda meningkatkan peluangnya untuk diindeks lebih cepat.

Misalnya, jika Anda ingin halaman lama dirayapi lebih sering, tambahkan tautan yang mengarah ke halaman tersebut, ke halaman baru Anda. Saat Googlebot mengunjungi halaman baru, itu juga akan mengindeks ulang halaman lama.

Dengan menambahkan tautan halaman ke menu navigasi situs web, Anda juga membuatnya mudah diakses oleh pengguna dan oleh Googlebot. SEMrush menggunakan teknik ini untuk mempercepat perayapan posting blog barunya. Semua artikel baru muncul di bagian Posting Terbaru di halaman utama mereka dan, dengan demikian, diprioritaskan oleh Googlebot.

Teknik ini juga dapat digunakan untuk mempercepat pengindeksan halaman produk baru di situs web e-commerce.

Membungkus

Seperti dikatakan di atas, pengoptimalan anggaran perayapan lebih penting untuk situs yang lebih besar dengan struktur bercabang seperti situs e-niaga. Tetapi karena perayapan halaman yang tepat adalah dasar dari SEO dan secara langsung memengaruhi visibilitas SERP, Anda mungkin ingin merevisi statistik perayapan Anda dan menyeimbangkan anggaran perayapan untuk mempercepat hasil upaya SEO Anda.

Toolkit dasar untuk pengoptimalan anggaran perayapan meliputi:

• Google Search Console untuk melihat perkiraan anggaran perayapan Anda saat ini
• Auditor kesehatan situs seperti OnCrawl untuk menemukan konten duplikat, 404 halaman, halaman yatim piatu, dll.
• Alat untuk memeriksa kesesuaian situs untuk seluler seperti Tes Ramah Seluler Google
• Pemeriksa kecepatan situs seperti PageSpeed ​​Insights atau GTmetrix
• Alat untuk menemukan halaman dengan potensi popularitas tinggi — halaman yang sudah memiliki banyak lalu lintas (Anda dapat melihatnya di Google Analytics) atau halaman dengan tren visibilitas yang meningkat (dapat ditemukan dengan bantuan AccuRanker).