Pelacakan Anggaran Perayapan Sebelum dan Setelah Pembaruan

Diterbitkan: 2019-12-10

Psst… Ada rahasia yang ingin kuberitahukan padamu.

Situs Anda memiliki "anggaran perayapan" yang ditetapkan oleh Google.

Ini adalah metrik rahasia yang digunakan oleh Google untuk mengukur dua hal:

  1. Seberapa baik situs Anda dibangun
  2. Seberapa populer situs Anda?

Artikel ini akan fokus pada poin pertama.

Meningkatkan kualitas pembuatan situs Anda akan meningkatkan anggaran perayapan Anda.

Semakin besar anggaran perayapan Anda, semakin sering Google akan mampir dan membaca halaman Anda.

Mari kita mulai dengan berbagi pemahaman tentang apa itu anggaran perayapan.

Apa itu Anggaran Perayapan

Google menggunakan program perangkat lunak khusus yang disebut web crawler (atau spider) untuk membaca halaman di situs Anda.

Mereka menyebut perayap web ini, Googlebot.

Anggaran perayapan adalah istilah untuk menggambarkan seberapa sering Googlebot akan merayapi halaman Anda.

Dengan mengoptimalkan situs Anda, Anda dapat meningkatkan anggaran perayapan Anda.

Google mengatakan bahwa anggaran perayapan Anda adalah kombinasi dari:

  • Tingkat perayapan – Kecepatan Googlebot dapat merayapi situs Anda tanpa merusak server Anda
  • Permintaan perayapan – Seberapa penting laman web Anda bagi pengguna Google

Saat metrik ini meningkat, Anda akan melihat Googlebot berkunjung lebih sering. Membaca lebih banyak halaman di setiap kunjungan.
Setelah Google merayapi halaman, itu akan menambahkan konten ke Indeks Google. Yang kemudian memperbarui informasi yang ditampilkan di hasil Google Penelusuran.

Dengan mengoptimalkan anggaran perayapan, Anda dapat meningkatkan kecepatan pembaruan dari situs Anda ke Google Penelusuran.

Mengapa Anda harus meningkatkan Anggaran Perayapan Anda

Google memiliki tugas yang berat. Mereka perlu merayapi dan mengindeks setiap halaman di internet.

Kekuatan yang mereka butuhkan untuk melakukan ini sangat besar dan mereka tidak dapat mengindeks setiap halaman.

Mengoptimalkan anggaran perayapan Anda akan memberi situs Anda peluang terbaik untuk muncul dalam pencarian.

[Studi Kasus] Mengelola perayapan bot Google

Dengan lebih dari 26.000 referensi produk, 1001Pneus membutuhkan alat yang andal untuk memantau kinerja SEO mereka dan memastikan bahwa Google mencurahkan anggaran perayapannya pada kategori dan halaman yang tepat. Pelajari cara berhasil mengelola anggaran perayapan untuk situs web e-niaga dengan OnCrawl.
Baca studi kasus

Cara meningkatkan Anggaran Perayapan Anda

Meningkatkan situs adalah tentang membuat waktu Googlebot di situs seefisien mungkin.

Kami tidak ingin:

  • Googlebot membaca halaman yang tidak kita inginkan di Google Penelusuran.
  • Googlebot melihat kesalahan server
  • Googlebot mengikuti tautan yang rusak / mati
  • Googlebot menunggu halaman dimuat
  • Googlebot membaca konten duplikat

Semua hal di atas membuang-buang sumber daya Google yang berharga dan dapat membuat kecepatan perayapan Anda turun.

Anggaran Perayapan dan SEO Teknis

Banyak hal yang perlu Anda lakukan sebagai bagian dari SEO teknis sama dengan mengoptimalkan Anggaran Perayapan.

Kita butuh:

  • Optimalkan robots.txt dan periksa kesalahan
  • Perbaiki tag tautan hreflang dan kanonik apa pun
  • Selesaikan non-200 halaman
  • Perbaiki pengalihan dan loop pengalihan apa pun
  • Pastikan setiap peta situs bebas dari kesalahan

Mari kita lihat selanjutnya dalam membuat halaman yang sempurna untuk Googlebot.

Cara Membuat Halaman yang Sempurna

OK jadi mungkin bukan halaman yang sempurna tapi kita harus mencoba dan memperbaiki halaman sebanyak yang kita bisa.

Mari kita lihat beberapa masalah umum di halaman yang dapat Anda tingkatkan.

Masalah Halaman

  • Konten Duplikat – Tandai konten duplikat di situs Anda dengan tag tautan kanonik.
  • Halaman non-SSL – Temukan tautan HTTP apa pun dan konversikan ke HTTPS. Jika Anda tidak memiliki sertifikat SSL, dapatkan yang gratis dari Let's Encrypt.
  • Hanya merayapi halaman yang berguna – Gunakan file robots.txt Anda untuk mengurangi tujuan Googlebot. Misalnya, jika Anda memiliki halaman yang digunakan untuk admin, Larang ini di file robots.txt Anda.

  • Konten Tipis – Pertimbangkan untuk memblokir pengikisan halaman dengan konten tipis atau sangat rendah. Jika Anda memiliki halaman yang memiliki nilai kecil bagi pengguna, maka jangan buang waktu Googlebot di halaman ini.
  • Kesalahan Server – Kesalahan server adalah tanda server web yang tidak sehat. Jika situs Anda menampilkan kesalahan 5xx, maka memperbaikinya dapat meningkatkan tingkat perayapan.

Laman Pemuatan Lambat

Salah satu cara untuk meningkatkan anggaran perayapan adalah dengan membuat halaman menjadi cepat.

Halaman yang cepat membuat Googlebot lebih cepat dan ini merupakan tanda bagi Google bahwa server web “sehat”.

Google telah mengatakan bahwa kecepatan halaman meningkatkan tingkat perayapan:

Membuat situs lebih cepat meningkatkan pengalaman pengguna sekaligus meningkatkan kecepatan perayapan.

  • Berat Halaman – Metrik ini adalah ukuran keseluruhan halaman Anda. Ini termasuk semua CSS Javascript dan gambar di halaman. Ini harus di bawah 1mb total.
  • Gambar yang Dioptimalkan – Gambar harus sekecil mungkin dalam KB tanpa kehilangan kualitas. Menggunakan alat seperti Squoosh dapat membantu dalam hal ini.

  • CSS dan JS yang diperkecil – Perkecil file JS dan CSS Anda. Ini adalah proses menghapus semua karakter yang tidak perlu dari file. Gunakan CSSNano dan UglifyJS untuk mengecilkan file.
  • Compression and Caching – Pastikan kompresi GZip atau BR di server. Ini akan mempercepat waktu yang dibutuhkan untuk mendapatkan file. Tambahkan caching agar file hanya diunduh satu kali.

Untuk daftar peningkatan kecepatan halaman, lihat ulasan kinerja situs web yang mendalam ini. Ini memiliki 30 langkah untuk meningkatkan kinerja situs web.

Metode untuk Mengukur Perubahan Anda

Sebagai SEO cerdas, Anda tahu sebelum memulai pengoptimalan apa pun, Anda perlu melacak perubahannya.

Anda perlu memilih titik data dengan dua properti:

  1. Anda harus dapat melacak titik data dari waktu ke waktu.
  2. Anda harus dapat memengaruhi data tersebut dengan tindakan Anda.

Jadi apa titik data yang harus kita lacak untuk anggaran perayapan?

Kami mengatakan sebelumnya bahwa Google menggunakan dua faktor saat memutuskan anggaran perayapan:

  • Tingkat perayapan – Kecepatan Googlebot dapat merayapi situs Anda tanpa merusak server Anda
  • Permintaan perayapan – Seberapa penting laman web Anda bagi pengguna Google

Karena kami adalah SEO teknis, tugas kami adalah meningkatkan tingkat perayapan.

Jadi inilah titik data yang harus kita lacak.

Lacak Tingkat Perayapan

Jadi, bagaimana kami melacak kecepatan perayapan Googlebot?

Kami perlu menggunakan log akses server web Anda.

Log menyimpan setiap permintaan yang dibuat ke server web Anda. Setiap kali pengguna atau Googlebot mengunjungi situs Anda, entri log akan ditambahkan ke file log akses.

Berikut adalah tampilan entri untuk Googlebot:

 127.0.0.1 - - [11/Nov/2019:08:29:01 +0100] "DAPATKAN /contoh HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (kompatibel; Googlebot/2.1; +http://www .google.com/bot.html)"

Ada tiga titik data penting di setiap log. Tanggal:

 [11/Nov/2019:08:29:01 +0100]

URL:

“DAPATKAN /contoh HTTP/1.1”

Dan agen pengguna yang memberi tahu kami bahwa Googlebot yang membuat permintaan:

 "Mozilla/5.0 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)"

Log di atas berasal dari server web Nginx. Namun, semua server web seperti Apache atau IIS akan memiliki entri log akses yang serupa.

Bergantung pada penyiapan Anda, Anda mungkin memiliki Jaringan Pengiriman Konten (CDN). CDN seperti Cloudflare atau Fastly juga akan membuat log akses.

Menganalisis log akses secara manual bukanlah yang paling menyenangkan meskipun mungkin.

Anda dapat mengunduh access.log dan menganalisisnya menggunakan Excel. Namun, saya akan merekomendasikan Anda menggunakan penganalisis log seperti yang dari OnCrawl.

Ini akan memungkinkan Anda untuk melihat tingkat perayapan Googlebot pada grafik dan secara real-time. Setelah Anda memiliki pengaturan pemantauan ini untuk melacak tingkat perayapan, Anda dapat mulai meningkatkannya.

Membuat Perubahan

Sekarang kami tahu apa yang kami lacak, kami dapat melihat untuk membuat beberapa perbaikan. Tapi, jangan membuat banyak perubahan sekaligus. Bersikaplah metodis dan buat perubahan satu per satu.

Bangun, Ukur, Pelajari.

Dengan menggunakan teknik ini, Anda dapat menyesuaikan perubahan yang Anda buat saat Anda belajar. Berkonsentrasi pada tugas yang meningkatkan tingkat perayapan.

Jika Anda terburu-buru dan mengubah terlalu banyak sekaligus akan sulit untuk memahami hasilnya.

Membuat sulit untuk mengatakan apa yang telah dan belum berhasil.

Seiring waktu saat halaman membaik, Anda akan melihat peningkatan anggaran perayapan saat tingkat perayapan naik.

Menyelesaikan, Melacak Pelacakan Anggaran Sebelum dan Setelah Pembaruan

Kami telah membahas apa itu Anggaran Perayapan.

Sebagai SEO Teknis, Anda memiliki kekuatan untuk meningkatkan tingkat perayapan situs.

Meningkatkan kesehatan teknis Anda dapat membuat waktu Googlebot di situs Anda menjadi efisien.

Lacak kecepatan perayapan menggunakan log Anda untuk hasil yang akurat.

Gunakan Bangun, Ukur, Pelajari sebagai teknik untuk membuat satu perubahan pada satu waktu dan meningkat seiring berjalannya waktu.

Seiring waktu, tingkat perayapan Anda akan meningkat. Halaman Anda akan muncul lebih cepat di Hasil Pencarian Google. Dan pengguna akan memiliki pengalaman hebat di situs Anda.

Mulai Uji coba Gratis Anda