Cara mengoptimalkan anggaran perayapan Anda

Pada bulan Mei, kami mengadakan webinar dalam bahasa Prancis tentang anggaran perayapan Google. Untuk webinar keduanya dengan OnCrawl, Erle Alberton, mantan kepala SEO untuk Orange & Sosh (penyedia Internet Prancis) dan sekarang Manajer Sukses Pelanggan untuk OnCrawl memperkenalkan konsep anggaran perayapan, praktik terbaik untuk mengoptimalkannya, apa yang harus dihindari, dll. Praktis contoh akan menggambarkan konsep ini yang baru-baru ini dikonfirmasi oleh tim Google.

Apa yang dikatakan Google tentang anggaran perayapan

Pertengahan Januari, Google memposting sebuah artikel di blog mereka yang menyatakan: “kami tidak memiliki satu istilah pun yang akan menggambarkan segala sesuatu yang berarti “anggaran perayapan” secara eksternal. Dengan kata lain apa yang kami, SEO, anggap sebagai anggaran perayapan.

Raksasa web juga menunjukkan bahwa jika halaman baru Anda biasanya dirayapi pada hari yang sama dengan publikasinya, maka Anda tidak perlu khawatir tentang anggaran perayapan. Ini juga menyatakan bahwa jika sebuah situs memiliki kurang dari beberapa ribu URL, itu akan dirayapi dengan benar karena anggaran perayapan biasanya disediakan untuk situs volume tinggi… Ini benar dan salah karena semua situs di Google Search Console memiliki anggaran perayapan. Kita dapat dengan mudah melihat ini di metrik Google.

Kami juga menemukan dalam artikel ini bahwa Google sedang mencoba untuk mencapai "batas kecepatan perayapan" yang membatasi tingkat pengambilan maksimum untuk situs tertentu. Kita dapat melihat bahwa, misalnya, ketika waktu pemuatan terlalu lama, Google memotong anggarannya hampir 2. Dengan itu, ada faktor-faktor yang dapat memengaruhi anggaran perayapan seperti arsitektur yang buruk (sistem, kode status, struktur internal). ), konten buruk dan/atau duplikat, perangkap laba-laba, dll.

Bagaimana cara kerja anggaran perayapan Google?

Perayapan Google adalah serangkaian langkah sederhana yang beroperasi secara rekursif untuk setiap situs. Berikut grafik dari Google di mana kami melihat bahwa perayapan dimulai dengan klik pada robot txt dan kemudian terpisah dalam sekumpulan URL yang dikompilasi dalam daftar. Penutup, Google mencoba mengambilnya sambil membandingkan dengan URL yang sudah dia ketahui selain yang sudah dia miliki di cadangan.

Tujuannya adalah untuk melengkapi indeksnya secara lengkap dan tepat. Kami melihat bahwa meskipun situs dalam JavaScript, Google akan mengirimkan perayap tingkat ketiga. Anda tetap harus berhati-hati dengan situs JavaScript, karena mereka menghabiskan banyak sumber daya bot dan dikirim rata-rata hanya sekali dalam seperempat. Kami perlu memikirkan kembali metode kami sehingga Google memiliki akses ke halaman di luar navigasi JavaScript.

Google kemudian akan memeriksa status pembaruan halaman (perbandingan dengan konten yang diindeks sebelumnya) untuk mengevaluasi apakah halaman tersebut penting atau kurang penting. Memang, Google perlu mengoptimalkan sumber daya perayapannya karena tidak dapat merayapi setiap halaman dari semua situs web. Ini disebut pentingnya halaman… ini adalah skor yang sangat penting untuk diikuti dan kita akan melihat detailnya di bawah!

Fakta: jika Google mengoptimalkan, itu karena ada alasannya

Anggaran perayapan tergantung pada:

• Kapasitas situs untuk menjawab dengan cepat;
• Kewarasan situs – 4xx, 5xx, 3xx (ketika sebuah situs mulai memiliki 404 atau 500, anggaran perayapan akan terpengaruh, karena akan selalu memeriksa ulang apakah perbaikan telah dilakukan);
• Kualitas konten – semantik dan kelengkapan;
• Keragaman Anchor (halaman dianggap penting ketika menerima banyak tautan. Dengan InRank OnCrawl Anda dapat menganalisis semuanya);
• Popularitas halaman – eksternal dan internal;
• Faktor yang dapat dioptimalkan – sederhanakan perayapan (kurangi ukuran gambar, kapasitas untuk memiliki css, js, gif, font, dll.)

[Studi Kasus] Tingkatkan anggaran perayapan di halaman strategis

Sebagian besar lalu lintas Manageo berasal dari pencarian organik. Lalu lintas ini terutama bergantung pada pencarian ekor panjang, menciptakan kebutuhan untuk mengoptimalkan jutaan kata kunci secara bersamaan. Anggaran perayapan dengan cepat menjadi masalah.

Baca studi kasus

Komponen utama Pentingnya Halaman Google

Definisi pentingnya halaman tidak sama dengan Page Rank:

• Lokasi halaman di situs web – kedalaman tingkat perayapan;
• Peringkat Halaman: TF/CF Halaman – Majestic;
• Peringkat Halaman Internal – InRank OnCrawl;
• Jenis dokumen : PDF, HTML, TXT (PDF biasanya merupakan dokumen kualitatif akhir sehingga banyak dirayapi);
• Penyertaan dalam sitemap.xml;
• Jumlah tautan internal:
• Kualitas/kepentingan jangkar;
• Konten kualitatif: jumlah kata, sedikit duplikat (Google akan menghukum konten serupa jika halaman terlalu dekat konten);
• Pentingnya halaman "beranda".

Bagaimana merencanakan URL penting untuk dirayapi

Penjadwalan URL: Halaman apa yang ingin dikunjungi Google dan seberapa sering?

Pada contoh di atas, (pengamatan frekuensi crawl situs yang sama) Google tidak melakukan crawling pada frekuensi yang sama pada grup yang berbeda. Kami melihat bahwa ketika Google merayapi bagian dari situs, dampak peringkat terlihat dengan cepat.

Informasi lebih lanjut tentang anggaran perayapan Google

• 100% situs web Google Search Console memiliki data perayapan;
• Kami dapat mengikuti perilaku perayapannya berkat analisis log yang membantu Anda mendeteksi dengan cepat ketidaknormalan pada perilaku bot;
• Struktur internal yang buruk (pagination, halaman yatim piatu, perangkap laba-laba) dapat menghentikan Google merayapi halaman yang tepat;
• Anggaran perayapan secara langsung terkait dengan peringkat.

Kecepatan Halaman Pertama

Faktor yang paling penting adalah waktu buka halaman karena memainkan peran yang menentukan pada anggaran perayapan. Memang, saat ini kita berada di dunia seluler. Oleh karena itu, aset terbaik Anda adalah waktu pemuatan halaman untuk mengoptimalkan anggaran perayapan dan SEO Anda. Dengan revolusi seluler, waktu buka merupakan faktor penting dalam menilai kualitas situs. Kemampuannya untuk merespon dengan cepat – terutama untuk seluler dan indeks seluler terlebih dahulu.

Untuk mengoptimalkannya, kita bisa menggunakan solusi CDN (Content Delivery Network) seperti Cloudflare. Solusi ini memungkinkan robot Google berada sedekat mungkin dengan sumber daya dan memuat halaman secepat mungkin.

Google terus menguji kemampuan situs untuk merespons dengan cepat. Arsitektur dan kualitas pengkodean memiliki dampak yang kuat pada notasi Google.

Waktu muat

Ini adalah faktor alokasi pertama anggaran perayapan!

Dari segi server , Anda perlu:

• Hindari pengalihan;
• Otorisasi kompresi;
• Tingkatkan waktu respons.

Di atas, contoh dengan situs Manageo yang memiliki anggaran perayapan linier dan di mana kita dapat melihat peningkatan linier. Pada bulan Mei, terjadi penurunan jumlah halaman yang dirayapi per hari dan akibatnya kecepatan situs berubah. Google melihat bahwa situs merespons kurang cepat sehingga memotong setengah anggaran perayapannya. Untuk memperbaiki semua ini, Anda harus mengoptimalkan kode Anda di sisi server, mengurangi pengalihan, menggunakan kompresi, dan sebagainya.

Dari depan , Anda perlu:

• Operasikan cache browser
• Kurangi ukuran sumber daya (optimasi gambar, gunakan CDN/pemuatan malas/hapus JS yang memblokir tampilan;
• Gunakan skrip asinkron.

Penurunan kualitas = tidak ada lagi cinta = tidak ada lagi anggaran

Anda perlu memeriksa kode status yang dikirim kembali ke robot Google untuk memastikan IS bersih. Ini adalah satu-satunya cara bagi Google untuk memvalidasi bahwa kualitas kode dan arsitektur Anda bersih.

Melacak evolusi mereka dari waktu ke waktu memastikan bahwa pembaruan kode ramah SEO. Google menghabiskan banyak sumber daya (css, img, js) jadi pastikan semuanya sempurna.

Konten yang unik dan kaya

Semakin penting sebuah halaman, semakin kaya teksnya. Seperti yang ditunjukkan di atas, jumlah halaman yang di-crawl dan tidak di-crawl oleh Google terkait dengan jumlah kata yang ada di halaman tersebut. Oleh karena itu, halaman Anda harus ditingkatkan dan diperbarui sesering mungkin.

Waspadalah terhadap konten kanonik dan duplikat

Google akan menghabiskan anggaran dua kali lebih banyak ketika dua halaman serupa tidak mengarah ke URL kanonik yang sama. Dengan demikian, manajemen kanonik dapat menjadi penting untuk situs dengan faset, atau tautan eksternal dengan queryString.

Manajemen konten hampir duplikat dan kanonik menjadi aspek penting dari pengoptimalan anggaran perayapan.

Struktur internal dan distribusi InRank

Halaman yang menghasilkan kunjungan SEO dianggap aktif. Ini adalah orang-orang yang berada di bagian atas arsitektur situs. Di sisi lain, kita melihat di sini bahwa pada halaman 15 ada sekelompok halaman yang muncul. Mungkin halaman-halaman ini lebih banyak dicari oleh pengguna Anda daripada yang Anda kira dan perlu ditingkatkan arsitekturnya untuk meningkatkan peringkat mereka.

Seperti yang kita ketahui, semakin dalam halaman, semakin sedikit Google akan mengunjunginya!

Apakah halaman uang saya terletak dengan baik?

Tip: Jika Anda ingin mengoptimalkan kedalaman grup halaman tertentu, jangan ragu untuk membuat rencana situs html, artinya halaman yang penting untuk mengelola kedalaman Anda.

Google akan membandingkan halaman struktur Anda vs dirayapi vs aktif. Yang mengatakan, akan menguntungkan Anda untuk memecahkan masalah halaman yatim piatu di mana Google menghabiskan anggaran yang tidak perlu dan memperbaiki arsitektur situs untuk mengembalikan tautan ke halaman aktif tetapi di luar struktur.

Terkadang halaman tidak menerima tautan lagi, mereka disebut halaman yatim piatu. Di sisi lain, Google tidak melupakan mereka. Dia akan terus mengunjungi mereka. Mereka tidak lagi menerima tautan sehingga mereka kehilangan arti penting, tetapi pada grafik yang benar, beberapa halaman yatim terus menerima kunjungan SEO. Yang perlu Anda ketahui adalah bagaimana mengidentifikasinya dengan cepat dan memperbaiki masalah penautan yang ada dalam arsitektur. Ini adalah cara yang bagus untuk mengoptimalkan anggaran perayapan Anda.

Kesalahan yang harus dihindari

• Robots.txt di 404;
• Sitemap.xml & sitemap.html kedaluwarsa;
• 50x / 40x / kesalahan 404 lunak;
• Memiliki pengalihan berantai;
• kesalahan kanonik;
• Konten duplikat (footer) / hampir duplikat / HTTP vs HTTPS;
• Waktu respons terlalu lama;
• Berat halaman terlalu penting;
• AMP/ kesalahan. Protokol ini banyak digunakan oleh Google terutama untuk situs e-commerce (bukan hanya situs media);
• Tautan internal buruk + Rel=nofollow;
• Menggunakan JS tanpa alternatif lain.

Kesimpulan

Untuk mengoptimalkan anggaran perayapan, Anda perlu:

• Ketahui halaman uang Anda dan ketahui reaksi Google;
• Meningkatkan waktu muat;
• Optimalkan tautan internal Anda: letakkan semua halaman uang Anda di bagian atas struktur;
• Perbaiki halaman yatim piatu Anda;
• Tambahkan teks ke halaman uang Anda;
• Perbarui halaman uang Anda sepenuhnya – kesegaran;
• Kurangi konten dan duplikat Anda yang buruk;
• Optimalkan kanonik, gambar, bobot sumber daya Anda;
• Hindari pengalihan berantai;
• Pantau log Anda dan tanggapi bila ada kelainan (lihat kasus penggunaan ini dari Manageo selama SEOcamp Lyon tentang topik tersebut).

Untuk mengoptimalkan anggaran perayapan, Anda perlu memantau perayap Google dengan tepat

Beberapa momen jalur Google di situs Anda lebih penting daripada yang lain sehingga Anda harus tahu cara mengoptimalkannya.

Untuk mengoptimalkan anggaran perayapan, Anda perlu mengelola migrasi HTTPS (HTTP2) dengan benar

Anda harus bisa mengikuti dan memantaunya. Tantang tim TI Anda untuk bermigrasi ke HTTP2 dengan HTTPS.
OnCrawl membantu Anda melacak anggaran perayapan Google setiap hari dan dengan cepat menargetkan perbaikan dan perubahan struktural untuk meningkatkan kinerja SEO Anda.

Mulai uji coba gratis selama 14 hari

Cari tahu sendiri mengapa Oncrawl adalah platform SEO teknis dan data yang paling dikenal di pasaran! Tidak diperlukan kartu kredit, dan tanpa pamrih: hanya 14 hari uji coba fitur lengkap.

Mulai uji coba Anda