[Webinar Digest] SEO di Orbit: Membuka rahasia pengindeksan

Diterbitkan: 2019-11-06

Webinar Membuka rahasia pengindeksan adalah bagian dari SEO di seri Orbit, dan ditayangkan pada 12 Juni 2019. Dalam episode ini, Kevin Indig membagikan pemikirannya tentang membuat halaman diindeks, bagaimana halaman yang diindeks untuk sebuah situs memengaruhi seluruh situs peringkat, dan halaman apa yang tidak boleh diindeks. Apa pendekatan yang tepat untuk langkah perantara ini antara menemukan halaman dan membuatnya muncul di SERP?

SEO di Orbit adalah seri webinar pertama yang mengirimkan SEO ke luar angkasa. Sepanjang seri, kami membahas masa kini dan masa depan SEO teknis dengan beberapa spesialis SEO terbaik dan mengirimkan tip terbaik mereka ke luar angkasa pada 27 Juni 2019.

Tonton tayangan ulangnya di sini:

Mempersembahkan Kevin Indig

Kevin Indig telah membantu perusahaan rintisan memperoleh +100 juta pengguna selama 10 tahun terakhir. Dia adalah VP SEO & CONTENT @ G2, mentor untuk Growth @ GermanAccelerator, dan sebelumnya menjalankan SEO @ Atlassian dan Dailymotion. Spesialisasinya adalah akuisisi pengguna, pembangunan merek, dan retensi pengguna. Perusahaan tempat Kevin bekerja termasuk eBay, Eventbrite, Bosch, Samsung, Pinterest, Columbia, UBS, dan banyak lainnya. Dia juga menjalankan buletin pemasaran teknis yang dikuratori, Tech Bound.

Episode ini dipandu oleh Rebecca Berbel, Manajer Konten di OnCrawl. Terpesona oleh NLP dan model bahasa mesin pada khususnya, dan oleh sistem dan cara kerjanya secara umum, Rebecca tidak pernah kehilangan subjek SEO teknis untuk membuatnya bersemangat. Dia percaya pada penginjilan teknologi dan menggunakan data untuk memahami kinerja situs web di mesin pencari.

definisi

Salah satu alasan pentingnya membicarakan pengindeksan adalah karena ini adalah topik yang kompleks. Banyak SEO berjuang dengan pengindeksan dan bagaimana memengaruhinya.

- Merangkak

Merangkak dalam istilah sederhana adalah proses penemuan teknis mesin pencari memahami halaman web dan semua komponennya.

Ini membantu Google menemukan semua URL yang dapat dikembalikan dan dirender, lalu diindeks dan akhirnya diberi peringkat.

– Proses 3 langkah Google

Perayapan adalah bagian dari proses 3 langkah Google yang mengarah pada kemampuan untuk membuat hasil penelusuran:

  1. Merangkak
  2. Rendering
  3. pengindeksan

Ini adalah proses yang berbeda secara teknis, ditangani oleh program yang berbeda, atau bagian dari mesin pencari.

Peringkat berpotensi merupakan langkah keempat dalam proses ini.

– Pengindeksan

Pengindeksan adalah proses Google menambahkan URL ke "daftar" panjang hasil yang mungkin. Jika Kevin harus menghindari kata "indeks" dalam definisi pengindeksan, dia lebih suka berbicara tentang "daftar" metaforis: Google memiliki "daftar" URL yang dapat digunakan untuk menentukan peringkat dan menunjukkan hasil terbaik kepada pengguna .

– Log file

Server web menyimpan riwayat kapan pun seseorang atau apa pun meminta halaman atau sumber daya di server.

Kevin sangat menyukai file log sebagai sumber kebenaran dalam memahami cara Google merayapi dan merender situs Anda.

Dalam log, kami dapat menemukan informasi server tentang seberapa sering Google mengunjungi situs Anda dan apa yang dilakukannya di sana, dalam istilah yang sangat sederhana dan sederhana. File log berisi catatan individual dari setiap kunjungan ke situs.

Anda bisa mendapatkan banyak informasi dari file log:

  • Kesalahan kode status tertentu
  • Masalah dengan perayapan
  • Masalah dengan rendering
  • Berapa banyak waktu yang dihabiskan Googlebot di situs Anda
  • Googlebot mana yang datang ke situs Anda. Misalnya, dengan indeks Mobile First, Googlebot utama yang digunakan untuk pengindeksan baru-baru ini diperbarui.
  • Apakah struktur situs teknis Anda adalah sesuatu yang diikuti Google, atau jika Anda memiliki sesuatu di sana yang dapat dioptimalkan.

Cara memeriksa pengindeksan

– Tidak disarankan: kueri “situs:”

Ketika Kevin memulai SEO sekitar 10 tahun yang lalu, dia akan melihat halaman apa di situsnya yang diindeks dengan menjalankan pencarian “site:” di Google. Meskipun terkadang dia masih menggunakan ini, ini bukan lagi cara yang dapat diandalkan untuk mengetahui apakah URL diindeks.

Baru-baru ini, dia bertanya kepada John Mueller tentang strategi ini; dia memverifikasi bahwa ini bukan lagi cara yang disarankan untuk memeriksa apa yang telah atau belum diindeks oleh Google.

– Direkomendasikan: Inspeksi URL Search Console

Sebaliknya, John Mueller merekomendasikan penggunaan Alat Inspeksi URL di Search Console untuk memeriksa apa yang telah diindeks.

– Direkomendasikan: Peta situs XML dan Laporan Cakupan

Mengirimkan peta situs XML di Search Console adalah salah satu cara untuk memeriksa kumpulan URL Anda dan kemudian memeriksa peta situs di Laporan Cakupan di konsol pencarian.

Pentingnya membedakan antara crawl-render-index

Seperti disebutkan, ada proses 3 langkah di mana Google merayapi, merender, dan mengindeks halaman. Sangat penting untuk membedakan antara masing-masing langkah ini. Saat web menjadi lebih canggih, Google harus menyesuaikan, memisahkan, dan meningkatkan proses ini satu per satu.

Googlebot yang berbeda

Beberapa Googlebot digunakan oleh Google untuk merayapi dan merender situs web. Anda memiliki berbagai jenis sumber daya: gambar, video, berita, teks… Google menggunakan Googlebot yang berbeda untuk memahami setiap jenis konten.

Google mengumumkan sekitar sebulan yang lalu bahwa mereka meningkatkan mesin rendering mereka untuk berjalan di Googlebot yang selalu hijau dan mesin Chromium terbaru.

Ini penting, karena perayapan dan perenderan adalah langkah penting yang mengarah ke pengindeksan.

Mengubah prioritas dalam proses Google

Untuk tujuan pengindeksan, Google biasa melakukan crawling dengan Googlebot desktop. Itu telah diubah; mereka sekarang menggunakan Googlebot ponsel cerdas untuk tujuan pengindeksan.

Pengindeksan Mobile-First akan diberlakukan mulai Juli 2019 untuk semua situs baru, dan akan diterapkan untuk semua situs yang sudah dikenal jika belum dialihkan.

Perayapan: cara Google menemukan URL untuk diindeks

Untuk dapat mengindeks halaman, Google harus merayapinya.

Sebagai langkah pertama dalam proses menuju pengindeksan, untuk memastikan halaman Anda diindeks dengan benar dan cepat, Anda perlu memastikan bahwa perayapan Anda “aman dan sehat”.

Pada dasarnya ada tiga cara Google menemukan URL:

  1. Tautan: inilah yang menjadi dasar seluruh paten PageRank–menemukan situs baru melalui hyperlink
  2. Peta situs XML
  3. Perayapan sebelumnya

– Bagaimana Google memprioritaskan URL (Anggaran perayapan)

Google memprioritaskan situs mana yang dirayapi, dan seberapa sering. Ini sering disebut sebagai "anggaran perayapan".

Ada sebuah artikel di blog Google Webmaster tentang anggaran perayapan yang memberikan beberapa ide tentang bagaimana Google memprioritaskan situs mana yang akan dirayapi.

– Popularitas: backlink dan PageRank

Salah satu poin yang ditetapkan oleh artikel ini adalah bahwa PageRank adalah pendorong utama di balik kecepatan dan volume pengindeksan untuk sebuah situs web.

Tautan balik, tentu saja, adalah komponen utama PageRank, dan karenanya memiliki pengaruh pada laju perayapan dan pengindeksan.

– Kode status

Kode status juga diperhitungkan. Misalnya, jika Anda memiliki banyak 404 halaman di situs Anda, kemungkinan besar Google akan mengurangi frekuensi perayapan.

Contoh lain adalah redirect chains dan loops.

– Kebersihan situs

Jika situs Anda diatur sedemikian rupa sehingga menghabiskan banyak anggaran perayapan, Google mungkin mengurangi waktu yang dihabiskannya di situs Anda.

– Kecepatan halaman dan waktu respons server

Anggaran perayapan juga dipengaruhi oleh kecepatan halaman dan waktu respons server. Google tidak ingin DDoS situs Anda; jika server Anda kesulitan menyediakan halaman dan sumber daya dengan kecepatan yang diminta, server akan menyesuaikan dengan apa yang dapat ditangani server Anda dalam hal perayapan.

Rendering: Pembaruan kafein

Pembaruan Kafein yang keluar beberapa tahun yang lalu pada dasarnya adalah pembaruan untuk struktur rendering Google.

Pengindeksan: Cluster berbeda untuk tipe konten

Ada berbagai arsip indeks yang digunakan Google untuk mengembalikan hasil yang berbeda. Masuk akal untuk membayangkan bahwa ada cluster yang berbeda dalam indeks untuk hasil berita, dan yang lain untuk hasil gambar, dll.

Peringkat: Algoritma terpisah

Akhirnya, URL yang diindeks diberi peringkat – tetapi ini adalah algoritma yang sama sekali berbeda.

Meningkatkan kecepatan pengindeksan

Baik mendapatkan halaman diindeks lebih cepat dan mendapatkan lebih banyak halaman diindeks sangat dipengaruhi oleh PageRank dan oleh karena itu oleh backlink. Tetapi strategi untuk meningkatkan masing-masing berbeda.

Jika Anda ingin halaman diindeks lebih cepat, Anda ingin mengoptimalkan dua langkah pertama (perayapan dan rendering). Ini akan mencakup komponen seperti:

  • Tautan internal
  • Peta Situs
  • Kecepatan server
  • Kecepatan halaman

Meningkatkan jumlah halaman yang diindeks

Jika Anda ingin mendapatkan lebih banyak halaman yang diindeks, di situlah aspek perayapan lebih penting. Anda akan ingin mempermudah Google menemukan semua halaman Anda. Ini sederhana di situs web kecil dengan seribu URL, tetapi jauh lebih sulit di situs yang lebih besar dengan jutaan URL.

Misalnya, G2 memiliki banyak halaman dengan jenis halaman yang berbeda. Tim SEO Kevin ingin memastikan bahwa Google dapat menemukan semua halaman, tidak peduli seberapa dalam crawl dan berapa banyak halaman dari jenis itu yang ada; ini adalah tantangan besar yang harus didekati dari sudut yang berbeda.

Variasi dalam tingkat perayapan sesuai dengan profil halaman

Berdasarkan jenis halamannya, Kevin sering menemukan crawl rate yang berbeda-beda oleh Google. Ini sering tergantung pada profil backlink URL dan tautan internal. Di sinilah dia menemukan penggunaan paling banyak dari file log.

Dia mengelompokkan situsnya menurut jenis halaman untuk memahami di mana situs tersebut kekurangan efisiensi perayapan atau di mana efisiensi perayapan terlalu tinggi.

Hubungan antara tingkat perayapan, kecepatan pengindeksan, dan peringkat

Kevin telah benar-benar mengamati korelasi yang pasti antara tingkat perayapan, kecepatan pengindeksan, dan peringkat untuk setiap jenis halaman. Ini berlaku tidak hanya di seluruh situs tempat dia bekerja, tetapi juga dalam korespondensi dengan SEO lain di industri ini.

Tanpa menempatkan kausalitas antara perayapan, pengindeksan, dan peringkat, elemen serupa yang mendorong pengindeksan juga tampaknya diperhitungkan saat menentukan peringkat halaman. Misalnya, jika Anda memiliki banyak tautan balik ke templat halaman tertentu untuk jenis halaman tertentu (contoh: halaman arahan), apa yang akan Anda temukan di file log Anda adalah jika Google memiliki tingkat perayapan yang lebih tinggi pada halaman ini di seluruh halaman Anda. situs, Google juga mengindeks halaman ini lebih cepat dan biasanya peringkat halaman ini lebih tinggi dari halaman lain.

Sulit untuk membuat pernyataan universal yang valid untuk semua situs, tetapi Kevin mendorong semua orang untuk memeriksa file log mereka untuk melihat apakah ini juga berlaku di situs mereka sendiri. OnCrawl juga menemukan ini sebagai kasus di banyak situs berbeda yang telah mereka analisis.

Ini adalah bagian dari apa yang dia coba uraikan dengan model internal link TIPR yang dia buat.

Mengukur tingkat perayapan

Untuk mengukur kecepatan perayapan, Anda ingin menjawab pertanyaan: seberapa sering Googlebot tertentu datang mengunjungi URL tertentu?

Bagaimana Anda "mengiris dan dadu" ini pertanyaan lain. Kevin suka melihat jumlah hit Googlebot setiap minggu. Anda juga dapat melihatnya setiap hari atau setiap bulan.

– Berfokus pada sebelum/sesudah

Lebih penting daripada periode yang Anda gunakan adalah melihat perubahan dalam tingkat perayapan. Anda harus melihat tarif sebelum membuat perubahan dan setelah diterapkan.

– Berfokus pada perbedaan antara jenis halaman

Kunci lain untuk mengukur tingkat perayapan adalah melihat di mana celah di situs Anda. Pada tingkat jenis halaman, di mana perbedaan antara kecepatan perayapan? Jenis halaman apa yang dirayapi satu ton? Jenis halaman apa yang sulit dirayapi?

– Pengamatan umum dalam perilaku perayapan

Beberapa pengamatan menarik yang pernah dilakukan Kevin di masa lalu antara lain:

  • URL yang paling banyak dirayapi: robots.txt
  • Sebagian besar waktu yang dihabiskan untuk URL/grup URL: Peta situs XML, terutama jika ukurannya sedikit lebih besar

Menggali file log untuk menemukan perbedaan dalam perilaku perayapan antara jenis halaman sangat membuka mata. Cari URL apa yang dirayapi setiap hari vs URL mana yang dirayapi setiap bulan. Ini dapat memberi tahu Anda banyak tentang seberapa efisien struktur situs Anda untuk perayapan (dan pengindeksan-meskipun ada langkah di antaranya).

Distribusi anggaran perayapan berdasarkan model bisnis

Untuk meningkatkan efisiensi perayapan, strategi biasanya mengurangi perhatian yang diberikan Google pada beberapa jenis halaman dan mengarahkannya ke halaman yang lebih penting dari situs web.

Cara Anda ingin menangani ini akan bergantung pada bagaimana konversi ditangani di situs. Kevin membedakan dua model situs dasar: model bisnis terpusat dan terdesentralisasi:

  • Model terdesentralisasi dapat mengonversi pengguna di halaman mana pun. Contoh yang bagus adalah Trello: Anda dapat mendaftar di halaman mana pun. Semua jenis halaman mereka relatif sama. Karena tidak ada halaman yang lebih berharga daripada halaman lain untuk pendaftaran, tujuannya mungkin untuk memiliki tingkat perayapan yang merata di seluruh situs: Anda ingin semua jenis halaman dirayapi dengan kecepatan yang kira-kira sama.
  • Model terpusat mungkin seperti Jira. Jira tidak memiliki satu jenis halaman pun yang dapat kami tiru jutaan kali: hanya ada beberapa halaman arahan tempat orang dapat mendaftar. Anda ingin memastikan bahwa anggaran perayapan Anda di situs seperti ini terkonsentrasi di sekitar titik konversi Anda (halaman arahan Anda).

Bagaimana Anda ingin anggaran perayapan Anda didistribusikan kembali ke pertanyaan tentang bagaimana situs Anda menghasilkan uang, dan jenis halaman mana yang memainkan peran paling penting dalam hal itu.

Mengatasi sampah perayapan

Agar Googlebot tidak menghabiskan anggaran perayapan pada halaman yang kurang penting untuk konversi, ada beberapa metode.

Cara terbaik untuk melewati perayapan adalah robots.txt:

  • Dalam 99,999999% kasus, Google mematuhi perintah robots.txt.
  • Robots.txt dapat membantu memblokir perayapan di sebagian besar situs Anda dengan konten tipis atau duplikat (Contoh klasik: profil pengguna di forum; URL parameter…)

Ada kasus yang sah di mana Anda mungkin ingin halaman tidak diindeks, tetapi tetap membantu perayapan. Kevin akan mempertimbangkan beberapa halaman hub termasuk dalam kategori ini. Di sinilah dia akan menggunakan meta noindex.

Dia menyadari bahwa John Mueller telah mengatakan bahwa tag meta noindex pada akhirnya diperlakukan sebagai nofollow, tetapi sejauh ini Kevin tidak pernah melihat hal ini terjadi di lapangan. Diakuinya, hal itu mungkin terjadi karena butuh waktu yang sangat lama (lebih dari satu tahun, atau lebih). Sebaliknya, ia cenderung menganggap Googlebots "rakus" dan mencari serta mengikuti tautan sebanyak mungkin.

Saran Kevin adalah gunakan robots.txt, dan gunakan sepenuhnya. Anda dapat menggunakan wildcard dan beberapa teknik yang sangat canggih untuk melindungi hal-hal tertentu agar tidak dirayapi.

Aturan praktis yang harus diikuti adalah semakin tipis kontennya, semakin besar kemungkinannya untuk dikecualikan dari perayapan.

Halaman yang dikecualikan dari perayapan melalui robots.txt masih dapat diindeks oleh Google jika memiliki tautan internal atau tautan balik yang mengarah ke laman tersebut. Jika ini terjadi, teks deskripsi di hasil penelusuran akan menunjukkan bahwa Google tidak dapat merayapi laman karena pembatasan di robots.txt. Namun, secara umum, halaman-halaman ini tidak memiliki peringkat tinggi kecuali mereka baru saja dikecualikan di robots.txt.

Masalah pengindeksan karena halaman serupa

– Kesalahan kanonik

Secara terprogram, deklarasi kanonik sangat mudah salah. Kevin telah melihat kasus beberapa kali di mana kanonik memiliki titik koma (;) alih-alih titik dua (:) dan kemudian Anda mengalami banyak masalah.

Canonicals sangat sensitif dalam beberapa kasus dan dapat menyebabkan Google tidak mempercayai semua canonical Anda, yang kemudian dapat menjadi masalah besar.

Namun, salah satu masalah paling umum dengan kanonik adalah kanonik yang terlupakan.

– Migrasi situs

Migrasi situs sering kali menjadi sumber masalah dengan kanonik; Kevin telah melihat masalah di mana situs baru saja lupa menambahkan domain baru ke kanonik.

Ini sangat mudah untuk dilupakan, terutama ketika CSM Anda membutuhkan penyesuaian manual (bukan secara terprogram) untuk membuat perubahan selama migrasi.

Setelan defaultnya adalah kanonis halaman harus mengarah ke dirinya sendiri, kecuali ada alasan khusus untuk menunjuk ke URL lain.

– HTTP ke HTTPS

Ini adalah kesalahan kanonik umum lainnya yang mencegah URL yang benar diindeks. Protokol yang salah terkadang digunakan dalam kanonik.

– Menemukan sumber kesalahan saat Google mengabaikan kanonik yang dideklarasikan

Google terkadang akan memilih kanoniknya sendiri. Ketika mereka tidak mempercayai kanonik yang Anda nyatakan, biasanya ada akar masalahnya.

Kevin menyarankan untuk menghindari situasi di mana Anda mungkin mengirim dua sinyal yang bertentangan ke Google:

  • Lihat peta situs XML Anda
  • Jelajahi situs Anda sendiri dan cari kanonik yang salah
  • Lihat pengaturan parameter di Search Console Anda untuk menemukan pengaturan yang bertentangan
  • Jangan gunakan noindex dan canonical secara bersamaan

Jenis halaman yang berkontribusi terhadap indeks kembung

Dalam SEO sepuluh tahun yang lalu, Anda ingin mengirim halaman sebanyak mungkin untuk diindeks: semakin banyak halaman yang diindeks, semakin baik.

Hari ini, itu tidak lagi terjadi. Anda hanya menginginkan barang dengan kualitas terbaik di toko Anda. Anda tidak ingin konten di bawah standar dalam indeks.

“Index bloat” biasanya digunakan untuk menggambarkan jenis halaman yang tidak memberikan nilai. Ini sering kembali ke segala jenis konten tipis, terutama kasus di mana Anda mengalikan atau memperkuat jumlah halaman yang ada tanpa memberikan nilai substansial pada setiap halaman baru.

Kasus klasik di mana Anda mungkin ingin melihat berapa banyak jenis halaman tertentu yang diindeks, dan apakah halaman tersebut memberikan nilai tambahan meliputi:

  • Parameter
  • paginasi
  • Forum
  • Halaman terkait direktori atau halaman doorway
  • Halaman lokal (kota) yang luas yang tidak membedakan antara layanan atau konten
  • Navigasi segi

Bagaimana pengindeksan memengaruhi situs secara keseluruhan

Anda tidak ingin halaman di bawah standar diindeks hari ini karena halaman tersebut memengaruhi cara Google melihat dan menilai situs Anda secara keseluruhan.

Sebagian besar dari ini kembali ke anggaran perayapan. Sementara Gary Illyes dan John Mueller sering mengatakan bahwa sebagian besar situs tidak perlu khawatir tentang anggaran perayapan, audiens untuk jenis diskusi yang kita lakukan saat ini adalah situs yang lebih besar yang membuat perbedaan besar.

Anda ingin memastikan bahwa Google hanya menemukan konten berkualitas tinggi.

Seperti hubungan yang diamati Kevin antara tingkat perayapan, pengindeksan, dan peringkat, ia juga mengamati bahwa memperhatikan kualitas halaman yang diindeks tampaknya membuahkan hasil untuk seluruh situs. Meskipun sulit untuk membuat pernyataan universal, tampaknya Google memiliki semacam metrik kualitas situs yang bergantung pada halaman yang diindeks untuk situs tersebut. Dengan kata lain, jika Anda memiliki banyak konten berkualitas rendah yang diindeks, tampaknya akan merusak situs Anda.

Di sinilah indeks mengasapi merugikan: ini adalah cara untuk melemahkan atau menurunkan "skor" kualitas situs Anda secara keseluruhan dan membuang anggaran perayapan Anda.

Peta situs XML untuk pengindeksan cepat

Pendapat Kevin adalah bahwa karena Google semakin pintar, jumlah "peretasan" telah menyusut dari waktu ke waktu.

Namun, pada subjek pengindeksan, dia menemukan bahwa salah satu cara untuk mendapatkan sesuatu diindeks dengan cepat adalah dengan menggunakan peta situs XML.

Baru-baru ini G2 bermigrasi ke domain baru. Mereka memiliki satu jenis halaman yang membutuhkan waktu lama untuk di-crawl ulang, jadi di indeks Google Anda masih melihat domain lama di cuplikan untuk halaman jenis ini. Ketika Kevin melihat bahwa pengalihan 301 tidak diperhitungkan karena belum dirayapi, dia memasukkan semua halaman jenis ini ke dalam peta situs XML dan memberikan peta situs tersebut ke Google di Search Console.

Strategi ini juga bisa digunakan jika ada perubahan teknis besar di situs yang Kevin ingin agar Google mengerti secepat mungkin.

Tumbuh menonjol dari SEO teknis

SEO teknis telah menjadi terkenal selama tiga tahun terakhir. Sering kali, pertanyaan teknis SEO menyoroti area yang benar-benar diremehkan.

Seringkali Anda mendengar bahwa konten dan backlink adalah satu-satunya hal yang perlu Anda jaga. Meskipun Kevin percaya bahwa ini adalah bidang SEO yang sangat berdampak, dia pikir bidang ini dapat memiliki dampak yang lebih besar lagi jika Anda melakukan SEO teknis dengan benar.

[Ebook] Kemampuan Perayapan

Pastikan situs web Anda memenuhi persyaratan mesin telusur untuk kemampuan perayapan guna meningkatkan kinerja SEO.
Baca ebooknya

T&J

– Bing dan mengindeks 10.000 URL/hari

Bing menawarkan webmaster kemampuan untuk langsung mengirimkan hingga 10.000 URL per hari melalui alat webmaster mereka untuk pengindeksan lebih cepat.

Kevin yakin ini adalah arah yang mungkin juga akan dituju Google. Bahkan Google, sebagai salah satu perusahaan paling berharga di dunia, harus menjaga sumber daya mereka. Ini adalah salah satu alasan mengapa, jika Anda menyia-nyiakan sumber daya perayapan mereka, mereka akan menyesuaikannya.

Apakah fitur semacam ini bermanfaat atau tidak untuk webmaster juga akan bergantung pada ukuran situs Anda. Jumlah situs yang akan mendapat manfaat dari kemampuan untuk mengirimkan begitu banyak URL per hari terbatas-mungkin dalam ribuan atau sepuluh ribu. Kevin menganggap bahwa untuk situs-situs tersebut, Google sudah mendedikasikan sumber daya yang signifikan. Tampaknya untuk situs terbesar di web, Google melakukan pekerjaan yang layak untuk mengindeksnya, dengan pengecualian biasa, tentu saja.

Mungkin lebih mudah bagi Bing untuk mengimplementasikan sesuatu pada skala ini: untuk satu hal, pangsa pasar mereka jauh lebih kecil, sehingga permintaan untuk fitur ini lebih sedikit. Ukuran indeks mereka juga kemungkinan jauh lebih kecil, jadi mereka mungkin lebih diuntungkan.

– Saat Google mengabaikan robots.txt

Google sangat jarang mengabaikan robots.txt.

Terkadang apa yang membuat kita berasumsi bahwa Google mengabaikan robots.txt adalah, seperti yang telah kita bicarakan sebelumnya, Google terkadang dapat mengindeks halaman yang diblokir oleh robots.txt, yang masih dapat ditemukan melalui berbagai cara lain.

Anda mungkin juga bisa membuat Google mengabaikan perintah di robots.txt jika sintaks Anda di file robots.txt salah:

  • Karakter yang salah
  • Penggunaan tag yang tidak atau seharusnya tidak berfungsi, seperti arahan noindex

[Catatan: Kevin mengutip studi kasus yang menemukan bahwa Google menghormati arahan noindex yang disajikan dalam file robots.txt. Namun, tidak lama setelah webinar ini ditayangkan, Google mengumumkan penghentian dukungan diam-diam untuk arahan ini dalam file robots.txt, efektif 1 September 2019.]

Namun, Google adalah salah satu perusahaan yang menjunjung tinggi bot mereka dan tidak mengabaikan robots.txt.

Tip teratas

“PageRank adalah pendorong utama di balik kecepatan dan volume pengindeksan.”

SEO di Orbit pergi ke luar angkasa

Jika Anda melewatkan perjalanan kami ke luar angkasa pada tanggal 27 Juni, tangkap di sini dan temukan semua tip yang kami kirimkan ke luar angkasa.