Bagaimana Saya Menyingkirkan Halaman Tambahan di Indeks Google?

Katakanlah Anda memiliki situs web e-niaga dengan ribuan produk, masing-masing dengan variasi ukuran dan warna. Anda menggunakan laporan Cakupan Indeks Google Search Console untuk melihat daftar halaman yang diindeks di hasil pencarian Google untuk situs web Anda.

Yang mengejutkan Anda, Anda melihat lebih banyak halaman daripada yang seharusnya dimiliki situs web. Mengapa hal itu terjadi, dan bagaimana cara menghilangkannya?

Saya menjawab pertanyaan ini dalam serial “Ask Us Anything” di YouTube. Berikut videonya, dan Anda dapat membaca lebih lanjut tentang masalah umum ini dan solusinya di bawah.

• Mengapa halaman web “ekstra” ini muncul di indeks Google?
• Bagaimana cara menghilangkan halaman web “ekstra” di indeks Google?
• Ringkasan
• FAQ: Bagaimana cara menghilangkan halaman tambahan dari indeks Google situs web saya?

Mengapa Halaman Web “Ekstra” Ini Muncul di Indeks Google?

Masalah ini umum terjadi pada situs web e-niaga. Laman web “ekstra” dapat muncul di indeks Google karena URL tambahan dihasilkan di situs web e-niaga Anda.

Begini caranya: Saat orang menggunakan parameter penelusuran di situs web untuk menentukan ukuran atau warna tertentu suatu produk, biasanya URL baru dibuat secara otomatis untuk pilihan ukuran atau warna tersebut.

Itu menyebabkan halaman web terpisah. Meskipun bukan produk yang “terpisah”, halaman web tersebut dapat diindeks seperti halaman produk utama, jika ditemukan oleh Google melalui link

Jika ini terjadi, dan Anda memiliki banyak kombinasi ukuran dan warna, Anda mungkin akan mendapatkan banyak halaman web berbeda untuk satu produk. Sekarang, jika Google menemukan URL laman web tersebut, Anda mungkin akan memiliki beberapa laman web di indeks Google untuk satu produk.

Bagaimana Saya Menyingkirkan Halaman Web “Ekstra” di Indeks Google?

Dengan menggunakan tag kanonik, Anda bisa membuat semua URL variasi produk tersebut mengarah ke halaman produk asli yang sama. Itulah cara yang tepat untuk menangani konten yang hampir duplikat, seperti perubahan warna.

Inilah yang Google katakan tentang penggunaan tag kanonik untuk mengatasi masalah ini:

URL kanonik adalah URL laman yang menurut Google paling mewakili kumpulan laman duplikat di situs Anda. Misalnya, jika Anda memiliki URL untuk laman yang sama (example.com?dress=1234 dan example.com/dresses/1234), Google akan memilih salah satu sebagai kanonis. Halaman-halamannya tidak harus benar-benar identik; perubahan kecil dalam pengurutan atau pemfilteran halaman daftar tidak menjadikan halaman tersebut unik (misalnya, mengurutkan berdasarkan harga atau memfilter berdasarkan warna item) .

Google selanjutnya mengatakan bahwa:

Jika Anda memiliki satu halaman yang dapat diakses oleh beberapa URL, atau halaman berbeda dengan konten serupa … Google melihatnya sebagai versi duplikat dari halaman yang sama. Google akan memilih satu URL sebagai versi kanonis dan merayapinya, dan semua URL lainnya akan dianggap sebagai URL duplikat dan lebih jarang dirayapi.

Jika Anda tidak secara eksplisit memberi tahu Google URL mana yang kanonis, Google akan menentukan pilihan untuk Anda atau mungkin menganggap keduanya memiliki bobot yang sama, yang mungkin menyebabkan perilaku yang tidak diinginkan …

Namun bagaimana jika Anda tidak ingin halaman “ekstra” tersebut diindeks sama sekali? Menurut pendapat saya, solusi kanonik adalah cara yang tepat untuk mengatasi situasi ini.

Namun ada dua solusi lain yang pernah digunakan orang-orang di masa lalu untuk mengeluarkan halaman dari indeks:

1. Blokir halaman dengan robots.txt (tidak disarankan, dan saya akan menjelaskan alasannya sebentar lagi)
2. Gunakan tag meta robot untuk memblokir halaman individual

Opsi Robots.txt

Masalah dengan penggunaan robots.txt untuk memblokir laman web adalah penggunaannya tidak berarti Google akan menghapus laman web dari indeks.

Menurut Pusat Penelusuran Google:

File robots.txt memberi tahu perayap mesin telusur URL mana yang dapat diakses perayap di situs Anda. Ini digunakan terutama untuk menghindari membebani situs Anda dengan permintaan; ini bukan mekanisme untuk mengecualikan halaman web dari Google.

Selain itu, perintah pelarangan di robots.txt tidak menjamin bot tidak akan meng-crawl halaman tersebut. Hal ini karena robots.txt adalah sistem sukarela. Namun jarang sekali bot mesin pencari utama tidak mematuhi arahan Anda.

Bagaimanapun, ini bukanlah pilihan pertama yang optimal. Dan Google merekomendasikan untuk tidak melakukannya.

Opsi Meta Tag Robot

Inilah yang Google katakan tentang tag meta robot:

Tag meta robots memungkinkan Anda memanfaatkan pendekatan spesifik halaman yang terperinci untuk mengontrol bagaimana setiap halaman harus diindeks dan disajikan kepada pengguna di hasil Google Penelusuran.

Tempatkan tag meta robots di bagian <head> pada laman web mana pun. Kemudian, dorong bot untuk merayapi halaman tersebut melalui pengiriman peta situs XML atau secara alami (yang bisa memakan waktu hingga 90 hari).

Saat bot kembali merayapi laman, mereka akan menemukan tag meta robot dan memahami arahan untuk tidak menampilkan laman di hasil penelusuran.

Ringkasan

Jadi, untuk rekap:

• Menggunakan tag kanonik adalah solusi terbaik dan paling umum untuk masalah halaman “ekstra” yang diindeks di Google — masalah umum untuk situs web e-niaga.
• Jika Anda tidak ingin halaman diindeks sama sekali, pertimbangkan untuk menggunakan tag meta robot untuk mengarahkan bot mesin pencari bagaimana Anda ingin halaman tersebut ditangani.

Masih bingung atau ingin seseorang mengurus masalah ini untuk Anda? Kami dapat membantu Anda dengan halaman tambahan dan menghapusnya dari indeks Google untuk Anda. Jadwalkan konsultasi gratis di sini.

FAQ: Bagaimana cara menghilangkan halaman tambahan dari indeks Google situs web saya?

Masalah halaman tambahan di indeks Google situs web Anda dapat menjadi hambatan yang signifikan. Laman berlebih ini sering kali berasal dari pembuatan konten dinamis, seperti variasi produk di situs e-niaga, sehingga menciptakan indeks berantakan yang memengaruhi kinerja situs Anda.

Memahami akar permasalahan sangatlah penting. Situs web e-niaga, khususnya, menghadapi tantangan ketika berbagai atribut produk memicu pembuatan beberapa URL untuk satu produk. Hal ini dapat menyebabkan banyak halaman diindeks, sehingga memengaruhi SEO situs Anda dan pengalaman pengguna.

Menggunakan tag kanonik adalah solusi paling andal untuk mengatasi hal ini. Tag kanonis memberi sinyal kepada Google tentang versi laman yang diinginkan, menggabungkan kekuatan pengindeksan ke dalam satu URL yang representatif. Google sendiri merekomendasikan metode ini, dengan menekankan efektivitasnya dalam menangani konten yang hampir duplikat.

Meskipun beberapa orang mungkin mempertimbangkan untuk menggunakan robots.txt untuk memblokir laman web, hal ini tidak optimal. Google menafsirkan robots.txt sebagai arahan untuk mengontrol akses perayap, bukan sebagai alat untuk menghapus dari indeks. Sebaliknya, tag meta robot menawarkan pendekatan yang lebih bertarget, memungkinkan kontrol yang tepat atas pengindeksan halaman individual.

Tag kanonik tetap menjadi solusi terbaik. Namun, jika ada preferensi kuat untuk penghapusan total dari indeks, tag meta robot dapat menjadi sekutu strategis. Menyeimbangkan keinginan untuk indeks yang disederhanakan dengan praktik terbaik SEO adalah kunci untuk mengoptimalkan kehadiran online Anda secara efektif.

Menguasai penghapusan halaman tambahan dari indeks Google situs web Anda melibatkan kombinasi strategis dalam memahami masalah, menerapkan praktik terbaik seperti tag kanonik, dan mempertimbangkan alternatif untuk skenario tertentu. Dengan menerapkan strategi ini, webmaster dapat meningkatkan SEO situs mereka, meningkatkan pengalaman pengguna, dan mempertahankan kehadiran online yang bersih dan efisien.

Prosedur Langkah demi Langkah:

1. Identifikasi Halaman Ekstra : Lakukan audit menyeluruh untuk menentukan semua halaman berlebih di indeks Google situs web Anda.
2. Tentukan Akar Penyebab : Pahami mengapa halaman ini dibuat, dengan fokus pada elemen konten dinamis.
3. Prioritaskan Tag Kanonik : Tekankan penggunaan tag kanonik sebagai solusi utama untuk konten yang hampir duplikat.
4. Menerapkan Tag Kanonik : Menerapkan tag kanonik ke semua halaman yang relevan, menentukan versi pilihan untuk konsolidasi.
5. Periksa Rekomendasi Google : Selaraskan strategi dengan pedoman Google, pastikan kompatibilitas dan kepatuhan.
6. Evaluasi Opsi Robots.txt : Pahami keterbatasan dan potensi kelemahannya sebelum mempertimbangkan robots.txt.
7. Terapkan Tag Meta Robot : Gunakan tag meta robot secara strategis untuk mengontrol pengindeksan pada halaman tertentu jika diperlukan.
8. Seimbangkan Dampak SEO : Pertimbangkan dampak setiap solusi terhadap SEO dan pengalaman pengguna untuk pengambilan keputusan yang tepat.
9. Pemantauan Reguler : Tetapkan rutinitas untuk memantau perubahan indeks dan menilai efektivitas strategi yang diterapkan.
10. Pengoptimalan Berulang : Terus menyempurnakan dan mengoptimalkan strategi berdasarkan dinamika situs dan algoritme Google yang terus berkembang.

Lanjutkan menyempurnakan dan menyesuaikan langkah-langkah ini berdasarkan karakteristik unik situs web Anda dan perubahan lanskap SEO.