File Shopify Robots.txt: Cara Menemukan, Mengedit & Menyembunyikan Halaman

Diterbitkan: 2022-06-27

Mesin pencari seperti Google menjelajahi Internet untuk data baru dan merayapi halaman web dengan perayap atau laba-laba untuk menemukan konten baru atau yang diperbarui.

Sebagai pemilik toko Shopify, Anda dapat menggunakan file robots.txt untuk memblokir mesin telusur agar tidak merayapi konten halaman yang dapat mengurangi SEO situs web Anda dengan mencuri PageRank.

Seperti yang juga dinyatakan dalam panduan Google untuk robots.txt, file robots.txt memberi tahu mesin pencari halaman atau file mana yang dapat atau tidak dapat diminta oleh crawler. Namun, ingatlah bahwa ini tidak memastikan bahwa Anda akan menyimpan halaman web dari Google. Kami akan membahas cara menjaga halaman Shopify keluar dari Google nanti di artikel ini.

Dalam posting ini, kami akan menjelaskan di mana file robots.txt Shopify Anda berada, cara menyembunyikan halaman dari mesin pencari, dan apakah Anda dapat mengeditnya. Mari selami.

dua bot menunjuk ke teks robots.txt

Cara Menemukan File Shopify Robots.txt & Mengirim Peta Situs Anda

File robots.txt Shopify Anda terletak di direktori root nama domain utama toko Shopify Anda. Ini akan terlihat seperti nama domain slash robots.txt seperti pada contoh berikut:

examplestore.com/robots.txt

Mengirimkan Peta Situs Anda

konsep peta situs situs web

Jika menurut Anda halaman, file, atau konten tertentu dari toko Shopify Anda diblokir oleh robots.txt dan Anda ingin mengeditnya agar Google dan mesin telusur lainnya dapat mengindeksnya, pikirkan lagi.

Anda TIDAK perlu mengedit file robots.txt untuk memastikan Google mengindeks konten situs web Anda.

Anda dapat mengirimkan peta situs Anda ke Google untuk memberi tahu semua tentang konten, file, dan pembaruan situs web Anda. Peta situs dibuat secara otomatis, dan mereka berada di direktori root domain toko Shopify Anda. Yaitu, katies-apperal.com/sitemap.xml .

File peta situs Shopify berisi tautan ke semua produk, halaman, posting blog, gambar produk, dan koleksi Anda. Mesin pencari menggunakan file ini untuk mengindeks situs Anda sehingga halaman toko Anda muncul di hasil pencarian.

Untuk Paket Dasar Shopify: Hanya domain utama toko Anda yang memiliki file peta situs yang dihasilkan, dan dapat ditemukan oleh mesin telusur.
Untuk Paket Lanjutan Shopify atau Shopify Plus: Jika Anda menggunakan domain internasional, file peta situs dibuat untuk semua domain Anda.

Ingatlah bahwa mungkin perlu beberapa saat bagi mesin telusur untuk merayapi dan mengindeks halaman web Anda. Google tidak menjamin berapa lama prosesnya. Anda dapat menggunakan Google Search Console untuk meminta pengindeksan untuk setiap halaman secara manual atau mengirimkan peta situs toko Anda.

Berikut cara mengirimkan peta situs Shopify Anda ke Search Console:

Langkah 1. Buka akun Search Console Anda. Klik dan pilih Tambah Properti .

Langkah 2. Dari kotak Select Property Type , pilih URL Prefix . Kemudian, masukkan domain Shopify yang ingin Anda tambahkan sebagai properti. (Sertakan bagian https:// .)

Langkah 3. Klik untuk Lanjutkan. Pilih Tag HTML pada jendela Verifikasi Kepemilikan .

Langkah 4. Sorot tag HTML lengkap dan salin ke clipboard Anda.

<meta name="google-site-verification" content="IV7BPLESttSpBdxSWN1s4zlr4HIcuHkGQYmE3wLG59w" />

Langkah 5. Buka Admin Shopify > Toko Online > Tema .

Langkah 6. Temukan tema yang ingin Anda edit dan klik Actions , lalu Edit Code .

Langkah 7. Lihat bagian Layout, cari dan klik theme.liquid .

Langkah 8. Tempelkan tag yang Anda salin pada baris kosong tepat di bawah tag pembuka <head> .

Langkah 9. Simpan dan kembali ke Search Console untuk mengklik Verifikasi .

Perhatikan bahwa proses verifikasi tidak segera terjadi. Jika Anda menerima pesan kesalahan, tunggu 15 menit untuk mengklik Verifikasi lagi.

Cara Mengedit File Shopify Robots.txt

Jika Anda bertanya, “ Dapatkah saya mengedit file Shopify Robots.txt saya? “jawabannya tidak . Anda tidak dapat mengedit file robots.txt jika Anda menggunakan layanan hosting seperti Shopify. Shopify secara otomatis menangani file robots.txt untuk Anda, dan yakinlah mereka melakukannya dengan benar.

Misalnya, Shopify secara otomatis memblokir halaman keranjang belanja Anda agar tidak muncul di mesin pencari. Ini membantu SEO toko Anda karena memungkinkan menemukan halaman produk lebih mudah di hasil pencarian.

Singkatnya, ini untuk memastikan peringkat halaman produk Anda lebih tinggi dari halaman checkout Anda.

Bagaimana Menyembunyikan Halaman Shopify Dari Mesin Pencari?

Meskipun Anda tidak dapat mengedit file robots.txt Shopify, Anda dapat menyembunyikan halaman yang tidak termasuk dalam robots.txt Anda. Ini dimungkinkan dengan menyesuaikan bagian <head> dari file tata letak theme.liquid toko Anda.

1. Buka halaman admin Shopify Anda dan buka Toko Online > Tema .

2. Temukan tema yang ingin Anda edit. Kemudian, klik Tindakan > Edit Kode .

3. Klik theme.liquid.

4. Untuk mengecualikan template pencarian, tempel kode di bawah ini di bagian <head> :

{% if template contains 'search' %}<meta name="robots" content="noindex">{% endif %}

5. Jika Anda ingin mengecualikan halaman tertentu, tempel kode di bawah ini di bagian <head> :

{% if handle contains 'page-handle-you-want-to-exclude' %}<meta name="robots" content="noindex">{% endif %}

Jangan lupa untuk mengganti page-handle-you-want-to-exclude dengan page handle yang benar.

6. Simpan perubahan.

Sumber: Shopify

Untuk Apa File Robots.txt Digunakan?

Tujuan utama file robots.txt adalah untuk mengelola lalu lintas perayap ke situs Anda dan sering kali untuk menjauhkan laman dari Google, bergantung pada jenis laman.

Halaman web: Anda dapat mengatur lalu lintas ke halaman web menggunakan file robots.txt, tetapi Anda tidak dapat menyembunyikan halaman web Anda dari hasil pencarian Google. Itu masih dapat muncul di hasil pencarian.

File media: File robots.txt dapat membantu Anda mengelola lalu lintas dan mencegah file gambar, video, dan audio muncul di hasil penelusuran Google.

File sumber daya: File robots.txt dapat memblokir file sumber daya seperti file skrip, gambar, atau gaya yang tidak penting dan membantu Anda mengelola lalu lintas ke file tersebut.

Bagaimana cara menyimpan halaman Shopify dari Google?

Jika Anda ingin menyimpan halaman web dari Google, Anda harus menggunakan arahan noindex atau kata sandi untuk melindungi halaman Anda.

Ketahui Batasan File Robots.txt

Halaman dengan file robots.txt masih dapat diindeks oleh Google jika ditautkan oleh situs lain.
Perayap yang berbeda mengindeks sintaks secara berbeda, dan beberapa mungkin tidak memahami instruksi tertentu.
Terserah crawler untuk mematuhi instruksi robots.txt Anda atau tidak. Tidak semua mesin pencari mendukung arahan robots.txt.

Catatan: Dalam semua kasus, penting untuk menguji file robots.txt toko Shopify Anda. Anda dapat menggunakan Penguji Robots.txt Google dalam hal itu.

Artikel bermanfaat yang mungkin Anda sukai:

Cara Membuat Tautan Tambahkan ke Keranjang Shopify
Ukuran Gambar Koleksi Shopify: Cara Mengubah Ukuran dan Mengoptimalkan Gambar Anda
Cara Mengunggah File HTML ke Root Shopify Store