[Webinar Digest] SEO ใน Orbit: ไขความลับของการจัดทำดัชนี

เผยแพร่แล้ว: 2019-11-06

การสัมมนาผ่านเว็บเรื่อง Unlocking the secret of indexing เป็นส่วนหนึ่งของ SEO ในซีรี่ส์ Orbit และออกอากาศในวันที่ 12 มิถุนายน 2019 ในตอนนี้ Kevin Indig จะมาแบ่งปันความคิดของเขาเกี่ยวกับการจัดทำดัชนีหน้าเว็บ วิธีที่หน้าเว็บที่จัดทำดัชนีสำหรับไซต์มีอิทธิพลต่อทั่วทั้งไซต์ การจัดอันดับ และหน้าที่ไม่ควรจัดทำดัชนี อะไรคือแนวทางที่ถูกต้องสำหรับขั้นตอนตัวกลางระหว่างการค้นหาเพจและการทำให้เพจปรากฏบน SERPs?

SEO ใน Orbit คือชุดการสัมมนาผ่านเว็บชุดแรกที่ส่ง SEO สู่อวกาศ ตลอดทั้งซีรีส์ เราได้พูดคุยถึงปัจจุบันและอนาคตของเทคนิค SEO กับผู้เชี่ยวชาญ SEO ที่เก่งที่สุดบางคน และส่งเคล็ดลับยอดนิยมของพวกเขาไปยังพื้นที่ในวันที่ 27 มิถุนายน 2019

ดูย้อนหลังได้ที่นี่:

นำเสนอ Kevin Indig

Kevin Indig ช่วยให้สตาร์ทอัพมีผู้ใช้มากกว่า 100 ล้านคนในช่วง 10 ปีที่ผ่านมา เขาเป็น VP SEO & CONTENT @ G2 ที่ปรึกษาด้าน Growth @ GermanAccelerator และเคยดูแล SEO @ Atlassian และ Dailymotion ความเชี่ยวชาญพิเศษของเขาคือการได้ผู้ใช้ใหม่ การสร้างแบรนด์ และการรักษาผู้ใช้ บริษัทที่ Kevin ร่วมงานด้วย ได้แก่ eBay, Eventbrite, Bosch, Samsung, Pinterest, Columbia, UBS และอื่นๆ อีกมากมาย นอกจากนี้ เขายังจัดทำจดหมายข่าวการตลาดทางเทคนิคที่รวบรวมไว้อย่าง Tech Bound

ตอนนี้โฮสต์โดย Rebecca Berbel ผู้จัดการเนื้อหาที่ OnCrawl รู้สึกทึ่งกับ NLP และโมเดลเครื่องจักรของภาษาโดยเฉพาะ และโดยระบบและวิธีการทำงานโดยทั่วไป รีเบคก้าไม่เคยสูญเสียสำหรับหัวข้อ SEO ด้านเทคนิคที่จะตื่นเต้น เธอเชื่อในการเผยแพร่เทคโนโลยีและการใช้ข้อมูลเพื่อทำความเข้าใจประสิทธิภาพของเว็บไซต์ในเครื่องมือค้นหา

คำจำกัดความ

เหตุผลหนึ่งที่สำคัญในการพูดคุยเกี่ยวกับการสร้างดัชนีคือหัวข้อที่ซับซ้อน SEO จำนวนมากมีปัญหากับการจัดทำดัชนีและวิธีสร้างอิทธิพล

– คลาน

การรวบรวมข้อมูลอย่างง่ายๆ คือกระบวนการค้นพบทางเทคนิคของเครื่องมือค้นหาที่เข้าใจหน้าเว็บและส่วนประกอบทั้งหมด

ซึ่งช่วยให้ Google ค้นหา URL ทั้งหมดที่สามารถย้อนกลับและแสดงผล จากนั้นจัดทำดัชนีและจัดอันดับในที่สุด

– กระบวนการ 3 ขั้นตอนของ Google

การรวบรวมข้อมูลเป็นส่วนหนึ่งของกระบวนการ 3 ขั้นตอนของ Google ที่นำไปสู่การสร้างผลการค้นหาได้:

  1. คลาน
  2. กำลังแสดงผล
  3. การจัดทำดัชนี

เหล่านี้เป็นกระบวนการที่แตกต่างกันในทางเทคนิค ซึ่งจัดการโดยโปรแกรมต่างๆ หรือส่วนต่างๆ ของเครื่องมือค้นหา

การจัดอันดับอาจเป็นขั้นตอนที่สี่ในกระบวนการนี้

– การจัดทำดัชนี

การจัดทำดัชนีเป็นกระบวนการของ Google ที่เพิ่ม URL ลงใน "รายการ" ของผลลัพธ์ที่เป็นไปได้ หากเควินต้องหลีกเลี่ยงคำว่า "ดัชนี" ในคำจำกัดความของการจัดทำดัชนี เขาอยากจะพูดถึง "รายการ" เชิงเปรียบเทียบ: Google มี "รายการ" ของ URL ที่สามารถใช้เพื่อจัดอันดับและแสดงเป็นผลลัพธ์ที่ดีที่สุดสำหรับผู้ใช้ .

– ไฟล์บันทึก

เว็บเซิร์ฟเวอร์จะเก็บประวัติทุกครั้งที่มีคนหรืออะไรก็ตามที่ขอหน้าหรือทรัพยากรบนเซิร์ฟเวอร์

Kevin หลงใหลเกี่ยวกับไฟล์บันทึกเป็นแหล่งที่มาของความจริงเมื่อต้องทำความเข้าใจว่า Google รวบรวมข้อมูลและแสดงผลเว็บไซต์ของคุณอย่างไร

ในบันทึก เราสามารถค้นหาข้อมูลเซิร์ฟเวอร์ว่า Google เข้าชมไซต์ของคุณบ่อยเพียงใดและทำอะไรที่นั่น ในแง่ที่เข้าใจง่ายและชัดเจน ไฟล์บันทึกประกอบด้วยบันทึกแต่ละรายการของการเข้าชมไซต์แต่ละครั้ง

คุณสามารถรับข้อมูลมากมายจากไฟล์บันทึก:

  • ข้อผิดพลาดรหัสสถานะเฉพาะ
  • ปัญหาเกี่ยวกับการรวบรวมข้อมูล
  • ปัญหาเกี่ยวกับการแสดงผล
  • Googlebot ใช้เวลากับไซต์ของคุณนานเท่าใด
  • Googlebots ใดที่มายังไซต์ของคุณ ตัวอย่างเช่น ด้วยดัชนี Mobile First Googlebot หลักที่ใช้สำหรับการจัดทำดัชนีเพิ่งได้รับการอัปเดต
  • โครงสร้างไซต์ทางเทคนิคของคุณเป็นสิ่งที่ Google ปฏิบัติตาม หรือหากคุณมีสิ่งที่สามารถเพิ่มประสิทธิภาพได้

วิธีตรวจสอบการจัดทำดัชนี

– ไม่แนะนำ: “ไซต์:” แบบสอบถาม

เมื่อ Kevin เริ่มทำ SEO เมื่อประมาณ 10 ปีที่แล้ว เขาจะเห็นว่าหน้าใดในไซต์ของเขาได้รับการจัดทำดัชนีโดยเรียกใช้การค้นหา "site:" บน Google แม้ว่าเขาจะยังใช้วิธีนี้อยู่บ้าง แต่ก็ไม่ใช่วิธีที่เชื่อถือได้อีกต่อไปในการค้นหาว่ามีการจัดทำดัชนี URL หรือไม่

ไม่นานมานี้ เขาถาม John Mueller เกี่ยวกับกลยุทธ์นี้ เขายืนยันว่าวิธีนี้ไม่แนะนำให้ใช้ในการตรวจสอบสิ่งที่ Google มีหรือไม่ได้จัดทำดัชนีอีกต่อไป

– แนะนำ: การตรวจสอบ URL ของ Search Console

John Mueller แนะนำให้ใช้เครื่องมือตรวจสอบ URL ใน Search Console เพื่อตรวจสอบสิ่งที่ได้รับการจัดทำดัชนี

– แนะนำ: แผนผังเว็บไซต์ XML และรายงานความครอบคลุม

การส่งแผนผังเว็บไซต์ XML ใน Search Console เป็นวิธีหนึ่งในการตรวจสอบ URL เป็นกลุ่ม แล้วตรวจสอบแผนผังเว็บไซต์ในรายงานความครอบคลุมในคอนโซลการค้นหา

ความสำคัญในการแยกแยะระหว่าง crawl-render-index

ดังที่ได้กล่าวมาแล้ว มีกระบวนการ 3 ขั้นตอนที่ Google รวบรวมข้อมูล แสดงผล และจัดทำดัชนีหน้า สิ่งสำคัญคือต้องแยกความแตกต่างระหว่างแต่ละขั้นตอนเหล่านี้ เนื่องจากเว็บมีความซับซ้อนมากขึ้น Google จึงต้องปรับตัว แยกส่วน และปรับปรุงกระบวนการเหล่านี้เป็นรายบุคคล

Googlebots ต่างๆ

Googlebot หลายตัวถูกใช้โดย Google เพื่อรวบรวมข้อมูลและแสดงผลเว็บไซต์ คุณมีแหล่งข้อมูลประเภทต่างๆ เช่น รูปภาพ วิดีโอ ข่าวสาร ข้อความ... Google ใช้ Googlebot ต่างกันเพื่อทำความเข้าใจเนื้อหาแต่ละประเภท

Google ประกาศเมื่อประมาณหนึ่งเดือนที่แล้วว่าพวกเขาได้อัปเกรดเอ็นจิ้นการเรนเดอร์ให้ทำงานบน Googlebot ที่ไม่เคยหยุดนิ่งและเอ็นจิ้น Chromium รุ่นล่าสุด

นี่เป็นสิ่งสำคัญ เนื่องจากการรวบรวมข้อมูลและการแสดงผลเป็นขั้นตอนที่จำเป็นซึ่งนำไปสู่การสร้างดัชนี

การเปลี่ยนลำดับความสำคัญในกระบวนการของ Google

เพื่อวัตถุประสงค์ในการจัดทำดัชนี Google ใช้เพื่อรวบรวมข้อมูลด้วย Googlebot บนเดสก์ท็อป ที่มีการเปลี่ยนแปลง; ตอนนี้พวกเขาใช้สมาร์ทโฟน Googlebot เพื่อการจัดทำดัชนี

การจัดทำดัชนีเพื่ออุปกรณ์เคลื่อนที่เป็นอันดับแรกจะเริ่มในเดือนกรกฎาคม 2019 สำหรับไซต์ใหม่ทั้งหมด และกำลังจะเกิดขึ้นสำหรับไซต์ที่รู้จักทั้งหมดที่มีอยู่ หากยังไม่ได้เปลี่ยน

รวบรวมข้อมูล: วิธีที่ Google ค้นหา URL เพื่อจัดทำดัชนี

ในการจัดทำดัชนีหน้า Google จะต้องรวบรวมข้อมูลหน้านั้น

ในขั้นแรกในกระบวนการที่นำไปสู่การจัดทำดัชนี เพื่อให้แน่ใจว่าหน้าเว็บของคุณได้รับการจัดทำดัชนีอย่างถูกต้องและรวดเร็ว คุณต้องตรวจสอบให้แน่ใจว่าการรวบรวมข้อมูลของคุณ "ปลอดภัย"

โดยทั่วไปมีสามวิธีที่ Google ค้นหา URL:

  1. ลิงก์: นี่คือสิ่งที่สิทธิบัตร PageRank ทั้งหมดอิงจากการค้นหาไซต์ใหม่ผ่านไฮเปอร์ลิงก์
  2. แผนผังเว็บไซต์ XML
  3. การรวบรวมข้อมูลที่ผ่านมา

– Google จัดลำดับความสำคัญของ URL อย่างไร (งบประมาณการรวบรวมข้อมูล)

Google จัดลำดับความสำคัญของไซต์ที่จะรวบรวมข้อมูลและความถี่ ซึ่งมักเรียกว่า "งบประมาณการรวบรวมข้อมูล"

มีบทความในบล็อก Google Webmaster เกี่ยวกับงบประมาณการรวบรวมข้อมูลซึ่งให้แนวคิดบางประการเกี่ยวกับวิธีที่ Google จัดลำดับความสำคัญของไซต์ที่จะรวบรวมข้อมูล

– ความนิยม: ลิงก์ย้อนกลับและเพจแรงก์

ประเด็นหนึ่งที่บทความนี้กำหนดขึ้นคือ PageRank เป็นตัวขับเคลื่อนหลักที่อยู่เบื้องหลังความเร็วและปริมาณการจัดทำดัชนีสำหรับเว็บไซต์

แน่นอนว่าลิงก์ย้อนกลับเป็นองค์ประกอบหลักของ PageRank และดังนั้นจึงมีอิทธิพลต่ออัตราการรวบรวมข้อมูลและการจัดทำดัชนี

– รหัสสถานะ

รหัสสถานะจะถูกนำมาพิจารณาด้วย ตัวอย่างเช่น หากคุณมีหน้าเว็บ 404 หน้าในไซต์ของคุณเป็นจำนวนมาก อาจทำให้ Google ลดความถี่ในการรวบรวมข้อมูล

อีกตัวอย่างหนึ่งคือการเปลี่ยนเส้นทางลูกโซ่และลูป

– สุขอนามัยของไซต์

หากเว็บไซต์ของคุณได้รับการจัดระเบียบในลักษณะที่สิ้นเปลืองงบประมาณการรวบรวมข้อมูลอย่างมาก Google อาจลดเวลาที่ใช้ในเว็บไซต์ของคุณ

– ความเร็วเพจและเวลาตอบสนองของเซิร์ฟเวอร์

งบประมาณการรวบรวมข้อมูลยังได้รับผลกระทบจากความเร็วหน้าเว็บและเวลาตอบสนองของเซิร์ฟเวอร์ Google ไม่ต้องการ DDoS เว็บไซต์ของคุณ หากพบว่าเซิร์ฟเวอร์ของคุณมีปัญหาในการจัดหาหน้าและทรัพยากรตามอัตราที่ร้องขอ เซิร์ฟเวอร์จะปรับให้เข้ากับสิ่งที่เซิร์ฟเวอร์ของคุณสามารถจัดการได้ในแง่ของการรวบรวมข้อมูล

การแสดงผล: อัปเดตคาเฟอีน

การอัปเดตคาเฟอีนที่ออกมาเมื่อไม่กี่ปีที่ผ่านมานั้นเป็นการอัปเดตโครงสร้างการแสดงผลของ Google

การจัดทำดัชนี: คลัสเตอร์ต่างๆ สำหรับประเภทเนื้อหา

มีคลังข้อมูลดัชนีต่างๆ ที่ Google ใช้เพื่อส่งคืนผลลัพธ์ที่แตกต่างกัน มีเหตุผลที่จะจินตนาการว่ามีคลัสเตอร์ต่างๆ ในดัชนีสำหรับผลการค้นหาข่าว และอีกกลุ่มสำหรับผลการค้นหารูปภาพ ฯลฯ

อันดับ: แยกอัลกอริทึม

สุดท้าย URL ที่จัดทำดัชนีจะได้รับการจัดอันดับ แต่นี่เป็นอัลกอริธึมที่แตกต่างอย่างสิ้นเชิง

ปรับปรุงความเร็วการจัดทำดัชนี

ทั้งการจัดทำดัชนีหน้าเร็วขึ้นและการจัดทำดัชนีหน้ามากขึ้นนั้นได้รับอิทธิพลอย่างมากจาก PageRank และด้วยเหตุนี้จากลิงก์ย้อนกลับ แต่กลยุทธ์ในการปรับปรุงแต่ละรายการนั้นแตกต่างกัน

หากคุณต้องการให้หน้าได้รับการจัดทำดัชนีเร็วขึ้น คุณต้องการเพิ่มประสิทธิภาพสองขั้นตอนแรก (การรวบรวมข้อมูลและการแสดงผล) ซึ่งจะรวมถึงองค์ประกอบเช่น:

  • การเชื่อมโยงภายใน
  • แผนผังเว็บไซต์
  • ความเร็วเซิร์ฟเวอร์
  • ความเร็วหน้า

ปรับปรุงจำนวนหน้าที่จัดทำดัชนี

หากคุณต้องการจัดทำดัชนีหน้าเว็บมากขึ้น นั่นคือสิ่งที่สำคัญในการรวบรวมข้อมูล คุณจะต้องทำให้ Google ค้นหาหน้าทั้งหมดของคุณได้ง่ายขึ้น สิ่งนี้ทำได้ง่ายบนเว็บไซต์ขนาดเล็กที่มี URL นับพัน แต่ยากกว่ามากในไซต์ขนาดใหญ่ที่มี URL นับล้าน

ตัวอย่างเช่น G2 มีหน้าประเภทต่างๆ มากมาย ทีม SEO ของ Kevin ต้องการให้แน่ใจว่า Google สามารถค้นหาหน้าเว็บทั้งหมดได้ ไม่ว่าจะมีความลึกในการรวบรวมข้อมูลหรือไม่ก็ตาม และไม่ว่าจะมีหน้าประเภทนั้นกี่หน้าก็ตาม นี่เป็นความท้าทายสำคัญที่ต้องเข้าหาจากมุมที่ต่างกัน

รูปแบบอัตราการรวบรวมข้อมูลตามโปรไฟล์ของเพจ

ตามประเภทของหน้าเว็บ Kevin มักพบอัตราการรวบรวมข้อมูลที่แตกต่างกันโดย Google ซึ่งมักจะขึ้นอยู่กับโปรไฟล์ลิงก์ย้อนกลับของ URL และการเชื่อมโยงภายใน นี่คือที่ที่เขาพบว่ามีการใช้ไฟล์บันทึกมากที่สุด

เขาแบ่งไซต์ตามประเภทหน้าเว็บเพื่อให้เข้าใจว่าไซต์ขาดประสิทธิภาพในการรวบรวมข้อมูลหรือที่ใดที่ประสิทธิภาพในการรวบรวมข้อมูลสูงเกินไป

ความสัมพันธ์ระหว่างอัตราการรวบรวมข้อมูล ความเร็วในการจัดทำดัชนี และอันดับ

Kevin ได้สังเกตความสัมพันธ์ที่ชัดเจนระหว่างอัตราการรวบรวมข้อมูล ความเร็วในการจัดทำดัชนี และอันดับสำหรับหน้าเว็บแต่ละประเภท สิ่งนี้เป็นจริงไม่เพียงแต่ในไซต์ต่างๆ ที่เขาเคยทำงานด้วย แต่ยังติดต่อกับ SEO อื่นๆ ในอุตสาหกรรมด้วย

หากไม่มีการระบุสาเหตุระหว่างการรวบรวมข้อมูล การจัดทำดัชนี และการจัดอันดับ องค์ประกอบที่คล้ายคลึงกันที่ขับเคลื่อนการจัดทำดัชนีก็ดูเหมือนจะถูกนำมาพิจารณาในการจัดอันดับหน้าเว็บด้วย ตัวอย่างเช่น หากคุณมีลิงก์ย้อนกลับจำนวนมากไปยังเทมเพลตของหน้าเว็บบางประเภทสำหรับหน้าเว็บประเภทใดประเภทหนึ่ง (เช่น หน้า Landing Page) สิ่งที่คุณจะพบในไฟล์บันทึกของคุณคือหาก Google มีอัตราการรวบรวมข้อมูลสูงกว่าในหน้าเหล่านี้ ไซต์ Google ยังจัดทำดัชนีหน้าเหล่านี้ได้เร็วกว่าและมักจะจัดอันดับหน้าเหล่านี้ให้สูงกว่าหน้าอื่นๆ

เป็นการยากที่จะสร้างข้อความสากลที่ถูกต้องสำหรับทุกไซต์ แต่ Kevin สนับสนุนให้ทุกคนตรวจสอบไฟล์บันทึกของตนเพื่อดูว่าสิ่งนี้เป็นจริงในไซต์ของตนเองหรือไม่ OnCrawl ยังพบว่ากรณีนี้เกิดขึ้นกับไซต์ต่างๆ ที่พวกเขาวิเคราะห์

นี่เป็นส่วนหนึ่งของสิ่งที่เขาพยายามจะร่างโครงร่างด้วยโมเดล TIPR ของการเชื่อมโยงภายในที่เขาคิดขึ้น

การวัดอัตราการรวบรวมข้อมูล

ในการวัดอัตราการรวบรวมข้อมูล คุณต้องการตอบคำถาม: Googlebot ที่กำหนดมาที่ URL หนึ่งๆ บ่อยเพียงใด

วิธีที่คุณ "ฝานและลูกเต๋า" นี่เป็นอีกคำถามหนึ่ง Kevin ชอบดูจำนวน Hit ของ Googlebot ทุกสัปดาห์ คุณยังสามารถดูเป็นรายวันหรือรายเดือน

– เน้นก่อน/หลัง

สิ่งที่สำคัญกว่าช่วงเวลาที่คุณใช้คือการดูการเปลี่ยนแปลงของอัตราการรวบรวมข้อมูล คุณควรดูอัตราก่อนทำการเปลี่ยนแปลงและหลังจากดำเนินการแล้ว

– เน้นความแตกต่างระหว่างประเภทเพจ

สิ่งสำคัญอีกประการในการวัดอัตราการรวบรวมข้อมูลคือการดูที่ช่องว่างในไซต์ของคุณ ในระดับประเภทหน้า อัตราการรวบรวมข้อมูลต่างกันที่ใด หน้าประเภทใดที่รวบรวมข้อมูลได้ตัน? หน้าเว็บประเภทใดที่แทบจะไม่มีการรวบรวมข้อมูล?

– การสังเกตทั่วไปในพฤติกรรมการรวบรวมข้อมูล

ข้อสังเกตที่น่าสนใจบางประการที่เควินได้ทำไว้ในอดีต ได้แก่:

  • URL ที่รวบรวมข้อมูลมากที่สุด: robots.txt
  • เวลาส่วนใหญ่ที่ใช้ใน URL/กลุ่มของ URL: แผนผังเว็บไซต์ XML โดยเฉพาะอย่างยิ่งเมื่อมีขนาดใหญ่ขึ้นเล็กน้อย

การขุดค้นไฟล์บันทึกเพื่อค้นหาความแตกต่างของพฤติกรรมการรวบรวมข้อมูลระหว่างประเภทหน้าเว็บนั้นเป็นสิ่งที่น่ามองมาก ค้นหาว่า URL ใดที่รวบรวมข้อมูลในแต่ละวัน เทียบกับ URL ใดที่รวบรวมข้อมูลเป็นรายเดือน ข้อมูลนี้สามารถบอกคุณได้มากมายเกี่ยวกับประสิทธิภาพของโครงสร้างเว็บไซต์ของคุณสำหรับการรวบรวมข้อมูล (และการจัดทำดัชนี แม้ว่าจะมีขั้นตอนในระหว่างนั้นก็ตาม)

การกระจายงบประมาณการรวบรวมข้อมูลตามรูปแบบธุรกิจ

เพื่อปรับปรุงประสิทธิภาพการรวบรวมข้อมูล กลยุทธ์มักจะลดความสนใจที่ Google มอบให้กับหน้าบางประเภทและเปลี่ยนเส้นทางไปยังหน้าที่มีความสำคัญมากกว่าเว็บไซต์

วิธีที่คุณต้องการจัดการกับสิ่งนี้จะขึ้นอยู่กับวิธีจัดการกับคอนเวอร์ชั่นบนเว็บไซต์ Kevin แยกแยะรูปแบบไซต์พื้นฐานสองแบบ: โมเดลธุรกิจแบบรวมศูนย์และแบบกระจายอำนาจ:

  • โมเดลแบบกระจายอำนาจ สามารถแปลงผู้ใช้ในหน้าใดก็ได้ ตัวอย่างที่ดีคือ Trello: คุณสามารถลงทะเบียนในหน้าใดก็ได้ หน้าทุกประเภทมีความคล้ายคลึงกัน เนื่องจากไม่มีหน้าใดมีค่ามากกว่าหน้าอื่นสำหรับการลงชื่อสมัครใช้ วัตถุประสงค์อาจเป็นเพื่อให้มีอัตราการรวบรวมข้อมูลที่เท่ากันทั่วทั้งไซต์: คุณต้องการให้หน้าเว็บทุกประเภทได้รับการรวบรวมข้อมูลในอัตราที่ใกล้เคียงกันโดยประมาณ
  • โมเดลแบบรวมศูนย์ อาจคล้ายกับจิรา จิราไม่มีหน้าประเภทเดียวที่เราสามารถทำซ้ำได้นับล้านครั้ง: มีหน้า Landing Page เพียงไม่กี่หน้าเท่านั้นที่ผู้คนสามารถลงทะเบียนได้ คุณต้องการให้แน่ใจว่างบประมาณการรวบรวมข้อมูลของคุณบนไซต์เช่นนี้เน้นที่จุดแปลงของคุณ (หน้า Landing Page)

วิธีที่คุณต้องการกระจายงบประมาณการรวบรวมข้อมูลของคุณกลับมาที่คำถามว่าไซต์ของคุณทำเงินได้อย่างไร และหน้าเว็บประเภทใดที่มีบทบาทสำคัญในเรื่องนั้น

การจัดการขยะจากการรวบรวมข้อมูล

เพื่อป้องกันไม่ให้ Googlebots ใช้งบประมาณการรวบรวมข้อมูลในหน้าที่ไม่มีความสำคัญต่อการแปลง มีหลายวิธี

วิธีที่ดีที่สุดในการข้ามการรวบรวมข้อมูลคือ robots.txt:

  • ใน 99.99999% ของกรณี Google เคารพคำสั่งของ robots.txt
  • Robots.txt สามารถช่วยบล็อกการรวบรวมข้อมูลในส่วนใหญ่ของไซต์ของคุณด้วยเนื้อหาที่บางหรือซ้ำกัน (ตัวอย่างคลาสสิก: โปรไฟล์ผู้ใช้ในฟอรัม; URL พารามิเตอร์…)

มีบางกรณีที่คุณอาจต้องการไม่ให้หน้าได้รับการจัดทำดัชนี แต่ยังช่วยในการรวบรวมข้อมูล เควินจะพิจารณาบางเพจฮับให้จัดอยู่ในหมวดหมู่นี้ นี่คือที่ที่เขาจะใช้ meta noindex

เขาตระหนักดีว่าจอห์น มูลเลอร์กล่าวว่าเมตาแท็ก noindex จะถือว่าเป็น nofollow ในที่สุด แต่เควินยังไม่เคยพบเห็นสิ่งนี้เกิดขึ้นบนพื้นดิน เขายอมรับว่าอาจเป็นเพราะต้องใช้เวลานานกว่าจะเกิดขึ้น (มากกว่าหนึ่งปีหรือนานกว่านั้น) แต่เขามักจะพบว่า Googlebots "โลภ" และค้นหาและติดตามลิงก์ต่างๆ ให้มากที่สุด

คำแนะนำของ Kevin คือการใช้ robots.txt และใช้งานอย่างเต็มที่ คุณสามารถใช้สัญลักษณ์แทนและเทคนิคที่ซับซ้อนบางอย่างเพื่อป้องกันบางสิ่งจากการถูกรวบรวมข้อมูล

หลักการง่ายๆ ที่ควรปฏิบัติตามคือ ยิ่งเนื้อหาบางลงเท่าใด ก็ยิ่งมีโอกาสเป็นผู้สมัครที่จะแยกออกจากการรวบรวมข้อมูลได้มากเท่านั้น

หน้าที่แยกออกจากการรวบรวมข้อมูลผ่าน robots.txt นั้น Google ยังสามารถจัดทำดัชนีได้หากมีลิงก์ภายในหรือลิงก์ย้อนกลับที่ชี้ไปที่หน้าเหล่านั้น หากเป็นเช่นนี้ ข้อความคำอธิบายในผลการค้นหาจะแสดงว่า Google ไม่สามารถรวบรวมข้อมูลหน้าเว็บได้เนื่องจากมีข้อจำกัดใน robots.txt อย่างไรก็ตาม โดยทั่วไปแล้ว หน้าเหล่านี้จะไม่อยู่ในอันดับสูง เว้นแต่จะถูกยกเว้นใน robots.txt เมื่อเร็วๆ นี้

ปัญหาการจัดทำดัชนีเนื่องจากหน้าที่คล้ายกัน

– ข้อผิดพลาดที่เป็นที่ยอมรับ

การประกาศตามรูปแบบบัญญัติโดยทางโปรแกรมนั้นผิดพลาดได้ง่ายมาก Kevin เคยเห็นกรณีนี้มาแล้วสองสามครั้งที่ Canonical มีเครื่องหมายอัฒภาค (;) แทนที่จะเป็นเครื่องหมายทวิภาค (:) และคุณประสบปัญหามากมาย

Canonical นั้นละเอียดอ่อนมากในบางกรณี และอาจทำให้ Google ไม่ไว้วางใจ Canonical ทั้งหมดของคุณ ซึ่งอาจเป็นปัญหาใหญ่ได้

ปัญหาที่พบบ่อยที่สุดประการหนึ่งของ Canonical คือปัญหาที่ลืมไป

– การย้ายถิ่นฐาน

การโยกย้ายไซต์มักเป็นสาเหตุของปัญหากับบัญญัติ Kevin พบปัญหาที่ไซต์เพิ่งลืมเพิ่มโดเมนใหม่ให้กับ Canonical

สิ่งนี้ง่ายมากที่จะลืม โดยเฉพาะอย่างยิ่งเมื่อ CSM ของคุณต้องการการปรับด้วยตนเอง (แทนที่จะเป็นทางโปรแกรม) เพื่อทำการเปลี่ยนแปลงในระหว่างการโยกย้าย

การตั้งค่าเริ่มต้นคือ Canonical ของหน้าควรชี้ไปที่ตัวเอง เว้นแต่มีเหตุผลเฉพาะที่จะชี้ไปยัง URL อื่น

– HTTP เป็น HTTPS

นี่เป็นข้อผิดพลาดทั่วไปอีกประการหนึ่งที่ป้องกันไม่ให้สร้างดัชนี URL ที่ถูกต้อง บางครั้งมีการใช้โปรโตคอลที่ไม่ถูกต้องในมาตรฐานบัญญัติ

– ค้นหาแหล่งที่มาของข้อผิดพลาดเมื่อ Google ละเว้นบัญญัติที่ประกาศ

บางครั้ง Google จะเลือกตามรูปแบบบัญญัติของตนเอง เมื่อพวกเขาไม่ไว้วางใจ Canonical ที่คุณประกาศ มักมีสาเหตุที่แท้จริง

Kevin แนะนำให้หลีกเลี่ยงสถานการณ์ที่คุณอาจส่งสัญญาณที่ขัดแย้งกันสองประการไปยัง Google:

  • ดูแผนผังเว็บไซต์ XML ของคุณ
  • รวบรวมข้อมูลไซต์ของคุณเองและค้นหา Canonicals ที่ผิดพลาด
  • ดูการตั้งค่าพารามิเตอร์ใน Search Console เพื่อค้นหาการตั้งค่าที่ขัดแย้งกัน
  • อย่าใช้ noindex และ canonicals พร้อมกัน

ประเภทของหน้าที่มีส่วนทำให้ดัชนีขยายตัว

ใน SEO เมื่อ 10 ปีที่แล้ว คุณต้องการส่งหน้าเว็บให้มากที่สุดเท่าที่เป็นไปได้เพื่อสร้างดัชนี: ยิ่งมีการจัดทำดัชนีหน้าเว็บมากเท่าไหร่ก็ยิ่งดีเท่านั้น

วันนี้ไม่เป็นเช่นนั้นอีกต่อไป คุณต้องการเฉพาะของที่มีคุณภาพสูงสุดในร้านของคุณเท่านั้น คุณไม่ต้องการเนื้อหาที่ตราไว้หุ้นย่อยในดัชนี

โดยปกติแล้ว “ดัชนีขยาย” มักใช้เพื่ออธิบายประเภทหน้าเว็บที่ไม่มีค่าใดๆ ซึ่งมักจะย้อนกลับมาที่เนื้อหาบางประเภท โดยเฉพาะอย่างยิ่งกรณีที่คุณทวีคูณหรือขยายจำนวนหน้าที่มีอยู่โดยไม่ได้ระบุคุณค่าจำนวนมากบนหน้าใหม่แต่ละหน้า

กรณีคลาสสิกที่คุณอาจต้องการดูว่ามีการจัดทำดัชนีหน้าเว็บประเภทใดประเภทหนึ่ง และให้มูลค่าเพิ่มเติมหรือไม่ ได้แก่:

  • พารามิเตอร์
  • การแบ่งหน้า
  • ฟอรั่ม
  • หน้าที่เกี่ยวข้องกับไดเรกทอรีหรือหน้าประตู
  • เพจท้องถิ่น (เมือง) ที่ครอบคลุมซึ่งไม่แยกความแตกต่างระหว่างบริการหรือเนื้อหา
  • การนำทางแบบเหลี่ยมเพชรพลอย

การจัดทำดัชนีส่งผลต่อไซต์โดยรวมอย่างไร

คุณไม่ต้องการให้มีการจัดทำดัชนีหน้าย่อยในวันนี้ เนื่องจากหน้าเหล่านี้ส่งผลต่อการที่ Google ดูและให้คะแนนไซต์ของคุณโดยรวม

สิ่งเหล่านี้ส่วนใหญ่กลับมาที่การรวบรวมข้อมูลงบประมาณ ในขณะที่ Gary Illyes และ John Mueller มักกล่าวว่าไซต์ส่วนใหญ่ไม่จำเป็นต้องกังวลเกี่ยวกับงบประมาณในการรวบรวมข้อมูล ผู้ชมสำหรับประเภทของการสนทนาที่เรามีในวันนี้คือไซต์ขนาดใหญ่ที่สร้างความแตกต่างอย่างมาก

คุณต้องการให้แน่ใจว่า Google พบเฉพาะเนื้อหาคุณภาพสูง

เช่นเดียวกับความสัมพันธ์ที่ Kevin สังเกตระหว่างอัตราการรวบรวมข้อมูล การจัดทำดัชนี และการจัดอันดับ เขายังตั้งข้อสังเกตว่าการให้ความสนใจกับคุณภาพของหน้าที่จัดทำดัชนีนั้นดูเหมือนว่าจะให้ผลตอบแทนสำหรับทั้งเว็บไซต์ แม้ว่าจะเป็นเรื่องยากที่จะสร้างข้อความสากล แต่ดูเหมือนว่า Google มีตัวชี้วัดคุณภาพของไซต์บางประเภทที่ขึ้นอยู่กับหน้าที่จัดทำดัชนีสำหรับไซต์นั้น กล่าวอีกนัยหนึ่ง หากคุณมีเนื้อหาคุณภาพต่ำจำนวนมากที่ได้รับการจัดทำดัชนี ดูเหมือนว่าจะส่งผลเสียต่อไซต์ของคุณ

นี่คือจุดที่การขยายตัวของดัชนีเป็นอันตราย: เป็นวิธีการลดหรือลด "คะแนน" คุณภาพไซต์โดยรวมของคุณและทำให้งบประมาณการรวบรวมข้อมูลของคุณสิ้นเปลือง

แผนผังเว็บไซต์ XML สำหรับการจัดทำดัชนีอย่างรวดเร็ว

ความคิดเห็นของ Kevin คือในขณะที่ Google ฉลาดขึ้น จำนวน "การแฮ็ก" ก็ลดลงเรื่อยๆ เมื่อเวลาผ่านไป

อย่างไรก็ตาม ในเรื่องของการจัดทำดัชนี เขาพบว่าวิธีหนึ่งในการจัดทำดัชนีอย่างรวดเร็วคือการใช้แผนผังเว็บไซต์ XML

เมื่อเร็วๆ นี้ G2 ได้ย้ายไปยังโดเมนใหม่ พวกเขามีหน้าประเภทหนึ่งที่ใช้เวลานานในการรวบรวมข้อมูล ดังนั้นในดัชนีของ Google คุณยังคงเห็นโดเมนเก่าในตัวอย่างสำหรับหน้าประเภทนี้ เมื่อเควินเห็นว่าการเปลี่ยนเส้นทาง 301 ไม่ได้นำมาพิจารณาเพราะยังไม่ได้รวบรวมข้อมูล เขาจึงใส่หน้าประเภทนี้ทั้งหมดลงในแผนผังเว็บไซต์ XML และให้แผนผังเว็บไซต์แก่ Google ใน Search Console

สามารถใช้กลยุทธ์นี้ได้หากมีการเปลี่ยนแปลงทางเทคนิคครั้งใหญ่ในไซต์ซึ่ง Kevin ต้องการให้ Google เข้าใจโดยเร็วที่สุด

ความโดดเด่นที่เพิ่มขึ้นของเทคนิค SEO

SEO ด้านเทคนิคได้รับความนิยมอย่างมากในช่วงสามปีที่ผ่านมา หลายครั้งที่คำถามทางเทคนิค SEO เน้นย้ำถึงประเด็นที่ประเมินต่ำเกินไป

บ่อยครั้งที่คุณได้ยินว่าเนื้อหาและลิงก์ย้อนกลับเป็นสิ่งเดียวที่คุณต้องดูแล ในขณะที่เควินเชื่อว่าสิ่งเหล่านี้เป็นสาขา SEO ที่มีผลกระทบอย่างมาก แต่เขาคิดว่าสิ่งเหล่านี้สามารถมีผลกระทบมากขึ้นหากคุณได้รับสิทธิ์ SEO ด้านเทคนิคของคุณ

[Ebook] ความสามารถในการรวบรวมข้อมูล

ตรวจสอบให้แน่ใจว่าเว็บไซต์ของคุณตรงตามข้อกำหนดของเครื่องมือค้นหาสำหรับความสามารถในการรวบรวมข้อมูลเพื่อเพิ่มประสิทธิภาพ SEO
อ่านอีบุ๊ก

ถาม-ตอบ

– Bing และการสร้างดัชนี 10,000 URLs/วัน

Bing ให้เว็บมาสเตอร์สามารถส่ง URL ได้มากถึง 10,000 URL ต่อวันโดยตรงผ่านเครื่องมือของผู้ดูแลเว็บเพื่อการจัดทำดัชนีที่รวดเร็วยิ่งขึ้น

เควินเชื่อว่านี่คือทิศทางที่ Google อาจมุ่งไปเช่นกัน แม้แต่ Google ในฐานะบริษัทที่มีมูลค่ามากที่สุดแห่งหนึ่งของโลก ยังต้องปกป้องทรัพยากรของตน นี่เป็นสาเหตุหนึ่งที่หากคุณเสียทรัพยากรในการรวบรวมข้อมูล พวกเขาจะปรับเปลี่ยนตามนั้น

ฟีเจอร์ประเภทนี้จะคุ้มค่าสำหรับผู้ดูแลเว็บหรือไม่นั้นก็ขึ้นอยู่กับขนาดของไซต์ของคุณด้วย จำนวนไซต์ที่จะได้รับประโยชน์จากการสามารถส่ง URL จำนวนมากต่อวันนั้นมีจำกัด อาจเป็นพันหรือหมื่น เควินสันนิษฐานว่าสำหรับไซต์เหล่านี้ Google ได้ทุ่มเททรัพยากรที่สำคัญไปแล้ว ดูเหมือนว่าสำหรับไซต์ที่ใหญ่ที่สุดบนเว็บ Google จะทำดัชนีได้ดี ยกเว้นตามปกติ

เป็นไปได้ง่ายกว่ามากสำหรับ Bing ที่จะใช้บางสิ่งในระดับนี้: ประการหนึ่ง ส่วนแบ่งการตลาดของพวกเขามีขนาดเล็กกว่ามาก ดังนั้นความต้องการสำหรับคุณลักษณะนี้จึงน้อยลง ขนาดดัชนีของพวกมันก็มีแนวโน้มที่จะเล็กกว่ามากเช่นกัน ดังนั้นพวกเขาจึงน่าจะได้รับประโยชน์มากกว่า

– เมื่อ Google ละเว้น robots.txt

Google แทบจะไม่ละเลย robots.txt เท่านั้น

บางครั้งสิ่งที่ทำให้เราคิดว่า Google เพิกเฉยต่อ robots.txt ก็คือ ดังที่เราได้กล่าวไปแล้วก่อนหน้านี้ บางครั้ง Google สามารถจัดทำดัชนีหน้าเว็บที่ถูกบล็อกโดย robots.txt ซึ่งยังคงพบได้ด้วยวิธีอื่นๆ หลายวิธี

คุณยังอาจขอให้ Google เพิกเฉยคำสั่งใน robots.txt ได้ หากไวยากรณ์ในไฟล์ robots.txt ไม่ถูกต้อง:

  • ตัวอักษรผิด
  • การใช้แท็กที่ใช้ไม่ได้หรือไม่ควรทำงาน เช่น noindex directives

[หมายเหตุ: Kevin อ้างอิงกรณีศึกษาที่พบว่า Google ปฏิบัติตามคำสั่ง noindex ที่นำเสนอในไฟล์ robots.txt อย่างไรก็ตาม หลังจากการสัมมนาผ่านเว็บนี้ไม่นาน Google ได้ประกาศยุติการสนับสนุนโดยปริยายสำหรับคำสั่งนี้ในไฟล์ robots.txt ซึ่งมีผลตั้งแต่วันที่ 1 กันยายน 2019]

อย่างไรก็ตาม Google เป็นหนึ่งในบริษัทที่ถือบอทของตนให้มีมาตรฐานระดับสูงและไม่เพิกเฉยต่อ robots.txt

เคล็ดลับยอดนิยม

“เพจแรงก์เป็นตัวขับเคลื่อนหลักที่อยู่เบื้องหลังความเร็วและปริมาณการจัดทำดัชนี”

SEO ใน Orbit ไปสู่อวกาศ

หากคุณพลาดการเดินทางสู่อวกาศในวันที่ 27 มิถุนายน ติดตามได้ที่นี่และค้นพบเคล็ดลับทั้งหมดที่เราส่งไปในอวกาศ