รายงานสถิติการรวบรวมข้อมูลของ Google เทียบกับการวิเคราะห์ไฟล์บันทึก: ใครคือผู้ชนะ
เผยแพร่แล้ว: 2020-12-22เมื่อวันที่ 24 พฤศจิกายน Google ได้เปิดตัวรายงานสถิติการรวบรวมข้อมูลของ Search Console เวอร์ชันใหม่ การอัปเดตนี้ให้ข้อมูลที่คุณสามารถใช้เพื่อแก้ปัญหาการรวบรวมข้อมูลและตรวจสอบความสมบูรณ์ของไซต์ของคุณได้
เวอร์ชันก่อนหน้าระบุเฉพาะจำนวนหน้าที่รวบรวมข้อมูลต่อวัน กิโลไบต์ที่ดาวน์โหลดต่อวัน เวลาที่ใช้ในการดาวน์โหลดหน้าเว็บในแต่ละวัน
ในเวอร์ชันใหม่นี้ ข้อมูลเดิมจะพร้อมใช้งานพร้อมรูปลักษณ์ที่อัปเดตเพื่อให้เข้ากับ Search Console ที่เหลือ:
แต่มันไม่ได้หยุดเพียงแค่นั้น Google ให้ข้อมูลเพิ่มเติมเกี่ยวกับวิธีการรวบรวมข้อมูลไซต์ของคุณ และด้วยข้อมูลมากมายที่มีให้โดยตรงจาก Google จึงเกิดคำถามขึ้นว่า เรายังต้องการไฟล์บันทึกหรือไม่
เริ่มจากดูที่รายงานใหม่กันก่อน
ทั้งหมดที่คุณต้องรู้เกี่ยวกับรายงานสถิติการรวบรวมข้อมูลของ Google Search Console
คุณจะพบรายงานสถิติการรวบรวมข้อมูลใหม่ได้ที่ไหน
รายงานสถิติการรวบรวมข้อมูลใหม่จะใช้ได้โดยอัตโนมัติสำหรับทุกคนที่มีบัญชี Google Search Console
ลงชื่อเข้าใช้ Search Console และไปที่ "การตั้งค่า" ในแถบด้านข้างทางซ้าย จากนั้นคลิกที่ "สถิติการรวบรวมข้อมูล"
มีอะไรใหม่ในรายงานสถิติการรวบรวมข้อมูลใหม่
เพื่อช่วยให้คุณค้นพบข้อมูลใหม่ที่ครอบคลุม เราขอแนะนำคำแนะนำแบบย่อของ Tomek Rudzki บน Twitter:
สถิติการรวบรวมข้อมูล GSC ใหม่นั้นยอดเยี่ยมมาก!
ภาพหน้าจอแรกคล้ายกับเวอร์ชันก่อนหน้าของรายงาน แต่มีอัญมณีที่ซ่อนอยู่ในรายงานอื่น
1/n pic.twitter.com/oCNzMhnGsQ— Tomek Rudzki (@TomekRudzki) วันที่ 24 พฤศจิกายน 2020
Tomek เน้นข้อมูลใหม่และกรณีการใช้งาน SEO สำหรับแต่ละ:
- โฮสต์ที่มี Googlebot Hit มากที่สุด: ค้นหาโดเมนย่อยที่ Google รวบรวมข้อมูลบ่อยที่สุด
- รหัสสถานะที่ส่งคืนให้กับ Googlebot: ค้นหาเปอร์เซ็นต์ของงบประมาณการรวบรวมข้อมูลของคุณที่การตอบสนองที่ไม่ใช่ 200 (นั่นคือ: การเปลี่ยนเส้นทาง หน้าที่ขาดหายไป และข้อผิดพลาด)
- ประเภทของไฟล์: ทำความเข้าใจความถี่ที่ Googlebot ขอไฟล์ทรัพยากร เช่น ไฟล์ CSS, ไฟล์ JavaScript และรูปภาพ
- วัตถุประสงค์ของการเยี่ยมชม Googlebot: เรียนรู้ว่า Google กำลังค้นพบเนื้อหาใหม่หรือรีเฟรชเนื้อหาที่ทราบอยู่แล้วหรือไม่
- การแยกระหว่างคำขอที่ส่งโดย Googlebot สมาร์ทโฟนและคำขอที่สร้างโดย Googlebot บนเดสก์ท็อป: ยืนยันว่าเว็บไซต์ของคุณพร้อมสำหรับการเปลี่ยนไปใช้การจัดทำดัชนี Mobile-First Indexing อย่างเต็มรูปแบบในเดือนมีนาคม 2021
- ตัวอย่าง URL ที่รวบรวมข้อมูล: ทำความเข้าใจเกี่ยวกับ URL ที่รวบรวมข้อมูลล่าสุดบนไซต์ของคุณ
- สถานะโฮสต์: ตัวชี้วัดใหม่ที่แสดงว่าเซิร์ฟเวอร์ของคุณมีปัญหาเมื่อเร็วๆ นี้หรือไม่ ตัวอย่างเช่น การดำเนินการนี้จะพิจารณาความพร้อมใช้งานของ robots.txt และการแก้ปัญหา DNS
สิ่งที่เราโปรดปรานสามอันดับแรกเกี่ยวกับรายงานสถิติการรวบรวมข้อมูล
มีประโยชน์มากมายเกินกว่าที่รายงานสถิติการรวบรวมข้อมูลจะแสดงรายการทั้งหมด โดยเฉพาะอย่างยิ่งหากคุณไม่มีสิทธิ์เข้าถึงไฟล์บันทึก แต่นี่คือสามอันดับแรกของเรา:
1. รายงานนี้จัดทำขึ้นสำหรับทุกคน
มีสถิติการรวบรวมข้อมูลระดับสูงของ Googlebot ที่อ่านง่าย เป็นที่ชัดเจนเมื่อสิ่งต่างๆ ไปได้ดี และเมื่อมีปัญหาที่อาจจำเป็นต้องแก้ไข ในบางกรณี มันยังไปไกลกว่านั้นอีก ตัวอย่างเช่น มันให้คำแนะนำเช่นตัวบ่งชี้สถานะสีเขียว/เหลือง/แดงสำหรับสถานะโฮสต์
แม้ว่าคุณจะยังใหม่ต่อการติดตามงบประมาณบอทและตระเวนงบประมาณ คุณก็ไม่ควรพลาดเมื่อดูรายงานเหล่านี้
2. เอกสารดีมาก
เอกสารประกอบไม่เพียงแค่ตอบคำถาม 99% ของคุณเท่านั้น แต่ยังให้แนวทางปฏิบัติที่ดีที่สุดและเคล็ดลับเกี่ยวกับความสมบูรณ์ของเซิร์ฟเวอร์ การแจ้งสถานะสีแดง การจัดการความถี่ในการรวบรวมข้อมูล และการโต้แย้งเบื้องต้นเกี่ยวกับ Googlebot
3. ข้อมูลเกี่ยวกับ “สาเหตุ” เบื้องหลังคำขอ Googlebot
เราสามารถติดตาม Googlebot ได้ แต่ต้องมีการสรุปข้อสรุปมากมายว่าทำไม Google จึงเข้าชมหน้าเว็บโดยอิงจากข้อมูลที่จำกัด ส่วนการรวบรวมข้อมูลตามวัตถุประสงค์และคำขอการแสดงผลที่มองเห็นได้ภายใต้ "การโหลดทรัพยากรของหน้าเว็บ" ให้คำตอบที่ไม่คลุมเครือสำหรับคำถามบางข้อของเรา ตอนนี้เราทราบอย่างแน่ชัดแล้วว่า Google กำลังค้นหาหน้า อัปเดตหน้า หรือดาวน์โหลดทรัพยากรในด่านที่สองแยกต่างหากเพื่อแสดงผลหน้า
[กรณีศึกษา] การจัดการการรวบรวมข้อมูลบอทของ Google
อ่านกรณีศึกษาข้อมูลที่มีอยู่ในไฟล์บันทึกและรายงานสถิติการรวบรวมข้อมูลต่างกันอย่างไร
สถิติการรวบรวมข้อมูลจำกัดเฉพาะ Googlebots
สถิติการรวบรวมข้อมูล: 0
บันทึก: 1
ไฟล์บันทึกของเซิร์ฟเวอร์ของคุณบันทึกทุกคำขอสำหรับไฟล์และทรัพยากรใดๆ ที่ประกอบขึ้นเป็นเว็บไซต์ของคุณ ไม่ว่าพวกเขาจะมาจากใคร ซึ่งหมายความว่าบันทึกสามารถบอกคุณได้มากกว่าแค่ Googlebot
อย่างไรก็ตาม รายงานสถิติการรวบรวมข้อมูลของ Google นั้น (ปกติแล้ว!) จะจำกัดเฉพาะกิจกรรมของ Google บนไซต์ของคุณเท่านั้น
นี่คือข้อมูลเชิงลึกบางส่วนที่คุณจะได้รับจากไฟล์บันทึกที่ไม่แสดงในสถิติการรวบรวมข้อมูล:
- ข้อมูลเกี่ยวกับเสิร์ชเอ็นจิ้นอื่นๆ เช่น Bing คุณสามารถดูว่าพวกเขารวบรวมข้อมูลไซต์ของคุณอย่างไร แต่ยังดูว่าพฤติกรรมของพวกเขาแตกต่างหรือสอดคล้องกับพฤติกรรมของ Googlebot อย่างไร:
Logflare มีประโยชน์มาก น่าสนใจที่จะเห็นพฤติกรรมการรวบรวมข้อมูลที่แตกต่างกันของ Googlebots เมื่อเทียบกับ Bingbots ในบันทึกสด Googlebot เห็น 301 จากนั้น URL ถัดไปที่ส่งคืนจะถูกเปลี่ยนเส้นทางไปยัง URL แต่ดูเหมือนว่า Bingbot จะไม่ทำเช่นนั้น แค่เห็น 301 แล้วก็ไปที่อื่น
– รุ่งอรุณแอนเดอร์สัน (@dawnieando) วันที่ 22 มกราคม 2020
- ข้อมูลเกี่ยวกับเครื่องมือ (และคู่แข่ง) ที่พยายามรวบรวมข้อมูลไซต์ของคุณ เนื่องจากข้อมูลที่มีอยู่ไม่ได้จำกัดเฉพาะ Googlebot คุณจึงดูได้ด้วยว่าบ็อตอื่นๆ ทำงานอยู่บนไซต์ของคุณหรือไม่
- ข้อมูลเกี่ยวกับหน้าอ้างอิง นี้สามารถช่วยคุณค้นหาข้อมูลเพิ่มเติมเกี่ยวกับลิงก์ย้อนกลับที่ใช้งานมากที่สุดของคุณ ใน HTTPS หน้าสุดท้ายที่เข้าชมหรือ "หน้าอ้างอิง" จะถูกบันทึกด้วยคำขอแต่ละรายการ
- ข้อมูลเกี่ยวกับทราฟฟิกทั่วไป… และไม่ใช่แค่ทราฟฟิกจาก Google! เมื่อใช้หน้าอ้างอิง คุณสามารถระบุการเข้าชมจากหน้าผลลัพธ์ของเครื่องมือค้นหา และดูว่าผู้เข้าชมเหล่านี้โต้ตอบกับไซต์ของคุณอย่างไร ข้อมูลประเภทนี้สามารถใช้เพื่อยืนยันหรือแก้ไขตัวเลขที่โซลูชัน Analytics ของคุณให้มา หากคุณใช้
- การระบุหน้าเด็กกำพร้า เนื่องจากบันทึกของคุณมี URL ทั้งหมดที่ผู้เยี่ยมชมร้องขอ หน้าใด ๆ ที่ "ใช้งานอยู่" ที่มีบอทหรือการเข้าชมของมนุษย์ที่ไม่ได้เชื่อมโยงกับโครงสร้างเว็บไซต์ของคุณจะแสดงขึ้นในบันทึกของคุณ การเปรียบเทียบรายการ URL ในไฟล์บันทึกของคุณกับรายการ URL ในโครงสร้างเว็บไซต์ของคุณจากการรวบรวมข้อมูล จะทำให้ง่ายต่อการระบุหน้าเด็กกำพร้า
ครบถ้วนและเป็นปัจจุบันหรือไม่?
สถิติการรวบรวมข้อมูล: 0
บันทึก: 2
ข้อมูลของคุณสมบูรณ์และเป็นปัจจุบันหรือไม่? บันทึกของคุณคือ และสถิติการรวบรวมข้อมูลของคุณอาจเป็น
หลายคนสังเกตเห็นความแตกต่างอย่างรวดเร็วระหว่างรายงานของ Google Search Console และไฟล์บันทึกของพวกเขาถึง 20-40% โดยรายงานสถิติการรวบรวมข้อมูลรายงานกิจกรรมของ Googlebot ต่ำกว่าความเป็นจริงในขณะนี้ นี่เป็นปัญหาที่ทราบในสถิติการรวบรวมข้อมูล—แต่ไม่ใช่ในบันทึกของคุณ!
นอกจากนี้ เช่นเดียวกับข้อมูลทั้งหมดใน Search Console อาจมีความล่าช้าระหว่างวันที่ข้อมูลล่าสุดที่มีกับวันที่ของวันนี้ จนถึงตอนนี้ เราได้เห็นความแตกต่างถึงแปดวันในรายงานสถิติการรวบรวมข้อมูล
ในทางกลับกัน คุณสามารถใช้ไฟล์บันทึกสำหรับการตรวจสอบแบบเรียลไทม์: ไม่มีการหน่วงเวลา!
รวมเทียบกับรายการทั้งหมดของ URL ที่รวบรวมข้อมูล
สถิติการรวบรวมข้อมูล: 0
บันทึก: 3
สถิติการรวบรวมข้อมูลให้ข้อมูลรวมสำหรับ URL ทั้งหมดของคุณ รายงานนี้เทียบเท่ากับแดชบอร์ด เมื่อคุณค้นหารายการ URL ที่อยู่เบื้องหลังเมตริกที่กำหนด คุณจะเห็นรายการ "ตัวอย่าง" ตัวอย่างเช่น คุณอาจมีตัวอย่างคำขอ 4.56K สำหรับไฟล์รูปภาพของคุณสองสามร้อยตัวอย่าง:
อย่างไรก็ตาม ในไฟล์บันทึก คุณมีรายการ URL ที่อยู่เบื้องหลังเมตริกทั้งหมด คุณสามารถดูคำขอทั้งหมดในบันทึกของคุณ ไม่ใช่แค่ตัวอย่าง
กำลังกรองภูมิภาค วันที่ URL…
สถิติการรวบรวมข้อมูล: 0
บันทึก: 4
เพื่อให้มีประโยชน์จริงๆ สถิติการรวบรวมข้อมูลอาจได้รับประโยชน์จากตัวกรองที่กว้างขึ้นซึ่งนำไปใช้กับคำขอทั้งหมด ไม่ใช่แค่ตัวอย่าง: 
จะเป็นการดีหากมีความยืดหยุ่นมากขึ้นในการ:
- เปลี่ยนช่วงวันที่ที่เรากำลังดูอยู่
- มุ่งเน้นไปที่พื้นที่ทางภูมิศาสตร์ที่กำหนดโดยการค้นหา IP
- กรองตามกลุ่ม URL ได้ดีขึ้น
- ใช้ตัวเลือกตัวกรองกับกราฟ
คุณสามารถทำสิ่งนี้ — และอีกมากมาย — ในไฟล์บันทึก
ข้อมูลเฉพาะของ Googlebot
สถิติการรวบรวมข้อมูล: 1
บันทึก: 4
ตามที่เราได้เห็น Google ใช้รายงานสถิติการรวบรวมข้อมูลเพื่อให้ข้อมูลเกี่ยวกับวัตถุประสงค์ของการรวบรวมข้อมูล:
- รีเฟรช vs การค้นพบ
- ทรัพยากรของเพจ (การดึงข้อมูลสำรอง)
ข้อมูลนี้ไม่สามารถหาได้จากที่อื่น ไม่ว่าคุณจะดูข้อมูลในไฟล์บันทึกของคุณอย่างชาญฉลาดเพียงใด
เข้าถึงได้ง่าย
สถิติการรวบรวมข้อมูล: 2
บันทึก: 4
การเข้าถึงรายงานสถิติการรวบรวมข้อมูลนั้นตรงไปตรงมา: สถิติการรวบรวมข้อมูลจะพร้อมใช้งานโดยอัตโนมัติสำหรับทุกคนที่มีสิทธิ์เข้าถึง Search Console
ในทางเทคนิค ไฟล์บันทึกควรมีให้สำหรับผู้ดูแลเว็บทุกคนเช่นกัน แต่มักจะไม่เป็นเช่นนั้น ทีมพัฒนา ทีมไอที หรือบริษัทลูกค้ามักไม่เข้าใจถึงความสำคัญของการให้สิทธิ์เข้าถึงไฟล์บันทึก ในพื้นที่เช่นสหภาพยุโรปที่กฎหมายความเป็นส่วนตัวจำกัดการเข้าถึง "ข้อมูลที่ระบุตัวบุคคลได้" เช่นที่อยู่ IP การเข้าถึงไฟล์บันทึกอาจเป็นปัญหาทางกฎหมาย คุณสามารถใช้เครื่องมือบางอย่าง เช่น OnCrawl ซึ่งไม่จัดเก็บข้อมูลที่ละเอียดอ่อน
เมื่อคุณเข้าถึงไฟล์บันทึกได้แล้ว มีเครื่องมือฟรีสำหรับวิเคราะห์ข้อมูล และมีรูปแบบที่เป็นกรรมสิทธิ์เพียงไม่กี่รูปแบบ กล่าวอีกนัยหนึ่ง ไฟล์บันทึกเป็นแหล่งข้อมูลที่ค่อนข้างเป็นประชาธิปไตย… เมื่อคุณได้รับมือกับมันแล้ว
เป็นความจริง: SEO จำนวนมากมีปัญหาในการเข้าถึงบันทึก ดังนั้น ในทางทฤษฎี ไฟล์บันทึกช่วยให้เข้าถึงข้อมูลได้ง่าย ประเด็นในประเด็นนี้จะไปที่รายงานสถิติการรวบรวมข้อมูล ซึ่งมีให้ในสองคลิกจากเครื่องมือฟรีของ Google
ตัววิเคราะห์บันทึกการรวบรวมข้อมูล
เรียนรู้เพิ่มเติมยังไม่พร้อมสำหรับการผสานรวมในเครื่องมือและการวิเคราะห์อื่นๆ
สถิติการรวบรวมข้อมูล: 2
บันทึก: 5
Google Search Console ช่วยให้คุณสามารถส่งออกและดาวน์โหลดข้อมูลที่มีให้ผ่านทางอินเทอร์เฟซเว็บของรายงานสถิติการรวบรวมข้อมูล นั่นหมายความว่า ข้อมูลที่ดาวน์โหลดมานั้นมีข้อจำกัดเช่นเดียวกับเวอร์ชันบนหน้าจอ
นอกจากนี้ สถิติการรวบรวมข้อมูลยังไม่พร้อมใช้งานผ่าน API ดังนั้นจึงอาจเป็นเรื่องยากที่จะเชื่อมโยงข้อมูลนี้เข้ากับกระบวนการอัตโนมัติสำหรับการรายงานและการวิเคราะห์ หรือแม้แต่สำรองข้อมูลเพื่อดูข้อมูลในอดีตที่กว้างขึ้น
ไฟล์บันทึก การจัดเก็บ การเข้าถึง และการนำกลับมาใช้ใหม่นั้นขึ้นอยู่กับคุณ สิ่งนี้ทำให้ไฟล์บันทึกใช้งานง่ายขึ้นมากเมื่อรวมกับแหล่งข้อมูลอื่นๆ เช่น การติดตามอันดับ ข้อมูลการรวบรวมข้อมูล หรือข้อมูลการวิเคราะห์ นอกจากนี้ยังรวมเข้ากับโฟลว์การรายงาน แดชบอร์ด และการแสดงข้อมูลได้ง่ายขึ้นอีกด้วย
ผู้ชนะคนสุดท้าย: ล็อกไฟล์!
ด้วยคะแนนห้าคะแนนเหลือเพียงสองคะแนนสำหรับรายงานสถิติการรวบรวมข้อมูล ไฟล์บันทึกจึงเป็นผู้ชนะที่ชัดเจน หากคุณต้องการข้อมูลเชิงลึกอย่างครบถ้วนว่าเครื่องมือค้นหาโต้ตอบกับไซต์ของคุณอย่างไร
แต่ให้ชัดเจน: รายงานสถิติการรวบรวมข้อมูลที่อัปเกรดแล้วให้ข้อมูลใหม่มากมาย: รหัสสถานะ ประเภทไฟล์ โดเมนย่อย (สำหรับคุณสมบัติของโดเมน) รายละเอียดสถานะโฮสต์ และอื่นๆ ซึ่งให้ข้อมูลเชิงลึกที่ละเอียดยิ่งขึ้นและข้อมูลที่สามารถดำเนินการได้ เพื่อทำความเข้าใจว่าเว็บไซต์ของคุณได้รับการรวบรวมข้อมูลอย่างไร และตอนนี้ คุณสามารถติดตามการเปลี่ยนแปลงในรูปแบบการรวบรวมข้อมูลได้
มันจะเป็นก้าวที่ยิ่งใหญ่สำหรับผู้ที่ไม่สามารถเข้าถึงไฟล์บันทึกของตนหรือของลูกค้าได้
อย่างไรก็ตาม ไม่ใช่ข้อดีทั้งหมด!
ข้อดีและข้อเสียของสถิติการรวบรวมข้อมูล GSC ใหม่: https://t.co/bjpG7QjeVt
ข้อดี:
+ อัปเกรดเมตริกข้อมูล
+ UX ที่ดีขึ้น (TBH แถบต่ำ)
+ข้อมูลที่ดาวน์โหลดได้ของ URL ที่รวบรวมข้อมูล!
+รายละเอียดคำขอรวบรวมข้อมูล
+หมายเหตุปัญหาโฮสต์ที่สำคัญจุดด้อย:
- ไม่มีตัวกรองสำหรับช่วงวันที่
- ไม่มีตัวเลือกตัวกรองเพื่อเปลี่ยนกราฟ— Micah Fisher-Kirshner (@micahfk) วันที่ 24 พฤศจิกายน 2020
ข้อเสียของรายงานฉบับใหม่คือ แม้ว่าจะเป็นแดชบอร์ดที่ดีสำหรับการตรวจสอบ Googlebot และเป็นส่วนเสริมที่ยอดเยี่ยมในการวิเคราะห์ไฟล์บันทึก แต่ก็มีข้อจำกัดหลายประการ อย่าลืมว่าเฉพาะไฟล์บันทึกของคุณเท่านั้นที่จะแสดงคำขอทั้งหมดของคุณต่อ URL แทนที่จะเป็นแนวโน้มโดยรวม
นอกจากนี้ ยังมีปัญหาที่ทราบในรายงาน GSC ซึ่งคำขอบางรายการจะไม่ถูกนับในขณะนี้ และข้อมูลอาจใช้เวลาถึงหนึ่งสัปดาห์ในการเขียนรายงานนี้ ข้อมูลอาจใช้เวลาถึงหนึ่งสัปดาห์จึงจะปรากฏในรายงานสถิติการรวบรวมข้อมูล (อย่างไรก็ตาม เราเชื่อว่า Google กำลังทำงานเกี่ยวกับปัญหาเหล่านี้ และปัญหาเหล่านี้จะหายไปในไม่ช้า!)
นี่คือสิ่งที่เราแนะนำ: ใช้รายงานนี้เพื่อดูว่าต้องค้นหาอะไรในไฟล์บันทึกของคุณ แล้วดำดิ่งลงไปในการวิเคราะห์บันทึกของคุณ!