웨비나 다이제스트: Bill Hartzer의 라이브 SEO 감사 및 로그 파일

게시 됨: 2018-10-02

9월 25일 OnCrawl은 로그 파일 분석과 SEO 감사에 왜 중요한지에 대한 웨비나를 위해 Bill Hartzer를 주최하게 되어 기쁩니다. 그는 최적화가 봇 활동과 크롤링 빈도에 미치는 영향을 보여주기 위해 자신의 웹사이트를 검색했습니다.

빌 하처를 소개합니다

Bill Hartzer는 20년 이상의 경험을 가진 SEO 컨설턴트 및 도메인 이름 전문가입니다. Bill은 해당 분야의 전문가로 국제적으로 인정받고 있으며 최근 CBS News에서 미국 최고의 검색 전문가 중 한 명으로 인터뷰했습니다.

한 시간 동안 진행되는 이 웨비나 동안 Bill은 자신의 로그 파일을 살펴보고 사이트 감사의 맥락에서 로그 파일을 사용하는 방법에 대해 설명합니다. 그는 자신의 사이트에서 사이트 성능과 봇 동작을 확인하는 데 사용하는 다양한 도구를 제시합니다.

마지막으로 Bill은 의미 있는 결과를 시각화하기 위해 OnCrawl을 사용하는 방법에 대한 질문에 답하고 다른 SEO에 팁을 제공합니다.

WordPress용 cPanel 플러그인을 통해 로그 파일에 액세스하는 방법

웹 사이트가 WordPress로 구축되고 플러그인 cPanel을 사용하는 경우 WordPress 인터페이스에서 직접 서버 로그를 찾을 수 있습니다.

메트릭으로 이동한 다음 원시 액세스로 이동합니다. 여기에서 파일 관리자의 일일 로그 파일과 이전 로그 파일의 압축 아카이브를 다운로드할 수 있습니다.

로그 파일의 내용 검사

로그 파일은 봇을 포함하여 웹사이트의 모든 방문자에 대한 정보가 포함된 큰 텍스트 파일입니다. 기본 텍스트 편집기를 사용하여 열 수 있습니다.

IP 조회를 사용하여 봇 식별을 확인하는 것이 좋지만 로그 파일에서 자신을 식별하는 googlebot 또는 bing에서 잠재적인 봇 적중을 발견하는 것은 어렵지 않습니다.

사이트를 크롤링하지만 유용하지 않을 수 있는 다른 봇을 찾을 수도 있습니다. 이러한 봇이 사이트에 액세스하지 못하도록 차단할 수 있습니다.

OnCrawl은 로그 파일의 원시 분석을 처리하여 사이트를 방문하는 봇을 명확하게 보여줍니다.

크롤링 통계에 대한 자세한 내용은 로그 파일 사용

크롤링 통계에 대한 정보는 이전 버전의 Google Search Console에서 크롤링 > 크롤링 통계가 로그 파일의 정보와 비교할 때 새로운 의미를 가짐에서 확인할 수 있습니다.

Google Search Console에 표시되는 데이터는 Google의 SEO 봇에 국한되지 않으므로 로그 파일을 분석하여 얻을 수 있는 보다 정확한 정보보다 덜 유용할 수 있습니다.

비정상적인 크롤링 활동의 최근 사례

Bill은 Google Search Console의 크롤링 통계에서 볼 수 있는 최근 급증한 세 가지를 살펴봅니다. 이는 크롤링 활동을 증가시키는 큰 이벤트에 해당합니다.

모바일 퍼스트 인덱싱 스파이크

Google Search Console의 9월 7일 급증은 처음에는 웹사이트의 이벤트와 관련이 없는 것처럼 보일 수 있습니다. 그러나 OnCrawl의 로그 분석을 보면 다음과 같은 단서가 제공됩니다.


로그 파일을 분석하면 Google이 페이지를 크롤링하는 데 사용하는 다양한 봇의 분석을 볼 수 있습니다. 이 날짜 이전에 데스크톱 Googlebot의 활동이 급격히 감소했으며 이전의 작은 급증과 달리 이 급증은 모바일 Google 봇에 의해 이미 색인이 생성된 고유한 페이지에 대한 조회수로 거의 대부분 구성되었다는 것이 분명해졌습니다.

Google Analytics에 의해 기록된 유기적 트래픽의 50% 증가는 이 급증이 Google에서 알림을 보내기 몇 주 전인 9월 초 사이트의 Mobile First Indexation에 해당함을 확인했습니다!

사이트의 URL 구조 수정

8월 중순, Bill은 SEO 친화적으로 URL 구조를 변경했습니다.

Google Search Console은 이 수정 직후 두 번의 큰 스파이크를 기록하여 Google이 주요 사이트 이벤트를 식별하고 웹사이트 URL을 재크롤링하기 위한 신호로 사용함을 확인했습니다.

OnCrawl에서 이러한 조회수에 대한 분석을 관찰하면 두 번째 스파이크는 스파이크가 덜하지만 이 웹 사이트의 페이지 크롤링 속도가 며칠 동안 계속된다는 것이 분명해졌습니다. Bill이 변경 후 며칠 동안 크롤링 활동의 차이를 관찰하여 확인할 수 있으므로 Google이 변경 사항을 선택했음이 분명합니다.

기술 감사를 수행하기 위한 유용한 OnCrawl 보고서 및 기능

SEO 방문 및 SEO 활성 페이지

OnCrawl은 로그 파일 데이터를 처리하여 SEO 방문 또는 Google SERP 목록에서 도착하는 방문자에 대한 정확한 정보를 제공합니다.

방문 수를 추적하거나 유기적 트래픽을 수신하는 웹사이트의 개별 페이지인 SEO 활성 페이지를 볼 수 있습니다.

감사의 일환으로 조사할 수 있는 한 가지는 일부 순위 페이지가 유기적 트래픽을 수신하지 않는 이유(즉, SEO 활성 페이지가 아닌 이유)일 수 있습니다.

신선한 순위

OnCrawl의 Fresh Rank와 같은 지표는 필수 정보를 제공합니다. 이 경우: Google이 페이지를 처음 크롤링하는 시점과 페이지에서 첫 번째 SEO 방문이 발생하는 시점 사이의 평균 지연 시간(일)입니다.


콘텐츠 프로모션 전략과 백링크 개발은 새 페이지에 대한 트래픽을 더 빨리 얻는 데 도움이 될 수 있습니다. 소셜 네트워크를 통해 홍보된 블로그 게시물과 같이 이 감사에서 사이트의 일부 페이지는 훨씬 더 낮은 Fresh Rank를 받았습니다.

상태 코드별 페이지 및 리소스에 대한 봇 조회수

봇이 404 또는 410 오류를 반환하는 URL을 방문할 수 있습니다. 이것은 CSS, JavaScript, PDF 또는 이미지 파일과 같은 리소스와 관련될 수 있습니다.

이는 감사 중에 반드시 조사하고 싶은 요소입니다. 이러한 URL을 리디렉션하고 해당 URL에 대한 내부 링크를 제거하면 빠른 성공을 거둘 수 있습니다.

감사하는 동안 봇에 상태 오류를 반환하는 URL과 같이 해결해야 하는 요소에 대한 메모를 유지하는 것이 도움이 될 수 있습니다.

데이터 탐색기 보고서: 사용자 정의 보고서

OnCrawl 데이터 탐색기는 관심 있는 보고서를 생성하기 위한 빠른 필터를 제공하지만 관심 있는 기준에 따라 자체 보고서를 가져올 수도 있습니다. 예를 들어 반송 및 로드 시간이 긴 SEO 활성 페이지를 조사할 수 있습니다.

데이터 탐색기 보고서: 활성 고아 페이지

분석, 크롤링 및 로그 파일 데이터를 결합하여 OnCrawl은 사이트에 항상 가치를 가져다주지는 않는 유기적이고 사람의 방문이 있는 페이지를 찾는 데 도움을 줄 수 있습니다. 로그 파일의 데이터를 사용하는 이점은 Google Analytics 코드가 없을 수 있는 페이지를 포함하여 방문한 사이트의 모든 페이지를 찾을 수 있다는 것입니다.

Bill은 외부 소스의 링크를 통해 RSS 피드 페이지에서 SEO 유기적 방문을 식별할 수 있었습니다. 이 페이지는 그의 사이트에 있는 고아 페이지입니다. 그들에게 링크되는 "부모" 페이지가 없습니다. 이러한 페이지는 그의 SEO 전략에 추가적인 가치를 제공하지 않지만 여전히 유기적 트래픽에서 몇 번의 방문을 받습니다.

이 페이지는 최적화를 시작하기에 좋은 후보입니다.

키워드 순위에 대한 검색 분석

순위 데이터는 Google Search Console에서 가져올 수 있습니다. 이전 버전의 Google Search Console에서 직접 검색 트래픽, 검색 애널리틱스로 이동하여 지난 90일 동안의 클릭수, 노출수, CTR 및 게재순위를 볼 수 있습니다.

OnCrawl은 이 정보가 전체 사이트와 어떤 관련이 있는지에 대한 명확한 보고서를 제공하여 사이트의 총 페이지 수, 순위 페이지 수 및 클릭을 받은 페이지 수를 비교할 수 있습니다.

노출수, CTR 및 클릭수

사이트 세분화를 사용하면 사이트의 페이지 유형 또는 그룹이 순위가 매겨지고 결과의 페이지가 어느 페이지인지 한 눈에 확인할 수 있습니다.

이 감사에서 Bill은 OnCrawl의 메트릭을 사용하여 순위가 높은 경향이 있는 페이지 유형을 찾을 수 있습니다. 이들은 웹사이트 트래픽을 늘리기 위해 계속 제작해야 한다고 알고 있는 페이지 유형입니다.

순위 페이지의 클릭은 순위 순위와 밀접한 상관 관계가 있습니다. 10위 이상의 순위는 더 이상 검색 결과의 첫 번째 페이지에 표시되지 않으며, 이 시점에서 대부분의 키워드에 대한 클릭 수가 급격히 감소합니다.

웹사이트 세분화

OnCrawl의 세분화는 페이지를 의미 있는 세트로 그룹화하는 방법입니다. 자동 세분화가 제공되는 동안 필터를 편집하거나 처음부터 고유한 세분화를 만들 수 있습니다. OnCrawl 쿼리 언어 필터를 사용하면 다양한 기준에 따라 그룹에 페이지를 포함하거나 제외할 수 있습니다.

Bill이 웨비나에서 본 사이트에서 세분화는 웹사이트의 여러 디렉토리를 기반으로 합니다.

구조의 페이지 > 크롤링 > 순위 지정 > 활성

OnCrawl 순위 보고서에서 "구조적 페이지 > 크롤링 > 순위 > 활성" 차트는 페이지 순위 및 방문 문제를 경고할 수 있습니다.

이 차트는 다음을 보여줍니다.

  • 구조의 페이지: 사이트의 여러 링크를 통해 도달할 수 있는 페이지 수
  • 크롤링됨: Google에서 크롤링한 페이지
  • 순위: Google SERP에 나타난 페이지
  • 활성: 자연 방문이 발생한 페이지

감사에서는 이 그래프의 막대 간의 차이에 대한 이유를 확인하려고 합니다.

그러나 구조의 페이지 수와 크롤링된 페이지 수 간의 차이는 예를 들어 robots.txt 파일에서 로봇을 허용하지 않아 Google이 특정 페이지를 크롤링하지 못하도록 하는 경우 의도적일 수 있습니다. 이것은 감사 중에 확인하려는 것입니다.

그래프를 클릭하면 OnCrawl에서 이러한 종류의 데이터를 볼 수 있습니다.

핵심 테이크아웃


이 웨비나의 주요 내용은 다음과 같습니다.

  • 웹사이트 구조의 큰 변화는 크롤링 활동의 큰 변화를 일으킬 수 있습니다.
  • Google의 무료 도구는 부정확하게 보일 수 있는 방식으로 집계, 평균 또는 반올림된 데이터를 보고합니다.
  • 로그 파일을 통해 실제 봇 행동과 유기적 방문을 볼 수 있습니다. 크롤링 데이터 및 일일 모니터링과 결합하여 스파이크를 감지하는 강력한 도구입니다.
  • 정확한 데이터는 왜 그리고 무슨 일이 일어났는지 이해하는 데 필요하며, 이는 OnCrawl과 같은 도구에서 분석, 크롤링, 순위 및 특히 로그 파일 데이터에 대한 교차 분석을 통해서만 달성할 수 있습니다.

OnCrawl을 무료로 사용해 보세요

실행 가능한 감사 통찰력을 위해 이러한 기술을 사이트에 적용하는 데 관심이 있습니까?

무료 평가판 시작

라이브를 놓쳤나요? 다시보기를 시청하세요!

라이브 웨비나를 만들지 못하거나 전체 세션에 참석하지 못하더라도 전체 버전을 볼 수 있습니다.