업데이트 전후 크롤링 예산 추적

게시 됨: 2019-12-10

Psst… 당신에게 말하고 싶은 비밀이 있습니다.

귀하의 사이트에는 Google에서 설정한 '크롤링 예산'이 있습니다.

이것은 Google에서 두 가지를 측정하는 데 사용하는 비밀 측정항목입니다.

  1. 사이트가 얼마나 잘 구축되었는지
  2. 사이트의 인기도

이 기사는 첫 번째 요점에 초점을 맞출 것입니다.

사이트의 빌드 품질을 개선하면 크롤링 예산이 늘어납니다.

크롤링 예산이 클수록 Google에서 페이지를 더 자주 방문하여 읽습니다.

크롤링 예산이 무엇인지 이해하는 것으로 시작하겠습니다.

크롤링 예산이란

Google은 웹 크롤러(스파이더)라는 특수 소프트웨어 프로그램을 사용하여 사이트의 페이지를 읽습니다.

그들은 이 웹 크롤러를 Googlebot이라고 부릅니다.

크롤링 예산은 Googlebot이 페이지를 크롤링하는 빈도를 설명하는 용어입니다.

사이트를 최적화하면 크롤링 예산을 늘릴 수 있습니다.

Google은 귀하의 크롤링 예산이 다음의 조합이라고 밝혔습니다.

  • 크롤링 속도 – Googlebot이 서버를 중단하지 않고 사이트를 크롤링할 수 있는 속도
  • 크롤링 수요 – 웹페이지가 Google 사용자에게 얼마나 중요한지

이러한 측정항목이 개선되면 Googlebot이 더 자주 방문하는 것을 볼 수 있습니다. 방문할 때마다 더 많은 페이지 읽기.
Google이 페이지를 크롤링하면 콘텐츠가 Google 색인에 추가됩니다. 그런 다음 Google 검색 결과에 표시된 정보를 업데이트합니다.

크롤링 예산을 최적화하면 사이트에서 Google 검색으로 업데이트하는 속도를 높일 수 있습니다.

크롤링 예산을 개선해야 하는 이유

구글은 어려운 과제를 안고 있다. 그들은 인터넷의 모든 페이지를 크롤링하고 색인을 생성해야 합니다.

이 작업을 수행하는 데 필요한 힘은 엄청나며 모든 페이지를 인덱싱할 수는 없습니다.

크롤링 예산을 최적화하면 사이트가 검색에 나타날 가능성이 가장 높아집니다.

[사례 연구] Google의 봇 크롤링 관리

26,000개 이상의 제품 참조가 있는 1001Pneus는 SEO 성능을 모니터링하고 Google이 올바른 카테고리와 페이지에 크롤링 예산을 사용하고 있는지 확인하는 안정적인 도구가 필요했습니다. OnCrawl을 사용하여 전자 상거래 웹사이트에 대한 크롤링 예산을 성공적으로 관리하는 방법을 알아보십시오.
사례 연구 읽기

크롤링 예산을 개선하는 방법

사이트 개선은 사이트에서 Googlebot의 시간을 최대한 효율적으로 만드는 것입니다.

우리는 원하지 않습니다:

  • Google 검색에서 원하지 않는 페이지를 읽는 Googlebot
  • Googlebot이 서버 오류를 보고 있음
  • 끊어진/죽은 링크를 따라가는 Googlebot
  • 페이지가 로드되기를 기다리는 Googlebot
  • 중복 콘텐츠를 읽는 Googlebot

위의 모든 것은 Google의 귀중한 리소스를 낭비하고 있으며 크롤링 속도가 떨어질 수 있습니다.

크롤링 예산 및 기술 SEO

기술 SEO의 일부로 수행해야 하는 많은 작업은 크롤링 예산을 최적화하는 것과 동일합니다.

다음이 필요합니다.

  • robots.txt 최적화 및 오류 확인
  • 모든 hreflang 및 표준 링크 태그 수정
  • 200페이지가 아닌 문제 해결
  • 리디렉션 및 모든 리디렉션 루프 수정
  • 모든 사이트맵에 오류가 없는지 확인하십시오.

다음으로 Googlebot을 위한 완벽한 페이지를 만드는 방법을 살펴보겠습니다.

완벽한 페이지를 만드는 방법

좋습니다. 완벽한 페이지는 아니지만 가능한 한 페이지를 개선하려고 노력해야 합니다.

개선할 수 있는 몇 가지 일반적인 페이지 문제를 살펴보겠습니다.

페이지 문제

  • 중복 콘텐츠 – 사이트의 모든 중복 콘텐츠를 표준 링크 태그로 표시합니다.
  • 비 SSL 페이지 – HTTP 링크를 찾아 HTTPS로 변환합니다. SSL 인증서가 없는 경우 Let's Encrypt에서 무료 인증서를 받으십시오.
  • 유용한 페이지만 크롤링 - robots.txt 파일을 사용하여 Googlebot이 이동할 수 있는 위치를 줄이십시오. 예를 들어 관리자에게 사용된 페이지가 있는 경우 robots.txt 파일에서 이를 허용 하지 않습니다.

  • 얇은 콘텐츠 – 콘텐츠가 얇거나 매우 적은 페이지의 스크래핑을 차단하는 것이 좋습니다. 사용자에게 거의 가치가 없는 페이지가 있는 경우 이러한 페이지에서 Googlebot의 시간을 낭비하지 마십시오.
  • 서버 오류 – 서버 오류는 비정상 웹 서버의 신호입니다. 사이트에서 5xx 오류를 반환하는 경우 이 오류를 수정하면 크롤링 속도가 증가할 수 있습니다.

느린 로딩 페이지

크롤링 예산을 개선하는 한 가지 방법은 페이지를 빠르게 만드는 것입니다.

빠른 페이지는 Googlebot을 더 빠르게 만들고 이는 웹서버가 "정상"이라는 신호입니다.

Google은 이미 페이지 속도가 크롤링 속도를 높인다고 말했습니다.

사이트를 더 빠르게 만들면 크롤링 속도를 높이는 동시에 사용자 경험을 개선할 수 있습니다.

  • 페이지 무게 – 이 측정항목은 페이지의 전체 크기입니다. 여기에는 페이지의 모든 자바스크립트 CSS와 이미지가 포함됩니다. 총 1MB 미만이어야 합니다.
  • 최적화된 이미지 – 이미지는 품질 손실 없이 가능한 한 KB 단위로 작아야 합니다. Squoosh와 같은 도구를 사용하면 이에 도움이 됩니다.

  • 축소된 CSS 및 JS – JS 및 CSS 파일을 축소합니다. 파일에서 불필요한 문자를 모두 제거하는 과정입니다. CSSNano 및 UglifyJS를 사용하여 파일을 축소합니다.
  • 압축 및 캐싱 – 서버에서 GZip 또는 BR 압축을 확인합니다. 이렇게 하면 파일을 가져오는 데 걸리는 시간이 빨라집니다. 파일이 한 번만 다운로드되도록 캐싱을 추가합니다.

페이지 속도 향상 목록은 이 심층 웹사이트 성능 검토를 참조하십시오. 웹사이트 성능을 개선하기 위한 30단계가 있습니다.

변경 사항을 측정하는 방법

스마트 SEO는 최적화를 시작하기 전에 변경 사항을 추적해야 한다는 것을 알고 있습니다.

두 가지 속성이 있는 데이터 요소를 선택해야 합니다.

  1. 시간 경과에 따른 데이터 포인트를 추적할 수 있어야 합니다.
  2. 당신은 당신의 행동으로 그 데이터에 영향을 미칠 수 있어야 합니다.

크롤링 예산에 대해 추적해야 하는 데이터 포인트는 무엇입니까?

앞서 Google은 크롤링 예산을 결정할 때 두 가지 요소를 사용한다고 말했습니다.

  • 크롤링 속도 – Googlebot이 서버를 중단하지 않고 사이트를 크롤링할 수 있는 속도
  • 크롤링 수요 – 웹페이지가 Google 사용자에게 얼마나 중요한지

우리는 기술 SEO의 역할이기 때문에 크롤링 속도를 개선하는 것이 우리의 임무입니다.

따라서 이것은 우리가 추적해야 하는 데이터 포인트입니다.

크롤링 속도 추적

그렇다면 Googlebot 크롤링 속도를 어떻게 추적합니까?

웹 서버 액세스 로그를 사용해야 합니다.

로그는 웹 서버에 대한 모든 요청을 저장합니다. 사용자 또는 Googlebot이 사이트를 방문할 때마다 액세스 로그 파일에 로그 항목이 추가됩니다.

Googlebot의 항목은 다음과 같습니다.

 127.0.0.1 - - [11/Nov/2019:08:29:01 +0100] "GET /example HTTP/1.1" 200 2326 "-" "Mozilla/5.0(호환, Googlebot/2.1, +http://www .google.com/bot.html)"

각 로그에는 세 가지 중요한 데이터 포인트가 있습니다. 날짜:

 [2019/11/11:08:29:01 +0100]

URL:

"GET /example HTTP/1.1"

그리고 Googlebot이 요청을 하고 있다고 알려주는 사용자 에이전트:

 "Mozilla/5.0(호환됨, Googlebot/2.1, +http://www.google.com/bot.html)"

위의 로그는 Nginx 웹 서버에서 가져온 것입니다. 그러나 Apache 또는 IIS와 같은 모든 웹 서버에는 유사한 액세스 로그 항목이 있습니다.

설정에 따라 CDN(콘텐츠 전송 네트워크)이 있을 수 있습니다. Cloudflare 또는 Fastly와 같은 CDN도 액세스 로그를 생성합니다.

액세스 로그를 수동으로 분석하는 것은 가능하지만 가장 재미있지는 않습니다.

access.log를 다운로드하고 Excel을 사용하여 이를 분석할 수 있습니다. 그러나 OnCrawl과 같은 로그 분석기를 사용하는 것이 좋습니다.

이렇게 하면 그래프에서 실시간으로 Googlebot 크롤링 속도를 볼 수 있습니다. 크롤링 속도를 추적하기 위한 이 모니터링 설정이 있으면 개선을 시작할 수 있습니다.

변경

이제 우리는 우리가 무엇을 추적하는지 알게 되었고 몇 가지 개선 사항을 살펴볼 수 있습니다. 그러나 동시에 많은 변경을 수행하지 마십시오. 체계적이고 하나씩 변경하십시오.

구축, 측정, 학습

이 기술을 사용하면 학습하면서 변경 사항을 적용할 수 있습니다. 크롤링 속도를 향상시키는 작업에 집중합니다.

서두르고 한꺼번에 너무 많이 바꾸면 결과를 이해하기 어려울 수 있습니다.

효과가 있는 것과 없는 것을 구분하기 어렵게 만듭니다.

페이지가 개선됨에 따라 시간이 지남에 따라 크롤링 속도가 증가함에 따라 크롤링 예산이 증가하는 것을 볼 수 있습니다.

마무리, 업데이트 전후 크롤링 예산 추적

크롤링 예산이 무엇인지 정확히 다루었습니다.

기술 SEO로서 사이트의 크롤링 속도를 높일 수 있습니다.

기술 상태를 개선하면 사이트에서 Googlebot의 시간을 효율적으로 만들 수 있습니다.

정확한 결과를 얻으려면 로그를 사용하여 크롤링 속도를 추적하십시오.

빌드, 측정, 학습을 한 번에 하나씩 변경하고 계속 개선하는 기술로 사용하십시오.

시간이 지남에 따라 크롤링 속도가 증가합니다. 귀하의 페이지는 Google 검색 결과에 더 빨리 표시됩니다. 그리고 사용자는 귀하의 사이트에서 훌륭한 경험을 하게 될 것입니다.

무료 평가판 시작