더 최적화된 크롤링 예산으로 더 높은 순위를 시작하는 방법

게시 됨: 2018-09-06

외부 링크, 키워드 사용, 사이트 속도 등 순위에 영향을 미치는 여러 요소가 있습니다. 그러나 사이트 최적화를 시작할 때 기억해야 할 점은 사이트를 크롤링하고 색인을 생성해야 한다는 것입니다.

웹사이트가 크롤링되는 방식은 크롤링 예산(특정 기간 동안 Googlebot이 사이트를 방문한 횟수)에 따라 결정됩니다. 사이트의 가시성은 크롤링 예산이 얼마나 잘 균형을 이루고 있는지에 달려 있습니다.

크롤링 예산이 Google에서 사이트의 가시성에 영향을 미치는 이유는 무엇입니까?

크롤링 예산이 제한되어 있습니다. 이는 다음과 같은 몇 가지 문제를 야기합니다.

  • 크롤링 예산이 최적화되지 않은 경우 Googlebot이 모든 사이트 페이지를 방문하는 것은 아닙니다. 결과적으로 인덱싱되지 않고 검색 결과에서 순위가 ​​매겨지지 않습니다.
  • 업데이트된 페이지는 다른 웹사이트 페이지의 크롤링 빈도로 인해 오랫동안 Googlebot의 관심을 받지 못할 수 있습니다. 이는 SEO 타임라인에 부정적인 영향을 미칩니다. Google이 최적화 노력에 대해 알지 못하는 한 SERP 가시성은 개선되지 않습니다.

따라서 모든 중요한 페이지를 정기적으로 방문하려면 크롤링 예산을 최적화해야 합니다. 방법은 다음과 같습니다.

현재 크롤링 예산을 결정하는 방법

크롤링 예산을 최적화해야 하는지 알아보려면 먼저 예산이 부족한지 확인하세요. Google의 Gary Illyes에 따르면 대규모 사이트, 특히 매개변수를 기반으로 많은 URL을 자동 생성하는 사이트, 특히 크롤링 대상의 우선 순위를 정하면 됩니다. 사이트에 추가 크롤링 예산 균형이 필요하다고 생각되는 경우 시작 방법은 다음과 같습니다.

Google Search Console에서 현재 사이트의 크롤링 통계를 찾고 크롤링 예산의 세부정보를 확인할 수 있습니다.

대략적인 크롤링 예산은 다음과 같이 계산할 수 있습니다.

하루 평균 크롤링된 페이지 수 x 한 달의 일 수 =
대략적인 크롤링 예산

예를 들어 아래 보고서에서 이 웹사이트에서 Google이 하루에 371페이지를 크롤링한다는 것을 알 수 있습니다.

Google Search Console의 크롤링 통계 그래프

따라서 이 웹사이트의 대략적인 크롤링 예산은 다음과 같습니다.

371 x 30 = 11130

그러나 Google 크롤러가 웹사이트를 방문하는 빈도를 정확히 알기 위해서는 서버 로그를 확인해야 합니다. Google Search Console은 12개의 봇에 대해 집계된 크롤링 예산을 표시하며 정확한 크롤링 예산 분포를 보려면 로그 분석 도구가 필요합니다.

크롤링 그래프의 기복은 문제의 징후일 수 있지만 항상 그런 것은 아닙니다. 예를 들어 위 그래프의 급증은 다시 제출된 사이트맵을 나타내며, 이는 Googlebot이 웹사이트를 다시 방문하도록 하는 트리거입니다.

크롤링 예산을 최적화하는 방법

크롤링 예산을 최적화하려면 다음과 같은 간단한 규칙을 따라야 합니다.

크롤링해야 하는 항목은 크롤링되고 크롤링할 필요가 없는 항목은 크롤링되지 않는지 확인합니다.

즉, 중요한 페이지는 충분한 관심을 받고 있으며 귀하의 사이트에 가치를 부여하지 않는 페이지는 제외됩니다. 여기에 당신을 데려갈 정확한 단계가 있습니다.

1.Googlebot이 모든 중요한 페이지에 액세스할 수 있는지 확인합니다(예: robots.txt에서 차단되지 않음).

놀랍게도 robots.txt 파일에서 중요한 페이지가 거부 상태인 경우가 매우 흔합니다. 이렇게 하면 Googlebot에서 무시되므로 색인 생성에서 숨겨집니다. 귀하의 작업은 크롤링하려는 페이지가 해당 상태가 아니며 크롤러가 액세스할 수 있는지 확인하는 것입니다.

Google Search Console에서 robots.txt 파일을 찾을 수 있습니다. 중요한 페이지가 거부되지 않았는지 확인하려면 파일을 찾아보세요.

2. Googlebot의 방문 빈도에 영향을 미치므로 사이트의 전반적인 상태를 확인합니다(크롤링 속도 제한이라고도 함).

Google 자체에서 말했듯이 크롤링 속도 제한은 지정된 사이트의 최대 가져오기 속도입니다. 간단히 말해서 Googlebot이 사이트를 크롤링하기 위해 생성할 수 있는 병렬 연결 수와 가져오기 사이에 기다려야 하는 시간을 지정합니다. 사이트 속도가 빠르고 제한이 올라가면 Googlebot이 더 많은 동시 연결을 생성합니다. 사이트 응답률이 낮거나 서버 오류를 반환하면 제한이 낮아지고 Googlebot이 덜 크롤링합니다.

따라서 사이트가 크롤링되는 방식도 사이트 상태의 영향을 받습니다. 여기에는 사이트 속도, 모바일 친화성, 404 오류의 양 등이 포함됩니다.

이러한 도구를 사용하여 사이트의 상태를 확인할 수 있습니다.

  • OnCrawl을 사용하면 중복되거나 거의 중복되는 콘텐츠, 404 및 고아 페이지(이를 가리키는 내부 링크가 없음) 등이 있는 페이지를 찾을 수 있습니다.

OnCrawl에서 콘텐츠 위젯 복제

OnCrawl의 고아 페이지 위젯

  • Google의 모바일 친화성 테스트는 웹사이트의 모바일 친화성을 확인합니다.
  • PageSpeed ​​Insights 또는 GTmetrix 무료 도구를 사용하여 사이트 속도를 확인할 수 있습니다.

그런 다음 OnCrawl과 같은 로그 파일 분석기를 사용하여 크롤링 빈도를 모니터링하고 Googlebot이 페이지를 더 자주 방문했는지 확인할 수 있습니다.

3. 사용자에게 가치를 제공하지 않는 페이지 제외

내용이 약하거나 없는 페이지, 기술적인 페이지 등이 있습니다. 인덱싱되어 노출이 거의 없기 때문에 Google Search Console에서 찾을 수 있습니다. 이를 발견할 수 있는 또 다른 장소는 OnCrawl의 SEO 영향 보고서입니다. 예를 들어, 단어 수가 크롤링 빈도에 미치는 영향을 보여줍니다.

예를 들어, 대형 전자 상거래 웹사이트의 일반적인 문제는 패싯 탐색입니다. Ryan Stewart는 크롤링 예산 최적화에 대한 자신의 비디오에서 이에 대해 이야기합니다(7:20으로 이동하여 확인할 수 있지만 전체 비디오도 매우 유용합니다). 사용자가 웹사이트에서 카테고리를 선택하면 해당 매개변수가 페이지 URL에 추가됩니다. Googlebot에 따르면 그 순간부터 다른 URL이며 별도의 방문이 필요합니다. 가능한 범주 조합의 수는 방대하고 크롤링 예산에 상당한 부담을 줄 수 있으므로 이러한 페이지를 필터링해야 합니다.

세션 식별자가 URL 내에 배치되는 경우에도 유사한 문제가 발생합니다. 이러한 페이지도 필터링해야 합니다.

4. 가장 중요한 페이지가 더 자주 크롤링되도록 페이지의 우선 순위를 지정합니다.

트래픽 가능성이 큰 페이지는 중요합니다.

우선, 이들은 이미 많은 트래픽이 있는 페이지입니다. Google Analytics에서 찾을 수 있습니다. 행동 보고서에서 사이트 콘텐츠 → 모든 페이지 로 이동하여 페이지뷰 수를 기준으로 페이지를 정렬합니다.

둘째, 순위가 상승하고 있는 페이지로 인기도가 높아지고 있습니다. 이러한 페이지는 Google Search Console에서 찾을 수 있지만 필터링 옵션이 제한되어 있어 발견하는 데 시간이 걸릴 수 있습니다.

대안은 AccuRanker를 사용하여 가시성 추세가 증가하는 페이지의 종류를 볼 수 있도록 하는 것입니다. 사용을 시작하려면 클릭 한 번으로 Google Search Console에서 키워드 목록을 가져온 다음 가장 유망한 페이지를 찾을 수 있습니다.

또한 다음 몇 주 및 몇 달 동안 추가 SEO 트래픽이 발생할 수 있는 페이지를 찾는 방법이 있습니다. Google Search Console API 및 Google Data Studio를 사용하는 것이 포함되지만 결과는 다소 놀랍습니다. 랜딩 페이지를 측정기준으로 사용하고 노출수, URL 클릭수 및 URL CTR을 측정항목으로 사용하면 인기가 높아지고 있는 페이지를 다른 페이지보다 빠르게 찾을 수 있습니다.

우선 순위 지정이 필요한 페이지를 찾은 경우 페이지가 더 자주 크롤링되도록 할 수 있는 작업은 다음과 같습니다.

  • 가장 중요한 페이지를 메인 페이지에 더 가깝게 옮기거나 거기에 링크를 표시하십시오. 예를 들어 탐색 또는 "특별 제안" 섹션에 페이지 링크를 추가할 수 있습니다.
  • 제품이 없는 모든 페이지 카테고리에 301 리디렉션을 배치합니다(재고 없음/계절 제품). 문제의 제품이 다시 입고되면 해당 리디렉션을 끄는 것을 잊지 마십시오.

5. 페이지에 대한 충분한 내부 링크 제공

내부 링크는 Googlebot의 주요 경로인 크롤링에 중요합니다. 페이지에 내부 링크가 없으면 앞으로 나아갈 수 없습니다. 따라서 페이지로 연결되는 링크를 추가하면 더 빨리 색인이 생성될 가능성이 높아집니다.

예를 들어 이전 페이지를 더 자주 크롤링하려면 해당 페이지로 연결되는 링크를 새 페이지에 추가하십시오. Googlebot이 새 페이지를 방문하면 이전 페이지도 다시 색인화합니다.

웹사이트의 탐색 메뉴에 페이지 링크를 추가하면 사용자와 Googlebot이 쉽게 액세스할 수 있습니다. SEMrush는 이 기술을 사용하여 새 블로그 게시물의 크롤링 속도를 높입니다. 모든 새 기사는 기본 페이지의 최근 게시물 섹션에 표시되므로 Googlebot에 의해 우선 순위가 지정됩니다.

이 기술은 전자 상거래 웹사이트에서 새 제품 페이지의 색인 생성 속도를 높이는 데에도 사용할 수 있습니다.

마무리

위에서 말했듯이 크롤링 예산 최적화는 전자 상거래 사이트와 같이 파생된 구조를 가진 더 큰 사이트에서 더 중요합니다. 그러나 적절한 페이지 크롤링은 SEO의 기초이며 SERP 가시성에 직접적인 영향을 미치므로 크롤링 통계를 수정하고 크롤링 예산의 균형을 맞춰 SEO 노력의 결과를 가속화할 수 있습니다.

크롤링 예산 최적화를 위한 기본 도구에는 다음이 포함됩니다.

  • 현재 크롤링 예산 추정치를 보려면 Google Search Console
  • 중복 콘텐츠, 404 페이지, 고아 페이지 등을 찾기 위한 OnCrawl과 같은 사이트 상태 감사
  • Google의 모바일 친화성 테스트와 같은 사이트의 모바일 친화성을 확인하는 도구
  • PageSpeed ​​Insights 또는 GTmetrix와 같은 사이트 속도 검사기
  • 이미 트래픽이 많은 페이지(Google Analytics에서 볼 수 있음) 또는 가시성 추세가 증가하는 페이지(AccuRanker의 도움으로 찾을 수 있음)와 같이 인기 가능성이 높은 페이지를 찾는 도구.