Google의 크롤링 예산: 작동 방식 및 최대화 방법
게시 됨: 2021-03-02인터넷의 모든 웹사이트에 대해 Google은 봇이 크롤링할 수 있고 크롤링할 의향이 있는 페이지 수에 대해 고정된 예산을 가지고 있습니다. 인터넷은 광대한 공간이므로 Googlebot은 웹사이트를 크롤링하고 색인을 생성하는 데 너무 많은 시간을 할애할 수 있습니다. 크롤링 예산 최적화는 웹사이트의 올바른 페이지가 Google 색인에 포함되고 궁극적으로 검색자에게 표시되도록 하는 프로세스입니다.
Googlebot은 한도에 도달하지 않고 대부분의 웹사이트를 크롤링하기 때문에 크롤링 예산 최적화에 대한 Google의 권장사항은 다소 제한적입니다. 그러나 수천 개의 랜딩 페이지가 있는 엔터프라이즈급 전자상거래 사이트는 예산을 초과할 위험이 있습니다. 2018년 연구에 따르면 Google 크롤러가 실험에서 대규모 사이트 웹페이지의 절반 이상을 크롤링하지 못하는 것으로 나타났습니다.
크롤링 예산이 사용되는 방식에 영향을 주는 것은 전략가가 구현하기 어려운 기술 최적화가 될 수 있습니다. 그러나 엔터프라이즈 수준 및 전자 상거래 사이트의 경우 가능한 한 크롤링 예산을 최대화하기 위해 노력할 가치가 있습니다. 몇 가지 조정을 통해 사이트 소유자와 SEO 전략가는 Googlebot이 가장 실적이 좋은 페이지를 정기적으로 크롤링하고 색인을 생성하도록 안내할 수 있습니다.
Google은 크롤링 예산을 어떻게 결정합니까?
크롤링 예산은 기본적으로 Google이 웹사이트를 크롤링하는 데 사용할 시간과 리소스입니다. 방정식은 다음과 같습니다.
크롤링 예산 = 크롤링 비율 + 크롤링 수요
도메인 기관, 백링크, 사이트 속도, 크롤링 오류 및 방문 페이지 수는 모두 웹사이트의 크롤링 속도에 영향을 미칩니다. 더 큰 사이트는 일반적으로 크롤링 속도가 더 높지만 더 작은 사이트, 느린 사이트 또는 과도한 리디렉션 및 서버 오류가 있는 사이트는 일반적으로 덜 자주 크롤링됩니다.
또한 Google은 '크롤링 수요'에 따라 크롤링 예산을 결정합니다. 인기 있는 URL은 Google이 사용자에게 최신 콘텐츠를 제공하기를 원하기 때문에 크롤링 수요가 더 높습니다. Google은 색인에 있는 오래된 콘텐츠를 좋아하지 않으므로 일정 기간 동안 크롤링되지 않은 페이지도 수요가 더 많습니다. 웹사이트가 사이트 이전을 거치는 경우 Google은 새 URL로 색인을 더 빠르게 업데이트하기 위해 크롤링 수요를 늘립니다.
웹사이트의 크롤링 예산은 변동될 수 있으며 확실히 고정된 것은 아닙니다. 서버 호스팅 또는 사이트 속도를 개선하면 Googlebot이 사용자의 웹 경험 속도를 늦추지 않는다는 것을 알고 사이트 크롤링을 더 자주 시작할 수 있습니다. 사이트의 현재 평균 크롤링 속도를 더 잘 파악하려면 Google 검색 콘솔 크롤링 보고서를 참조하세요.
모든 웹사이트가 크롤링 예산을 걱정해야 합니까?
몇 개의 랜딩 페이지 순위에만 집중하는 소규모 웹사이트는 크롤링 예산에 대해 걱정할 필요가 없습니다. 그러나 대규모 웹사이트, 특히 페이지가 과도하게 끊어지고 리디렉션이 발생하는 비정상적 사이트는 크롤링 한도에 쉽게 도달할 수 있습니다.
크롤링 예산을 최대화할 위험이 가장 큰 대형 웹사이트 유형에는 일반적으로 수만 개의 방문 페이지가 있습니다. 특히 주요 전자 상거래 웹사이트는 크롤링 예산의 영향을 받는 경우가 많습니다. 상당수의 랜딩 페이지가 색인이 생성되지 않아 Google에서 순위가 매겨질 가능성이 전혀 없는 기업 웹사이트를 여러 개 보았습니다.
전자 상거래 사이트가 크롤링 예산이 어디로 가는지 특히 주의를 기울여야 하는 몇 가지 이유가 있습니다.
- 많은 전자 상거래 사이트는 SKU 또는 제품을 판매하는 모든 도시 또는 주에 대해 수천 개의 방문 페이지를 프로그래밍 방식으로 구축합니다.
- 이러한 유형의 사이트는 품목이 품절되거나 새 제품이 추가되거나 기타 재고 변경이 발생할 때 방문 페이지를 정기적으로 업데이트합니다.
- 전자 상거래 사이트는 중복 페이지(예: 제품 페이지) 및 세션 식별자(예: 쿠키) 경향이 있습니다. 둘 다 Googlebot에 의해 "저부가가치" URL로 인식되어 크롤링 속도에 부정적인 영향을 미칩니다.
크롤링 예산에 영향을 미치는 또 다른 문제는 Google이 언제든지 예산을 늘리거나 줄일 수 있다는 것입니다. 사이트맵은 대규모 웹사이트에서 가장 중요한 페이지의 크롤링 및 색인 생성을 개선하는 데 중요한 단계이지만 Google이 가치가 낮거나 실적이 저조한 페이지에서 크롤링 예산을 최대한 활용하지 않도록 하는 것만으로는 충분하지 않습니다.
그렇다면 웹마스터는 크롤링 예산 최적화를 어떻게 수행할 수 있습니까?
사이트 소유자는 Google Search Console 계정에서 더 높은 크롤링 제한을 설정할 수 있지만 설정이 크롤링 요청 증가를 보장하지 않거나 Google에서 크롤링하는 페이지에 영향을 미치지 않습니다. 가장 자연스러운 해결책은 Google이 웹사이트를 더 자주 크롤링하도록 하는 것 같지만 크롤링 속도 증가와 직접적인 상관관계가 있는 최적화는 매우 제한적입니다.
우리는 예산을 잘 짜는 것이 지출 한도를 늘리는 것이 아니라는 것을 모두 알고 있습니다. 그것은 당신이 당신의 돈을 쓰는 것에 대해 더 선택적인 것에 관한 것입니다. 크롤링 예산에 이 동일한 개념을 적용하면 엄청난 결과를 얻을 수 있습니다. 다음은 Google에서 귀하의 예산을 귀하에게 유리하게 사용하는 데 도움이 되는 몇 가지 전략적 단계입니다.
1단계: Google이 사이트에서 실제로 크롤링하는 페이지 식별
최근까지 Google Search Console의 크롤링 보고서는 사이트 소유자에게 지정된 날짜에 사이트가 받은 크롤링 요청 수만 알려줍니다. Google의 새로운 크롤링 통계 보고서는 크롤링에 대한 훨씬 더 자세한 정보를 제공하지만 Google이 사이트를 크롤링하는 방법을 이해하는 가장 좋은 위치는 여전히 서버 로그 파일입니다.
Google은 웹사이트를 방문할 때 특정 사용자 에이전트를 사용합니다. 이렇게 하면 트래픽이 실제 사람이 아니라 Googlebot임을 서버에 알릴 수 있습니다.
(Bingbot과 Ahrefs의 봇도 있습니다.)
온크롤 로그 분석기
더 알아보기이 로그 파일의 내용을 분석하는 사이트 소유자는 사이트에 대한 Google의 크롤링 예산에 대한 많은 정보를 얻게 됩니다. 파일에 몇 가지 사항이 표시됩니다.
- 사용자 에이전트가 방문하는 페이지
- 에이전트가 하루에 크롤링하는 페이지 수
- 크롤링된 페이지가 404ing 또는 손상되었는지 여부
이상적으로는 Google이 가치가 가장 높은 키워드에 최적화된 웹사이트의 방문 페이지를 크롤링하는 것이 좋습니다. 또한 사이트 소유자는 404에 크롤링 예산을 낭비해서는 안 됩니다. Google Search Console은 소프트 404 오류 중 일부만 표시하지만 서버 로그에서 모든 오류를 식별할 수 있습니다.
크롤링 중인 웹사이트 페이지에 대한 자세한 정보가 있으면 다음 작업 항목을 완료하십시오.
- 로봇 태그 추가: Googlebot이 해당 404 또는 깨진 페이지를 크롤링하는 경우 Googlebot이 해당 페이지를 크롤링하고 색인을 생성하지 못하도록 로봇 태그 [noindex, nofollow]를 추가하는 것이 우선 순위입니다.
- 사이트맵 조정: 서버 로그에 Google이 잠재적으로 고성능일 수 있는 페이지를 크롤링하지 않는 것으로 나타나면 사이트맵에서 상위 페이지에 배치하여 크롤링되도록 합니다.
2단계: 모든 방문 페이지가 Google에서 순위를 매길 필요는 없다는 사실을 인정하세요.
많은 기업 수준 웹사이트가 크롤링 예산을 낭비하는 주된 이유는 Google에서 사이트의 모든 방문 페이지를 크롤링할 수 있기 때문입니다. 많은 웹사이트는 Google이 모든 페이지를 찾아 크롤링할 수 있도록 모든 페이지를 모바일 앱에 넣는 것을 좋아합니다. 실제로 모든 방문 페이지의 순위가 매겨지는 것은 아니기 때문에 이것은 실수입니다.
Google 색인에 방문 페이지를 포함하는 것의 가치는 무엇입니까? 순위 및 변환. 웹사이트에 여러 키워드에 대한 순위를 매기거나 사이트 방문자를 리드 및 수익으로 전환하여 비중을 늘리지 않는 방문 페이지가 있는 경우 Google에서 크롤링하도록 하는 위험을 감수해야 합니까?
기업 수준 및 전자 상거래 사이트 소유자는 웹 사이트의 어떤 페이지가 전환에 최적화되어 있고 순위 및 전환 가능성이 가장 높은지 알아야 합니다. 그런 다음 Google이 이러한 고성능 페이지에 크롤링 예산을 지출하도록 할 수 있는 모든 이점을 활용해야 합니다.
순위와 전환 가능성이 높은 웹사이트의 방문 페이지는 크롤링 예산을 지출할 가치가 있습니다. 다음은 Googlebot이 예산에 해당 페이지를 포함하도록 하는 몇 가지 팁입니다.
- 사이트 맵의 페이지 수를 줄이십시오 . 실제로 순위를 매기고 유기적 트래픽을 얻을 가능성이 높은 페이지에만 집중하십시오.
- 실적이 저조하거나 불필요한 페이지를 삭제 하십시오. 순위, 전환 또는 기능적 목적이 없기 때문에 가치가 없는 페이지를 제거하십시오.
- 콘텐츠 정리 . 실제로 유기적 트래픽이 발생하지 않는 페이지를 정리하고 관련성이 있고 트래픽을 발생시키는 사이트의 다른 방문 페이지로 리디렉션합니다. 리디렉션은 크롤링 예산의 일부를 차지하므로 드물게 사용하고 연속으로 두 번 사용하지 마십시오.
사이트 소유자가 콘텐츠를 포기하는 것은 어렵지만 Google이 전체 크롤링 예산을 늘리도록 하는 것보다 Google이 특정 페이지를 크롤링하지 못하도록 하는 것이 훨씬 쉽습니다. 크롤링 예산을 현명하게 사용하려면 Google 크롤러가 최고의 항목을 찾고 색인을 생성할 수 있도록 사이트를 정리하는 것이 최우선입니다.
3단계: 내부 링크를 사용하여 Google 크롤러의 고성능 페이지 향상
Google이 크롤링하는 페이지를 식별하고, 필요한 로봇 태그를 추가하고, 성능이 낮은 페이지를 삭제 또는 정리하고, 사이트맵을 조정하면 Google 크롤러가 웹사이트의 올바른 페이지에 예산을 지출할 가능성이 높아집니다.
그러나 그 예산을 진정으로 최대화하려면 페이지에 순위가 매겨지는 데 필요한 수준이 있어야 합니다. 페이지 내 SEO 모범 사례가 핵심이지만 보다 고급 기술 전략은 내부 연결 구조를 사용하여 잠재적으로 고성능 페이지를 높이는 것입니다.
Googlebot에 제한된 크롤링 예산만 있는 것처럼 웹사이트에는 인터넷 공간을 기반으로 하는 특정 양의 사이트 자산만 있습니다. 현명한 방법으로 자산을 집중시키는 것은 귀하의 책임입니다. 이는 귀하가 순위를 매길 가능성이 높은 키워드를 타겟팅하는 페이지와 적절한 유형의 고객, 즉 전환 가능성이 있고 실제로 경제적 가치가 있는 고객과 트래픽을 유도하는 페이지로 사이트 자산을 유도하는 것을 의미합니다.
이 SEO 전략을 PageRank 조각이라고 합니다. 수천 개의 방문 페이지가 있는 대규모 웹사이트가 있는 경우 고급 전략가가 SEO 실험을 실행하여 더 나은 PageRank 배포를 위해 웹사이트의 내부 연결 프로필을 최적화할 수 있습니다. 새로운 웹사이트인 경우 PageRank 조각을 사이트 아키텍처에 통합하고 새로 만드는 모든 방문 페이지에서 사이트 자산을 고려하여 앞서 나갈 수 있습니다.
다음은 PageRank 조각에서 가장 큰 이점을 얻을 수 있는 페이지를 결정하기 위해 내 페이지를 분석할 때 가장 좋아하는 두 가지 전략입니다.
- 트래픽은 많지만 PageRank가 충분하지 않은 웹사이트 페이지를 찾습니다 . 해당 페이지에 더 많은 내부 링크를 가져오고 더 많은 PageRank를 보내는 방법을 찾으십시오. 웹사이트의 머리글이나 바닥글에 추가하는 것은 이 작업을 빠르게 수행하는 좋은 방법이지만 탐색 메뉴의 링크를 과도하게 사용하지 마십시오.
- 내부 링크는 많지만 트래픽, 검색 노출 및 순위가 거의 없는 키워드에 대해 많은 페이지에 초점을 맞춥니다 . 많은 내부 링크를 수신하는 페이지에는 일반적으로 많은 PageRank가 포함됩니다. 페이지랭크를 사용하여 사이트에 유기적 트래픽을 가져오지 않는다면 낭비입니다. 실제로 바늘을 움직일 수 있는 페이지로 PageRank를 옮기는 것이 좋습니다.
웹사이트의 모든 링크가 웹사이트에 Googlebot을 보낼 뿐만 아니라 링크 자산을 분배하는 데 있어서의 역할을 이해하는 것이 크롤링 예산 최적화의 마지막 단계입니다. 내부 연결 구조를 올바르게 설정하면 머니 페이지의 순위가 크게 향상될 수 있습니다. 결국 크롤링 예산을 사용하는 가장 좋은 방법은 수익을 주머니에 넣을 가능성이 가장 높은 방문 페이지에 사용하는 것입니다.
변경 사항을 구현한 후 Google Search Console 도구에서 개선된 페이지의 키워드 순위를 주시하세요. 해당 페이지의 순위가 향상되면 크롤링 예산 최적화가 작동 중임을 나타냅니다. 그런 다음 웹 사이트에 새 페이지를 추가할 때 크롤링 예산을 소모할 자격이 있는지 여부를 보다 선택적으로 선택하십시오. 그렇지 않은 경우 크롤러를 브랜드에 가장 잘 맞는 페이지로 계속 안내하세요.