[Webinar Digest] SEO in Orbit: 인덱싱의 비밀 풀기

게시 됨: 2019-11-06

웹 세미나 인덱싱의 비밀 잠금 해제는 SEO in Orbit 시리즈의 일부이며 2019년 6월 12일에 방영되었습니다. 이 에피소드에서 Kevin Indig는 페이지 인덱싱에 대한 자신의 생각, 사이트에 대해 인덱싱된 페이지가 사이트 전체에 미치는 영향에 대해 공유합니다. 순위 및 색인을 생성해서는 안 되는 페이지. 페이지를 검색하고 SERP에 표시하도록 하는 중간 단계에 대한 올바른 접근 방식은 무엇입니까?

SEO in Orbit은 SEO를 우주로 보내는 최초의 웨비나 시리즈입니다. 시리즈 전반에 걸쳐 우리는 최고의 SEO 전문가들과 함께 기술 SEO의 현재와 미래에 대해 논의하고 2019년 6월 27일 최고의 팁을 우주로 보냈습니다.

여기에서 다시보기를 시청하세요.

케빈 인디그 발표

Kevin Indig는 지난 10년 동안 스타트업이 1억 명 이상의 사용자를 확보하도록 도왔습니다. 그는 G2의 SEO 및 CONTENT VP이자 Growth @ GermanAccelerator의 멘토이며 이전에 SEO @ Atlassian과 Dailymotion을 운영했습니다. 그의 전문 분야는 사용자 확보, 브랜드 구축 및 사용자 유지입니다. Kevin이 일한 회사에는 eBay, Eventbrite, Bosch, Samsung, Pinterest, Columbia, UBS 등이 있습니다. 그는 또한 선별된 기술 마케팅 뉴스레터인 Tech Bound를 운영하고 있습니다.

이 에피소드는 OnCrawl의 콘텐츠 관리자인 Rebecca Berbel이 진행했습니다. NLP와 특히 언어의 기계 모델, 그리고 시스템과 일반적으로 작동하는 방식에 매료된 Rebecca는 기술적인 SEO 주제에 대해 흥미를 느끼기 위해 결코 헤매지 않습니다. 그녀는 기술을 전파하고 데이터를 사용하여 검색 엔진의 웹사이트 성능을 이해하는 것을 믿습니다.

정의

인덱싱에 대해 이야기하는 것이 중요한 이유 중 하나는 인덱싱이 복잡한 주제이기 때문입니다. 많은 SEO가 인덱싱과 이에 영향을 미치는 방법에 대해 고심하고 있습니다.

– 크롤링

간단히 말해서 크롤링은 웹 페이지와 웹 페이지의 모든 구성 요소를 이해하는 검색 엔진의 기술적 발견 프로세스입니다.

이렇게 하면 Google이 돌아가서 렌더링한 다음 색인을 생성하고 순위를 매길 수 있는 모든 URL을 찾는 데 도움이 됩니다.

– 구글의 3단계 프로세스

크롤링은 검색 결과를 생성할 수 있는 Google의 3단계 프로세스의 일부입니다.

  1. 크롤링
  2. 표현
  3. 인덱싱

이들은 기술적으로 다른 프로세스로, 다른 프로그램이나 검색 엔진의 일부에서 처리됩니다.

순위 지정은 잠재적으로 이 프로세스의 네 번째 단계입니다.

– 인덱싱

인덱싱은 Google이 가능한 결과의 긴 "목록"에 URL을 추가하는 프로세스입니다. Kevin이 인덱싱의 정의에서 "색인"이라는 단어를 피해야 한다면 비유적인 "목록"에 대해 이야기하는 것을 선호합니다. Google에는 순위를 매기고 사용자에게 최상의 결과를 표시하는 데 사용할 수 있는 URL의 "목록"이 있습니다. .

– 로그 파일

웹 서버는 누군가 또는 무엇이든 서버의 페이지나 리소스를 요청할 때마다 기록을 유지합니다.

Kevin은 Google이 사이트를 크롤링하고 렌더링하는 방법을 이해하는 데 있어 진실의 근원인 로그 파일에 정말 열정적입니다.

로그에서 Google이 귀하의 사이트를 방문하는 빈도와 사이트에서 수행하는 작업에 대한 서버 정보를 매우 단순하고 간단한 용어로 찾을 수 있습니다. 로그 파일에는 사이트에 대한 각 방문의 개별 기록이 포함됩니다.

로그 파일에서 많은 정보를 얻을 수 있습니다.

  • 특정 상태 코드 오류
  • 크롤링 문제
  • 렌더링 문제
  • Googlebot이 사이트에서 보내는 시간
  • 사이트에 오는 Googlebot 예를 들어 Mobile First 색인을 사용하면 색인 생성에 사용되는 기본 Googlebot이 최근에 업데이트되었습니다.
  • 귀하의 기술 사이트 구조가 Google이 따르는 것인지 또는 최적화할 수 있는 것이 있는지 여부.

인덱싱을 확인하는 방법

– 권장하지 않음: "site:" 쿼리

약 10년 전 Kevin이 SEO를 시작했을 때 그는 Google에서 "site:" 검색을 실행하여 자신의 사이트에서 어떤 페이지의 색인이 생성되었는지 확인했습니다. 그는 여전히 이것을 가끔 사용하지만 더 이상 URL이 인덱싱되었는지 여부를 확인하는 신뢰할 수 있는 방법이 아닙니다.

더 최근에 그는 이 전략에 대해 John Mueller에게 물었습니다. 그는 이것이 Google이 색인을 생성했는지 여부를 확인하는 더 이상 권장되지 않는 방법임을 확인했습니다.

– 권장사항: Search Console URL 검사

John Mueller는 대신 Search Console의 URL 검사 도구를 사용하여 색인이 생성된 항목을 확인할 것을 권장합니다.

– 권장 사항: XML 사이트맵 및 적용 범위 보고서

Search Console에서 XML 사이트맵을 제출하는 것은 일괄 URL을 확인한 다음 Search Console의 적용 범위 보고서에서 사이트맵을 확인하는 한 가지 방법입니다.

크롤링 렌더링 인덱스 구별의 중요성

언급한 바와 같이 Google이 페이지를 크롤링, 렌더링 및 색인화하는 3단계 프로세스가 있습니다. 이러한 각 단계를 구별하는 것은 매우 중요합니다. 웹이 더욱 정교해짐에 따라 Google은 이러한 프로세스를 개별적으로 조정, 분리 및 개선해야 했습니다.

다른 Googlebot

Google은 여러 Googlebot을 사용하여 웹사이트를 크롤링하고 렌더링합니다. 이미지, 동영상, 뉴스, 텍스트 등 다양한 유형의 리소스가 있습니다. Google은 각 콘텐츠 유형을 이해하기 위해 다양한 Googlebot을 사용합니다.

Google은 약 한 달 전에 에버그린 Googlebot과 최신 Chromium 엔진에서 실행되도록 렌더링 엔진을 업그레이드했다고 발표했습니다.

이는 크롤링 및 렌더링이 인덱싱으로 이어지는 필수 단계이기 때문에 중요합니다.

Google 프로세스의 우선순위 변경

색인 생성을 위해 Google은 데스크톱 Googlebot으로 크롤링했습니다. 변경되었습니다. 그들은 이제 인덱싱 목적으로 스마트폰 Googlebot을 사용합니다.

Mobile-First 인덱싱은 2019년 7월부터 모든 신규 사이트에 적용되며 아직 전환되지 않은 경우 알려진 모든 기존 사이트에 적용됩니다.

크롤링: Google이 색인을 생성할 URL을 찾는 방법

페이지의 색인을 생성하려면 Google에서 페이지를 크롤링해야 합니다.

인덱싱으로 이어지는 프로세스의 첫 번째 단계로 페이지가 정확하고 신속하게 인덱싱되도록 하려면 크롤링이 "안전하고 건전"한지 확인해야 합니다.

기본적으로 Google이 URL을 찾는 세 가지 방법이 있습니다.

  1. 링크: 이것은 전체 PageRank 특허가 기반으로 한 것입니다. 하이퍼링크를 통해 새로운 사이트를 찾는 것입니다.
  2. XML 사이트 맵
  3. 과거 크롤링

– Google이 URL의 우선 순위를 지정하는 방법(크롤링 예산)

Google은 크롤링하는 사이트와 빈도의 우선 순위를 지정합니다. 이를 "크롤링 예산"이라고 합니다.

Google 웹마스터 블로그에는 Google이 크롤링할 사이트의 우선 순위를 지정하는 방법에 대한 몇 가지 아이디어를 제공하는 크롤링 예산에 대한 기사가 있습니다.

– 인기도: 백링크 및 PageRank

이 기사에서 설정한 요점 중 하나는 PageRank가 웹사이트의 색인 속도와 볼륨의 주요 동인이라는 것입니다.

물론 백링크는 PageRank의 주요 구성 요소이므로 크롤링 속도와 인덱싱에 영향을 미칩니다.

– 상태 코드

상태 코드도 고려됩니다. 예를 들어 사이트에 404페이지가 많으면 Google에서 크롤링 빈도를 줄일 수 있습니다.

또 다른 예는 리디렉션 체인 및 루프입니다.

– 현장 위생

크롤링 예산을 많이 낭비하는 방식으로 사이트를 구성하면 Google에서 사이트에서 보내는 시간을 줄일 수 있습니다.

– 페이지 속도 및 서버 응답 시간

크롤링 예산은 페이지 속도와 서버 응답 시간의 영향도 받습니다. Google은 귀하의 사이트를 DDoS하는 것을 원하지 않습니다. 서버가 요청한 속도로 페이지와 리소스를 제공하는 데 어려움을 겪는다면 크롤링 측면에서 서버가 처리할 수 있는 수준으로 조정됩니다.

렌더링: 카페인 업데이트

몇 년 전에 나온 카페인 업데이트는 기본적으로 Google의 렌더링 구조에 대한 업데이트였습니다.

인덱싱: 콘텐츠 유형에 대한 다양한 클러스터

Google이 다른 결과를 반환하는 데 사용하는 다양한 색인 아카이브가 있습니다. 인덱스에 뉴스 결과에 대한 클러스터와 이미지 결과 등에 대해 다른 클러스터가 있다고 상상하는 것이 합리적입니다.

순위: 별도의 알고리즘

마지막으로 인덱싱된 URL의 순위가 매겨지지만 이것은 완전히 다른 알고리즘입니다.

인덱싱 속도 향상

페이지 인덱싱 속도를 높이는 것과 더 많은 페이지를 인덱싱하는 것은 모두 PageRank와 백링크의 영향을 많이 받습니다. 그러나 각각을 개선하기 위한 전략은 다릅니다.

페이지의 색인 생성 속도를 높이려면 처음 두 단계(크롤링 및 렌더링)를 최적화해야 합니다. 여기에는 다음과 같은 구성 요소가 포함됩니다.

  • 내부 연결
  • 사이트맵
  • 서버 속도
  • 페이지 속도

인덱싱된 페이지 수 개선

더 많은 페이지를 인덱싱하려면 크롤링 측면이 더 중요합니다. Google이 귀하의 모든 페이지를 더 쉽게 찾을 수 있도록 하고 싶을 것입니다. 이것은 수천 개의 URL이 있는 소규모 웹사이트에서는 간단하지만 수백만 개의 URL이 있는 대규모 사이트에서는 훨씬 더 어렵습니다.

예를 들어, G2에는 다양한 페이지 유형의 수많은 페이지가 있습니다. Kevin의 SEO 팀은 크롤링 깊이와 해당 유형의 페이지 수에 관계없이 Google이 모든 페이지를 찾을 수 있도록 하려고 합니다. 이것은 다양한 각도에서 접근해야 하는 주요 과제입니다.

페이지 프로필에 따른 크롤링 속도의 변화

페이지 유형에 따라 Kevin은 종종 Google에서 다른 크롤링 속도를 찾습니다. 이는 종종 URL의 백링크 프로필과 내부 링크에 따라 다릅니다. 이것은 그가 로그 파일을 가장 많이 사용하는 곳입니다.

그는 사이트에서 크롤링 효율성이 부족한 부분 또는 크롤링 효율성이 너무 높은 부분을 이해하기 위해 페이지 유형별로 사이트를 분류합니다.

크롤링 속도, 인덱싱 속도 및 순위 간의 관계

Kevin은 크롤링 속도, 인덱싱 속도 및 각 페이지 유형의 순위 사이의 명확한 상관 관계를 절대적으로 관찰했습니다. 이것은 그가 작업한 사이트뿐만 아니라 업계의 다른 SEO와도 마찬가지입니다.

크롤링, 인덱싱 및 순위 지정 사이에 인과 관계를 가정하지 않고 인덱싱을 유도하는 유사한 요소도 페이지 순위 지정과 관련하여 고려되는 것으로 보입니다. 예를 들어 특정 페이지 유형(예: 방문 페이지)에 대한 특정 페이지 템플릿에 대한 백링크가 많은 경우 로그 파일에서 찾을 수 있는 내용은 Google이 전체 사이트에서 Google은 이러한 페이지의 색인을 더 빠르게 생성하고 일반적으로 다른 페이지보다 높은 순위를 지정합니다.

모든 사이트에 유효한 보편적인 진술을 하기는 어렵지만 Kevin은 모든 사람이 자신의 사이트에서도 이것이 사실인지 확인하기 위해 자신의 로그 파일을 확인하도록 권장합니다. OnCrawl은 또한 분석한 여러 사이트에서 이러한 경우가 있음을 발견했습니다.

이것은 그가 생각해 낸 내부 연결의 TIPR 모델로 윤곽을 그리려고 한 것의 일부입니다.

크롤링 속도 측정

크롤링 속도를 측정하려면 주어진 Googlebot이 특정 URL을 얼마나 자주 방문합니까?라는 질문에 답하고 싶습니다.

이것은 또 다른 질문입니다. Kevin은 매주 Googlebot 조회수를 확인하는 것을 좋아합니다. 매일 또는 매월 볼 수도 있습니다.

– 전/후를 중심으로

사용 기간보다 더 중요한 것은 크롤링 속도의 변화를 살펴보는 것입니다. 변경하기 전과 적용한 후 비율을 확인해야 합니다.

– 페이지 유형의 차이점을 중심으로

크롤링 속도를 측정하는 또 다른 핵심은 사이트에서 격차가 있는 위치를 확인하는 것입니다. 페이지 유형 수준에서 크롤링 속도의 차이는 무엇입니까? 크롤링되는 페이지 유형은 무엇입니까? 어떤 페이지 유형이 거의 크롤링되지 않습니까?

– 크롤링 행동의 일반적인 관찰

Kevin이 과거에 한 몇 가지 흥미로운 관찰은 다음과 같습니다.

  • 가장 많이 크롤링된 URL: robots.txt
  • URL/URL 그룹에 대부분의 시간 사용: XML 사이트맵, 특히 크기가 좀 더 커질 때

페이지 유형 간 크롤링 동작의 차이점을 찾기 위해 로그 파일을 파헤치는 것은 매우 놀라운 일입니다. 매일 크롤링되는 URL과 매월 크롤링되는 URL을 찾습니다. 이를 통해 사이트 구조가 크롤링(및 색인 생성 - 사이에 단계가 있음에도 불구하고)에 얼마나 효율적인지 알 수 있습니다.

비즈니스 모델에 따른 크롤링 예산 분배

크롤링 효율성을 개선하기 위한 전략은 일반적으로 Google이 일부 유형의 페이지에 주는 관심을 줄이고 웹사이트에서 더 중요한 페이지로 리디렉션하는 것입니다.

이를 처리하려는 방식은 사이트에서 전환이 처리되는 방식에 따라 다릅니다. Kevin은 중앙 집중식 및 분산형 비즈니스 모델의 두 가지 기본 사이트 모델을 구분합니다.

  • 분산 모델 은 모든 페이지에서 사용자를 전환할 수 있습니다. 좋은 예는 Trello입니다. 모든 페이지에서 가입할 수 있습니다. 모든 페이지 유형은 비교적 유사합니다. 가입 시 다른 페이지보다 더 중요한 페이지는 없기 때문에 목표는 전체 사이트에 걸쳐 균일한 크롤링 속도를 갖는 것일 수 있습니다. 즉, 모든 유형의 페이지가 거의 동일한 속도로 크롤링되기를 원합니다.
  • 중앙 집중식 모델 은 Jira와 같을 수 있습니다. Jira에는 백만 번 복제할 수 있는 단일 페이지 유형이 없습니다. 사람들이 등록할 수 있는 방문 페이지는 몇 개뿐입니다. 이와 같은 사이트의 크롤링 예산이 전환 지점(방문 페이지)에 집중되도록 하고 싶습니다.

크롤링 예산이 어떻게 분배되기를 원하는지는 사이트가 어떻게 수익을 창출하는지, 어떤 유형의 페이지가 가장 중요한 역할을 하는지에 대한 질문으로 돌아갑니다.

크롤링 폐기물 처리

Googlebot이 전환에 덜 중요한 페이지에 크롤링 예산을 지출하지 않도록 하기 위해 몇 가지 방법이 있습니다.

크롤링을 건너뛰는 가장 좋은 방법은 robots.txt입니다.

  • 99.99999%의 경우에서 Google은 robots.txt 지시문을 준수합니다.
  • Robots.txt는 얇거나 중복된 콘텐츠가 있는 사이트의 큰 섹션에서 크롤링을 차단하는 데 도움이 될 수 있습니다(일반적인 예: 포럼의 사용자 프로필, 매개변수 URL 등).

페이지의 색인을 생성하지 않고 크롤링에 도움을 주기를 원하는 합법적인 경우가 있습니다. Kevin은 이 범주에 속하는 일부 허브 페이지를 고려할 것입니다. 이것은 그가 메타 noindex를 사용하는 곳입니다.

그는 John Mueller가 메타 noindex 태그가 결국에는 nofollow로 처리된다고 말했지만 Kevin은 지금까지 이러한 일이 실제로 일어나는 것을 본 적이 없다는 것을 알고 있습니다. 그는 이것이 일어나는 데 매우 오랜 시간(1년 이상 또는 그 이상)이 걸리기 때문일 수 있음을 인정합니다. 그 대신 그는 Googlebot이 "탐욕스러운" 사람이라고 생각하고 가능한 한 많은 링크를 검색하고 따라가는 경향이 있습니다.

Kevin의 조언은 robots.txt를 사용하고 최대한 활용하라는 것입니다. 와일드카드와 매우 정교한 기술을 사용하여 특정 항목이 크롤링되지 않도록 보호할 수 있습니다.

따라야 할 경험적 규칙은 콘텐츠가 얇을수록 크롤링에서 제외할 후보가 될 가능성이 높다는 것입니다.

robots.txt를 통한 크롤링에서 제외된 페이지는 해당 페이지를 가리키는 내부 링크 또는 백링크가 있는 경우 Google에서 계속 색인을 생성할 수 있습니다. 이 경우 검색 결과의 설명 텍스트에 robots.txt의 제한으로 인해 Google이 페이지를 크롤링할 수 없다고 표시됩니다. 그러나 일반적으로 이러한 페이지는 최근에 robots.txt에서 제외되지 않는 한 높은 순위를 차지하지 않습니다.

유사한 페이지로 인한 색인 생성 문제

– 정식 오류

프로그래밍 방식으로 표준 선언은 매우 잘못되기 쉽습니다. Kevin은 canonical에 콜론(:) 대신 세미콜론(;)이 있는 경우를 몇 번 보았을 때 수많은 문제가 발생했습니다.

Canonical은 경우에 따라 매우 민감하며 Google이 모든 Canonical을 불신하게 만들 수 있으며 이는 큰 문제가 될 수 있습니다.

그러나 canonicals의 가장 일반적인 문제 중 하나는 잊혀진 canonicals입니다.

– 사이트 마이그레이션

사이트 마이그레이션은 종종 표준 문제의 원인입니다. Kevin은 사이트에서 표준에 새 도메인을 추가하는 것을 잊어버린 문제를 보았습니다.

이는 특히 마이그레이션 중에 변경을 수행하기 위해 CSM이 프로그래밍 방식이 아닌 수동 조정이 필요한 경우 매우 잊기 쉽습니다.

기본 설정은 다른 URL을 가리키는 특별한 이유가 없는 한 페이지의 표준이 자신을 가리켜야 한다는 것입니다.

– HTTP에서 HTTPS로

이것은 올바른 URL이 인덱싱되지 않도록 하는 또 다른 일반적인 표준 오류입니다. 때때로 표준에서 잘못된 프로토콜이 사용됩니다.

– Google이 선언된 표준을 무시할 때 오류의 원인 찾기

Google은 때때로 자체 표준을 선택합니다. 선언된 표준을 불신하는 경우 일반적으로 근본 원인이 있습니다.

Kevin은 두 가지 상충되는 신호를 Google에 보낼 수 있는 상황을 피할 것을 제안합니다.

  • XML 사이트맵 살펴보기
  • 자신의 사이트를 크롤링하고 잘못된 표준 검색
  • 충돌하는 설정을 찾으려면 Search Console의 매개변수 설정을 확인하세요.
  • noindex와 canonicals를 동시에 사용하지 마십시오.

색인 팽창에 기여하는 페이지 유형

10년 전 SEO에서는 인덱싱할 페이지를 최대한 많이 보내고 싶었습니다. 인덱싱된 페이지가 많을수록 좋습니다.

오늘날에는 더 이상 그렇지 않습니다. 당신은 당신의 가게에서 최고 품질의 물건만을 원합니다. 인덱스에 하위 수준 콘텐츠를 원하지 않습니다.

"색인 팽창"은 일반적으로 값을 제공하지 않는 페이지 유형을 설명하는 데 사용됩니다. 이것은 종종 모든 종류의 얇은 콘텐츠, 특히 각각의 새 페이지에 실질적인 가치를 제공하지 않고 기존 페이지 수를 늘리거나 늘리는 경우에 발생합니다.

특정 유형의 페이지 중 몇 개가 인덱싱되었는지 확인하고 추가 가치를 제공하는지 여부를 확인하려는 일반적인 경우는 다음과 같습니다.

  • 매개변수
  • 쪽수 매기기
  • 포럼
  • 디렉토리 관련 페이지 또는 도어웨이 페이지
  • 서비스나 콘텐츠를 구분하지 않는 광범위한 지역(도시) 페이지
  • 패싯 탐색

인덱싱이 사이트 전체에 미치는 영향

Google이 사이트를 전체적으로 보고 평가하는 방식에 영향을 미치기 때문에 오늘은 하위 페이지의 색인을 생성하고 싶지 않습니다.

이 중 대부분은 크롤링 예산으로 돌아갑니다. Gary Illyes와 John Mueller는 대부분의 사이트가 크롤링 예산에 대해 걱정할 필요가 없다고 자주 말했지만 오늘날 우리가 논의하는 유형의 청중은 큰 차이를 만드는 더 큰 사이트입니다.

Google이 고품질 콘텐츠만 찾도록 하고 싶습니다.

Kevin이 크롤링 속도, 인덱싱 및 순위 간의 관계를 관찰한 것처럼, 그는 또한 인덱싱된 페이지의 품질에 주의를 기울이는 것이 전체 사이트에 효과가 있는 것처럼 보입니다. 보편적인 진술을 하기는 어렵지만 Google은 해당 사이트의 색인된 페이지에 따라 달라지는 일종의 사이트 품질 측정항목을 가지고 있는 것 같습니다. 즉, 인덱싱된 저품질 콘텐츠가 많으면 사이트에 피해를 주는 것 같습니다.

이것이 인덱스 팽창이 해로운 부분입니다. 이는 전체 사이트 품질 "점수"를 희석하거나 낮추는 방법이며 크롤링 예산을 낭비합니다.

빠른 색인 생성을 위한 XML 사이트맵

Kevin의 의견은 Google이 더 똑똑해지면서 시간이 지남에 따라 "해킹"의 수가 줄어들었다는 것입니다.

그러나 인덱싱이라는 주제에 대해 그는 무언가를 빠르게 인덱싱하는 한 가지 방법이 XML 사이트맵을 사용하는 것임을 발견했습니다.

최근에 G2가 새 도메인으로 마이그레이션되었습니다. 다시 크롤링하는 데 시간이 오래 걸리는 페이지 유형이 하나 있으므로 Google 색인에서 이 유형의 페이지에 대한 스니펫에서 이전 도메인을 계속 볼 수 있었습니다. Kevin은 301 리디렉션이 아직 크롤링되지 않았기 때문에 고려되지 않은 것을 보고 이 유형의 모든 페이지를 XML 사이트맵에 넣고 Search Console에서 사이트맵을 Google에 제공했습니다.

이 전략은 Kevin이 Google이 가능한 한 빨리 이해하기를 바라는 사이트에 큰 기술 변경 사항이 있는 경우에도 사용할 수 있습니다.

기술 SEO의 중요성 증가

기술 SEO는 지난 3년 동안 유명해졌습니다. 많은 경우, 기술적 SEO 질문은 실제로 과소평가된 영역을 강조합니다.

종종 콘텐츠와 백링크만 처리해야 한다는 말을 듣습니다. Kevin은 이것이 SEO의 매우 영향력 있는 분야라고 생각하지만, 기술적 SEO를 제대로 갖추면 더 큰 영향을 미칠 수 있다고 생각합니다.

[전자책] 크롤링 가능성

귀하의 웹사이트가 SEO 성능을 높이기 위해 크롤링 가능성에 대한 검색 엔진 요구 사항을 충족하는지 확인하십시오.
전자책 읽기

Q&A

– 10,000 URL/일 빙 및 인덱싱

Bing은 웹마스터에게 더 빠른 인덱싱을 위해 웹마스터 도구를 통해 하루에 최대 10,000개의 URL을 직접 제출할 수 있는 기능을 제공합니다.

Kevin은 이것이 Google도 지향할 수 있는 방향이라고 믿습니다. 세계에서 가장 가치 있는 기업 중 하나인 Google도 리소스를 보호해야 합니다. 이것이 크롤링 리소스를 낭비하면 그에 따라 조정되는 이유 중 하나입니다.

이러한 종류의 기능이 웹마스터에게 가치가 있는지 여부는 사이트 크기에 따라 달라집니다. 하루에 이렇게 많은 URL을 제출할 수 있어 이점을 얻을 수 있는 사이트의 수는 제한되어 있습니다. 아마도 수천 또는 수만 개일 것입니다. Kevin은 이러한 사이트를 위해 Google이 이미 상당한 리소스를 투입하고 있다고 가정합니다. 웹에서 가장 큰 사이트의 경우 Google은 물론 일반적인 예외를 제외하고는 적절한 색인 작업을 수행하는 것 같습니다.

Bing이 이 규모로 무언가를 구현하는 것이 훨씬 쉬울 것입니다. 한 가지는 시장 점유율이 훨씬 작기 때문에 이 기능에 대한 수요가 적습니다. 인덱스 크기도 훨씬 작을 가능성이 높으므로 더 많은 이점을 얻을 수 있습니다.

– Google이 robots.txt를 무시하는 경우

Google은 robots.txt를 거의 무시하지 않습니다.

때때로 Google이 robots.txt를 무시하고 있다고 생각하게 만드는 이유는 이전에 이야기한 것처럼 Google이 여러 다른 방법을 통해 여전히 찾을 수 있는 robots.txt에 의해 차단된 페이지의 색인을 생성할 수 있기 때문입니다.

robots.txt 파일의 구문이 잘못된 경우 Google에서 robots.txt의 지시문을 무시하도록 할 수도 있습니다.

  • 잘못된 문자
  • noindex 지시문과 같이 작동하지 않거나 작동하지 않아야 하는 태그 사용

[참고: Kevin은 Google이 robots.txt 파일에 있는 noindex 지시문을 존중한다는 사례 연구를 인용했습니다. 그러나 이 웹 세미나가 방송된 직후 Google은 2019년 9월 1일부터 robots.txt 파일에서 이 지시문에 대한 암묵적 지원을 종료한다고 발표했습니다.]

그러나 Google은 봇을 높은 수준으로 유지하고 robots.txt를 무시하지 않는 회사 중 하나입니다.

최고 팁

"PageRank는 인덱싱 속도와 볼륨의 주요 동인입니다."

Orbit의 SEO는 우주로 갔다

6월 27일의 우주 여행을 놓쳤다면 여기에서 포착하고 우리가 우주로 보낸 모든 정보를 알아보세요.