SEO 크롤러를 사용하여 CRO 기회 찾기

인간은 여전히 ​​필요하지만 크롤러가 도울 수 있습니까?

CRO를 오래할수록 다양한 유형의 연구의 중요성을 더 많이 깨닫습니다. 수년 동안 나는 양적 데이터에 대해 무거웠습니다(그리고 여전히 어느 정도 그렇습니다). 거의 완벽한 Google Analytics 설정으로 깨끗하고 안정적인 데이터 수집을 달성합니다. 그래야 최고의 CRO 프로그램이 나오겠죠? 그것은 확실히 좋은 위치에서 당신을 시작하지만 그것은 시작에 불과합니다.

이 게시물에서는 CRO 프로그램이 집중해야 하는 영역에 대한 연구 속도를 높이는 데 도움이 될 분석 및 SEO 시절부터 수년간 개발한 내부 검색 결과 워크플로를 공유할 것입니다.

절규하는 개구리를 만나보세요.

검색 결과(내부 사이트 검색) 심층 분석

관련성이 누락된 경우(키워드 및 페이지 유형 모두에 대해) 표시할 의도 매핑(검색자 의도 및 SERP 의도 모두에 대해)을 표시하는 것이 쉬울 것입니다. 아마도 그것은 나중에 올 것이지만, 나는 그것이 꽤 많이 이루어졌다고 생각합니다.

대신 전환에 더 가까운 내부 사이트 검색 결과에 대해 이야기하고 싶습니다.

사이트 검색은 사용자가 실제로 무언가를 원한다는 더 큰 신호 중 하나입니다.

검색을 하는 사용자와 그렇지 않은 사용자의 이 풀 공급 사이트에서 차이점을 볼 수 있습니다.

사용자가 검색할 때 130% 더 많은 전환이 발생하는 것은 그다지 놀라운 일이 아니지만 가능한 최고의 검색 경험을 제공하는 힘을 보여줍니다.

이제 경험이 최적화되었는지 확인하기 위해 검색어를 자세히 살펴보겠습니다.

첫 번째 권장 사항은 모든 검색어를 다운로드하는 것입니다(계절성이 높은 경우가 아니면 일반적으로 지난 12개월이 가장 적합합니다).

다음으로, 클러스터 도구를 통해 실행하여 사람들이 더 높은 수준에서 검색하는 방법을 이해합니다(이는 수천 KW를 검색하는 것보다 더 나은 방향을 제공할 것입니다).

(클러스터링하기 전에 맞춤법 오류 및/또는 다른 케이스 처리에 대해 KW를 표준화하고 정리해야 합니다.)

수식에 =trim(clean(lower(cell-number)))를 사용하여 Google 스프레드시트에서 정리합니다.

이제 복사하여 MarketBold에서 Keyword Grouper Pro에 붙여넣습니다(무료).

그룹을 형성하려면 얼마나 많은 시작하는 데 1,000개의 키워드를 사용하고 있으므로 그룹당 10개의 키워드를 사용하면 여기에 적절한 양의 그룹이 제공될 것이라고 가정합니다. 얼마나 많은 그룹을 원하는지 결코 알 수 없지만 업로드하는 그룹 수를 기반으로 검색하는 사용자를 충분히 대표할 수 있어야 합니다(사용하면 더 잘할 수 있음).

지피를 통해

클러스터된 키워드를 볼 때 사람들이 검색하는 방식에 따라 몇 가지 다른 카테고리로 그룹화합니다.

• 부품 번호(이보다 더 많은 깔때기 하단을 얻지는 않음)
• 브랜드 이름
• 광범위한 카테고리 유형

이제 GA 검색어로 더 많이 타겟팅하여 무엇을 찾아야 하는지 알 수 있습니다.

이 시나리오에서는 제품 번호를 검색하는 사용자의 구매 의도가 높기 때문에 (상위 "x" 검색 결과만 보는 것이 아니라) 거기서 시작하고 싶습니다. 제품 번호만 분리하는 간단한 정규식(검색어에서 둘 이상의 번호)을 사용하면 검색의 80%에 제품 번호가 포함되어 있음을 알 수 있습니다.

이제 Google Analytics에서 검색 결과를 내보내려고 합니다. 검색어가 많은 경우 API 또는 Google 애널리틱스 Google 스프레드시트 추가 기능(무료)과 같은 도구를 사용해야 할 수 있습니다.

검색 결과 검사(무엇을 찾고 있습니까?)

확실히, 이것은 내가 토끼굴에 빠지지 않았는지 확인하기 시작한 곳입니다. 하지만 지금 셀 수 없을 정도로 여러 번 이 일을 하다 보니 내가 찾던 것이 무엇인지 알았습니다.

여기에서 "문제 영역"은 사용 중인 플랫폼 및 검색 공급자에 따라 다릅니다. 이 시나리오의 경우 주로 다음 사항에 관심이 있습니다.

• 표시된 결과 수
  
  여기에 표시:

• 품절로 표시되는 품목
  
  여기에 표시:

• 검색 결과가 속하는 상위 3개 범주(나중에 VLOOKUP을 사용하여 달성할 수 있지만 여기에서/한 번에 모두 수행하는 것을 선호함)
  
  여기에 표시:

다음 질문은 데이터를 이해하는 데 도움이 됩니다.

• 이러한 제품 번호 검색에 대해 올바른 양의 검색 결과가 표시되고 있습니까?
  거의 모든 다른 유형의 검색에서는 하나의 결과만 갖는 것이 최적이 아니지만 이러한 검색을 기반으로 하면 하나의 결과만 표시하는 것이 합리적입니다. 그러나 우리가 그 하나의 결과를 보고 있다는 것은 매우 중요합니다!

• 멈춘 제품 중 가장 많이 반환된 검색 결과는 무엇입니까?
  또한 많은 결과를 반환하는 검색에 좀 더 관련성이 있습니다.

• 어떤 카테고리가 가장 많이…
  
  
  • 제품 검색?
  • 가장 품절된 결과가 있습니까?
  • 가장 적은 양의 결과가 반환되었습니까(많은 경우 종료될 가능성이 높음)?

Screaming Frog를 사용하여 검색 결과 모방하기

이제 Screaming Frog를 사용하여 재미있는 부분이 나옵니다!

나는 Screaming Frog를 사용하는 방법에 대한 어떤 측면도 다루지 않을 것입니다. 이것은 매우 복잡한 도구이며 거의 10년 동안 사용해 왔지만 아직 더 많은 작업을 수행할 수 있습니다.

마지막 "세부 사항에 대한 주의" 부분은 패턴을 보기 위해 검색한 후 사이트의 URL을 살펴보는 것입니다.

이 패턴과 일치하도록 Google Analytics의 검색어를 사이트 URL에 추가할 것이기 때문에 이 점을 아는 것이 중요합니다. 우리는 크롤러로 이것을 검색하는 사용자를 흉내내고 우리가 이미 다룬 관심 영역(검색 결과, 품절 및 카테고리)을 추출할 것입니다.

1. URL에서 검색어 앞에 있는 모든 항목을 가져옵니다.

2. 해당 URL 문자열을 검색어와 결합합니다.

참고: 검색어에 공백이 있는 경우 고급 정규식 또는 JS를 사용하여 URL에 %20을 추가해야 합니다. 저는 개인적으로 이러한 조작을 위해 TextSoap을 사용합니다.

3. Screaming Frog를 열고 목록 모드로 전환하십시오.

4. URL 목록을 업로드할 방법을 선택하세요(10k가 넘으면 붙여넣지 마세요. 로드하는 데 시간이 오래 걸립니다):

5. 크롤러를 실행하기 전에 사이트에서 필요한 요소를 추출하는 방법을 찾아야 합니다.

검색 결과를 여기에 SF로 표시하고 나머지는 추출 방법을 선택할 수 있습니다.

1. 이 키워드를 검색했을 때 얼마나 많은 결과가 나오는지 알기 위해 검색 결과의 수를 추출하고 싶을 것입니다. 이를 위해 XPATH(일반적으로 SF에서 내가 선택한 언어)를 사용합니다.

2. 나는 보통 가능한 한 가장 쉬운 방법을 먼저 시도하고 필요할 때만 요소를 검사하는 것을 좋아합니다. #WorkSmarter XPather 크롬 확장 프로그램.

지피

3. 이것은 내가 Screaming Frog에서 볼 가능성이 더 많은 것의 "출력" 미리보기와 함께 필요한 XPATH를 제공합니다.

4. 참고: 결과의 수만 추출하는 것에 대해서는 걱정하지 않을 것입니다. Google 스프레드시트에서 5초만 정리하면 됩니다.

5. 이제 Configuration → Custom → Extraction 섹션에서 SF에 입력할 수 있습니다. 여기에서 볼 수 있습니다.

6. 출력을 Extract Text로 변경하여 더 정리하고 불필요한 HTML을 생략하겠습니다.

7. 확인을 클릭하면 이전에(또는 아직 업로드하지 않은) 지정된 URL을 크롤링할 수 있습니다. (다시 말하지만, 우리가 URL을 업로드한 이유는 전체 사이트 크롤링을 피하고 관심 있는 검색어만 크롤링하기 위함이었습니다.)

8. 다음은 소수의 URL과 해당 검색어가 반환한 검색 결과의 수에 대한 출력 샘플입니다.

9. 다음으로 이러한 검색이 얼마나 자주 발생하는지 알고 싶을 것입니다. 여기에서 Google Analytics를 연결하여 해당 URL의 페이지뷰 수를 볼 수 있습니다.

10. 나는 개인적으로 여기에서 높은 검색 페이지와 낮은 반환된 결과의 "비율"을 만드는 것이 도움이 된다고 생각합니다.

또한 해당 페이지의 낮은 결과 수와 높은 종료 사이에 상관 관계가 있습니까? (나는 이것이 10개 미만의 결과가 있을 때 발생하는 것을 봅니다. 이는 대부분의 사이트가 행당 너비가 5개 이하이므로 검색 결과가 "가득 찬" 것처럼 보이지 않는다는 것을 의미합니다.)

11. 여기에서 사용할 수 있는 기타 유용한 데이터 포인트(검색 결과 및 패싯 탐색이 표시되는 방식에 따라):

어떤 검색 결과가 가장 많이 품절된 결과를 반환합니까? (해당 제품의 재고가 있을 때 알림을 받는 등의 조치를 취할 수 없는 경우 검색 결과에서 해당 제품을 제거하는 것을 고려해 볼 수 있습니다.)

검색어를 카테고리(및 관련 있는 경우 하위 카테고리)에 다시 매핑합니다. 시간이 지남에 따라 사용자의 요구를 이해하는 데 도움이 되며 새로운 테스트에서 결과 정렬 방식의 모호한 키워드에 대한 개인화에 이르기까지 다양한 통찰력을 제공합니다.

이전에 보여드린 것처럼 제품 # 검색. 제품 번호가 아무 것도 반환하지 않으면 대부분의 사람들은 여러 검색을 수행하지 않을 것입니다. 즉시 해결하기가 쉽지 않을 수 있지만 종료 의도 팝업을 표시하여 해당 제품의 재고가 다시 있을 때 알림을 받을 수 있습니다.

여기에서 계속할 수도 있지만 이 예제가 사용자에게 제공하는 경험 유형에 대한 더 나은 통찰력을 얻기 위해 검색 결과를 스크랩하는 방법에 대한 더 나은 그림을 그리는 데 도움이 되었기를 바랍니다.

참고: 여기에서 추출 중인 사이트를 전환한 것을 눈치채셨을 것입니다. 이 블로그 게시물을 시작했을 때 첫 번째 사이트는 다른 검색 공급자를 사용하다가 변경되었으며, XPATH를 기반으로 더 나은 예를 보여주고 싶었고 다른 방법으로 뛰어 들었습니다(이는 일반적으로 CSS와 함께 가장 신뢰할 수 있는 방법입니다) 선택자).

두 번째 참고 사항: Google Analytics에서 크롤러의 IP 주소를 필터링하여 페이지뷰 수에 자신을 계산하지 않도록 합니다. 창 로드 후 2-3초 후에 페이지뷰 태그를 실행하는 경우 이와 같은 크롤러 또는 봇 트래픽에 대해 걱정할 필요가 없습니다.

확장 + 이 프로세스 자동화 영역

여러분 중 일부는 "이 작업은 자동화되지 않았으므로 수동으로 수행하고 싶지 않습니다."라고 말할 수 있습니다.

전적으로 타당한 지적입니다. 대부분의 고객이 매주(또는 그 이상) 이 작업을 수행하는 데 필요한 수백만 개의 검색 결과를 반환하지 않기 때문에 개인적으로 신경 쓰지 않습니다. 이것은 일반적으로 트렌드와 패턴이 변화하는지 확인하기 위해 Google Analytics와 함께 하는 월별 또는 분기별 작업입니다.

좀 더 기술적인 사람이라면 Screaming Frog를 고수하고 VPS 솔루션을 설정하여 클라우드에서 자동화된 크롤링을 실행하고 완료 시 결과를 Google BigQuery로 푸시할 수 있습니다. SF에는 이에 대한 좋은 가이드가 있습니다.

ContentKing(과거에 사용한 적이 있음)과 같이 더 "턴키 방식"이고 확실히 덜 손이 많이 가는 다른 솔루션이 있습니다. 이 솔루션은 특정 임계값에 도달하면 "경고"도 허용합니다. (반환된 결과가 없는 제품 번호 검색 = 이메일 또는 Slack 알림이라고 생각하십시오).

SEO 크롤러로 찾아야 할 다른 영역

이것이 최적화 통찰력을 얻기 위해 SEO 크롤러를 사용할 가능성에 대해 조금 더 눈을 뜨게 되었기를 바랍니다. (Screaming Frog는 많은 것 중 하나일 뿐이지만 제가 추천하는 것 중 하나입니다).

내부 검색 결과는 내가 크롤러를 사용하는 부분의 일부일 뿐입니다. 크롤러가 찾을 수 있는 것이 훨씬 더 많습니다. 클라이언트와 작업할 때 다양한 방법으로 사용합니다.

이것 또는 CRO와 관련된 기타 사항에 대해 특정 질문이나 의견이 있는 경우 주저하지 말고 LinkedIn, Twitter 또는 이메일([email protected])을 통해 저에게 연락하십시오.