로그 파일 분석: Google Analytics의 현명한 대안
게시 됨: 2022-03-08귀하의 웹사이트에서 매일 무슨 일이 일어나고 있는지 아십니까? 이 질문에 답할 때 가장 먼저 떠오르는 것은 청중 및 행동 추적 도구를 사용하는 것입니다. Google Analytics, At Internet, Matomo, Fathom Analytics 및 Simple Analytics를 포함하여 시장에서 사용할 수 있는 많은 도구가 있습니다. 이러한 도구를 사용하면 우리 웹사이트에서 주어진 시간에 무슨 일이 일어나고 있는지에 대한 대략적인 개요를 알 수 있지만 이러한 도구, 특히 Google Analytics가 사용하는 윤리적 관행에 대해 다시 한 번 의문이 제기되고 있습니다.
이는 현재 모든 웹사이트 소유자가 충분히 활용하지 못하는 다른 데이터 소스인 로그가 있음을 나타냅니다.
분석 도구 및 GDPR(Google Analytics에 중점)
개인 데이터는 일반 데이터 보호 규정(GDPR)이 시행되고 정보 및 자유에 관한 국가 위원회(CNIL)가 설립된 이후 프랑스에서 민감한 주제가 되었습니다. 데이터 보호가 우선 순위가 되었습니다.
그렇다면 귀하의 웹 사이트는 여전히 "GDPR 친화적"입니까?
모든 웹사이트를 살펴보면 많은 웹사이트가 필요한 정보를 수집하기 위해 쿠키(데이터 수집 배너)를 사용하여 규칙을 우회하는 방법을 찾은 반면 다른 웹사이트는 여전히 공식 규정을 엄격하게 준수한다는 것을 알 수 있습니다.
이 정보를 수집함으로써 데이터 분석 도구를 통해 청중의 출처와 방문자 행동을 분석할 수 있습니다. 이러한 종류의 분석에는 가장 신뢰할 수 있고 정확한 데이터를 수집하기 위한 완벽한 태깅 계획이 필요하며 궁극적으로 수집된 데이터는 사이트의 각 작업 및 이벤트의 결과입니다.
여러 불만 사항이 있은 후 CNIL은 Google Analytics를 프랑스에서 당분간 불법으로 지정하여 통지하기로 결정했습니다. 이 제재는 방문자 정보가 이전에 동의 하에 수집되었지만 개인 데이터를 미국 정보 기관으로 전송하는 것과 관련하여 감독이 명백하게 부족하기 때문에 발생합니다. 개발을 면밀히 모니터링해야 합니다.
현재 상황에서 Google Analytics에 대한 액세스가 제한되거나 전혀 없는 상황에서 다른 데이터 수집 옵션을 살펴보는 것이 흥미로울 수 있습니다. 사이트의 과거 이벤트 모음과 비교적 복구하기 쉬운 로그 파일은 훌륭한 정보 소스입니다.
분석할 흥미로운 정보 아카이브에 대한 액세스를 제공하는 로그 파일에도 불구하고 비즈니스 가치 또는 사이트 방문자의 실제 행동(예: 처음부터 장바구니를 확인하거나 장바구니를 떠날 때까지)을 표시할 수는 없습니다. 대지. 그러나 행동적 측면은 위에서 언급한 도구와 관련이 있습니다. 로그 분석은 우리가 꽤 멀리 가는 데 도움이 될 수 있습니다.
로그 파일 이해
로그 파일이란 무엇입니까? 로그는 주요 임무가 이벤트 기록을 저장하는 파일 유형입니다.
어떤 종류의 이벤트에 대해 이야기하고 있습니까? 기본적으로 '이벤트'는 매일 사이트에 액세스하는 방문자와 로봇입니다.
Google Search Console도 이 정보를 수집할 수 있지만 여러 가지 이유로, 특히 개인정보 보호를 위해 매우 구체적인 필터를 적용합니다.
(출처 : https://support.google.com/webmasters/answer/7576553. '서치콘솔과 다른 도구의 차이점'.)
결과적으로 로그 분석이 제공할 수 있는 것의 샘플만 갖게 됩니다. 로그 파일을 사용하면 데이터의 100%에 액세스할 수 있습니다!
로그 파일 행을 분석하면 향후 작업의 우선 순위를 정하는 데 도움이 될 수 있습니다.
다음은 다양한 로봇에서 Oncrawl 사이트를 방문한 과거의 몇 가지 예입니다.
페이스북:
66.220.149.10 www.oncrawl.com - [07/Feb/2022:00:18:35 +0000] "GET /feed/ HTTP/1.0" 200 298008 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"
셈러쉬:
185.191.171.20 fr.oncrawl.com - [13/Feb/2022:00:18:27 +0000] "GET /infographie/mises-jour-2017-algorithme-google/ HTTP/1.0" 200 50441 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"
빙:
207.46.13.188 www.oncrawl.com - [22/Jan/2022:00:18:40 +0000] "GET /wp-content/uploads/2018/04/url-detail-word-count.png HTTP/1.0" 200 156829 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
구글봇:
66.249.64.6 www.oncrawl.com - [21/Jan/2022:00:19:12 +0000] "GET /product-updates/introducing-search-console-integration-skyrocket-organic-search/ HTTP/1.0" 200 73497 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
일부 봇 방문은 가짜일 수 있습니다. IP 주소를 확인하여 Googlebot, Bingbot 등의 실제 방문인지 확인하는 것이 중요합니다. 이러한 가짜 사용자 에이전트 뒤에는 때때로 로봇을 실행하여 사이트에 액세스하고 가격, 콘텐츠 또는 기타 정보를 확인하는 전문가가 있을 수 있습니다. 그들이 유용하다고 생각하는 정보. 그들을 인식하기 위해서는 IP만이 도움이 될 것입니다!
다음은 인터넷 사용자의 Oncrawl 사이트 방문의 몇 가지 예입니다.
Google.com에서:
41.73.11x.xxx fr.oncrawl.com - [13/Feb/2022:00:25:29 +0000] "GET /seo-technique/predire-trafic-seo-prophet-python/ HTTP/1.0" 200 57768 "https://www.google.com/" "Mozilla/5.0 (Linux; Android 10; Orange Sanza touch) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.98 Mobile Safari/537.36"
Google Ads UTM에서:
199.223.xxx.x www.oncrawl.com - [11/Feb/2022:15:18:30 +0000] "GET /?utm_source=sea&utm_medium=google-ads&utm_campaign=brand&gclid=EAIaIQobChMIhJ3Aofn39QIVgoyGCh332QYYEAAYASAAEgLrCvD_BwE HTTP/1.0" 200 50423 "https://www.google.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
추천인 덕분에 LinkedIn에서:
181.23.1xx.xxx www.oncrawl.com - [14/Feb/2022:03:54:14 +0000] "GET /wp-content/uploads/2021/07/The-SUPER-SEO-Game-Building-an-NLP-pipeline-with-BigQuery-and-Data-Studio.pdf HTTP/1.0" 200 3319668 "https://www.linkedin.com/"
[전자책] SEO 로그 분석을 활용하는 4가지 활용 사례
무료로 다운로드로그 콘텐츠를 분석하는 이유는 무엇입니까?
이제 로그에 실제로 포함된 내용을 알았으니 이를 사용하여 무엇을 할 수 있습니까? 답: 다른 분석 도구와 마찬가지로 분석하십시오.
봇 또는 로봇
여기서 우리는 다음과 같은 질문을 스스로에게 할 수 있습니다.
내 웹사이트에서 가장 많은 시간을 보내는 로봇은 무엇입니까?
검색 엔진에 초점을 맞추고 각 봇에 대한 자세한 보기를 보면 다음과 같습니다.
출처 : Oncrawl 애플리케이션
분명히 Google 모바일 및 데스크톱은 Bing 또는 Yandex 봇보다 크롤링에 훨씬 더 많은 시간을 할애합니다. Googlebot은 전 세계 시장 점유율이 90% 이상입니다.
Google이 내 페이지를 크롤링하면 자동으로 색인이 생성됩니까? 아니요, 반드시 그런 것은 아닙니다.
몇 년 전으로 돌아가 보면 Google은 페이지를 방문한 직후 자동 반사를 사용하여 페이지를 색인화했습니다. 오늘날에는 처리해야 하는 페이지의 양을 고려할 때 더 이상 그렇지 않습니다. 결과적으로 크롤링 예산과 관련하여 SEO 전투가 발생합니다.
이 모든 것을 말하면서 다음과 같은 질문을 할 수 있습니다. 내 사이트에서 어떤 봇이 다른 봇보다 더 많은 시간을 소비하는지 아는 것이 무슨 의미가 있습니까?
이 질문에 대한 답은 모두 봇의 알고리즘에 따라 다릅니다. 그것들은 각각 약간 다르며 반드시 같은 이유로 돌아오지는 않습니다.
각 검색 엔진에는 자체 크롤링 예산이 있으며 이를 봇 간에 분할 합니다. 즉, Google은 크롤링 예산을 이러한 모든 봇에 분배합니다. 따라서 특히 주변에 404가 있는 경우 GooglebotAds가 하는 일을 조금 더 자세히 살펴보는 것이 매우 흥미로워집니다. 이를 정리하는 것은 크롤링 예산과 궁극적으로 SEO를 최적화하는 방법입니다.
온크롤 로그 분석기
더 알아보기Oncrawl Crawler 데이터와 Googlebot 데이터 상호 참조
Googlebot의 동작을 더 자세히 분석하기 위해 Oncrawl은 로그 데이터와 크롤링 데이터를 교차 참조하여 가장 자세하고 정확한 정보를 얻습니다.
목표는 또한 깊이, 내용, 성과 등과 같은 여러 KPI와 연결된 가설을 확인하거나 반박하는 것입니다.
따라서 다음과 같은 올바른 질문을 스스로에게 던져야 합니다.
- Googlebot이 사이트의 모든 페이지를 크롤링합니까? 페이지 세분화로 필터링할 수 있는 이 정보를 명확하게 제공하는 크롤링 비율에 관심을 가지십시오.
출처 : Oncrawl 애플리케이션
- Googlebot은 어떤 카테고리에서 시간을 보내나요? 크롤링 예산을 최적으로 사용하고 있습니까? Oncrawl의 SEO 영향 보고서에 있는 이 그래프는 데이터를 상호 참조하고 이 정보를 제공합니다.
출처 : Oncrawl 애플리케이션
- 또한 Oncrawl 크롤링 보고서가 기본적으로 제공하는 범위 밖의 질문이 있을 수 있습니다. 예를 들어 설명의 길이가 Googlebot의 동작에 영향을 줍니까? 크롤링 덕분에 이에 대한 데이터가 있으므로 이를 사용하여 아래와 같이 세분화를 생성할 수 있습니다.
출처 : Oncrawl 애플리케이션
너무 짧은 설명은 여기에서 Oncrawl 애플리케이션에서 "완벽함" 또는 "양호함"으로 지정된 이상적인 크기(110~169자)보다 훨씬 적게 크롤링됩니다.
설명이 관련성 및 크기 기준을 충족하는 경우 Googlebot은 관련 페이지에서 크롤링 예산을 기꺼이 늘릴 것입니다.
참고: 너무 긴 것으로 간주되는 페이지는 Google에서 다시 작성하는 경우가 있습니다.
로그를 사용하여 웹사이트 방문 분석
다음으로, SEO의 예를 보면 이것이 Oncrawl로 분석하려고 하는 것이므로 스스로에게 다른 질문을 하는 것이 좋습니다.
- Googlebot의 행동과 SEO 방문 사이에는 어떤 상관관계가 있습니까?
Oncrawl에는 크롤링의 데이터와 로그에서 검색된 SEO 방문 간의 데이터를 상호 참조하는 동일한 그래프가 있습니다.
출처 : Oncrawl 애플리케이션
대답은 매우 명확합니다. "완벽한" 설명 길이가 있는 페이지가 가장 많은 SEO 방문을 생성하는 것으로 보이는 페이지입니다. 따라서 우리는 이 축에 노력을 집중해야 합니다. 사용자는 Googlebot을 "공급"하는 것 외에도 설명의 관련성을 높이 평가하는 것 같습니다.
Oncrawl 앱은 다른 많은 KPI에 대해 유사한 데이터를 제공합니다. 당신의 가설을 자유롭게 확인하세요!
결론적으로
이제 로그 덕분에 사이트에서 매일 일어나는 일을 탐색할 가능성을 알고 이해했으므로 사이트를 최적화하는 다양한 방법을 찾기 위해 인터넷 사용자 및 로봇 방문을 분석하는 것이 좋습니다. 답은 기술적인 것일 수도 있고 내용과 관련된 것일 수도 있지만 좋은 세분화가 좋은 분석의 핵심이라는 점을 기억하십시오.
그러나 이러한 종류의 분석은 Google Analytics 도구로는 불가능합니다. 그들의 데이터는 때때로 우리 크롤러의 데이터와 혼동될 수 있습니다. 가능한 한 많은 데이터를 처리하는 것도 좋은 솔루션입니다.
로그 데이터와 크롤링 분석을 최대한 활용하려면 전자 상거래 사이트의 로그와 관련된 5개의 SEO KPI를 컴파일하는 Oncrawl 팀에서 수행한 연구를 자유롭게 살펴보십시오.