복잡한 A/B 테스트 가설 생성: 명백한 작업을 완료했을 때를 위한 단계별 가이드

추측의 양을 감안할 때 전환율 최적화의 원칙은 거위 쫓는 일이라고 생각할 것입니다!

테스트를 하고 숨쉬는 전문가로서 우리는 다양한 사이트에서 "클릭률 증가, 수익 증대 및 참여 증대"에 대한 수많은 요청을 받습니다. 대부분의 경우 이러한 요청에는 많은 컨텍스트가 포함되지 않습니다. '

고객은 종종 옵티마이저가 큰 전환율을 높일 수 있는 일종의 마법 공식이 있다고 생각하는 경향이 있습니다.

면책 조항 : 마법의 공식은 없습니다.

그러나 "가정"을 더 많은 행동, 더 많은 돈, 더 많은 이익, 그리고 마케터와 일반 기업을 위한 더 많은 것으로 바꾸는 검증된 경험적 프로세스가 있습니다.

그리고 이 과정은 가설로 시작됩니다.

이익 추구자 충족 가설

캠브리지 영어 사전은 가설을 “ 알려진 사실에 기초하지만 아직 증명되지 않은 어떤 것에 대한 아이디어나 설명 ”이라고 정의합니다.

과학에서 가설은 연구와 실험을 통해 테스트하는 아이디어 또는 설명입니다. 과학 밖에서 가설은 추측이나 이론이 될 수도 있습니다.

형사는 범죄에 대한 가설을 세울 수 있고, 어머니는 누가 양탄자에 주스를 흘렸는지에 대한 가설을 세울 수 있습니다. 가설이라는 단어를 사용하는 사람은 누구나 추측을 하고 있습니다.

그러나 교육받은 추측의 힘은 정기적으로 무작위 테스트로 성공한 사람들의 고객 기대를 초과하는 CRO 전문가를 설정하지만 후속 반복에서는 실패하게 만듭니다.

CRO의 모든 것과 마찬가지로 가설에도 레이어가 있습니다.

최적화를 시작하는 비즈니스는 방문자가 방해를 받는 요소에 대해 이미 매우 명확한 아이디어를 가지고 있을 수 있습니다. 가설은 절단되고 건조됩니다. 그리고 테스트를 통한 이득은 가시적이고 즉각적입니다.

그러나 모든 명백한 옵션이 떨어지면 어떻게됩니까? 최적화를 포기하고 마케팅 비용을 수천 배로 늘리는 데 의존하여 수익이 비례적으로 개선됩니까?

아니요. 더 나은 것에는 제한이 없으며 테스트에는 제한이 없습니다. 그래서 더 깊이 파고들어 행 사이를 읽습니다. 방법을 보여드리겠습니다.

A/B 테스트 가설을 생성하는 방법은 다음과 같습니다.

1. 클라이언트가 가지고 있는 단기 및 장기 비즈니스 목표 목록을 얻고 동화합니다.

모든 고객이 동일한 문제와 목표를 갖고 있는 것은 아니라는 점을 명심하는 것이 중요합니다. 최종 목표는 대부분의 사람들에게 더 많은 돈을 버는 것이지만 단순히 가정할 수는 없습니다. 멈추고, 협력하고, 경청하십시오.

고객 또는 자신의 비즈니스 목표 뒤에 있는 가장 좋은 점은 목표를 정의한 후 측정 계획의 절반이 완료되었다는 것입니다. 추적하려는 대상을 아는 한 추적 방법도 알게 됩니다.

우리는 채우는 데 약간의 시간이 걸리지만 결과는 노력할 가치가 있는 정말 잘 수행되고 포괄적인 측정 템플릿을 발견했습니다.

Fresh Egg에서 이 문서의 사본을 만들고 숫자와 목표를 추가하여 나만의 것으로 만들 수 있습니다.

2. 데이터 확인 후 분석

데이터가 정확하고 정확한지 확인하여 숫자 분석을 시작하십시오. 잘못된 것을 측정하면 실제로 개선할 수 없습니다. Google Analytics 크롤러 및 검사기를 사용하여 추적 코드가 모든 페이지에 설치되었는지 확인하고, 중복 데이터를 제거하고, 올바른 필터를 추가하고, 각 비즈니스의 목표와 특성에 따라 전용 보기를 사용하십시오. 이것은 그 자체로 주제이기 때문에 다음 기사에서 훨씬 더 자세히 설명할 것입니다.

우리가 사용하는 도구 중 일부는?

http://www.gachecker.com/ – 추적 코드가 없는 URL을 찾는 데 적합 – Universal Analytics 및 GTM에서 작동합니다.

Chrome의 Tag Assistant – 비표준 구성이 있을 수 있으므로 실제로 설치되어 있을 때 Analytics가 설치되어 있지 않다고 고객이나 상사에게 울고 싶지 않을 것이므로 이것을 약간의 소금으로 사용하십시오.

WASP Inspector – 이벤트 추적 및 교차 도메인 추적 검증 측면에서 우리를 절대적으로 절약했습니다.

분석 감사에서 무엇을 확인합니까? 기본적으로 사용자 행동의 패턴과 이상값. 이 귀중한 리소스를 최대한 활용할 수 있도록 Google Analytics에 대한 철저한 교육을 수행하는 것이 좋습니다.

이러한 분석 기술을 향상할 수 있는 두 곳:

초보자를 위한 Google 자체 과정.

ConversionXL의 Google Analytics 과정 – 초급, 중급 및 고급.

초기 감사에서는 사이트의 각 요소가 미치는 영향, 사용자가 수행하는 작업, 사용자가 중단하는 위치, 웹사이트와 특정 브라우저, 장치, 해결 방법 간의 비호환성, 수정할 가치가 있는 모든 버그를 확인해야 합니다. 이 모든 정보를 모은 후에 문제가 어디에서 잘못되었는지 알 수 있지만 문제가 발생하는 이유도 알아야 하므로 감사의 질적 연구 부분에 대한 작업을 시작하십시오.

3. 질적 연구 설정

사이트 설문조사 및 고객 설문조사를 시작합니다. 완전한 분석 연구 및 통찰력 생성이 완료될 때쯤에는 감사를 위해 분석하기에 충분한 양의 정성적 정보도 갖게 됩니다.

이 사이트 설문 조사는 어디에서 시작합니까? 빠른 깔때기 분석을 수행하고 하락 지점을 식별합니다. 사용자의 70%가 제품 페이지를 떠난다면 설득력이 없는 무언가가 있을 수 있습니다. 그들에게 물어보는 것보다 알아내는 더 좋은 방법이 어디 있겠습니까? 일반적인 사이트 설문조사는 다음과 같습니다.

고객 설문 조사는 이상적으로는 제품을 받은 후 최근 고객에게 발송됩니다. 웹사이트, 쇼핑 프로세스 및 실제 제품에 대한 경험을 기억하기를 원하는 30-45일 미만의 고객에게 이것을 보내보십시오. 설문조사를 너무 빨리 보내면 제품의 품질이나 배송에 대한 관련 정보를 얻을 수 없습니다. 우리가 거의 항상 묻는 질문은 다음과 같습니다.

• 자신에 대해 무엇을 말할 수 있습니까 -> 연령, 성별, 위치 등을 알아내는 것이 좋습니다. 이렇게 하면 더 많은 컨텍스트를 제공하고 Analytics의 인구 통계 보고서에 있는 통찰력을 검증하는 데 도움이 됩니다.
• 귀하가 당사 제품을 구매/구독/가입하게 된 이유는 무엇입니까? -> 사용자가 구매를 유도하는 요점을 식별하여 잠재 고객과의 추가 커뮤니케이션에서 강조할 수 있도록 하는 것이 좋습니다.
• 구매/구독/가입하기 전에 어떤 의심과 망설임이 있었습니까?
• 우리 제품/서비스를 더 이상 사용할 수 없다면 무엇을 놓치겠습니까?
• 우리가 놓치고 있는 한 가지 큰 것은 무엇입니까?

이러한 질문은 고객에 대해 더 많이 알게 될 때 유용합니다. 이 설문조사를 통해 고객 사용자의 대부분이 65세 이상이며 전체 커뮤니케이션 및 느낌이 멋지고 젊고 성공적인 것을 중심으로 구축되었다는 것을 알게 되었습니다. 전문가.

또한 고객이 제품에 대해 무엇을 좋아하는지에 대한 질문을 통해 고객이 제품을 어떻게 인식하고 사용하는지 이해할 수 있을 뿐만 아니라 이제 자신만의 단어와 표현을 갖게 되어 제품 판매가 많이 될 것이므로 훌륭한 판매 카피 방향을 제시할 수 있습니다. 타겟 고객과 더 관련이 있습니다.

그들이 당신의 제품이나 쇼핑 경험에 대해 좋아하지 않는 것에 대한 질문은 이러한 문제를 해결하고 웹사이트에서 사용자의 경험을 개선하는 데 도움이 될 것입니다.

사용자에게 친구에게 제품/브랜드를 추천할 가능성이 얼마나 되는지 묻는 것은 두 가지 방향에서 가치를 제공합니다. 고객의 실제 행복을 정량화할 수 있고 NPS 점수가 10(NPS)에 가까울 경우 자랑할 수도 있습니다. 점수 – 순 추천 고객 점수(Net Promoter Score)는 기본적으로 사용자가 제품을 추천할 가능성을 의미합니다.

4. 휴리스틱 분석 수행

꿀벌은 휴리스틱을 잘합니다. 실제로 수학자들이 여행하는 세일즈맨 문제로 인해 당황했을 때 꿀벌은 발견적 접근 방식으로 솔루션을 제안했습니다.

CRO 영역에서 발견적 연구를 언급할 때 실제로 사이트 둘러보기를 의미합니다. 발견적 연구는 경험 기반 평가입니다. 즉, 단순히 경험과 이해를 웹사이트에 적용하고 사용자가 전환하거나 전환하지 않는 몇 가지 이유를 정의합니다 . 분석은 숫자를 보여주고 휴리스틱 분석은 왜 그런 숫자인지 보여줍니다.

휴리스틱 분석을 통해 밝혀진 것은 어떤 식으로든 절대적인 사실로 받아들여서는 안 되지만 집중해야 할 일부 영역을 설명하고 테스트 가설의 방향을 설정하는 것은 매우 유용합니다.

이제 이전에 읽었을 것이므로 휴리스틱 분석을 수행할 때 염두에 두어야 할 특정 요소가 있습니다. 우리는 그것들에 대해 많이 주장하지는 않겠지만 적어도 여기에 나열해야 한다고 생각합니다.

• 관련성

휴리스틱 분석을 수행할 때 염두에 두어야 할 첫 번째 사항은 SERP, 배너, 이메일 또는 사용자를 웹사이트로 유도하는 데 사용하는 기타 트래픽 매체에서 시작해야 한다는 것입니다. 이것이 왜 중요한가? 관련성은 웹사이트에서 찾을 콘텐츠에 대한 사용자의 기대와 많은 관련이 있기 때문입니다. 그들이 링크나 배너를 클릭할 때 그들은 무언가를 기대하고 있으며 그것을 전달하는 것은 웹사이트의 역할입니다.

예를 들어 유기농 면 티셔츠를 판매하고 사용자가 Google 검색을 통해 유기농(말장난 의도)으로 귀하를 찾는다고 가정해 보겠습니다.

유기농, 지속가능, 편안함, 케어 와 같이 정말 눈에 띄는 키워드가 있음을 알 수 있습니다. 이는 사용자가 유기농 면 티셔츠를 검색할 때 찾는 요소 중 일부를 강조 표시할 수 있으므로 첫 번째 결과에서 무엇을 찾았는지 살펴보겠습니다.

생각 랜딩 페이지에서 유기농 면과 지속 가능한 의류에 대한 추가 언급을 찾을 수 있습니다.

이 방문 페이지가 사용자의 기대 및 검색어와 얼마나 관련성이 있다고 생각하는지에 따라 1에서 5까지 점수를 매길 수 있습니다. 우리는 분명히 평균 이상의 점수를 줄 것입니다.

• 명쾌함

명확성은 단순히 제안이 충분히 명확하고 사용자가 쉽게 이해할 수 있는지 여부와 구매 방법을 나타냅니다. 이 주제에 관해 우리가 본 가장 풍부한 사례는 SaaS의 세계여야 합니다. 많은 기업이 참을성이 없는 사용자에게 메시지를 제대로 전달하지 못하는 모호한 "과대 광고" 용어로 도구를 제공합니다.

한 예로 " 우리는 디지털 세계를 단순화하여 더 나은 내일을 만들고 싶습니다 "라는 제목이 있는 방문 페이지로 Google Ads 트래픽을 보내는 Solteq가 있습니다. 이 광고는 실제로 아무 말도 하지 않고 명확한 클릭 유도문안이 부족합니다. 그들은 "조달 관리 소프트웨어"에 대한 검색에 나타났으므로 두 가지가 실제로 만나지 않는 이유를 알 수 있습니다.

스펙트럼의 반대편에는 간단하고 핵심을 유지하는 구매 통제가 있습니다. 그들의 소프트웨어는 비즈니스 지출을 통제할 수 있도록 도와줍니다. 이것이 헤드라인과 광고에서 말하는 것입니다.

무료 데모를 제공하는 명확한 CTA가 있으므로 제안과 해당 페이지에서 수행해야 하는 작업을 실제로 이해할 수 있습니다.

• 값

일반적으로 제품의 인지된 가치는 사용자를 머물게 하거나 앞으로 나아가게 합니다. 귀하의 제품이 귀하의 사용자와 관련된 가치를 명확하게 전달하지 않으면 사용자는 귀하가 제공하는 다음 브랜드로 이동할 것입니다.

이것은 그렇게 복잡하지 않으며 실제로 제공해야 하는 내용과 해당 제품이 사용자에게 어떤 이점을 제공하는지 전달하는 것입니다. 브랜드가 덜 알려져 있을수록 가치 제안이 더 강력해집니다. 왜 그렇게 말합니까? 예를 들어 Netflix를 생각해 보십시오. 현재 작동 방식과 구독을 통해 얻을 수 있는 것을 설명하기 위해 너무 많은 노력을 기울일 필요가 없습니다.

이것은 말 그대로 그들의 홈페이지에 있는 전부이며 충분합니다. 반면에 개인 클라우드 솔루션을 제공하는 zyxel.com이 있지만 이를 찾기 위해 노력을 기울이게 만듭니다.

헤드라인이 혼란스럽습니다. 개인 블로그나 여행 앱을 방문했을 수도 있지만 명확하지 않습니다. 또한 텍스트의 본문은 특히 처음 방문자에게 매우 위협적일 수 있습니다. 우리는 그들이 명확한 총알을 넣었다면 그 정보를 훨씬 더 효과적으로 전달했을 것이라고 생각합니다.

• 마찰

사용자 동기 부여 측면에서 마찰을 고객 여정의 과속 방지턱으로 생각하십시오. 사용자의 마음에 불안, 의심, 두려움을 일으키는 요소는 구매를 늦추거나 아예 구매하지 못하게 합니다.

사용자 경험 및 디자인 측면에서 마찰은 사용자가 원하는 조치를 취하지 못하게 하는 모든 요소로 나타납니다. 우리가 만난 가장 일반적인 예는 장바구니에 추가 버튼이 있는 라이브 채팅 위젯이 겹치거나 체크아웃 양식이 겹치는 사이트 설문조사 등이 있습니다.

웹 사이트를 시작하기 전에 디자인 측면에서 마찰 요소를 제거했는지 확인하십시오. 웹 사이트는 사용하기 쉽고 직관적이어야 합니다.

사용자의 동기 부여 측면에서 마찰을 제거하려면 고객 설문 조사와 사이트 설문 조사를 잘 활용하고 변경해야 할 사항을 식별하십시오.

• 혼란

주의 산만은 사용자의 초점을 주요 작업에서 멀어지게 하고 덜 중요한 것으로 리디렉션하는 요소로 인해 발생합니다.

한 가지 매우 간단한 예는 사용자가 최근 언론 보도에 대해 읽기 위해 해당 단계를 떠나는 것을 원하지 않기 때문에 장바구니 및 결제 페이지에서 탐색 및 블로그 게시물 및 기타 위젯을 제거하는 것입니다.

사용자가 한 번의 클릭 유도문안에만 집중할 수 있도록 하고 주의를 산만하게 하는 요소를 최소화하세요. 충분한 정보를 제공하되 돈을 지불한 방문 페이지에서 사람들을 끌어들이지 않도록 하세요.

랜딩 페이지에서 사용할 수 있는 링크 및 클릭 유도문안의 일부만 강조표시한 Confused.com에서 이 예를 볼 수 있습니다.

5. 마우스 추적 및 세션 재생 분석

성공적인 테스트 가설 세트를 개발하는 데 사용된 리소스 중에서 마우스 추적 및 세션 재생을 나열해야 합니다. 이를 위해 선호하는 소프트웨어를 사용할 수 있습니다. 우리는 거의 항상 Hotjar를 사용하며 베타 버전일 때부터 사용하고 있으므로 편향될 수 있습니다. 나가서 직접 사용해보고 어떤 것이 가장 적합한지 확인하십시오.

모든 고객에게 사용하는 기능은 무엇입니까? 클릭맵, 스크롤 맵 및 세션 재생.

클릭맵은 관심 영역을 식별하는 데 유용합니다. 클릭할 수 있는 것처럼 보이지만 클릭할 수 없는 요소, 클릭할 수 있어야 하지만 이 동전의 뒤집힌 면만큼 좋지 않은 요소와 클릭 유도문안은 무시됩니다.

Scrollmaps는 사용자가 페이지를 얼마나 더 아래로 스크롤하는지 보여줍니다. 이는 페이지의 정지 신호(페이지가 거기에서 끝나는 듯한 인상을 주는 시각적 요소)를 식별하고 시각적으로 표시하는 데 도움이 됩니다.

사용자가 해당 지점에 도달하는 요소가 너무 적기 때문에 사용자가 간과하는 요소를 식별할 수도 있습니다. 우리는 바닥글에 가깝기 때문에 완전히 간과되었지만 사용자가 실제로 보고 나서 훨씬 더 많이 전환한 후기 또는 FAQ의 많은 예를 보았습니다. 물론 이러한 요소 중 일부를 상위로 이동하여 전환율이 증가했습니다.

전환율에 기여하고 간과되고 있는 요소를 확인하고 이를 염두에 두고 새로운 레이아웃을 테스트하십시오.

이 모든 정보를 손에 넣고 고객이나 상사 또는 자신을 위한 멋진 슬라이드 데크에 모두 넣었으므로 성공적인 가설 공식이 있는지 확인하십시오.

우리는 Craig Sullivan @optimiseordie의 이것을 좋아하며 다음과 같은 것을 사용하는 것이 좋습니다.

1. 우리가 보았기 때문에 ( 질적 및 양적 데이터 )
2. ( 인구 ) 에 대한 ( 변화 ) 가 ( 영향 ) 을 일으킬 것으로 예상합니다
3. ( x 비즈니스 주기 ) 기간 동안 ( 데이터 측정항목 변경 ) 예상

이제 우리는 이 고급 키트 가 작동하는 것을 봐야 합니다.

Google Analytics의 정보와 유기농 면 티셔츠를 판매하는 웹사이트의 스크롤 맵을 기반으로 가설을 작성한다고 가정해 보겠습니다. 진술은 다음과 같은 내용이 될 것입니다.

모바일 사용자가 70% 감소하는 것을 관찰했고 스크롤 맵을 사용한 세션 재생은 사용자가 "유기적 출처" 섹션에 도달하지 않았음을 나타내므로 제품 페이지의 모든 방문자에게 더 일찍 섹션을 표시하면 증가를 볼 수 있을 것이라고 믿습니다. "장바구니에 추가" 요금으로. 2 비즈니스 주기 동안 장바구니에 담기 목표 전환율을 통해 이를 측정합니다.

그리고 거기에는 명백한 것 이상으로 당신이 자본화하지 못할 개선 기회를 발견하는/b 테스트 가설 생성이 있습니다.

부지런하면 우리가 제시한 절차를 밟을 수 있습니다.

시간을 절약하고 싶다면 스마트 테스터를 위한 차세대 가설 생성 및 반복 학습 도구인 Convert Compass에 관심이 있을 것입니다.