명확한 가치를 제공하기 위해 A/B 테스트 보고서에 Shopify 지표를 표시하는 방법

뛰어난 Shopify A/B 테스트 보고서 작성에는 올바른 메트릭을 선택하고 이를 표시하는 방법을 아는 두 가지 주요 측면이 있습니다.

메트릭 선택은 테스트 결과에 영향을 미치고 전체 최적화 프로그램의 초점을 정의합니다.

추신 너무 많은 지표를 선택하지 마십시오. 너무 많지도 적지도 않은 Goldilocks 규칙을 사용하십시오. 너무 많으면 모든 실험에서 "승자"를 찾을 수 있습니다. 너무 적으면 잠재적인 학습을 잃게 되고 다른 주요 지표에 부정적인 영향을 미칠 수 있습니다.

Shopify 보고서에 이러한 측정항목을 표시할 때는 포괄적이면서도 능률적으로 생각하십시오. 시각적 개체를 숫자와 결합하여 주요 변경 사항과 변경으로 이어지는 메트릭의 추세 또는 패턴이 강조 표시되도록 합니다.

경영진에게 의미 있는 결과를 제공하는 보고서가 없으면 더 많은 실험에 동의하거나 A/B 테스트의 ROI를 증명하기 어려울 수 있습니다.

아마도 당신의 학습은 변형을 잃었지만 세그먼트가 약속을 보여주거나 측정항목이 예기치 않은 방식으로 이동했을 때 얻은 나쁜 아이디어나 통찰력을 롤아웃하지 않음으로써 피할 수 있는 모든 위험이었을 것입니다. 그리고 이제 실험을 통해 왜 그런 일이 일어났는지 이해하고 인과관계를 증명해야 합니다.

결론: 해석하기 쉬운 보고서를 만들고 실험 팀이 노력의 가치(실제 승리, 학습 및 통찰력)를 이해 관계자에게 명확하게 전달할 수 있도록 돕습니다.

A/B 테스트에서 추적할 상위 Shopify 지표 및 그 의미

추적 해야 하는 메트릭은 가설에 따라 다르지만 다음은 계속 확인해야 하는 Shopify의 몇 가지 메트릭입니다.

• 총주문 수 : 주문건수

• 총 판매액: 판매 채널별로 총 금액을 분류합니다.
  공식 : 총 매출 – 할인 – 환불 + 배송 + 세금

• 상위 랜딩 페이지: 고객이 세션을 시작하는 페이지를 표시합니다.
  
• 평균 주문 금액 : 전체 주문(기프트 카드 제외)의 평균 금액을 총 주문 수로 나눈 값입니다.

• 온라인 스토어 전환율: 주문으로 이어진 세션의 비율
  
  
  • 장바구니에 추가됨: 고객이 장바구니에 하나 이상의 항목을 추가한 세션의 수와 비율입니다.
    공식 : ((카트 항목이 조회된 세션) / (총 세션))*100
  • 체크아웃 도달: 쇼핑객이 장바구니에 하나 이상의 항목을 추가하고 체크아웃에 도달하여 작업을 수행한 세션의 수와 비율입니다.
  • 전환된 세션: 쇼핑객이 장바구니에 하나 이상의 항목을 추가하고 결제에 도달한 다음 구매한 세션의 수와 비율입니다.
• Abandoned-cart rate: 고객이 결제에 도달하기 전에 포기한 장바구니의 비율입니다.
  공식 : (1 – (완료된 구매 건수 / 시작된 판매 건수))*100

• 이탈률: 단일 참여 세션의 비율
  공식: 총 한 페이지 세션 / 총 입장 방문

또한 신규 고객, 재방문 고객, 추천 채널(SEO, 소셜 미디어, 다이렉트 또는 이메일) 및 위치별 판매를 추적할 수 있습니다.

우리는 HARO를 통해 50개 이상의 Shopify 옵티마이저에게 추적하려는 메트릭에 대해 물었고 몇 가지 분명한 즐겨찾기가 나타났습니다.

• 전환율(CR)
• 클릭률(CTR)
• 전환 가치
• 페이지에 머문 시간
• 이탈률
• 스크롤 깊이
• 카탈로그/카테고리 페이지와 같은 특정 페이지에 대한 참여
• 사이트 탐색 깊이
• 페이지 조회수
• 요소 보기
• 장바구니에 담기
• 순 구매
• 체크아웃까지의 시간
• AOV
• NPS(구매 후)
• 방문자당 평균 수익
• 버려진 카트 비율
• 순이익

현실은 메트릭 추적과 관련하여 만능 정답이 없다는 것입니다. 추적해야 할 가장 중요한 측정항목은 특정 목표와 목표에 따라 달라집니다.

일부 Shopify 스토어의 경우 다음과 같을 수 있습니다.

Shopify 스토어에서 추적할 가장 좋아하는 목표는 다음과 같습니다.

1. 광고 클릭률을 높입니다.
2. 특정 제품의 판매를 늘리십시오.
3. 메인 페이지의 탐색을 개선합니다.

Soxy의 전자 상거래 및 소매 전문가인 Jessica Kats

Shopify Analytics: 특별히 주의해야 할 3가지 지표

Convert에서는 Shopify 스토어 소유자에게 다음 3가지 지표에 각별한 주의를 기울일 것을 요청합니다.

1. 전환율(CR) – 명백히 언급할 위험이 있지만 전환율은 실험의 성공 또는 실패를 나타내는 좋은 지표가 될 수 있습니다. 궁극적으로 더 많은 매출과 수익을 원합니다. 그러나 귀하의 행동이 사이트에서 행동을 취하는 사람들에게 어떤 영향을 미치는지 측정하지 않는다면 이것은 최고의 측정항목이 아닐 수 있습니다.
   
   어떤 측정항목이 가장 중요한지 알아보려면 계속 읽어보세요!

2. AOV(Average Order Value) : AOV가 가장 완전한 메트릭은 아니지만 모니터링을 고려해야 합니다. 다양한 범주에서 사람들이 구매 하는 금액을 수량화하는 광범위한 지표인 다양한 부문의 수익성을 나타냅니다.
   이를 기본 전자상거래 측정항목으로 사용할 때 다음을 확인하세요.
   
   
   • AOV는 SKU 전체에서 모니터링됩니다.
   • AOV를 떨어뜨릴 수 있으므로 유통업체의 주문 및 대량 주문을 추적합니다.
   • AOV는 상당한 비용인 매출 원가를 빼지 않기 때문에 이익을 나타내지 않습니다.

3. 방문자당 평균 수익(ARPV): 무작위화 단위로 주문이 있어 제대로 테스트하기 어려운 AOV와 달리 ARPV는 방문자를 무작위화 단위로 사용하여 실용적입니다.
   
   ARPV는 CR과 AOV로 구성되어 있기 때문에 추적해야 하는 가장 중요한 메트릭입니다.

그리고 Omniscient Digital의 공동 설립자인 Alex Birkett은 다음과 같이 동의합니다.

실험 목표는 실험 설계와 실험에서 실제로 배우게 되는 것 모두에 매우 중요합니다.

너무 많은 회사에서 "전환율"이라는 단순한 비율 측정항목이 보편적인 실험 목표입니다. 귀하의 개입이 귀하의 웹사이트에서 *무엇이든* 구매하는 것과 같이 행동을 취하는 사람들의 비율을 증가시키는지 알고 싶다면 괜찮습니다. 그러나 그것이 귀하가 배우려고 하는 것이 아니거나 그것이 바늘이 아닌 경우 움직이려고 하는 것은 최선의 척도가 아닙니다.

내가 작업한 많은 Shopify 웹 사이트는 다음 중 하나를 원했습니다.
a) 구매하는 사람들의 구매 크기(또는 평균 주문 금액 – AOV)를 늘리거나
b) 일련의 페이지에서 방문자의 평균 가치를 높입니다.

전자의 경우 AOV 및 수익 추적을 설정해야 합니다. 여기에는 장바구니와의 통합이 필요하지만 Convert를 포함한 대부분의 테스트 도구에는 Shopify와의 기본 통합이 있습니다.

또한 Convert에는 체크아웃할 수 있는 AOV 최적화에 대한 전체 가이드가 있습니다.

AOV를 최적화할 때 전환율도 추적하여 해당 지표에 해를 끼치지 않도록 합니다.

그러나 나는 그것을 가드레일 메트릭으로 봅니다.

기준 전환율을 유지하면서 AOV를 높일 수 있다면 실험을 프로덕션으로 보냅니다. 전환율이 조금 떨어지는 경우에도 한계 가치를 계산할 수 있지만 평균 주문 가치는 실험 방문자 1인당 평균 수익을 높여서 보상합니다.

이로써 Shopify를 위한 두 번째 사후 보고 도구인 방문자당 평균 수익이 발생했습니다.

일부에서는 이것이 전환을 증가시키거나 각 전환의 가치(즉, 평균 주문 가치)를 증가시킴으로써 영향을 받을 수 있는 복합 지표이기 때문에 이것이 궁극적인 전자 상거래 매장 전환 최적화 지표라고 주장합니다.

평균 주문 금액과 방문자당 평균 수익은 보고에 몇 가지 추가적인 복잡성을 나타냅니다.

전환율은 이진 측정항목이며 범주형 변수(합격/실패, 전환 여부)로 처리될 수 있으며 카이 제곱 테스트와 같은 것을 사용하여 분석할 수 있습니다.

평균 주문 금액은 연속 변수이며 종종 이상치의 영향을 받습니다(예를 들어, 누군가가 들어와 일반 구매량의 10배를 구매합니다. 이 이상치를 어떻게 처리합니까?).

방문자당 평균 수익도 이상값의 영향을 받고 연속 변수이지만 모델의 기본 가정은 더 큰 표본 크기에서 균형을 이루는 경향이 있습니다.

이 두 메트릭은 Shopify 실험에 대한 보고에서 과소 평가되었지만 단순한 전환율 증가 외에 분석에 대한 몇 가지 새로운 과제를 제시합니다.

그러나 대부분의 A/B 테스트 도구는 이것을 고려할 수 있으며 추론에 큰 문제가 없을 것입니다.

도구 팁: 사전 테스트 분석 변환 계산기를 사용하여 위험 허용 범위에 대한 샘플 크기 요구 사항과 위에 나열된 중요한 메트릭에서 감지하려는 효과를 측정하십시오.

훌륭한 Shopify A/B 테스트 보고서에는 어떤 요소와 통찰력이 포함되어야 합니까?

그렇다면 뛰어난 Shopify A/B 테스트 보고서는 어떻게 생겼습니까? 잠시 후에 알아보겠습니다.

먼저 이것을 담그십시오.

좋은 가설에서 테스트를 시작해야만 훌륭하고 가치 있는 테스트 보고서를 작성할 수 있습니다.

ONTRACK Digital의 설립자 Andra Baragan

확실한 가설을 만드는 방법에 대한 몇 가지 지침이 필요한 경우 저희가 준비했습니다.

이제 우리의 기반을 다뤘으니 A/B 테스트를 구성하는 방법에 대한 Andra Baragan의 조언이 더 있습니다.

새로운 A/B 테스트는 다음 질문에 답하는 것으로 시작해야 합니다.

문제 : 해결하려는 문제가 무엇입니까?

기회 : 귀하의 솔루션이 문제를 어떻게 해결할 것입니까?

최적화 트랙 : 이것이 고객이 목표를 달성하는 데 어떻게 도움이 됩니까? 출처 : 솔루션을 마련하기 위해 어떤 데이터 소스를 사용했습니까?

마지막으로 보고와 관련하여 Andra는 돌아가서 이러한 질문에 숫자로 답할 것을 권장합니다.

모든 테스트 보고서에는 다음이 포함됩니다.

• 테스트 기간 : (테스트가 실행된 날짜)
• 테스트 간격: (실행된 기간)
• 테스트한 내용: (변경한 내용 설명)
• Insights : (왜 그것을 테스트했는지, 무엇을 관찰했는지에 대한 1-2줄)
• 시험에서 무엇을 배웠습니까? 이제 다음 단계는 무엇입니까?
• 테스트가 라이브 웹사이트에서 구현되어야 하는 것입니까? 변형을 반복하고 다시 테스트하시겠습니까? 이 보고 후에 필요한 조치는 무엇입니까?

우리는 항상 Google Analytics에서 테스트 결과를 얻습니다. 각 변형에 대한 사용자 정의 세그먼트를 생성한 다음 모든 관련 보고서에서 해당 세그먼트를 실행할 수 있습니다. 이를 통해 테스트가 사용자 행동에 미치는 영향에 대한 비교할 수 없는 관점을 얻을 수 있습니다.

참고 : Shopify 대시보드에서 분석을 가져와 Google Analytics와 비교하면 메트릭 계산 방식으로 인해 약간의 불일치가 있을 수 있습니다. 왜 그런 일이 발생하는지에 대한 자세한 내용은 다음과 같습니다.

보고서 구성

보고서의 구조는 보고 대상에 따라 다를 수 있습니다. 경영진은 테스트 팀만큼 세부 사항이 필요하지 않습니다. 그러나 보고서에는 일반적으로 다음과 같은 측면이 포함되어야 합니다.

• 슬라이드 1: 테스트의 목적 - 테스트 를 실행한 이유는 무엇이며 이 특정 테스트를 설계하게 된 가설은 무엇입니까?
  
  이해 관계자와 더 광범위한 조직의 경우 이 수준을 상당히 높은 수준으로 유지할 수 있습니다. 테스트 팀에 발표할 때 이전 테스트의 컨텍스트(해당되는 경우)를 포함하고 이동하려는 측정항목을 자세히 살펴보세요.

• 슬라이드 2: 테스트 세부 정보 – 테스트 의 다양한 변형을 보여주고 차이점을 설명하는 간단한 메모를 추가합니다. 테스트를 실행한 시간, 테스트 실행 시간 및 변형별 방문자 수 개요를 포함합니다.
  
  리더십이나 다른 팀에 발표할 때 학습이나 통찰력과 관련이 없는 세부 사항은 생략할 수 있습니다. 테스트 팀의 경우 이 슬라이드나 페이지를 확장하여 모든 세부 사항을 다룰 수 있습니다.

• 슬라이드 3: 테스트 결과 – 상승도 또는 손실 비율, 다양한 변형의 전환율, 테스트의 통계적 유의성을 보여줍니다.
  
  이해 관계자는 결과에 관심을 갖기 때문에 이것이 보고서의 가장 중요한 측면 중 하나입니다. 성공 사례와 올바른 방향으로 이동한 KPI를 강조 표시합니다. 결과와 관련이 없는 이상값을 제거합니다. 그들의 이기심에 호소해야 한다는 것을 기억하십시오. 그들이 좋아 보이도록 할 수 있는 것을 주십시오.
  
  테스트 팀의 경우 손실 및 예상대로 이동하지 못한 측정항목에 더 많은 시간을 할애할 수 있습니다.

• 슬라이드 4: 테스트에서 얻은 교훈 – 테스트에서 확실한 승자가 없었다면 지금이 데이터를 사용하여 스토리를 전달할 수 있는 기회입니다. 보고서의 숫자가 의미하는 바, 이러한 테스트를 실행하여 얻은 통찰력, 향후 테스트를 위한 새로운 가설 생성 계획을 이해 관계자에게 설명하십시오.
  
  이것은 테스트 팀에게도 매우 중요합니다. 실패를 통해 배운 교훈은 팀의 다음 단계를 결정할 수 있습니다.

• 슬라이드 5: 수익에 미치는 영향 : 가능하면 전년도 예상 수익 영향과 함께 이전에 보여준 비율 상승도를 수량화해 보십시오.
  
  경영진의 이해 관계자가 실험에 관심을 갖게 하려면 회사의 수익에 미치는 영향을 보여주어야 합니다. 표시할 예상 수익이 없는 경우 학습 내용에 영향을 미칠 수 있는 향후 테스트를 실행할 계획이 포함되어 있는지 확인하십시오.
  
  

이를 올바르게 수행하는 한 가지 방법이 없기 때문에 몇 명의 전문가에게 보고서를 구성한 방법을 공유하도록 요청했으며 다음과 같이 말했습니다.

다음을 포함하는 보고서를 구성하는 매우 표준적인 방법이 있습니다.

1. 개요
   
   테스트한 내용, 수행한 이유, 관찰한 내용, 다음에 수행하려는 작업에 대한 빠르고 쉬운 언어 요약.

2. 테스트 개념
3. 실험 크리에이티브
4. 날짜 및 기간
5. 측정항목
6. 페이지
7. 가설
8. 분석
9. 결과
   
   제 생각에 모든 보고서에는 다른 사람들이 조사할 수 있도록 하고 후손을 위해 완전한 원시 결과가 포함되어야 합니다.
   
   지금 당장은 A/B 테스트 도구에서 결과에 액세스할 수 있다는 사실을 당연하게 여길 수 있지만 1년 후에는 어떨까요? 이년? 삼?

10. 다음 단계
    
    이 실험에서 본 것을 바탕으로 우리는 다음에 무엇을 할 것인가?

Oliver Palmer의 CRO 컨설턴트인 Oliver Palmer

A/B 테스트 보고서에는 항상 다음 요소가 포함됩니다.

1. 각 버전에서 변경된 사항에 대한 명확한 설명

2. 어떤 버전이 더 잘 수행되었는지를 포함한 실험 결과; 그리고

3. A/B 테스트 결과에 따른 추가 실험 권고

이 보고서는 매장에 가장 적합한 것이 무엇인지 이해하고 전환율을 개선하는 방법에 대해 정보에 입각한 결정을 내리는 데 도움이 됩니다.

PalaLeather의 CEO Luke Lee

1. “ 본 실험(페이지) – 실험을 본 사람은 몇 명입니까?
2. 실험 조회(요소) – 실험이 스크롤로만 표시되는 경우 몇 명이 보았습니까?
3. 실험 드웰 – 데스크탑에서 사용자의 커서가 실험 영역 위에 놓였습니까?
4. 실험 상호 작용 – 사용자가 실험과 상호 작용했습니까? (각 요소를 개별적으로 추적)
5. 페이지에 머문 시간
6. 체크아웃 시간 ”

AirOps의 설립자이자 CEO인 Alex Halliday는

다음은 ONTRACK Digital의 활동 보고서 중 하나의 간단한 예입니다.

( 보고서의 템플릿으로 사용할 수 있습니다.)

슬라이드 1:

• 상표명
• 보고서 이름
• 기간

슬라이드 2:

시험의 하이라이트

• 완료된 테스트 수
• 성공한 테스트 수
• 구현된 기능
• 진행 중인 테스트 수
• 상태 업데이트로 모든 테스트 요약

슬라이드 3:

특정 기간에 대한 Google Analytics 개요

• 수익 및 전환율
• 업무
• AOV

슬라이드 4:

현재 실행 중인 테스트

• 현재 진행 중인 테스트의 스냅샷
• A/B 테스트 소프트웨어의 비주얼로 어느 것이 승자로 떠오르고 있는지 보여줍니다.
• 테스트 진행을 지원하기 위한 Google Analytics의 측정항목

슬라이드 5:

향후 테스트 개요

• 계획 중인 모든 테스트

시각 자료와 함께 각 테스트를 설명하는 하나의 슬라이드를 가질 수 있습니다.

목표 및 KPI 다루기

목표와 KPI는 "테스트 세부 정보" 섹션에 있으므로 실험의 목적을 설명할 수 있습니다.

선택 사항을 설명하는 메모를 추가하세요. 다른 사람보다 추적하기 위해 특정 목표 또는 KPI를 선택한 이유에 대해 그릴 수 있습니다.

추적할 목표와 KPI를 식별하는 데 도움이 필요하십니까? A/B 테스트에서 목표 사용에 대한 궁극적인 가이드를 확인하십시오.

또한 몇 명의 전문가에게 추적하는 목표를 알려달라고 요청했습니다.

Shopify 스토어에서 테스트하는 가장 좋아하는 목표 는 카탈로그 페이지에서 참여도를 높이는 것입니다. 당사 제품은 채널 내에서 판매 수익과 고객 성장을 정의합니다. 이 목표와 테스트에 집중하면 페이지가 충분히 많이 방문되고 있는지 여부에 대한 유용한 통찰력을 얻을 수 있습니다. 참여도가 낮으면 테스트를 통해 부족한 부분을 파악하여 마케팅 노력을 재편할 수 있습니다.

파루조 CEO 아비아드 파루즈

목표 추적과 관련하여 나는 일반적으로 아래 목록에서 하나의 기본 메트릭을 선택한 다음 나머지를 상태 메트릭 또는 카운터 메트릭으로 사용합니다. 의도하지 않은 결과가 발생할 경우에 대비하여 여러 숫자를 주시하는 것이 좋습니다.

1. 이탈률
2. CVR(전환율에 대한 전반적인 향상)
3. AOV(평균 주문 금액)
4. 방문자당 평균 수익(위 두 가지 혼합)
5. NPS 또는 이와 유사한 것

또한 다음 기준으로 사용자를 분류하고 싶습니다.

1. UTM 소스
2. 기기 종류
3. 위치
4. 신규 vs 재방문”

AirOps의 설립자이자 CEO인 Alex Halliday는

목표와 관련하여 일반적으로 직접 영향을 미치려고 하는 선행 지표(예: 조회된 제품 페이지 또는 크기/색상 필터와의 상호 작용)가 있고 거의 항상 전환 및 방문자당 수익이 있습니다. 추적된 목표는 실험의 가설 및 상업적 목표와 직접 관련되어야 하므로 최대 3~4개 이상 추적하는 것은 거의 유용하지 않습니다.

Oliver Palmer, Oliver Palmer의 CRO 컨설턴트

우리는 일반적으로 A/B 테스트에서 전환율 과 평균 주문 가치 라는 두 가지 목표를 추적합니다. 그러나 실험의 특성에 따라 클릭률이나 사이트에 머문 시간과 같은 다른 목표도 추적할 수 있습니다. 일반적으로 실험에 따라 다릅니다. 다른 사용자와 기업은 각각의 목표를 추적하는 기준이 다를 수 있습니다.

Shopify 스토어에서 테스트하기 가장 좋아하는 목표는 전환율과 평균 주문 가치입니다. 이것이 우리 매장의 가장 중요한 지표이며 매장을 개선할 수 있는 방법에 대한 가장 통찰력을 제공한다는 것을 알게 되었습니다. 그러나 상점마다 다르며 다른 목표가 귀하의 비즈니스에 더 중요하다는 것을 알 수 있습니다. 최적화하려는 대상에 따라 다릅니다.

Palaleather의 CEO Luke Lee

시각적 스토리텔링을 위한 크리에이티브 추가

사용하는 대부분의 A/B 테스트 소프트웨어는 보고서를 내보낼 때 사용할 수 있는 표와 그래프 또는 일종의 기성 템플릿을 제공합니다. 해당 그래픽을 보고서에 추가하고(물론 관련 있는 경우) 자신만의 그래픽을 만드는 것을 고려할 수 있습니다.

당신의 숫자가 이야기를 말해줍니다. 광고 소재를 사용하여 시각적으로 묘사하기만 하면 됩니다. 비결은 이해하기 쉬운 시각화를 한 번에 사용하는 것입니다.

CXL의 Annemarie Klaassen과 Ton Wesseling은 작동하는 솔루션에 도달하기 위해 다른 방법을 시도하면서 이 경로를 따라갔습니다. 다음은 그들의 조언을 간략하게 요약한 것입니다.

팁 1: 확실하지 않은 경우 표준을 따르십시오. Excel 스프레드시트

리프트와 임팩트를 바로 확인할 수 있습니다. 또한 모든 사람이 어떤 변형이 이겼는지 쉽게 알 수 있도록 우승자 색상을 지정할 수 있습니다.

팁 2: 그래프 추가

시간 경과에 따른 일일 전환율을 확인하고 기본 변형의 하한 및 상한을 추가할 수 있습니다.

그러나 이것은 어떤 변형이 획득되었고 KPI가 어떻게 영향을 받았는지에 대한 명확한 답을 제공하지 않습니다. 이해 관계자에게 흥미롭지 않은 안정적인 효과가 있음을 보여줍니다.

팁 3: 통계 전문가 에뮬레이션

다른 방법(더 정확할 수 있음)은 통계학자가 하는 일을 복제하는 것입니다: 2개의 종형 곡선, 임계값 및 음영 영역. 그러나 문제는 그것을 명확하게 설명하기가 너무 어렵다는 것입니다.

그래서 Annemarie와 Ton은 다음과 같이 제안했습니다.

두 변형의 전환율을 보여주는 두 가지 분명한 점. 점선은 신뢰 구간을 나타냅니다.

“변동 B의 전환율이 A의 신뢰 구간 범위를 벗어나면 변동 B가 훨씬 더 좋습니다. 녹색 음영 영역이 이를 강조합니다. 빨간색 영역의 점은 변동이 훨씬 더 나쁜 실적을 내고 있음을 의미합니다."

그것들을 바로잡기 위해 몇 번 더 시도해야 했습니다. 그들이 최종적으로 얻은 것은 팀에 의미가 있고 크리에이티브 제작을 자동화할 수 있는 보다 통합된 버전이었습니다.

전체 게시물을 읽고 그들이 결국 무엇을 얻었는지 확인할 수 있습니다.

추신 : 이것을 지나치게 복잡하게 만들 필요는 없습니다. 결과와 학습 내용을 뒷받침하는 광고 소재가 있는지 확인하고 모든 사람이 이해할 수 있을 만큼 충분히 쉬운지 확인하세요.

타겟팅 및 실험 설계 다루기

실험을 설계한 방법과 대상 세그먼트는 무엇을 배웠는지만큼이나 중요합니다. 특히 이러한 통찰력을 사용하여 향후 테스트를 구성해야 하기 때문입니다.

이것들은 "세부 사항"섹션에도 있습니다. C-suite와 관련이 없는 일부 정보를 추상화하거나 요약된 버전을 제시할 수 있습니다.

전문가가 타겟팅 및 세분화에 접근하는 방법은 다음과 같습니다.

다양한 실험은 반복 고객 또는 기본 제품 페이지를 본 개인과 같은 다양한 사용자 세그먼트를 대상으로 합니다. 영국 전역의 사용자가 있는 경우 영국 영어로 영국 고객을 타겟팅할 수 있습니다. 잠재고객을 분류하면 기준을 충족하는 특정 수의 방문자에게만 실험을 노출하고 그렇지 않은 방문자는 제외할 수 있습니다.

매장에서 A/B 테스트를 실행하기 전에 고객의 어떤 섹션이 가설에 적합한지 파악해야 합니다. 세분화는 올바른 실험이 올바른 클라이언트에게 표시되도록 보장합니다.

Lulu Albanna, 공동 설립자 – WRC Media

왜 이러한 구체적인 선택을 했는지 설명하십시오. 이전 실험의 결과였습니까? 아니면 전환 연구를 기반으로 특정 가설에 도달했습니까?

Electric Scooter Guide의 기술 관리자인 Paul Somerville도 테스트가 시작된 위치와 이것이 중요한 이유를 공유할 것을 권장합니다.

라이브 채팅, 클릭 유도문안 버튼, 제품 사진, 상향 판매 포지셔닝, 랜딩 페이지, 탐색 메뉴 등과 같은 기능에 대해 Shopify 회사로서 수많은 A/B 테스트를 수행했습니다.

예를 들어, A/B 테스트는 고객 경험에서 성가심이나 마찰 없이 교차 판매와 상향 판매의 올바른 균형을 설정하는 데 도움이 되었습니다.

우리는 여러 실험을 거친 후 청중이 결제 시 제시되는 제안보다 제품 페이지에서 즉시 관련성이 높은 제안을 좋아한다는 것을 알게 되었고 결과적으로 평균 거래 가치를 높였습니다.

세분화에서 제로화

모든 테스트는 잠재고객 세그먼트를 염두에 두고 시작하지 않습니다. 종종 테스트의 목적은 변화에 더 잘 반응하는 세그먼트를 찾는 것입니다.

따라서 테스트가 완료된 후 잠재고객 세그먼트를 정의하려는 경우 보고서의 "결과" 및 "학습" 섹션에 이에 대한 결과를 포함해야 합니다.

보고서에 포함할 몇 가지 일반적인 세분화:

• 지리적
• 행동
• 날씨
• 테크노그래픽

이 모든 것이 청중을 더 잘 이해하고 우수한 테스트를 설계하는 데 필요한 결과를 개선하는 데 도움이 됩니다.

그러나 사후 세분화는 너무 작은 샘플 크기, 여러 세그먼트 비교, 완전히 잘못된 세그먼트에 집중하는 세 가지 일반적인 문제에 부딪힐 수 있음을 명심해야 합니다.

참고 : 쿠키, 데이터 계층 또는 HubSpot 목록을 기반으로 잠재고객을 세분화하는 사후 세분화를 통해 고급 수준을 얻을 수도 있습니다.

내부 및 고객에게 Shopify A/B 테스팅의 가치 전달

이제 Shopify A/B 테스트 보고서가 어떻게 표시되어야 하는지 알았으므로 다음은 당사 전문가의 조언입니다.

• B2C vs. B2B – 그들에게 올바른 길을 보여주세요
  B2C의 구매 주기는 훨씬 짧고 트래픽도 훨씬 많기 때문에 많은 테스트를 실행할 수 있는 가능성이 이상적으로 있습니다. 그러나 대부분의 브랜드는 데이터 품질이 떨어지는 새로운 개인 정보 업데이트로 인해 지속 불가능해지고 있는 "시도되고 테스트된" 획득 채널에 여전히 집중하고 있음을 알게 될 것입니다. 결과? 고객 확보 비용의 엄청난 상승. 모든 경쟁자를 능가할 수는 없음을 고객/이해관계자에게 설명하십시오.

• 리더십의 이익을 위해 플레이
  A/B 테스트의 진정한 가치는 실험에서 얻은 통찰력에 있습니다. 그러나 이들은 설립자 및 기타 이해 관계자에게 유용하지 않습니다. 그들은 학습에 덜 감동하고 "승리"에 더 관심이 있습니다.

• 잘못된 기대를 설정하지 마십시오
  물론 수익에 미치는 영향을 보여주려고 노력해야 하지만 여기서 핵심 문구는 가능한 경우입니다. 전환율 또는 평균 주문 가치의 증가를 기반으로 수익을 예상하지 마십시오.
  대신 테스트한 내용에 집중하세요.
  
  
  • 당신이 한 일에 대해 구체적이고 시각적이고 적절한 보고서를 만드십시오.
  • 무엇을 배웠습니까? 이것은 CR 또는 ARPV 이동과 같은 메트릭에서 올 수 있습니다. 움직임에 집착하지 말고 가설이 옳았다는 것이 입증된다면. 그렇다면 인과 관계는 잠재고객 세그먼트에 대해 무엇을 나타냅니까?
  • 이 통찰력으로 무엇을 할 것인가? 포지셔닝을 수정하시겠습니까? 아니면 사이트 디자인을 개선하시겠습니까?
  • 이것은 비즈니스 전체에 무엇을 의미합니까? 그리고 브랜드가 비즈니스 목표를 달성하는 데 한 걸음 더 다가갈 수 있습니까?

• 제시한 숫자에 컨텍스트 추가
  사람들에게 그들이 보고 있는 것을 불확실한 용어로 알려야 합니다. 이는 색상 코딩, 업계 벤치마크 추가, 평균, 잠재고객 세그먼트 표시 또는 다양한 채널 비용 표시를 의미할 수 있습니다.

이 접근 방식을 따르면 항상 빠른 승리에 대한 압박을 받는 것은 아닙니다.

실험이 무엇인지, 즉 학습에 다시 주의를 집중할 수 있습니다. 그러나 핵심은 한 가지를 다른 것보다 우선시하는 것이 아닙니다.

최고의 실험 기관은 테스트하는 것만큼 관심과 동의에 중점을 둡니다. 열정(예! 실험은 비즈니스를 성장시킬 수 있음)과 잘못된 기대(우리의 수익은 두 배로 증가) 사이의 진정한 균형을 이루는 행동입니다.

앞으로 나아갈 길은 (*drumroll please*) 교육입니다. 더 나은 테스트를 실행하고 실행 가능한 통찰력을 공유하도록 안내하는 전문용어가 없는 "실험 작업" 사본을 가져옵니다.

부하를 공유하는 데 도움이 될 수 있는 A/B 테스트 도구를 찾고 있다면 Convert를 사용해 보십시오. 15일 동안 무료이며 신용카드가 필요하지 않습니다.