Shopify 상점의 A/B 테스트에 대한 기업가 가이드(+ 9명의 Shopify 기업가가 A/B 테스트 스토리를 결과와 공유)

포도나무를 통한 A/B 테스트에 대해 들어보셨을 것입니다.

경쟁자가 팟캐스트에서 우연히 언급했거나 마케팅 팀이 좋은 아이디어라고 생각할 수도 있습니다. 또는 대화 중인 성장 에이전시에서 A/B 테스트를 실행하려고 합니다.

사업을 성장시키는 것은 쉬운 일이 아닙니다. 당신은 그것을 알고 있습니다. 여기까지 왔으니 비즈니스 결정이 올바른지 이해하기 위해 고심한 적이 여러 번 있었을 것입니다.

청중이 무엇을 원할지에 대해 도박을 하는 대신 확실히 알 수 있는 방법이 있다면 좋지 않을까요?

이것이 A/B 테스팅이 하는 일입니다.

물론 A/B 테스트의 이점은 데이터 기반 의사 결정을 초월하지만 그 핵심은 대규모 성장을 가능하게 하는 비밀 소스입니다.

따라서 DIY를 시도하든 요구 사항을 아웃소싱하든 A/B 테스트에 대해 귀하와 같은 Shopify 기업가가 알아야 할 모든 것이 있습니다.

전자상거래 A/B 테스팅이란?

A/B 테스팅은 청중이 고객이 되기 전에 고객이 무엇을 원하는지 이해할 수 있는 프로세스입니다.

일반적으로 A/B 테스트는 클릭 유도문안(CTA) 버튼의 색상을 변경하거나 새 헤드라인을 추가하는 것과 같은 사소한 조정으로 생각되지만 그보다 더 깊습니다.

페이지 또는 요소의 한 버전을 변형이 있는 페이지에 배치하여 무엇이 효과가 있는지 확인함으로써 방문자의 공감을 불러일으키는 카피, 디자인 및 기능(UX)을 결정할 수 있습니다.

이제 막 시작했습니다!

A/B 테스트의 개념을 사용하고 청중과의 상호 작용과 사용하는 모든 채널에 적용할 수 있습니다.

그러나 전자 상거래 A/B 테스트는 B2B SaaS와 같은 다른 버티컬에 비해 다르다는 것을 이해하는 것이 중요합니다.

1. 수익 실현 시간 단축
   
   A/B 테스트는 기존의 B2B보다 훨씬 빠르게 수익에 미치는 영향을 드러낼 수 있습니다. B2B에서 거래는 다중 스레드이며 여러 의사 결정자가 판매 주기를 분기는 아니더라도 몇 개월에 걸쳐 결정합니다.
   
   수익 증대뿐만 아니라 연구 및 위험 완화를 위해 A/B 테스트를 이상적으로 사용해야 하지만 모든 비즈니스의 생명선은 수익이므로 성장 믹스에 A/B 테스트를 도입해야 하는 충분한 이유가 있습니다.
2. 체크아웃 프로세스가 복잡함(테스트할 여지가 더 많음)
   
   전자 상거래 구매 유입경로는 B2B처럼 복잡하지 않지만 결제 프로세스는 1차원적이지 않습니다.
   
   구매심리학(Psychology of Buying ) 의 저자인 루벤 드 보어(Ruben De Boer)는 지불하는 것이 말 그대로 고통스럽다고 설명합니다. 사람들이 구매 결정을 내리기 위해 요인을 어떻게 평가하는지 조사하기 위한 2007년 연구에서 참가자들에게 제품 이미지와 가격을 보여주었습니다. fMRI 기계로 그들의 뇌를 분석하여 어떤 신경 경로가 켜지는지 확인했습니다.
   
   예상대로 제품 이미지를 보는 것은 뇌의 보상 센터에 불을 붙였습니다.
   
   하지만 가격은? 육체적, 사회적 고통과 관련된 뇌의 일부가 크리스마스 트리처럼 빛나고 있어 연구자들은 이득과 고통 사이의 균형이 소비자가 지갑을 여는 것이 합리적이어야 한다는 결론을 내릴 수 있습니다.
   
   가격이 제품의 품질을 나타내기 때문에 가격을 낮추어야 한다는 의미는 아닙니다. 더 작은 글꼴을 사용하거나, 선불을 제안하거나, 더 큰 글꼴로 할인을 표시하거나, 사본에서 금전적 표현을 피할 수 있습니다.
   
   따라서 구매의 고통을 줄인다는 것은 A/B 테스트 없이는 불가능한 인간의 동기, 욕망 및 좌절의 혼란을 이해해야 함을 의미합니다. 실시간으로 메시징, UI 요소를 테스트하거나 체크아웃 프로세스를 점검할 수 있습니다.

   경우에 따라 전자 상거래 플랫폼이 부과하는 제한으로 인해 장바구니 및 결제 흐름을 전면적으로 변경하지 못할 수 있지만 이것이 야심 찬 테스트를 포기할 이유는 아닙니다. 더 큰 조정이 가질 수 있는 잠재적인 감각을 제공하는 작은 변경을 항상 테스트할 수 있습니다.

   Journey More의 전환 이사인 Jonny Longden은 다음과 같은 질문을 스스로에게 할 것을 권장합니다.
   
   이것을 증명하고 그것에 대해 배우기 위해 테스트할 수 있는 가장 작고 간단한 것은 무엇입니까?
   
   "작은 변경만 테스트할 것" 또는 더 큰 변경을 수행한 경우 "돈이 이미 고갈되었기 때문에 테스트하지 않을 것"이라는 함정에 빠지지 마십시오.
3. 리뷰 마이닝은 과학으로 바뀔 수 있습니다.
   
   정성적 데이터를 기반으로 한 전환 연구는 모든 종류의 A/B 테스트에서 필수 요소이지만 전자 상거래에서 리뷰 마이닝과 같은 정성적 데이터는 다음을 이해하는 데 도움이 되는 과학으로 전환될 수 있습니다.
   
   
   • 강조할 제품 USP
   • 사본에서 테스트할 수 있는 이점
   • 고객이 경쟁자를 인식하는 방법
   • 제품 스토리의 복사 각도
   • 귀하가 해결한 문제점
   • 카트 포기를 유발하는 해결되지 않은 문제점 CRO 및 실험 컨설턴트인 Lorenzo Carreri는 형사처럼 생각할 것을 권장합니다. 형사가 범죄 뒤에 숨은 이야기를 밝혀야 하는 것처럼 리뷰를 사용하여 많은 이야기를 공개할 수 있습니다.
     

     사람들은 이미 구매에 대한 결정을 내렸고 이제 출구 설문조사나 위젯으로 그들을 괴롭히지 않고도 실제로 경험을 유기적으로 공유하고 있습니다.

     사실, Carreri의 다양한 산업에 대한 펄스 분석은 공통 주제를 보여줍니다. 사람들은 현장 경험에 대한 통찰력을 공유하는 경향이 없다는 것입니다. 그래서 어떤 질문을 하느냐, 어떻게 하느냐가 중요하지 않습니다.
     
     그러나 리뷰 마이닝, 특히 Amazon에서 사람들은 통찰력을 공유하는 경향이 있습니다. 수집한 인사이트가 많을수록 데이터의 의미가 커지고 테스트를 위한 더 나은 가설을 세우는 데 도움이 됩니다.
4. 전자 상거래를 위한 트래픽 부족 없음
   
   A/B 테스트의 중요한 장애물은 트래픽이 충분하지 않아 결과가 편향될 수 있다는 것입니다.
   
   그러나 이것은 전자 상거래 상점의 문제가 아닙니다. 7자리 Shopify 매장은 수십만 명의 방문자를 쉽게 확보하지만 시리즈 D B2B 회사는 아마도 그 트래픽의 1/4을 확보할 것입니다.

Shopify 기업가가 A/B 테스트를 진지하게 고려해야 하는 이유는 무엇입니까?

전자 상거래는 A/B 테스트에 적합합니다. 대규모 방문자 풀과 놀 수 있는 공간이 많아 결과를 빠르게 볼 수 있다는 가능성은 A/B 테스트 문화를 채택하기에 충분한 이유입니다.

그러나 아마도 당신은 아직 거기에 있지 않을 것입니다. 현재 트래픽이 증가하면 수익이 증가합니다.

문제는 그것을 얼마나 오래 유지할 수 있느냐는 것입니다.

더 많은 트래픽 ≠ 특정 지점을 넘어서는 더 많은 수익. 이 경로를 사용하려면 광고에 더 많은 비용을 지출하는 동시에 할인을 통해 이익 마진을 잠식해야 합니다.

그리고 Amazon, eBay 또는 Etsy와 같은 전자 상거래 거대 기업을 보면 그들의 DNA에 A/B 테스트가 포함되어 있음을 알 수 있습니다. 그것이 그들이 번성하는 바로 그 이유입니다. 말할 것도 없이 이것은 모든 성공적인 Shopify 매장이 공유하는 공통 스레드입니다.

A/B 테스트가 성장을 촉진하는 이유를 이해하는 것은 쉽습니다. Amazon이 실행하는 테스트가 얼마나 세부적인지 살펴보십시오.

그러나 A/B 테스트는 단순히 경쟁력을 유지하기 위한 방법이 아니라 좋은 비즈니스 결정입니다.

왜요? 귀하의 현재 전략이 귀하에게 유리하게 작동 하지 않을 수 있기 때문입니다.

1. iOS 14 덕분에 ROAS가 급락하고 있습니다.
   제품에 관심을 갖기 위해 이전보다 더 많은 돈을 지출하고 있을 수 있지만 ATT 이후 세계는 픽셀 기반 변환이 작동하는 방식을 엉망으로 만들었습니다. 그리고 리타게팅 및 유사 청중? 그들은 더 이상 효과적이지 않습니다. 일부 전환이 발생할 경우 Ad Manager와 Shopify 백엔드 간의 불일치를 처리할 준비를 하십시오.

2. 오픈 요율이 왜곡되어 있습니다.
   이메일 번호가 더 이상 정확하지 않습니다. 메일 개인 정보 보호(MPP)가 이를 확인했습니다. 그리고 참여 기반 목록에는 의심스러운 타겟팅과 낮은 전환율이 있을 수 있습니다.

3. 방정식에 보존이 누락되었습니다.
   콜드 트래픽을 쫓는 것은 나쁜 비즈니스 움직임입니다. 수익의 40%는 충성도가 높은 고객에게서 나옵니다. 트래픽은 구매자를 유입경로로 끌어들이지만 유지는 이러한 구매자의 평생 가치(LTV)를 증가시킵니다.

4. 당신의 마케팅 속성은 형편없어요
   도구는 사용 가능한 데이터를 제공할 수 없으며 팀은 수익을 특정 변경 사항에 귀속할 수 없습니다. 성장을 기대하면서 모든 버튼을 누를 수는 없습니다. 당신은 구체적으로 얻을 필요가 있거나 8자형 사업을 구축하는 것은 불가능합니다.

A/B 테스트는 기존 플레이북을 뒤집고 반복 가능하고 신뢰할 수 있으며 수익성 있는 과학적으로 유효한 접근 방식을 사용할 수 있는 기회를 제공합니다.

DTC 탄산음료 대체업체 OLIPOP이 A/B 테스트를 고집하는 이유는 다음과 같습니다.

A/B 테스트는 분석하기 쉬운 데이터를 제공하면서 콘텐츠 참여를 개선하고 이탈률을 줄이며 전환율을 높이고 위험을 최소화합니다. A/B 테스트를 실행하면 어떤 콘텐츠가 타겟 청중에게 반향을 일으키는지 파악할 수 있습니다. 그런 다음 이 데이터를 사용하여 마케팅 전략에 영향을 줄 수 있습니다. 또한 이러한 테스트는 관련 없는 데이터와 사용자가 웹사이트에서 어려움을 겪고 있는 영역을 식별하는 데 도움이 되므로 필요한 변경을 수행하면 이탈률을 줄일 수 있습니다.

고객 경험을 개선하는 변형을 식별할 수 있으면 사용자가 사이트에서 보내는 시간이 증가하여 전환율이 높아지는 것을 확인할 수 있습니다. 마지막으로 A/B 테스팅은 정보에 입각한 추측 대신 정확한 데이터를 기반으로 결정을 내리기 때문에 위험을 최소화합니다. 전체 웹 사이트를 손상시키지 않고 최소한의 변경을 수행할 수 있습니다. A/B 테스트를 통해 ROI가 증가 합니다.

OLIPOP의 새로운 비즈니스 개발 책임자인 Steven Vigilante

작은(또는 큰) 변경을 쉽게 수행

A/B 테스팅을 사용하면 상황을 개선하는 과학인 최적화가 쉬워집니다. 더 나은 구매 경험을 만들고 일부 PPC 트래픽을 전환하는 버전을 찾기 위해 변경 사항을 도입할 수 있습니다.

실패 비용 절감

실패의 대가는 때로 너무 커서 혁신을 저해하는 경우가 있습니다. 그러나 A/B 테스트를 사용하면 아무것도 구축하거나 구현하지 않고도 통제된 환경에서 아이디어를 테스트할 수 있습니다.

미래를 엿보다

그 무엇도 성공을 보장할 수 없습니다. 직감, 대행사 제안 또는 견고한 경쟁자 조사가 아닙니다. 그러나 데이터 기반 결정을 내리고 싶다면 A/B 테스팅이 당신의 친구입니다. 테스트에서 최고의 버전은 수익 잠재력을 엿볼 수 있도록 통계적 유효성을 기반으로 선택되지 않습니다.

오해의 여지를 조금 남겨주세요

A/B 테스팅을 통해 전환율, 장바구니 포기, 평균 주문 금액(AOV), 수익 및 이익의 변화 데이터를 수집하여 청중의 말을 진정으로 경청할 수 있습니다.
변경의 효과를 추측하는 대신 결과가 투명하고 오해의 여지가 거의 없습니다.

Shopify의 A/B 테스트 문제(+ 솔루션)

A/B 테스트를 전략의 중심으로 삼는 것을 고려하는 동안 Shopify에서 A/B 테스트를 실행할 때 직면할 수 있는 잠재적인 문제를 해결하는 것이 중요합니다.

문제 #1: Shopify의 클릭재킹 방지가 모바일 QA를 방해할 수 있습니다.

클릭재킹은 사용자가 미끼 사이트에서 실행 가능한 콘텐츠를 클릭하도록 속입니다. 이를 방지하기 위해 Shopify는 안티 클릭재킹 기술을 사용합니다. 그러나 A/B 테스트 도구가 최적의 성능을 발휘하는 데 방해가 됩니다.

문제 2: 테스트는 문제가 아니지만 구현은

테스트 결과를 구현하는 것은 앱이나 플러그인이 할 수 있는 일이 아니며 사용자 지정이 필요합니다. 자신에게 맞는 플러그인을 찾았더라도 너무 많으면 사이트 속도가 느려져 잠재적인 이득을 효과적으로 무효화할 수 있습니다.

문제 #3: 테스트할 수 있는 항목을 제한하는 표준 Shopify 스토어가 있습니다.

표준 Shopify 스토어는 대부분의 Shopify Plus 기능에 액세스할 수 없으므로 테마 분할 테스트와 같은 테스트를 실행할 수 없습니다. 테스트의 복잡성이 낮을수록 수익에 미치는 영향이 줄어듭니다.

A/B 테스팅의 기본에 대한 빠른 가이드

A/B 테스트에 대해 머리를 싸매었으므로 이제 핵심에 들어갈 차례입니다.

답을 보기 위해 아래로 스크롤하기 전에 잠시 멈추고 이 질문에 예 또는 아니오로 답하십시오.

• A/B 테스트는 분할 테스트와 동일합니다.
• A/B 테스트와 다변수 테스트는 다릅니다.
• A/B 테스트를 통해서만 약간의 조정만 할 수 있습니다.
• A/B 테스트를 실행하기 위해 통계를 배울 필요가 없습니다.
• 다른 채널에서는 A/B 테스트를 실행할 수 없습니다.
• 결과가 나오면 A/B 테스트를 중지해야 합니다.

A/B 테스팅 대 분할 테스팅

A/B 테스트를 사용하면 페이지에서 하나 이상의 요소를 테스트할 수 있습니다. 기본적으로 원본 페이지와 유사한 버전을 만들어 전환율에 미치는 영향을 확인합니다.

분할 URL 테스트는 A/B 테스트와 다릅니다. 트래픽은 중간으로 분할되어 완전히 다른 두 버전으로 전송되어 특정 목표를 달성하는 데 도움이 되는 웹페이지를 확인합니다.

분할 테스트와 A/B 테스트를 실행해야 하는 경우: 테마 테스트

A/B 테스트보다 분할 테스트를 선택해야 하는 경우의 좋은 예는 Shopify 테마를 테스트하려는 경우입니다. 테마는 CX와 궁극적으로 수익에 영향을 줄 수 있으므로 Convert의 분할 URL 옵션과 같은 도구를 사용하여 테마를 테스트하는 것이 중요합니다.

Convert는 어떤 주제가 다른 주제보다 더 나은지 이해하기 위해 빈도주의적 추론을 사용합니다. 귀하의 사이트로 유입되는 트래픽이 비정상적으로 높은 경우가 아니라면 이러한 종류의 테스트를 최소 2주 동안 실행하는 것이 좋습니다.

추신: Shopify Plus 사용자인 경우에만 테마를 테스트할 수 있습니다.

A/B 테스팅 대 다변수 테스팅

A/B 테스트에서는 원본과 거의 동일한 페이지를 비교하고 있습니다.

A/B 테스트와 같이 한 번에 하나의 요소를 변경하는 대신 다변수 테스트는 단일 테스트에서 여러 변경 사항을 테스트하는 프로세스입니다. 다변수 테스트의 목표는 더 나은 결과를 산출하는 변경 조합을 찾는 것입니다.

Shopify 스토어에서 실행할 A/B 테스트의 예

인터넷에 무엇을 A/B 테스트해야 하는지 물어보면 종종 다른 CTA나 버튼 색상을 시도하거나 헤드라인을 변경하라는 말을 듣게 될 것입니다.

그것이 중요하지 않다는 것은 아니지만, 세상은 당신의 놀이터이며, 당신이 자신을 제한한다면 당신은 당신 자신의 작은 샌드박스에서 놀고 있을 뿐입니다. 틀에서 벗어나 생각하는 것은 실험 정신에 매우 중요합니다.

우리는 8명의 Shopify 기업가에게 연락하여 다음과 같이 질문했습니다.

어떤 A/B 테스트를 실행했으며 이 실험을 수행하기로 선택한 이유와 결과는 무엇이었습니까?

#1. 부스트된 AOV, 주문 소폭 감소

우리는 모든 온라인 상점에서 Shopify를 사용하고 AOV를 높이기 위해 제품 번들링 또는 그룹화를 테스트했습니다. 테스트는 상향 판매 또는 번들을 포함하는 카트와 초기 제품만 포함하는 카트입니다. 아직 결과가 완전히 나오지는 않았지만 지금까지는 AOV가 증가한 반면 총 주문 수는 약간 감소한 것으로 보입니다. 전체 분석을 수행하기 전에 몇 주 더 이 작업을 실행하고 AOV와 전환 모두에서 개선을 시도하고 생성하기 위해 다른 구성을 테스트할 수 있습니다.

강실비아, 미라

#2. CX를 위해 모든 사이트 요소 최적화

Shopify 비즈니스로서 우리는 라이브 채팅, CTA, 제품 이미지, 상향 판매 배치, 방문 페이지, 탐색 메뉴 등과 같은 기능에 대해 다양한 A/B 테스트를 실행했습니다. 예를 들어, A/B 테스트는 소비자를 짜증나게 하거나 경험에 마찰을 추가하지 않고 교차 판매/업셀링의 균형을 찾는 데 도움이 되었습니다 .

수많은 테스트를 통해 청중이 결제 단계에서 제안하는 것이 아니라 제품 페이지에서 직접 관련성이 높은 제안을 중요시한다는 사실을 발견했고, 이를 통해 평균 구매 가치를 높였습니다. A/B 테스트는 최적이 아닌 요소를 구현하는 데 시간과 에너지를 낭비하지 않고 어떤 기능이 가장 잘 수행되고 가장 높은 수익을 제공할 수 있는지 정확히 찾아낼 수 있기 때문에 매우 중요합니다. 이 테스트는 청중에게 가장 적합한 디자인 선택에 관한 정확한 데이터를 제공하며 더 강력한 사용자 경험은 기업이 성장과 장수를 달성하는 방법 입니다.

스티븐 라이트, 놀라 매트리스

#삼. 더 나은 결과를 위해 비디오를 포함하기 위해 세션 리플레이 사용

전환을 성사시키거나 중단할 수 있는 가장 중요한 측면 중 하나는 사용자가 매장을 탐색하고 구매하는 것이 얼마나 쉬운가 하는 것입니다. 세션 재생에 대한 A/B 테스트를 통해 우리는 구매 의도를 가진 실제 사용자가 우리 매장을 어떻게 탐색했는지, 문제가 있는 위치, 사용자를 좌절시킨 요소, 프로세스 중에 중지하고 구매를 방해한 요소를 확인할 수 있었습니다. 우리는 과정의 비디오를 포함하는 목록이 더 나은 결과를 낳고 품질이 좋지 않거나 여러 이미지를 표시하지 않는 이미지가 주저하게된다는 것을 깨달았습니다.

Michael Nemeroff, 러시 오더 티셔츠

#4. 디자인 변경으로 전환율 2% 증가

이 A/B 테스트에서는 새로운 레이아웃이 Shopify 스토어의 전환율에 어떤 영향을 미칠 수 있는지 확인하고 싶었습니다. 원래 사이트는 6개월 동안 운영 중이었고 전환율이 3%였으므로 다른 것을 시도할 때가 된 것 같았습니다. 디자인 변경에는 제품과 함께 인라인이 아닌 모바일 장치에서 스크롤해야 볼 수 있는 부분 아래로 제품 권장 사항을 이동하고 어쨌든 클릭되지 않았기 때문에 상단 탐색에서 배너를 제거하는 것이 포함되었습니다. 그 결과 즉시 전환율이 2% 증가했습니다.

Jar Kuznekov, 연수기 허브

#5. CTA 버튼 색상을 변경하여 상대 클릭수 14% 증가

우리는 수년 동안 수많은 A/B 테스트를 실행했지만 가장 효과적인 테스트 중 하나는 CTA 버튼의 색상을 변경하는 가장 간단한 것이었습니다. 그게 다야 친구로부터 페이지 버튼의 색상을 변경함으로써 응답률이 16% 증가했다고 들었습니다(이전의 클릭 수에 비해). 이것은 나를 생각하게 했고, 나는 우리 자신의 A/B 테스트를 실행하기로 결정했습니다. 사실 A/B/C 테스트였습니다. 원래 녹색과 주황색, 빨간색의 3가지 색상을 시도했기 때문입니다. 결과? 빨간색 버튼은 응답률이 8% 더 높았고 주황색 버튼은 상대적 클릭수 측면에서 14% 더 나은 결과를 얻었습니다. 초록색 버튼을 주황색으로 만드는 것만큼 간단한 변화가 그토록 심오한 효과를 낼 수 있다는 것이 놀랍습니다. 따라서 가장 좋은 조언은 누군가가 장바구니에 제품을 추가하도록 할 때 CTA 버튼의 색상에 현혹되지 말라는 것입니다. 진지하게 생각하고 테스트 하십시오.

John Ross, 시험 준비 통찰력

#6. 고정 카트에 추가 및 판매 후 상향 판매로 CVR 및 AOV 증가

A/B 테스트는 양날의 검입니다. Shopify 스토어를 최적화 하고 전환율을 높이는 것이 좋습니다. 그러나 각 A/B 테스트가 복잡성을 추가하고 리소스를 사용하는 것이 무엇인지 알아야 합니다. 무엇을 테스트하느냐가 어떻게 테스트하느냐만큼 중요합니다 .

나는 제품 사진의 다른 순서를 테스트했습니다. 매번 가장 단순한 이미지가 항상 가장 좋은 이미지로 변환된다는 것을 발견했습니다. 제품 페이지에서 고객은 생각할 필요 없이 제품이 무엇인지 정확히 이해해야 합니다.

끈끈한 장바구니 추가는 알려진 승자입니다. 버튼도 화면에 있고 손이 닿는 곳에 있으면 내 CVR이 8% 향상되었습니다.

판매 후 상향 판매를 잊지 마십시오. 평균 주문 금액을 24달러에서 40달러로 늘리는 것은 쉬웠습니다. 이미 g를 구매하고 있는 사람들에게 더 많이 판매하는 것이 얼마나 쉬운지 놀랄 것입니다 .

Matt Phelps, CRO 전문가이자 STEEL 설립자.

영감을 받은 느낌? 다음은 전자상거래 웹사이트에서 A/B 테스트 초보자가 사용할 수 있는 20개 이상의 요소입니다.

• 무료 배송 제공
• 영웅 이미지와 캐러셀
• CTA 크기
• CTA 색상
• CTA 배치
• CTA 카피
• 인간의 이미지 vs. 이미지 없음
• 헤드라인 카피
• 글꼴 크기
• 줄 높이
• 개인화 vs. 없음
• 재입고 알림
• 혜택 중심의 제품 설명
• 제품 페이지의 전문가 팁
• 할인 및 제안 강조
• 단일 및 다중 페이지 체크아웃
• 결제 중 지원
• 간단한 탐색 메뉴
• 빠른 제품 보기
• 제품 비디오
• 상향 판매 대 교차 판매
• 미리보기 이미지의 태그
• 사용자 생성 콘텐츠

A/B 테스트할 수 있는 요소 목록에서 제품 페이지가 시작하기에 가장 좋은 곳임이 분명합니다.

그러나 사이트의 다른 페이지도 A/B 테스트를 위한 완벽하게 실행 가능한 후보입니다.

브랜드의 실제 사례를 통해 어떤 페이지를 테스트할 수 있는지 살펴보겠습니다.

1. 홈페이지
   
   
   • Salty Captain은 홈 페이지의 알림 표시줄 색상을 변경하여 234.54% 더 많은 클릭을 얻었고 CVR을 13.39% 향상했습니다.
   • Legendary Wall Art는 영웅 섹션과 CTA 카피를 실험하여 참여도를 325.39%, 수익을 30.07% 증가시켰습니다.
   • byBiehl은 카테고리 페이지 방문(5.87%), 사용자당 수익(3.25%) 및 CVR(19.73%) 증가로 이어지는 중요한 제품을 보여주기 위해 슬라이더를 추가했습니다.
2. 카테고리 페이지
   
   
   • Copycat Fragrances는 카테고리 페이지에 Instagram 스토리 버전을 추가하여 참여도를 4%, 사용자당 수익을 18% 늘렸습니다.
   • Iceshaker는 일반적인 반대 의견을 다루는 제품 스토리를 포함하도록 카테고리 페이지를 전환했으며 전환율이 15.95% 증가했습니다.
   • Oliver Cabell은 사용자의 모바일 경험에 집중하여 레이아웃을 수정하고 디자인을 개선하여 트래픽이 14.86% 증가하고 체크아웃 페이지 트래픽이 5.49% 증가했습니다.
3. 결제 페이지
   
   
   • Oflara는 쇼핑객이 장바구니에 추가 버튼으로 체크아웃할 때 다른 항목을 추천하여 전체 수익을 크게 개선했습니다.
   • Conscious Items는 끈끈한 카트로 결제 프로세스의 마찰을 제거하여 사용자당 수익이 10% 증가하고 CVR이 10% 증가했습니다.
   • Homeware는 사용자가 Shopify 스토어에서 하나의 항목만 구매했다고 언급했습니다. 따라서 그들은 체크아웃 프로세스를 단순화하여 사용자를 체크아웃 페이지로 직접 리디렉션함으로써 모바일에서 CVR이 47.7% 증가하고 방문자당 수익이 71.4% 증가했습니다.

전문가 팁: 큰 변화에 집중

처음으로 A/B 테스트를 수행하는 처음 기업가에게 가장 좋은 조언은 큰 변화에 집중하라는 것입니다. 예를 들어, 제품 페이지의 완전한 재설계. 버튼 색상 변경과 같은 작은 변화는 바늘을 크게 움직이지 않을 것 입니다.

전체 페이지를 재설계하고 제품 페이지에 제품 설명 gif를 추가하여 전환율을 40% 높일 수 있었습니다 .

Philip Pages, PostPurchaseSurvey.com의 설립자이자 7자리 중반의 전자 상거래 Shopify 브랜드입니다.

A/B 테스트를 실행할 때 숙지해야 할 통계 개념

A/B 테스트는 웹사이트의 두 버전을 비교하는 데 사용되지만 데이터의 통계적 중요성을 고려하지 못하기 때문에 숫자만 보는 것은 유용하지 않습니다. 결과를 잘못 해석하고 판매에 해를 끼칠 수 있습니다.

따라서 사내 팀이 프로젝트의 핵심을 담당하고 있든 CRO 대행사를 고용하든 상관없이 많이 듣게 될 A/B 테스트 통계 개념에 익숙해지는 것이 중요합니다.

표본 및 모집단

귀하의 사이트에 방문하는 모든 방문자는 인구로 간주되는 반면 샘플은 A/B 테스트에 참여하는 방문자의 수입니다.

평균, 중앙값 및 모드

평균 = 평균

중앙값 = 중간 값

모드 = 반복 값

분산 및 표준 편차

분산은 데이터의 평균 변동성입니다. 변동성이 높을수록 개별 데이터 포인트의 예측 변수로서 평균이 덜 정확합니다.

표준편차는 Variance의 제곱근으로 원래 값과 동일한 단위로 표현되어 직관적으로 이해하기 쉽습니다. 반면에 분산은 원래 단위의 제곱으로 표현되지만 여전히 A/B 테스트 결과에 중요합니다.

통계 학적으로 유의

A/B 테스트 대시보드에 "원본을 능가할 확률 95%" 또는 "통계적 유의성 확률 90%"가 있다고 표시되면 다음과 같은 질문을 하는 것입니다. A와 B 사이에 근본적인 차이가 없다고 가정할 때 얼마나 자주 우리가 우연히 데이터에서 보는 것과 같은 차이를 볼 수 있습니까?

Evan Miller, 통계 소프트웨어 개발자(출처)

유의 수준은 가능한 한 작아야 합니다. 1%는 99%의 신뢰 수준에 해당하므로 이상적입니다. 그리고 중요하지 않은 결과는 보고 있는 것이 실제로 거짓 긍정임을 의미할 수 있으므로 통계적 유의성을 기다리는 것이 중요하지만 그뿐만이 아닙니다.

선택한 최소 리프트(MDE – 최소 감지 효과)와 일치하는 샘플 크기를 계산해야 하며, 가양성을 만드는 변경이 증가합니다.

P-값

p-값은 귀무 가설이 맞다고 가정할 때 최소한 통계적 가설 검정에서 관찰된 결과만큼 극단적인 결과를 얻을 확률입니다.

그러나 p-값에 대해 정말로 알아야 할 것은 "이 결과가 얼마나 놀라운가?"입니다.

Shopify 스토어에서 A/B 테스트를 얼마나 오래 실행해야 합니까?

자주 접하게 되는 두 가지 일반적인 오류가 있습니다.

• 통계적 유의성에 도달하면 A/B 테스트 종료
• p-값을 모니터링하고 목표에 도달하는 즉시 승자를 선언합니다.

테스트 중지는 샘플 크기를 기반으로 해야 합니다. 그러나 실험을 일찍 종료해서는 안 되지만 영원히 실행되어서는 안 됩니다. 3개월 후에도 여전히 유의미한 수준에 도달하지 못한 경우 다른 변경을 시도하는 것이 가장 좋습니다.

Convert 및 Shopify에서는 테스트를 최소 2회의 비즈니스 주기 또는 14일 동안 실행하도록 권장합니다.

Faruzo의 CEO인 Avid Faruz는 다음과 같이 동의합니다.

새로운 기업가는 A/B 테스트에서 기간이 매우 중요하다는 것을 알아야 합니다. A/B 테스트를 오래 실행할수록 더 정확한 테스트를 얻을 수 있습니다. 이는 테스트에서 더 많은 데이터 포인트를 사용하여 결과를 도출하기 때문입니다. 숙련된 마케터가 2주 동안 테스트를 진행합니다. 저는 모든 마케터와 기업가에게 웹사이트의 트래픽 수준에 따라 기간을 설정하도록 조언합니다 .

이것이 바로 당사 플랫폼이 14일 무료 평가판을 제공하여 가설을 테스트할 수 있는 이유입니다.

Shopify 스토어에서 A/B 테스트를 실행하는 4단계 프로세스

테스트를 실행할 준비가 되셨습니까?

이 4단계 A/B 테스트 프로세스를 사용하여 더 나은 테스트를 구축하고 그 영향을 이해하십시오.

#1. 정성 및 정량 연구 수행

전환 조사는 첫 번째이자 가장 중요한 단계입니다. 이를 통해 A/B 테스트할 수 있는 가설을 세울 수 있습니다. 발견 단계라고도 하는 이 단계는 운영 가정을 중단하고 데이터가 안내하는 단계입니다.

양적 데이터와 정성적 데이터의 두 가지 종류가 있습니다.

정량적 데이터 수집부터 시작합니다. 이는 Google Analytics, Amplitude 또는 Mixpanel과 같은 분석 엔진이 뱉어낼 수 있는 냉담하고 어려운 사실을 뒷받침합니다.

예를 들어 이탈률, 총 전환 수 또는 조회/세션 페이지를 확인할 수 있습니다.

정량적 데이터를 모았다면 정성적 데이터를 가져옵니다. 이것은 주관적이기 때문에 잠재의식적 편견이 침투할 가능성이 있지만 결과를 해석하는 것이 "왜"에 답할 수 있는 유일한 방법입니다.

Hotjar를 사용하여 히트맵을 생성하고 방문자 세션을 기록합니다. 당신이 찾을 수 있는 답은 확실하지 않지만 전반적으로 더 나은 가설에 기여하는 새로운 가능성을 제시합니다.

그러나 이에 뛰어들기 전에 전체적인 이해를 위해 정성적 데이터와 정량적 데이터를 함께 살펴보는 것이 중요합니다. 분석은 데이터 쿼리 및 비판적 사고와 동일합니다.

#2. 신뢰할 수 있는 가설 만들기

과학적 방법을 따른다는 것은 신뢰할 수 있는 가설, 즉 타당성이 평가를 요구하는 제안된 솔루션을 만들어야 한다는 것을 의미합니다.

CorvusCRO의 설립자인 Matt Beischel은 가설의 3가지 주요 구성요소인 이해, 반응 및 결과를 공유합니다.

다음은 다음과 같은 예입니다.

가설 생성을 단순화하고 표준화하는 데 도움이 되도록 A/B 테스트 가설 생성기가 있습니다.

이 단계에서는 또한 샘플 크기를 이해하고 이를 기반으로 테스트의 중지 지점을 계산하려고 합니다. 이를 위해 A/B 테스트 유의성 계산기를 사용하십시오.

전문가 팁:

샘플 크기와 테스트 실행 기간을 알고 나면 테스트 우선 순위를 설정해야 합니다. 단일 페이지, 전체 웹사이트, 팝업 또는 유료 광고와 같은 프로세스의 여러 부분을 테스트하도록 선택할 수 있습니다. 한 번에 프로세스의 한 부분에 집중하는 것이 가장 좋습니다. 그러면 어떤 변경 사항이 개선된 고객 경험과 전환율로 이어지는지에 대한 명확한 답변을 얻을 수 있습니다 .

Allan Borch, DotcomDollar.com 설립자

가설의 우선순위를 정하세요

실험에는 많은 장점이 있으므로 모든 것을 테스트하는 것을 옹호하는 전문가를 종종 보게 됩니다. 그러나 지금 실행해야 하는 테스트와 회사의 규모에 관계없이 리소스가 제한되어 있으므로 기다릴 수 있는 실험의 우선 순위를 지정해야 합니다.

따라서 실험자는 RICE, PIE, ICE 또는 PXL과 같은 우선 순위 지정 모델에 의존합니다. 그러나 개인화 컨설턴트인 David Mannheim은 ​​이러한 모델에 결함이 있다고 제안합니다.

그들은 비즈니스의 더 넓은 맥락과 일치하지 않습니다. 우선 순위는 하향식이어야 하며 비즈니스 미션에 먼저 초점을 맞추고 비즈니스 목표에 두 번째로 초점을 맞추는 식이어야 합니다. 대부분의 우선 순위 지정 모델은 '실행', 즉 삼각형 y 계층 다이어그램 내에서 맨 마지막에 있는 것, 즉 기본, 개념, 사용자 문제, 제품 목표, 비즈니스 목표 및 최상위에 대한 실행에 중점을 둡니다 .

이러한 모델은 또한 "노력"을 점수 요인으로 사용합니다. 즉, 복잡하기 때문에 잠재적으로 가장 큰 영향을 미칠 수 있는 기능을 구축하는 데 실제로 주저하고 있음을 의미합니다. 궁극적으로 이러한 모델은 객관성이 부족합니다.

Product School의 수석 제품 마케팅 관리자인 Andrea Saez는 다음과 같이 말합니다.

당신이 올바른 일을 하고 있는지 제대로 조사하지 않고는 대부분의 일에 대한 도달 범위, 영향 또는 노력을 알 수 있는 방법이 없습니다. 그것에 대해 아무에게도 말하지 않은 경우에는 더욱 그렇습니다. 그렇다면 어떻게 자신감을 가질 수 있습니까?

여기서 답은 자신만의 우선순위 모델을 구축하는 것입니다.

1단계: 사례에서 영감 얻기

2단계: 비즈니스 목표와의 연계, 반복 가능성, 회사별 학습 및 리소스 투자와 같은 요소를 고려합니다.

3단계: 실행하려는 테스트에 가중치 할당

4단계: 자신에게 맞는 두문자어를 찾을 때까지 헹구고 반복합니다.

#삼. 테스트 배포

연구를 수행하고 신뢰할 수 있는 가설을 세웠습니다. 이제 배팅하러 갈 시간입니다.

성공적인 배포에는 올바른 A/B 테스트 플랫폼, 테스트를 코딩할 올바른 팀, QA 및 디버깅이라는 3가지 요소가 필요합니다.

첫 번째 것부터 시작하겠습니다.

Shopify를 위한 좋은 A/B 테스트 플랫폼은 무엇입니까?

이상적으로는 테마, 가격, 메뉴, 제품 컬렉션, 검색 페이지, 다변수 테스트 실행 및 수익 추적을 테스트할 수 있는 단일 도구가 필요합니다.

많은 플러그인이 이 중 하나 이상을 달성하는 데 도움이 될 수 있지만 플러그인이 코드 팽창을 유발한다는 것을 이미 알고 있습니다. 이는 SEO 또는 전환에 좋은 소식이 아닙니다.

Convert Experience와 같은 전용 테스트 플랫폼은 Shopify 스토어와 원활하게 통합되며, 원하는 모든 종류의 테스트를 실행할 수 있으며, 사용할 수 있는 맞춤형 Shopify A/B 테스트 앱이 있어 코드 팽창 가능성을 제거합니다.

다음으로 테스트를 코딩할 적절한 팀을 구성해야 합니다.

참고: A/B 테스트 팀과 함께 일하는 코더와 코더 사이에는 차이가 있습니다.

궁극적으로 테스트는 QA 및 디버깅 없이는 불완전합니다. Without QA, variation errors can crop up, causing statistical errors—a false positive or a false negative. Not to mention, you may end up collecting the wrong data that delivers zero value to your visitors.

Here are 4 best practices for QA of A/B tests:

• Develop a QA strategy
• Identify what to QA
• Focus on page experience
• Align QA with conversion goals

Pro Tip: Avoid these rookie A/B testing mistakes:

• You only test industry best practices
• You keep peeking at your “results”
• You give up after one test
• You fail to iterate and improve on wins
• You mess up revenue tracking

#4. Analyze & Learn From Your A/B Tests

Whether you have a winner or loser on your hands, analyzing what worked and learning from it to influence future A/B tests is crucial.

Because while A/B testing is a strategy to boost your revenue, you're also effectively “buying data” on your audience.

Here's a 7 step process to learn from A/B tests –

• Make sure your data is accurate, valid, and significant
• Check your micro, macro, and guardrail metrics
• Segment your results
• Check user behavior
• Continue to improve on winners
• Create a learning repository for future tests

The last step allows you to run tests in the future that are backed by your previous experiments' learnings.

Expert Tip: Be prepared to fail.

It is difficult to predict the conversion rate for your website even if you think you've created the perfect A/B test. As a new entrepreneur, I almost succumbed to the frustrations of seeing no success in the first few months. I am not used to failure and many entrepreneurs are like this. The focus should be to give the users the best experience and leave room for the unexpected .

Leslie Radka, Founder & Hiring Manager at GreatPeopleSearch

A/B Testing in Other Realms That Can Compound Your Shopify Store Gains

Don't stick to just your website. A/B testing can and should be applied to other channels and realms where customer engagement occurs.

A/B Testing Pop-Ups (with Privy)

Those pop-ups you have on your website? You can A/B test them too with tools like Privy. Experiment with your headline, offer, form, CTA, or images.

Privy's Convert tool allows you to present the pop-up in different formats and target visitors based on rulesets.

A/B Testing Emails

When it comes to email marketing, 3 core areas of improvement emerge—delivery, open rates, and CTR.

You can test your emails in this order:

• First, the subject lines to improve the open rate
• Then the body copy to make sure it's relevant
• Finally, the CTAs to get more clicks

What else can you test in your email? Check out our complete guide to A/B testing emails.

Here's how 2 Shopify entrepreneurs used A/B testing to grow their email marketing channel: [h5] #1. Grew Email List 3x Using Split Testing

The most effective strategy for testing content is A/B testing. A/B testing has proven, measurable, immediate results that tell us whether one or another content base is more effective at converting customers to sign up for emails, make a purchase, etc.

In retail, vanity metrics like direct traffic to your website are least effective for measuring content success, while A/B testing (ie, tracking conversion rate, user engagement, email funnels) is the most effective. We tested our email subscription CTA with split-testing and grew our email list over three times in one campaign. The better you know your ICP, the more effective your brand strategy will convert. Use A/B tests to understand your target demographic better, and spoon-feed them the content they respond best to .

Zach Goldstein, Public Rec

#2. Increased email open rate by 25% with emojis in subject lines

After seeing a study, I wanted to test out open rates using an emoji in the subject line vs. not using one. The study implied that using an emoji would help to enhance open rates, but I felt that it could come off as unprofessional and spammy.

I use the ActiveCampaign email platform alongside Shopify, and I actually integrate the two together to maximize customer communication. ActiveCampaign allows users to run many A/B tests so they can see what jives with their target audience. When the results were in, I had to admit that I was wrong because the emails with an emoji in the subject received a 25% higher open rate. It's safe to say that I've been pretty liberal with my emoji keyboard ever since, and I've noticed a spike in conversion rates, too .

Stephanie Venn-Watson, fatty15

A/B Testing on Social Media

Like paid ads, you can test your organic content on social to improve engagement. The heading, copy, images, and CTA can all be A/B tested.

When doing this manually, stagger the release of your posts to have a reasonable gap which will allow you to gather meaningful data.

Or you can use scheduling tools like Later, Buffer, or MeetEdgar to automate the publishing.

Ecommerce A/B Testing Pitfalls to Avoid

Our need for instant gratification also seeps into A/B testing. Jon Ivanco, Co-founder of Formtoro, believes most A/B testing is reactionary:

Brands want a quick fix that's cost-effective; they hate the idea of investing in long-term outlooks and gains. The only time they look at these things is when things aren't going well .

There are “experts” that are anything but experts, bad advice presented as best practices, and experiments designed to pick the low-hanging fruit.

Ivanco instead recommends getting the basics right:

– All tests to landing pages
– All tests from specific audiences
– Test one variable at a time
– Don't test unless you have a clearly articulated hypothesis and you can learn from if something goes right or if it fails
– Do all tests from the perspective of the customer journey
– Small things are part of a larger chain, try to isolate things as much as you can one step at a time

Give Privacy a Thought

No one wants to become a lab rat inadvertently.

The backlash to Facebook 2014's emotional contagion study is proof. Even Apple's privacy updates signal that users care about their privacy and don't want to be manipulated into buying products.

Laws around privacy—existing and upcoming—will continue to evolve. Each time a significant change is brought about, it will hurt your business unless you start thinking user-first and bake ethical A/B testing into your strategy.

So what does that mean for you?

• Take data privacy seriously when collecting data
• Rule out manipulative tactics
• Store and process data securely
• Respect user consent and allow them to opt-out of experiments

Do that and you will future-proof your A/B testing and build a better relationship with your audience.