최적화 성공을 위해 A/B 테스트 도구를 사용하는 방법은 무엇입니까? 상위 6개 요인 설명

귀하의 비즈니스에 적합한 A/B 테스트 도구에 투자하는 것은 첫 번째 단계일 뿐입니다. 진정한 마법은 프로세스와 전략에 있습니다.

그러나 어떤 프로세스와 전략이 최상의 결과를 위해 최적화 프로그램을 배치합니까?

이 기사에서는 A/B 테스트 도구를 최대한 효율적으로 만들고 최고의 ROI를 얻을 수 있는 6가지 방법을 보여줍니다.

그러나 시작하기 전에 A/B 테스트 도구를 사용할 때 염두에 두어야 할 몇 가지 주요 측면이 있습니다. 이러한 측면은 다음과 관련이 있습니다.

1. 도구의 한계
2. 도구 뒤에 있는 공급업체 팀의 한계
3. A/B 테스트 플랫폼을 성공적으로 사용하는 데 걸림돌이 될 수 있는 최적화 프로세스 및 문화의 한계.

이제 최대 이점을 추출하는 6가지 방법에 대해 알아보겠습니다.

1. 교육부터 시작하세요(건너뛰지 마세요)

이것은 도구를 사용하는 사람들에게 투자하는 곳입니다. 무료이든 유료이든 A/B 테스트 도구의 이득은 그것을 휘두르는 손에 달려 있기 때문입니다.

초보자 테스터의 손에 있는 A/B 테스트 소프트웨어는 전문가의 손에 있는 동일한 소프트웨어와 동일하지 않습니다.

OptiPhoenix의 Ace 옵티마이저 Simar Gujral은 이를 이해합니다. 그는 신입 사원을 위한 도구 교육을 실시하지만 "A/B 테스트 도구 사용 방법"을 넘어 프로세스 교육 및 전략을 강조합니다.

Journey More의 Jonny Longden은 투자의 80%가 사람에, 20%가 기술에 있어야 한다고 말합니다.

따라서 최적화를 통해 최대 ROI 이점을 얻는 첫 번째 단계 는 올바른 A/B 테스트 프로세스 및 전략에 대해 자신과 팀을 교육하는 것 입니다.

CXL의 CRO 및 A/B 테스트 프로그램을 시작할 수 있습니다. 실제로 Convert 고객은 이 CXL 교육 프로그램에 액세스할 수 있습니다.

교육은 테스터가 다음을 준비하도록 하는 것입니다.

• 테스트할 훌륭한 가설을 생각해 보세요.
• 영향이 큰 영역을 먼저 테스트 우선 순위 지정
• 데이터를 올바르게 읽고 귀중한 통찰력을 추출하십시오.
• 테스트 아이디어 찾기
• 올바른 것을 테스트하십시오

… 그리고 더.

이것은 최고 성능의 A/B 테스트에 대한 올바른 것의 기초입니다. 왜냐하면…

도구는 가설만큼만 유용하다

현실을 직시하십시오. 귀하의 도구는 귀하의 입찰만 수행합니다.

그리고 입찰이 잘못된 가설에 근거한 경우 A/B 테스트는 원하는 결과를 제공하지 않습니다.

훌륭한 가설을 세울 수 있는 방법이 있지만 그것은 그것이 건전한 데이터에서 만들어질 때만 가능합니다. 이것은 단순한 데이터 수집이 아니라 데이터의 처리 및 해석이기도 합니다. 따라서 가설을 알려주는 데이터 분석에 대한 태도는 비즈니스 성장의 태도여야 합니다.

데이터를 사용하여 제품 또는 비즈니스 내에서 문제를 찾고 개선 기회를 찾으십시오. 시작해야 할 부분입니다.

이것은 또한 미래의 가설을 위한 교육적 발판이기도 하다. 테스트를 통해 학습하면 효과가 있는 것과 그렇지 않은 것에 대한 새로운 통찰력을 얻을 수 있습니다. 여기서 일반적인 실수는 실패한 테스트를 실패로 보는 것입니다.

이 모든 실험을 통해 잘못된 방향을 피하거나 올바른 방향으로 나아가기 위해 도구를 올바르게 사용하고 있는지 전략을 더 자세히 볼 수 있습니다.

최선의 가설은 적절한 실행 없이는 실패할 수 있다

가설이 요점에 부합하더라도 적절한 실행 없이는 가설을 최대한 활용하지 못할 수 있습니다.

이것은 여러 가지 이유로 발생할 수 있습니다.

예를 들어, 당신은

• 테스트를 너무 오래 실행
• 테스트를 충분히 오래 실행하지 않음
• 동시에 너무 많은 테스트 실행
• 잘못된 시간에 테스트하거나
• 테스트를 잘못된 방법으로 설정합니다.

여기서 문제의 주요 원인은 다음 세 가지 중 하나 이상이 없다는 것입니다.

• 올바른 실험 마인드와 전술
• 품질의 기술적, 이론적 노하우
• 도구 사용에 대한 충분한 이해.

처음 두 가지는 최고 수준의 교육과 실습 경험으로 해결됩니다. 마지막으로 A/B 테스트 도구는 사용 사례에 고유한 모든 오해를 제거하는 온보딩 세션을 제공해야 합니다.

여기 Convert에서 강력한 기술 교육을 받고 전문가와 함께 도구 교육을 찾는 고객과 앱에서 가치를 얻을 수 있는 기회 사이에 강력한 상관 관계가 있음을 발견했습니다.

제공된 앱 온보딩이 기능 중심이 아니라 사용자 중심 인지 확인합니다. 온보딩을 설계할 때 다음 요소를 고려한 공급업체가 필요합니다.

1. 도구에서 추구하는 핵심 가치
2. 그 핵심 가치를 경험하기 위해 취해야 할 단계
3. 도중에 경험하는 마찰
4. 사용 편의성.

그리고 성공적인 실험을 실행에 옮길 때가 되면 개발 대기열에 갇힐 수 있습니다. 최적화 팀에 전담 개발자가 없거나 주요 웹 개발 팀이 "더 큰" 프로젝트로 바쁠 수 있습니다.

그러나 이러한 작은 변경이 큰 효과를 가져올 수 있으며 여러분도 이를 입증했으므로 개발자의 동등한 관심을 받을 가치가 있습니다. 제품 개발 대기열을 분할하여 크고 시급한 작업과 동일한 관심을 작은 수정 사항에 적용합니다.

2. 도구의 유연성을 최대한 활용

도구를 최대한 활용하는 또 다른 방법은 도구의 전체 기능을 활용하는 것입니다. 단, 물론 사용자의 고유한 용도에만 적용됩니다.

당신이 사용할 수있는:

통합

통합은 A/B 테스트, 마케팅 또는 전환율 최적화 노력을 강화하기 위해 팀으로 구성된 도구의 상호 연결된 스택을 만드는 중추입니다.

스택의 여러 도구에서 데이터를 추출하고 가설을 알리거나, 이 데이터를 Google Analytics를 포함하여 가능한 한 많은 플랫폼으로 보내거나, 이메일 마케팅 캠페인에서 A/B 테스트를 실행할 수 있습니다.

Speero의 CTO인 Silver Ringvee는 이에 대해 다음과 같이 말합니다.

셀프 서비스 지불

이것은 A/B 테스트를 막 시작하고 끝없는 예산이 없는 비즈니스에 특히 해당됩니다. 목표는 지속적으로 테스트 속도를 향상시키는 것 입니다.

따라서 도구를 사용하면 더 높은 가격의 계층으로 업그레이드할 때까지(영업 담당자와 지친 대화 후) 계획을 일시 중지하지 않고 필요에 따라 더 많은 테스트된 사용자를 구매할 수 있는지 확인하십시오.

필요할 때만 필요할 수도 있는 기능에 액세스하도록 업그레이드할 수 있다면 이상적입니다. 그리고 테스트 프로그램이 잠잠해지면 다운그레이드하여 예산을 사용하여 팀의 기술을 향상시킬 수 있습니다. 이 기회를 놓치지 마세요.

또한 값비싼 도구는 곧 과대 광고로 발전하는 큰 약속과 함께 제공됩니다. 모든 것을 테스트할 수 있는 종소리와 휘파람에 매몰되지 마십시오. 그렇게 할 필요는 거의 없습니다.

대신 비즈니스에 필요한 것을 테스트할 수 있는 도구에 집중하십시오 . 그리고 이것이 교육 및 시험 전략이 필요한 곳입니다.

3. 도입된 도구(유효성) 위협 확인

결과를 전적으로 신뢰하기 전에 선택한 도구의 작동 방식과 테스트를 구현한 방식을 완전히 이해해야 합니다.

여기의 목표는 데이터가 어떤 식으로든 손상되었는지 확인하여 결과에 얼마나 많은 신뢰를 두어야 하는지 알 수 있도록 하는 것입니다.

A/B 테스트 도구가 핵심 Web Vital에 영향을 미칩니까?

검색 엔진 순위를 낮추지 않는 방식으로 A/B 테스트 도구를 구현했는지 확인하십시오. SEO 대 CRO 논쟁을 원하지 않습니다. 둘은 손을 잡고 간다.

CRO 목적으로 사이트를 변경하여 Google에 대한 귀하의 위상을 뒤엎을 일은 거의 없습니다. 변경 사항은 일반적으로 키워드, 페이지 콘텐츠 및 사용자 경험에 영향을 미칩니다. 이는 200개 이상의 순위 요소 중 3개에 불과합니다.

또한 해당 페이지에서 전환이 증가하기 때문에 사람들이 귀하의 콘텐츠를 좋아한다는 긍정적인 신호도 Google에 보내고 있습니다. 이탈률이 낮고 방문자 수가 증가하고 있습니다.

Moz의 Rand Fishkin에 따르면 페이지를 미친듯이 변경하지 않는 한 CRO와 SEO를 반대 요소가 아니라 팀원으로 봐야 합니다.

A/B 테스트 도구가 깜박임을 유발합니까?

깜박임 왜곡 테스트 데이터를 원하지 않습니다. 깜박이지 않는 도구를 선택하십시오.

Flicker는 웹사이트 방문자에게 웹페이지에 이상한 일이 일어나고 있다는 사실이 명백해지기 때문에 실험에서 수집한 데이터의 무결성을 망칠 수 있습니다. 변형이 나타나기 전에 원본 버전을 보면 마음에 물음표가 생깁니다. 동일한 방문자에게 페이지의 다른 버전을 표시하는 것은 사용자 경험을 손상시키는 것은 물론입니다.

깜박임 없음을 명시적으로 지원하는 방식으로 도구 코드를 배포해야 합니다. 방법은 다음과 같습니다.

웹사이트 최적화에서 깜박임의 실제 효과에 대해 전문가들이 공유해야 하는 내용은 다음과 같습니다.

귀하의 A/B 테스트 도구는 개인 정보 보호 요소를 고려합니까?

A/B 테스트 도구가 퍼스트 파티 쿠키를 사용하지 않는 경우 브라우저 전반에 걸친 추적 방지 때문에 기존 사이트 방문자가 보고서에 기록되거나 더 나쁜 경우에는 처리 및 제어 모두에 노출될 수 있습니다.

이 추적 방지에는 다음이 포함됩니다.

• Safari의 지능형 추적 방지(ITP)
• Mozilla의 향상된 추적 보호(ETP) 및
• Microsoft Edge에서 추적 방지

트래픽에서 이러한 브라우저를 사용하는 비율에 따라 마케팅 분석에 미치는 영향의 크기가 달라집니다.

이러한 방지 때문에 브라우저는 쿠키를 다양한 기간 동안 유지합니다. 길게는 30일에서 짧게는 24시간. 쿠키는 도구가 사용자를 인식하는 데 도움이 되기 때문에 새로운 사용자 수에 영향을 미치고 전환율 계산을 엉망으로 만듭니다.

예를 들어 쿠키의 유효 기간이 24시간이라고 가정하면 동일한 사람이 2일 간격으로 귀하의 사이트를 방문하면 2명의 다른 사용자로 기록됩니다.

100명의 사용자에게 이러한 일이 발생하고 그 중 50명이 전환에 도달하면 전환율(전환 수를 사용자 수로 나눈 값)은 0.25가 됩니다. 그 100명의 사용자가 200명의 다른 사람으로 기록되기 때문입니다. 전환율은 0.50으로 가정합니다.

이는 다양한 사용자 관련 측정항목에 영향을 미칩니다. 테스트 및 마케팅 분석에 필요한 데이터를 최대한 정확하게 계속 얻으려면 쿠키가 없는 세상을 위한 솔루션이 있는 도구를 선택하십시오.

A/B 테스트 도구가 대조군과 치료군 사이에 교차 오염을 일으키나요?

테스트 결과의 무결성을 망칠 수 있는 또 다른 것은 대조군과 치료 그룹 간의 교차 오염입니다. 귀하의 테스트 결과는 다른 테스트의 결과에 영향을 받지 않아야 합니다.

웹사이트나 웹페이지에서 여러 테스트를 실행하려는 경우 도구에 충돌 방지라는 중요한 기능이 있어야 합니다.

테스트 재설계가 통제 그룹에서 변형 그룹으로의 영향 파급을 고려하지 않고(소셜 미디어 실험에서 일반적임) 충돌을 방지하지 않은 경우 이는 합법적인 A/B 테스트 함정입니다.

4. 통계 내부를 살펴보고 전담 인재 고용을 고려하십시오.

이 도구는 대부분의 테스트 예산을 투자하는 최고의 장소가 아닙니다. 그것이 귀하의 전략이라면 A/B 테스트의 ROI를 입증하는 데 어려움을 겪을 수도 있습니다.

조직이 실험 문화를 완전히 받아들이고 데이터 기반 의사 결정을 내리는 과정에 있다면, 데이터를 성공적으로 민주화하고 해당 영역에서 모든 데크를 손에 넣었더라도 여전히 그 목적을 위한 헌신적인 재능. 그리고 당신이 그것을 감당할 수 있다면, 팀.

마케팅 팀의 누군가에게 부수적인 작업일 뿐인 실험은 장기적으로 원하는 결과를 얻지 못하기 때문입니다. 50% 테스터라도 항상 1% 테스터를 능가합니다.

또한 조직에서 테스트 문화를 홍보하기 위해 인재의 리더십과 의사 소통 기술에 더 집중하고 싶을 것입니다. 훌륭한 가설을 세우고 건전한 A/B 테스트, 분할 테스트 또는 다변수 테스트를 실행하는 것은 배울 수 있는 기술입니다.

A/B 테스트 도구와 관련하여 얻을 수 있는 결과를 신뢰할 수 있기를 원합니다. 그들의 통계적 접근 방식에 대해 열린 옵션을 선택하십시오.

베이지안이든 프리퀀티스트이든, 확실한 통계 배경을 가진 헌신적인 인재는 이러한 수치가 어떻게 계산되는지 이해할 수 있어야 합니다. 그렇게 하면 훨씬 더 정확한 인사이트를 추출하고 도구에 투자한 비용에 대해 최대한의 가치를 얻을 수 있습니다.

최고의 무료 A/B 테스트 도구인 Google Optimize를 사용 중이더라도 이 정보가 필요합니다. 불행히도 GO에 대해 배울 수 있는 것은 베이지안을 사용하지만 이전 고려 사항을 공유하지 않는다는 것입니다. 이것은 투명성의 부족이자 큰 문제입니다.

더 신뢰할 수 있는 테스트로의 전환을 고려할 때가 되었습니까?

반면에 Frequencyist 통계 엔진을 사용하면 공동 작업자는 통계적 유의 수준만 보고 잘못된 결론을 내릴 수 있습니다. 아, 엿보는 것의 비합리적인 죄! 샘플 크기에 도달할 때까지 기다려야 합니다.

이에 대해 할 수 있는 일은 엿보기에 대한 규칙을 설정하는 것입니다. 의사 결정의 품질에 영향을 미치는 잘못된 결론을 가지고 실행하는 사람들을 원하지 않습니다.

항상 투명한 통계 엔진이 있는 공급업체를 찾으십시오.

Convert Experiences는 .05 신뢰 수준(95%)에서 양측 Z-검정을 사용합니다(즉, 각 꼬리는 정규 대칭 분포인 경우 .025). 이 옵션을 95%-99% 사이에서 변경할 수 있습니다.

5. 사용 및 채택을 위한 도구 설정

조직의 다른 구성원이 테스트 문화를 채택하는 데 있어 장애물 중 하나는 이러한 도구 중 일부가 학습 곡선이 다소 가파르다 는 것입니다.

그러나 일반 사용자가 좀 더 친근하고 쉽게 이해할 수 있도록 만들 수 있습니다. 방법은 다음과 같습니다.

오른쪽 시작

귀찮게 하기에는 너무 기술적인 것처럼 보이는 기능이 많다면 다른 사람들을 쉽게 압도할 수 있습니다.

이러한 멋진 기능을 사용하지 않는 경우 기능 팽창을 줄이는 가벼운 도구로 이동하십시오. VWO의 제품은 이를 위해 잘 설정되어 있습니다.

도구의 프로젝트 관리 기능 사용

이것은 다른 사람들을 포함하고 A/B 테스트를 팀으로 원활하게 작업할 수 있는 환상적인 방법입니다.

또한 다른 사람들이 같은 도구를 다른 목적으로 사용할 수 있습니다. 예를 들어, Convert는 하나의 계정에 여러 프로젝트를 가질 수 있으며 각 프로젝트는 무제한 하위 도메인을 처리할 수 있습니다.

명명법이 중요하다

팀의 모든 사람이 도구를 사용하여 무슨 일이 일어나고 있는지 알 수 있도록 설정하십시오. 이 경우 친숙함은 입양을 낳습니다.

공급업체 지원을 잘 사용하고 있는지 확인

지원 팀에 연락할 수 있는 모든 방법을 이해하십시오. 테스트를 실행할 때 필요한 지원을 제공하려면 응답성이 뛰어나고 지식이 풍부한 팀이 필요합니다.

귀하의 계획에서 이메일, 채팅 및 전화 지원을 사용할 수 있는지 확인하십시오.

또한 CSM을 책임 파트너로 사용하십시오. 당신의 목표를 알려주십시오. 그러면 도구를 사용하여 올바른 리소스의 방향을 알려줄 수 있습니다. 전담 마케터나 실험 인재가 없거나 상담이 필요한 경우 벤더는 도구 사용에 능숙한 전문가를 알고 있는 경우가 많습니다. 그리고 기꺼이 소개하겠습니다.

6. A/B 테스팅 프로그램에 적합한 출력 측정

A/B 테스팅 프로그램을 수익 창출에 귀속시키지 않는다면 그다지 필요한 관심을 끌 수 없을 것 같습니다. 일반적으로 경영진은 A/B 테스트의 필요성을 확인하기 위해 정확한 숫자를 요구합니다.

"몇 퍼센트 상승을 예상해야 합니까? 그리고 올해 매출에 얼마나 추가될까요?”

그러나 그것은 실험을 위해 설계된 것이 아닙니다 . A/B 테스트는 가설이 사실이든 아니든 아이디어에 확신이나 확신을 더하기 위한 것입니다.

실제로 이러한 접근 방식은 다음과 같은 문제를 일으킬 수 있습니다.

1. 현실적으로 충족될 수 없는 기대치를 설정하고,
2. A/B 테스팅만으로 이득을 보고 다른 핵심 참여자를 무시하고,
3. 실패한 테스트를 완전한 실패로 보는 것(이익 증가)과 그렇지 않은 것(위험 완화)에 대한 통찰력 대신
4. 테스트 결과의 부정확한 외삽 생성.

즉, A/B 테스트 도구를 사용하여 링크 클릭을 추적하고 싶지 않습니다. 대신 올바른 A/B 테스트 목표를 선택하세요. 또한 도구의 고급 목표 옵션을 활용하여 추적 대상과 이유를 자세히 알아보세요.

추적해야 하는 올바른 목표와 측정항목을 선택하는 방법은 다음과 같습니다.

1. 귀하의 비즈니스에 중요한 목표부터 시작하십시오 . 그렇게 하면 비즈니스 목표와 일치하는 A/B 테스트 목표를 선택할 수 있습니다.
   
   비즈니스의 목표가 더 많은 고객을 확보하여 수익을 늘리는 것이라면 실험은 리드 생성에 맞춰져야 합니다.

2. 기본 및 보조 목표를 선택하십시오. 기본은 앱 다운로드 및 데모 요청과 같은 비즈니스 목표와 직접 연결되는 것입니다.
   
   2차 목표는 일반적으로 미래의 어느 시점에서 2차 목표의 달성으로 이어지는 미시적 전환이기 때문에 1차 목표를 지원합니다. 이들은 귀하의 콘텐츠에 참여하거나 뉴스레터에 가입할 수 있습니다.
   
   여기서 아이디어는 주요 비즈니스 목표를 달성하는 데 기여하는 요소를 인식하는 것입니다.

3. 무엇을 측정할지 결정하십시오. 핵심 성과 지표(KPI)는 주요 비즈니스 목표와 관련하여 현재 위치를 나타내는 지표입니다.
   
   이를 인식하면 비즈니스의 긍정적인 성장에 직접적인 영향을 미치는 지표를 실제로 측정하고 개선하기가 더 쉽습니다.

목표를 올바르게 설정하지 않으면 바늘을 움직이지 않는 미시 목표를 축하하거나 보정, 설계, 배포가 어렵고 결국 실패처럼 보이는 "Big Sky Ideas"에 지속적으로 투자하게 될 것입니다. . 균형은 중간에 있습니다.

다음 단계

A/B 테스트 도구를 100% 용량까지 사용하는 것이 항상 가능한 것은 아니지만 이를 사용하여 비즈니스에 최대한의 이점을 얻는 것은 노력할 수 있는 것입니다.

첫 번째 단계는 아직 선택하지 않았거나 현재 가지고 있는 것에 확신이 없으면 필요에 맞는 도구를 찾는 것입니다. 그런 다음 이 6가지 전략을 사용하여 거기에서 모든 방법을 사용합니다.

A/B 테스트에서 ROI를 어떻게 높일 수 있습니까?

Convert to Find Out으로 데모를 예약하세요.

데모 요청