A/B 테스트 통계: 실험에서 통계가 중요한 이유

통계 및 A/B 테스트에 대한 빠른 가이드: 알아야 할 용어

통계에 대한 이해 없이 합리적인 A/B 테스트 실험을 수행하는 것은 거의 불가능합니다.

Convert Experience와 같은 플랫폼이 모든 통계적 측정, 추론 및 분석을 처리할 수 있지만 일부 통계 용어에 대한 기본적인 이해가 있으면 확실히 도움이 됩니다.

기본부터 시작하겠습니다.

표본 및 모집단

A/B 테스트를 위해 웹사이트의 모든 트래픽을 사용하면 이론적으로 인구에 대한 일반적인 아이디어를 얻을 수 있습니다. 그러나 이것은 전체 인구를 포획하는 것이 불가능하기 때문에 자원의 차선의 사용이 될 수 있습니다. 여기에서 샘플이 유용합니다. 다양한 샘플링 방법이 있지만 무작위 샘플링 접근 방식을 사용하면 샘플 선택에 고유한 편향이 없는지 확인하는 데 도움이 됩니다. 이 접근 방식은 Randomized Controlled Trials의 약학 관행에서 영감을 받았습니다.

평균, 중앙값 및 모드

가장 간단한 용어로 평균은 평균을 의미하고 중앙값은 모든 숫자가 선형으로 정렬될 때(분포의 50 ^번째 백분위수) 가운데에 위치한 값을 의미하며 최빈값은 가장 많이 반복되는 값입니다. 이 세 가지 용어는 A/B 테스트의 요약 통계를 살펴볼 때 유용합니다.

분산 및 표준 편차

이는 데이터 포인트의 분산을 측정하는 매우 중요한 개념입니다. 즉, 데이터가 평균에서 얼마나 멀리 떨어져 있는지입니다. 표준 편차는 분산의 제곱근입니다. 이것이 표준 편차가 평균과 동일한 측정 단위를 유지하므로 분산을 더 잘 판단하는 이유입니다. 예를 들어, 미국 성인 남성의 평균 키는 70인치이고 표준 편차는 3인치입니다. 이 예에서 Variance를 사용한다면 값은 9인치 제곱이 되므로 직관적이지 않습니다. 표준 편차를 데이터의 "일반적인" 편차로 생각하십시오.

귀무 가설과 대체 가설

ㅏ Null Hypothesis는 현상 유지에 호소합니다. 귀무 가설은 데이터에서 관찰한 모든 변경(예: 상승도)이 순전한 무작위성 때문이라고 명시합니다. 대안 가설은 변경 사항이 무작위가 아니라 인과 관계를 나타냅니다. 즉, 변경 사항이 사용자에게 영향을 미쳤음을 의미합니다.

예를 들어 방문 페이지에 가장 적합한 헤드라인을 구체화하려고 한다고 가정합니다. 제어 변형과 대체 변형이 있습니다. A/B 테스트를 실행하고 둘 모두에 대해 다른 전환율을 얻으므로 상승도(양수 또는 음수)가 있습니다. 여기서 귀무 가설은 차이가 무작위성 때문이라는 것입니다. 대안 가설은 변화가 특정 변형에 기인한다고 기술합니다.

A/B 테스트를 실행하면 다음 네 가지 결과 중 하나가 나타납니다.

• 귀무가설을 기각합니다.
• 귀무가설을 기각하는 데 실패했습니다.
• 당신은 귀무가설을 거짓으로 거부합니다.
• 귀무가설을 기각하는 데 거짓으로 실패합니다.

이상적으로는 결과와 b가 목표로 삼아야 하는 것입니다. 왜냐하면 그것들은 당신이 무언가를 배울 수 있는 시나리오이기 때문입니다. 이것이 제품을 개선하고 궁극적으로 수익을 높이는 방법입니다. 결과 c 및 d는 아래 오류에 해당합니다.

제1종 오류와 제2종 오류

A/B 테스트의 가능한 결과에서 마지막 두 가지 옵션은 유형 I 및 유형 II 오류, 일명 위양성 및 위음성입니다.

제1종 오류는 참 귀무가설을 거짓으로 기각하는 경우입니다. 즉, 관찰한 변화는 우연에 의한 것이지만 그렇지 않다고 결론을 내렸으므로 오탐입니다. 대부분의 경우 오탐을 줄이는 데 필요한 것은 통계적 유의성에 도달하는 데 필요한 신뢰 수준을 높이는 것입니다. 이것은 일반적으로 95%로 설정되지만 미션 크리티컬 실험의 경우 99% 신뢰도로 설정하여 이러한 오류를 범할 가능성을 1%로 줄일 수 있습니다.

제2종 오류는 정반대입니다. 여기에서 잘못된 영가설을 기각하는 데 실패합니다. 이는 전환율에 긍정적이든 부정적이든 실제 영향이 있었지만 통계적으로 유의미하지 않은 것으로 보이며 임의의 기회에 의한 것이라고 잘못 선언했음을 의미합니다. 대부분의 경우 이것은 통계적 능력의 부족 때문입니다.

통계적 검정력 용어에서 그리스 문자 α는 제1종 오류를 나타내고 β는 제2종 오류를 나타냅니다. 통계적 검정력과 통계적 유의성을 혼동하기 쉽습니다.

이 표는 다음을 명확히 합니다.

통계적 신뢰도

테스트 방문자가 많을수록 통계적 신뢰도가 높아져 충분히 오래 실행하면 99%에 도달합니다. 그러나 일반적으로 미션 크리티컬한 경우가 아니면 95% 신뢰 수준은 대부분의 A/B 테스트에 대해 충분히 좋은 것으로 간주됩니다(오탐이 발생할 확률 즉, 제1종 오류가 최대 5%임을 보장합니다).

통계력

통계적 검정력은 효과가 있을 때 효과를 감지할 확률과 관련이 있습니다.

Statistical Power 및 Statistical Confidence는 A/B 테스트의 진화를 측정하기 위해 함께 작동하는 관련 개념입니다. 이상적으로는 둘 다 테스트를 종료하기 전에 임계값을 통과해야 합니다(자세한 내용은 아래 참조).

신뢰 구간 및 오차 한계

일반적으로 A/B 테스트 실험의 결과는 '전환율은 3% +/- 1%'와 같습니다. 이 진술에서 '1%'는 오차 범위를 나타냅니다. 요컨대, 이것은 테스트 결과를 수용 가능한 상태로 유지하기에 합당한 변환 결과의 편차입니다. 오차 범위가 작을수록 테스트 결과의 신뢰성이 높아집니다. 표본 크기를 늘리면 오차 한계가 낮아지는 것을 알 수 있습니다.

경험 변환으로 A/B 테스트를 실행하면 월별 순 방문자에 대한 변동, 전환율, 개선, 신뢰도 및 전환에 대해 자세히 설명하는 경험 보고서에 액세스할 수 있습니다. 승자를 선언하려면 최소 97%의 신뢰를 얻어야 합니다. 기본적으로 Convert 플랫폼은 5회의 전환이 달성된 후에만 실험 분석 보고를 시작하도록 최적화되어 있습니다. 테스트의 신뢰성을 보장하기 위해 Convert는 양측 Z-테스트를 ​​사용합니다.

실험을 시작할 때 변형 중 하나가 훨씬 더 나은 실적을 보인다면 규정된 테스트 기간을 계속 유지해야 합니다. 조기 결과는 노이즈 또는 임의성으로 인해 발생할 수 있습니다.

최소 감지 효과

MDE는 달성할 수 있는 최소 리프트이며, 그 이상에서는 변경 사항을 구현할 가치가 있습니다. 낮은 MDE를 선택하여 테스트를 준비하면 실험에서 보다 세부적인 변경 사항을 캡처할 수 있습니다. 더 높은 MDE를 설정하면 실험에서 주요 변경 사항만 감지할 수 있으므로 더 작은 표본 크기에서도 작동할 수 있습니다. 여기서 주의할 점은 웹사이트가 이전에 최적화된 적이 없는 한 대부분의 경우 충분히 큰 상승도를 생성하기 위해 과감한 변경을 하는 것이 불가능하다는 것입니다.

MDE에 대해 생각하는 가장 좋은 방법은 샘플 크기 계산기를 사용하는 것입니다. 주간 트래픽 및 전환을 입력하여 시작하고 일정 기간 동안 달성할 수 있는 것을 확인하십시오.

P-값

Google의 수석 의사 결정 과학자인 Cassie Kozyrkov는 P-값을 설명하는 매우 간단한 정의를 만들었습니다. "p-값이 낮을수록 귀무 가설이 더 우스꽝스러워 보입니다!"

우리가 그것을 사용하는 방법은 그것을 유의 수준과 비교하는 것입니다. 5%의 유의 수준이 있고 95%의 신뢰 수준에 직접 해당한다고 가정하면 p-값이 5/100 = 0.05보다 낮아지는 즉시 테스트가 통계적 유의성에 도달했다고 말할 수 있으며 우리는 귀무가설을 기각할 수 있다.

더 확실하게 하려면 유의 수준을 1%로 설정한 다음 p-값이 0.01 아래로 떨어질 때까지 기다립니다. 그것은 우리의 결과에 대한 99% 신뢰에 해당합니다.

트래픽 분포

트래픽 분포는 실험에 특정 비율의 트래픽을 할당하는 데 도움이 됩니다. 매월 100명의 웹사이트 방문자가 있다고 가정합니다. 여기에서 실험에 트래픽의 30%를 할당하도록 선택할 수 있습니다. 기본적으로 A/B 테스트의 각 변형은 트래픽의 동일한 공유를 받습니다. 따라서 두 가지 변형이 있는 경우 각 변형은 트래픽의 15%를 차지합니다.

Convert Experiences를 사용하면 몇 번의 클릭으로 이 트래픽 할당을 구성할 수 있습니다. 실험 프로세스가 발전함에 따라 더 많은 변형을 만들고 필요에 맞게 할당을 최적화할 수 있습니다.

통계가 A/B 테스트에 어떻게 도움이 됩니까?

변형 A와 B의 성능을 비교할 수 없는 이유는 무엇입니까?

Convert Experience와 같은 편리한 플랫폼을 사용하여 A/B 테스트 실험을 실행하려면 시간과 에너지 측면에서 약간의 리소스가 필요합니다. 그렇다면 두 개의 변형을 만들고 각각의 전환율을 측정하고 더 나은 성능을 가진 변형을 선택하는 것이 합리적이지 않을까요?

실용적이고 유용한 것처럼 들리지만 데이터에 대한 통계 테스트가 실행되지 않았기 때문에 잘못된 결론과 잘못된 해석으로 이어질 수 있습니다. 따라서 변화를 관찰하는 것만으로는 충분하지 않으며, 그 변화를 확인하기 위해 얼마나 기다려야 하는지 알아야 하며, 그러기 위해서는 Z-검정, T-검정 또는 G-검정과 같은 통계적 검정을 수행해야 합니다.

상승도 또는 효과 크기만 보면 다음과 같은 도움이 되지 않습니다.

ㅏ. 한 변이의 승리와 관련된 가능한 인과 요인 결정

A/B 테스트는 설계상 약간의 물질적 차이만 있는 두 가지 변형을 선택하도록 제한합니다. 더 큰 차이 집합의 경우 일반적으로 더 광범위한 다변수 테스트를 사용합니다.

A/B 테스트는 처음부터 실험의 종속 변수와 독립 변수를 알고 있다는 규칙에 따라 작동합니다. 예를 들어, 동일한 레이아웃에 배치된 다른 CTA로 두 세트를 생성하는 경우 가설을 반박하고 전환의 변화를 볼 수 있다면 CTA의 차이가 인과 요인임을 알 수 있습니다.

단순히 두 개의 완전히 다른 변형을 실행하면 하나에서 상대적으로 더 나은 견인력을 얻더라도 청중에 대한 통찰력을 얻거나 작동 이유를 결정하는 데 도움이 되지 않습니다.

비. 무작위성과 인과성 구별하기

A/B 테스트의 구조에는 귀무 가설과 대체 가설이 필요합니다. Null Hypothesis는 일반적으로 전환율을 결정할 때 변형 중 하나의 효능이 아니라 인과 요인인 무작위성을 조사합니다. 통계적 유의성이 제시간에 도달하지 못한 경우 Null 가설은 반박되지 않으며, 이후의 변동성은 임의성의 결과로 가정됩니다. 반면에, 귀무가설을 기각할 수 있다는 것은 긍정적 또는 부정적 영향을 미치는 인과 요인을 발견했을 가능성이 높다는 의미입니다(설정된 신뢰 수준, 예: 95% 또는 99%). 전환.

씨. 개선된 전환 가능성이 높은 변경에만 비용 할당

수행된 A/B 테스트에는 유의 수준, 신뢰 구간 및 오차 한계와 같은 통계적 측정값도 포함됩니다. 이러한 분석 개념은 대부분의 임시 분석에 존재하지 않습니다.

예를 들어, 정보 레이아웃과 표시에서 약간의 차이가 있는 두 개의 양식 제출 페이지를 비교합니다. 하나는 다른 하나보다 상대적으로 더 잘 수행합니다. 이제 결과를 복제할 수 있는지 어떻게 결정합니까? 실험 결과가 얼마나 유의미했는지 보여주는 데이터가 없기 때문에 실험 결과를 재현할 수 있는지 여부를 판단할 방법이 없습니다.

A/B 테스트를 위한 유형 I 및 유형 II 오류에 대한 노출 평가 및 제거

유형 I 오류(진정한 귀무 가설이 거부되거나 거짓 긍정) 및 유형 II 오류(거짓된 귀무 가설이 거부되지 않거나 거짓 부정)는 A/B 테스트로 최적화하는 시장 자산에 심각한 결과를 초래할 수 있습니다.

어떤 도구도 유형 I 또는 유형 II 오류를 명시적으로 표시할 수 없지만 예를 들어 95% 이상의 신뢰 수준에 도달하고 통계적 검정력이 최소 80%에 도달했는지 확인하여 오류를 최소화하는 데 도움이 될 수 있습니다.

구매 주기에서 최종 페이지의 두 가지 변형을 만들어 10일 동안 약 10,000명의 방문자에게 보여주고 결과를 얻는다고 가정합니다. 하나의 변형에 대해 더 나은 성능을 보고 이를 전자상거래 웹사이트에 적용할 수 있습니다.

여기서 문제는 실험 결과를 실제로 복제하지 못한 후에 A/B 테스트 실험에서 유형 I 또는 유형 II 오류에 대해 알게 된다는 것입니다. A/B 테스트에서 유형 I 및 유형 II 오류가 발생하지 않도록 하는 더 좋은 방법이 있습니다.

먼저, 표본 크기가 건전한 통계 실험을 보장할 수 있을 만큼 충분히 큰지 확인하십시오. Convert의 계산기를 사용하여 올바른 샘플 크기를 얻을 수 있습니다.

그런 다음, 유의 수준이 95% 이상인지 확인하고 검정력이 80%에 도달할 때까지 검정을 중단하지 마십시오. 계산기가 제공하는 올바른 MDE와 실험 기간을 사용하면 유형 I 또는 유형 II 오류를 통제할 수 있습니다. 전자는 설정한 유의 수준에 직접적으로 영향을 받고, 두 번째는 함께 살고자 하는 통계적 검정력에 의해 영향을 받습니다. 이상적으로는 신뢰 수준이 95% 이상이어야 하고 통계적 검정력이 80% 이상 누적되어야 합니다. 두 경우 모두 많을수록 좋습니다. 두 매개변수가 모두 99%에 도달하면 유형 I 또는 II 오류의 위험이 잘 제어되고 1% 미만임을 보장합니다.

이러한 문제의 발견과 제거는 모두 A/B 테스팅이 작동하는 통계적 사고 때문에 가능합니다.

A/B 테스트 실험이 확장 가능한지 여부 결정

위의 예에서 한 달 동안 한 대안이 대안을 능가하는 경우에도 실험을 쉽게 확장할 수 없습니다. 10,000명의 방문자라는 표본 크기가 상당히 작았기 때문입니다.

A/B 테스트 통계는 테스트의 확장성과 결과의 확장성을 보장하는 다양한 경험적 가이드를 제공합니다. 각 A/B 테스트 실험의 결과는 앞으로 더 많은 테스트를 위한 기반이 될 것입니다.

먼저 플랫폼의 UI 또는 UX 요소의 변형을 테스트하기에 충분한 트래픽이 매월 유입되는지 확인하는 것부터 시작하십시오. Convert의 전문가는 통계적으로 건전한 결과를 얻기 위해 각 변형에 대해 최소 10,000명의 방문자와 1,000번의 전환이 있는 트래픽을 권장합니다. 일단 이러한 요소가 있으면 한 번에 여러 요소를 테스트하지 않고 상당한 기간 동안 테스트를 실행할 수 있으며 합리적인 수준의 중요도에 도달할 수 있는지 확인하십시오.

방문자 수가 적은 경우에도 이메일 캠페인, 소셜 미디어 캠페인, 심지어 Google 광고 그룹에 대해 A/B 테스트를 수행할 수 있습니다. 또는 높은 MDE를 선택하여 청중에 대한 광범위한 통찰력을 얻을 수 있습니다.

실험을 비용 효율적으로 만들기

A/B 테스트를 위해 트래픽의 일정 비율을 할당하는 것은 비용입니다. 잠재고객에게 최적화되지 않은 페이지 또는 UX 요소를 보여주고 있으므로 잠재적인 수익을 놓칠 수 있습니다. A/B 테스트는 이러한 손실 가능성이 있는 수익을 만회할 수 있는 보다 최적화된 요소 또는 페이지를 확장할 수 있는 확실한 아이디어를 제공하지만 이 비용은 테스트 프로세스를 최적화하기 위한 제약으로 사용될 수 있습니다.

A/B 테스트를 수행한 후 A/B/n 테스트로 이동할 수 있습니다. 여기에서 테스트할 여러 변형이 더 있습니다.

온라인에서 사용할 수 있는 많은 무료 계산기는 이 테스트에서 정확한 결과를 얻는 데 필요한 샘플 크기를 보여줍니다. 이 계산기는 A/B 테스트의 샘플 크기를 계산한 다음 실험의 변형 수와 곱한다는 단순한 가정으로 실행됩니다. 이것은 비효율적인 진행 방법입니다. 저희 계산기는 Šidak과 같은 효율적인 다중 비교 수정 옵션을 제공하므로 항상 실험의 모든 단계에서 올바른 도구를 사용하여 잘못된 계산으로 인해 발생하는 추가 비용을 낭비하지 않고 필요한 결과를 얻을 수 있도록 합니다.

표본의 무작위성 추정 및 제어

무작위성에 대한 몇 가지 복잡한 수학적 원리가 있지만 대부분은 동일한 특성인 예측 불가능성을 나타냅니다.

무작위성은 명확하게 정의된 인과관계의 반대로 인식될 수 있습니다. 어떤 요소가 더 높은 전환을 초래했는지 아는 대신 결과에 대한 가능한 인과 요인으로 정의되지 않은 외부 요인에 의존해야 합니다. 이러한 외부 요인을 제어하지 못하기 때문에 테스트 결과를 대규모로 복제할 수 없습니다.

통계적으로 건전한 A/B 테스트 프로세스를 사용하지 않는다면 무작위성의 영향을 조사하는 데 신경쓰지 않아도 됩니다. 그러나 무작위성은 여전히 ​​존재합니다. 테스트 중에 전환되지만 대규모로 작동하지 않는 마케팅 자산에 자본을 배치하게 될 수 있습니다. 설상가상으로 기존 전환 유입경로의 영향이 희석될 수 있습니다.

A/B 테스트 통계는 이 문제를 해결하는 데 도움이 될 수 있습니다. 가설을 공식화할 때 무작위성이 변경된 결과의 원인이 될 수 있는 시나리오를 만들고 있습니다. 이 시나리오를 반박할 수 있다면 본질적으로 더 나은 전환의 원인으로 무작위성을 반박한 것입니다. 전환 깔때기의 다른 영역에 초점을 맞춘 프로세스에서 더 많은 테스트가 진행됨에 따라 전환 최적화 프로세스에서 임의성을 위한 공간을 더욱 제거할 수 있습니다.

이상적인 것은 하나의 주요 메트릭과 다른 가드레일 메트릭으로 OEC(전체 평가 기준)를 정의하고 실험을 실행하여 전자를 최적화하면서 후자가 저하되지 않도록 하는 것입니다. 예를 들어 전환율(기본 측정항목)을 높이고 싶지만 사용자 참여가 감소하는 것은 원하지 않는데, 이는 고객이 만족하지 못하기 때문입니다.

지금까지 실험에 관한 가장 중요한 책인 훌륭한 책은 Ron Kohavi, Diane Tang, Ya Xu의 Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing입니다.

보다 포괄적인 다변수 테스트가 필요하지 않은지 확인

Convert Experience와 같은 포괄적인 도구는 여러 A/B 테스트를 실행하는 데 도움이 될 수 있습니다. 이것은 사소한 기능처럼 들릴 수 있지만 보다 포괄적인 다변수 테스트가 필요한지 또는 A/B 테스트의 결과가 충분히 만족스러운지 이해하는 데 도움이 될 수 있습니다.

이 모든 것은 테스트 결과를 이해한 직후에 무엇을 하느냐에 달려 있습니다. 우승한 페이지나 요소를 배포하기 시작합니까, 아니면 추가 테스트를 위해 가겠습니까? 표본 크기, 유의 수준 및 MDE가 만족스러운 경우 일반적으로 성공적인 대안을 배포할 수 있습니다. 반대편에 있다면 추가 테스트를 사용하여 다른 전환율의 원인을 찾을 수 있습니다.

예를 들어 방문 페이지에 특정 CTA가 있으면 더 나은 전환에 도움이 되는지 여부를 테스트하고 있다고 가정합니다. A/B 테스트를 실행하고 확실한 승자가 있습니다. 그러나 유의수준과 같은 일부 통계적 척도는 만족하지 못하고 있다. 따라서 승리한 변형을 선택하고 다른 변형을 만들어 또 다른 A/B 테스트를 수행합니다.

결과가 복제되면 승리한 변형에 대해 더 높은 신뢰도를 가질 수 있습니다. 첫 번째 테스트의 전환 수준을 복제할 수 없는 경우 전환 상승의 원인이 되는 요소를 찾기 위해 다변수 테스트가 필요할 수 있습니다.

A/B 테스트를 통해 자체 보고된 데이터에 대한 의존도를 피할 수 있습니다.

가장 작은 변수라도 감지된 사용자 행동에 큰 영향을 미칠 수 있습니다. 예를 들어 깜박임 효과는 전환율에 상당한 영향을 미칩니다. 깜박임은 방문자가 A/B 테스트에 사용되는 샘플 트래픽의 일부일 때 변형 페이지보다 기본 방문 페이지가 먼저 표시되는 상황입니다. 이는 분석적으로 일관된 프로세스를 실행하는 경우에도 오염된 결과로 이어질 수 있습니다.

A/B 테스트와 같은 통계 및 분석 프로세스에 문제가 있을 수 있는 경우 자체 보고 프로세스를 실행하면 최적이 아니거나 잘못된 결과가 나올 수 있습니다. 선호도를 기억하고 보고하는 전적인 책임은 정직할 인센티브가 없는 사용자에게 있기 때문에 자체 보고 프로세스는 여러 편향과 시끄러운 데이터로 오염되는 경우가 많습니다. 또한 잘못된 데이터로 이어질 수 있는 순서 편향 및 기타 외부 요인이 있습니다.

A/B 테스팅은 당신을 관찰의 자리에 앉히고 어떤 형태의 사용자 보고도 필요하지 않습니다. 변환과 같은 도구를 사용하면 깜박임에 대해 걱정할 필요조차 없습니다.

데이터 기반 조직 의사 결정

A/B 테스트 실험은 그 과정에서 추측할 여지를 남기지 않습니다. 모든 단계에서 테스트 플랫폼은 관찰을 수집하고 데이터를 기록하고 분석을 수행합니다. 이렇게 하면 상사나 투자자 또는 기관의 선호도에 관계없이 데이터 기반의 결과를 얻을 수 있습니다.

프로세스에 여러 이해 관계자가 있는 경우 최종 결과가 차선책이 되기 쉽습니다. A/B 테스팅은 이러한 계층적 의사 결정이나 편향된 사고를 위한 공간을 제거하는 분석 프로세스입니다.

예를 들어, 대행사에서 방문 페이지에 대한 UI 개편을 권장할 수 있습니다. 이는 해당 월의 청구 가능 항목에 추가되고 제대로 수행될 경우 전환을 방해하지 않을 수도 있기 때문입니다. 그러나 A/B 테스트에서 귀무가설이 계속 유지된다면 당분간 그러한 변경이 필요하지 않다는 사실을 알게 될 것입니다. 당신은 당신의 추론을 뒷받침할 데이터를 가지고 있기 때문에, 심지어 당신의 회사에서 리더십에 굴복할 필요가 없습니다. 이것은 또한 HiPPO(Highest Paid Person's Opinion)와 싸우는 데 도움이 될 수 있습니다. 데이터는 거짓말을 하지 않으며 A/B 테스트는 귀하가 처리할 수 있는 최고의 증거입니다.

투명한 계산으로 실험 결과 이해하기

A/B 테스트의 결과를 이해하는 것은 통계적으로 엄격한 테스트를 실행하는 것만큼 중요합니다. 모든 도구가 테스트를 실행하고, 대안을 비교하고, 승자를 가릴 수 있습니다. 필요한 것은 인과 관계의 표시입니다. 통계 측정이 이를 강조할 수 있지만 경험 변환은 계산의 투명성을 위해 설계되었습니다.

이 플랫폼은 가동 시간이 99.99%이고, 90개 이상의 타사 통합을 허용하고, 타사 목표 추적을 허용하고, 코드 및 오류 검사를 지원합니다. 이렇게 하면 테스트 프로세스가 끝날 때까지 어떤 요소가 승자인지, 왜 더 선호되는지, 확장에 대해 더 확신을 가지기 위해 더 많은 테스트가 필요한지 여부를 명확하게 알 수 있습니다.

CRO 성숙도를 향한 A/B 통계 활용

CRO 성숙도란 무엇이며 통계적으로 건전한 A/B 테스트가 CRO 성숙도에 도달하는 데 어떻게 도움이 됩니까?

전환율 최적화는 고립된 사고 방식으로 보일 수 있지만 전환에 더 집중하기 위해 회사 전체에서 프로세스 기반 변경이 필요합니다. 문제는 CRO가 비교적 새로운 분야라는 점입니다. 2018년 설문조사에서 마케터의 62%에 가까운 사람들이 CRO에서 4년 미만으로 일했습니다.

Shopify의 CRO 전문가는 기업이 CRO 성숙도를 넘어서는 경향이 있는 계층 구조를 만들었습니다. 이 계층 구조를 탐구하면서 조직 프로세스를 발전시키는 데 건전한 통계 실험이 얼마나 중요한지 알게 될 것입니다.

1. 최적이 아닌 터치포인트를 식별하기 위한 정성적 및 정량적 연구 수행

Google Analytics 대시보드는 즉각적인 주의가 필요한 소비자 경험의 페이지 또는 접점을 탐색하는 데 도움이 됩니다. 홈페이지의 높은 이탈률, 장바구니 포기, 불완전한 양식 작성, 이메일 구독 건너뛰기와 같은 특정 문제를 해결하는 것은 전환 유입경로를 최적화하기 위한 출발점으로 사용할 수 있습니다.

2. 이전에 수행된 연구를 기반으로 테스트 및 실험 아이디어 공식화

A/B 테스트 통계는 귀하의 웹사이트와 경쟁업체에 대한 벤치마크 성능을 이해하는 데 도움이 될 수 있습니다. 이를 사용하여 지연되는 요소를 이해하고 더 나은 성능을 낼 수 있는 A/B 테스트 변형을 시작할 수 있습니다.

3. 가장 높은 우선 순위로 테스트 실행 및 아이디어 실험

Convert Experience에서 A/B 테스트 아이디어를 설정할 때 MDE와 같은 메트릭을 설정합니다. 이러한 메트릭은 실험을 실행하는 데 필요한 리소스 할당과 관련하여 비즈니스에 최대의 영향을 미칠 테스트의 우선 순위를 지정하는 데 도움이 됩니다.

4. 테스트 결과 분석 및 기록

테스트를 수행한 후에는 보고 있는 결과를 얻은 이유를 이해하는 것이 중요합니다. 여기에서 Convert Experience와 같은 플랫폼이 무작위성과 높은 확률의 인과 관계를 필터링하는 데 도움이 될 수 있습니다. 변환 경험은 투명한 계산을 통해 승리한 변형의 실적이 더 나은 이유를 이해하는 데 도움이 됩니다.

5. 후속 테스트 생성

A/B 테스트를 수행하고 결과를 얻은 후에는 보다 포괄적인 다변수 테스트로 이동하거나 다른 변형으로 A/B 테스트를 수행할 수 있습니다. Convert를 사용하면 다양한 통계 테스트를 쉽게 수행할 수 있어 승리한 변형을 뒷받침하는 데 대한 확신을 높일 수 있습니다.

CRO 성숙도 모델은 기업의 전략 및 문화, 도구 및 기술, 인력 및 기술, 프로세스 및 방법론 전반에 걸친 전체적인 프로세스에 중점을 두고 있으며, 여기서 기업의 진행 상황은 초심자, 야심찬, 진보적, 전략적, 및 변형.

Convert Experiences는 A/B 테스트 프로세스에 엄격한 데이터 분석을 제공하고, 테스트를 수행하기 위해 코딩이 필요하지 않으며, 시각적 및 분석적으로 접근 가능한 결과를 제공하고, 테스트 결과에 대해 투명합니다. A/B 테스트 계획의 중심에 플랫폼을 사용하면 엔터프라이즈 CRO 성숙도가 보다 쉽게 ​​변혁 단계로 이동할 수 있습니다.

실행 중인 A/B 테스트: 벤치마킹된 사례 연구

1. Google Analytics 사용 및 가설 생성을 위한 경험 전환

Google Analytics는 웹사이트 전반에 걸쳐 잠재적인 개선 영역을 이해하기 위한 훌륭한 출발점이 될 수 있습니다. 트래픽의 급격한 감소, 페이지 시간에 비해 높은 이탈률 등은 잠재적인 문제의 강력한 지표가 될 수 있습니다.

Google Analytics 보고서에서 볼 수 있는 모든 문제를 매핑하십시오. 이와 병행하여 웹사이트, 소셜 미디어 핸들 및 청중이 무엇을 찾고 있는지 묻는 이메일 캠페인에 대한 정성적 설문조사를 실행하십시오. 이 외에도 Hotjar를 사용하여 방문자가 각 페이지의 요소를 탐색하는 방법을 이해할 수 있습니다.

이 모든 데이터를 기반으로 통찰력 있는 변형을 만들고 A/B 테스트를 실행할 수 있습니다. 이미 변환 경험을 사용하고 있다면 나침반 변환 가설 생성 도구를 사용하여 프로세스를 더욱 신속하게 진행할 수도 있습니다.

2. A/B 테스팅을 통한 버려진 카트의 전환 증대

버려진 카트는 웹사이트에 비용이 많이 들고 이 시점까지 오는 데 상당한 시간과 자원을 투자했지만 전환이 이루어지지 않았기 때문에 방문자에게는 상당히 불편합니다.

다른 플랫폼과 통합된 변환 경험을 사용하여 이 문제를 해결하기 위한 구조화된 접근 방식을 공식화할 수 있습니다.

• 먼저 Convert Experience를 Shopify, WooCommerce, PrestaShop, BigCommerce 또는 사용 중인 기타 전자 상거래 플랫폼에 통합하는 것으로 시작하십시오.
• 그런 다음 Google Analytics를 사용하여 플랫폼에서 목표를 설정하고 Hotjar 또는 Crazy Egg와 같은 도구를 사용하여 가능한 문제를 평가하십시오.
• 경험 변환을 사용하면 이 데이터를 사용하고, 가설을 세우고, 체계적인 방식으로 A/B 테스트를 실행할 수 있습니다. 고객들은 유사한 접근 방식을 사용하여 26% 이상의 수익 증가를 관찰했습니다.

3. 방문 페이지 최적화

랜딩 페이지는 전체 전환 프로세스의 핵심입니다. 방문 페이지에서 최대 가치를 추출하기 위해 Google Analytics, Adobe Analytics, Kissmetrics, Baidu Analytics 또는 사용 사례에 대한 기타 주요 도구와 같은 다양한 도구를 사용할 수 있습니다. Convert Experience는 이러한 플랫폼과 원활하게 통합되어 전환율이 낮은 랜딩 페이지를 필터링하는 데 도움이 됩니다.

다음으로 Hotjar 및 Convert 통합을 사용하여 페이지의 어떤 요소가 작동하지 않는지 이해할 수 있습니다. 히트 맵과 같은 고급 도구를 사용하면 방문자가 페이지의 다양한 요소에 액세스하는 방법을 시각적으로 이해할 수 있습니다. 그 이후에는 Convert Compass를 사용하여 가설을 생성한 다음 플랫폼에서 테스트를 실행할 수 있습니다.

테스트를 수행한 후에는 LanderApp, Instapage 또는 Hubspot CMS와 같은 주요 랜딩 페이지 구축 플랫폼과 Convert 간의 통합을 사용할 수 있습니다. 이러한 통합을 통해 방문 페이지에서 A/B 테스트 실험을 쉽게 실행할 수 있습니다.

동일한 워크플로를 사용하여 CRO 전문가는 장바구니에 담기 요금이 13%까지 증가하면서 27%의 전환 증가를 발견했습니다.

'위생적인' A/B 테스트로 더 높은 ROI 달성

1. 웹사이트 트래픽 임계값 : 변환은 테스트 중인 각 변형에 대해 최소 10,000명의 방문자와 1,000명 이상의 전환 범위의 트래픽이 있어야 한다고 권장합니다.

2. A/B 테스트를 위한 올바른 도구 사용 : 올바른 테스트 플랫폼이 없으면 결과가 오염되거나 최적이 아닌 테스트를 실행하거나 리소스에 심각한 제약이 발생할 수 있습니다. Convert Experiences는 이러한 주요 매개변수를 제거하는 동시에 테스트 프로세스가 액세스 가능하고 투명하며 원활하게 진행되도록 하도록 설계되었습니다.

3. 테스트 목표 정의 : 비즈니스 목표는 일치해야 합니다. 예를 들어, 최대 가입을 위해 최적화하는 동안 팀의 일부 다른 부서는 최대 판매를 위해 결과 프로세스를 최적화하지 않아야 합니다. 일관성이 없는 UX는 차선의 UX보다 더 많은 피해를 줄 수 있습니다.

따라서 전체 팀 구성원 간에 목표의 균일성을 유지하십시오. 테스트 수준에서 A/B 테스트를 실행하기 전, 실행하는 동안, 실행한 후에 샘플 크기, 기간, 통계적 유의성, 가설 및 MDE를 명확하게 정의해야 합니다.

4. 내부 트래픽 제외: A/B 테스트를 실행할 때 많은 팀원들이 객관적으로 페이지를 평가하기 위해 고객 여정의 페이지나 지점을 방문합니다. 이로 인해 테스트 결과에 노이즈가 발생할 수 있습니다.

변환 경험은 A/B 테스트 프로세스에서 데이터를 기록, 집계 및 분석하기 위해 이러한 트래픽을 필터링하고 정의한 대상 세그먼트에만 집중하도록 설계되었습니다.

A/B 테스트 통계에 대한 최종 생각

A/B 테스팅은 통계적 엄격함이 있어야만 실행할 수 있는 엄격한 분석 작업입니다. 프로세스에 구축된 통계가 없으면 A/B 테스트는 순전히 추측에 불과합니다.

Convert Experience를 사용하면 능률적이고 접근 가능하며 안정적이면서도 리소스 효율적인 A/B 테스트 실험을 할 수 있습니다. While the process of A/B testing can seem a little overwhelming at first, it certainly unlocks value in the form of the right insight and analytical proven ideas it gives you. Make sure you never run an A/B test in isolation – it has to be followed up with more tests, and even multivariate tests.
With consistent optimization and unlimited tests made available by Convert Experiences, you can expect your enterprise to become a more analytical and data-driven operation in no time.