A/B 테스트의 ROI를 입증하기 위해 고군분투하고 계십니까? 저희가 도와드리겠습니다

A/B 테스트 프로그램의 가치는 무엇입니까? 회사에 어떤 이점이 있습니까?

A/B 테스트가 전환율을 최적화하고 수익을 높이는 데 도움이 된다는 것을 이미 알고 있습니다. 그러나 A/B 테스트가 수익에 영향을 미친다는 것을 정확히 어떻게 증명할 수 있습니까?

Matt Gershoff의 말에 따르면,

A/B 테스트는 피해나 손실로 이어지는 행동의 변화를 완화할 수 있습니다.

그러나 이 모든 것이 A/B 테스트 프로그램의 ROI를 보여주는 실질적인 수치를 원하는 회사의 최고 경영진에게 깊은 인상을 주지 않을 수 있습니다. A/B 테스트의 이점을 입증하면 지금과 같은 격변의 시기에 경영진의 지원을 받을 수 있습니다.

실험 프로그램의 가치를 증명할 수 있는 방법은 다음과 같습니다.

A/B 테스트 프로그램의 ROI 계산

수익을 사용하여 A/B 테스트 프로그램의 ROI를 계산할 수 있습니다. Peak Activity의 사람들은 ROI를 계산하기 위한 훌륭한 공식을 가지고 있습니다. 다음은 알아야 할 몇 가지 측정항목입니다.

세션당 수익(RPS)

대조군과 변이체 모두에 대한 RPS를 계산합니다. 이는 총 수익을 대조군 및 변형의 총 세션수로 나눈 값입니다.

RPS = (총 수익 ÷ 총 세션)

평균 판매 상승도

여기에는 컨트롤과 변형 모두의 RPS가 포함됩니다. 이 측정항목은 통계적으로 유의해야 합니다.

평균 판매 상승도 = (변형의 RPS – 통제의 RPS) – 1

실제 A/B 테스트 실행 비용

이것은 통제 수익에 평균 판매 상승도를 곱한 것입니다.

A/B 테스트 비용 = (통제 수익 * 평균 판매 상승도)

트래픽 분할 승수

먼저 컨트롤과 변형에 대한 총 세션을 더하여 총 세션을 계산합니다. 그런 다음 이 수치를 사용하여 컨트롤 및 변형에 대한 트래픽 분포를 계산합니다.

총 세션 = ( 대조 세션 + 변형 세션)

Control에 대한 트래픽 분포 = (제어 트래픽 ÷ 총 세션) * 100

변형에 대한 트래픽 분포 = (변형 트래픽 ÷ 총 세션) * 100

변형 변경의 가치

이것은 A/B 테스트 실행 비용에 2를 곱하여 계산됩니다. 이는 표준 A/B 테스트에 두 가지 처리가 있는 경향이 있기 때문입니다. 이 수치는 여러 처리가 있는 다변량 검정의 경우 다릅니다.

변경 가치 = (테스트 실행 비용 * 2)

테스트 기간을 통해 얻은 가치

이것은 기본적으로 변형 변경 값에서 제거된 A/B 테스트를 실행하는 비용입니다.

테스트 기간 값 = (테스트 실행 비용 – 변경 값)

변형이 활성화되면 증분 수익 예측

일일 평균 판매량을 찾으려면 변형의 변경 값을 테스트가 실행된 일수로 나눕니다.

1일 평균 매출 = (변형 변경 가치 ÷ 테스트 기간)

수익 예측은 일일 평균 판매량에 예측 기간의 일 수를 곱한 것입니다. 계절성, 판매 캠페인, 고객 행동 등의 영향이 줄어들 정도로 충분히 예측해야 합니다.

전체 A/B 테스트 프로그램 가치

이제 A/B 테스트 프로그램의 ROI를 계산할 수 있습니다.

A/B 테스트 프로그램 = (테스트 승리 + 테스트 패배 + 비용)

참고: 테스트에서 지면 처음 3단계만 필요하고, 테스트에서 이기면 모든 단계가 필요합니다.

우리는 성숙한 A/B 테스트 프로그램을 보유한 여러 회사에 테스트의 ROI를 계산하는 방법을 공유하도록 요청했습니다.

다음은 그들이 말한 내용입니다.

NuLeaf Naturals의 운영 부사장 Ian Kelly는 다음과 같이 말했습니다.

첫 번째 단계는 실험의 총 비용을 파악하는 것입니다. 여기에는 A/B 테스트에 사용되는 도구의 비용과 테스트를 수행하는 데 필요한 시간이 포함됩니다. 시간의 가치는 직원들이 프로젝트에 투입한 총 시간에 시급을 곱하여 계산됩니다. 또한 테스트 결과 전환이 더 적은 경우에 대비하여 기회 비용을 추가합니다. 기회 비용은 실험을 수행하지 않았다면 얻을 수 있었던 추가 돈입니다.

두 번째 단계는 제품 판매로 끝나는 명확한 깔때기를 갖는 것입니다. 퍼널의 모든 단계를 EveryTrack. 이 작업을 수행하려면 Mixpanel과 같은 도구를 사용하십시오. A/B 테스트에는 동일한 유입경로의 두 가지 변형이 있습니다. 변경 사항은 대상 대상, 사용된 색상 또는 사용된 사본일 수 있습니다. 두 변형 모두 별도로 추적하고 비교해야 합니다.

위의 모든 데이터를 사용할 수 있게 되면 A/B 테스트 프로그램의 ROI를 매우 쉽게 증명할 수 있습니다. 각 분기 말에 ROI를 계산하는 것이 좋습니다. 어떤 실험은 실패하고 어떤 실험은 성공할 것입니다. 수익의 전반적인 개선은 A/B 테스트 프로그램의 비용보다 커야 합니다. 그렇지 않은 경우 테스트 전략을 재고하십시오.

Thrive Cuisine의 CMO인 George Pitchkhadze는 다음과 같이 회사의 프로세스를 간략하게 설명합니다.

실험 비용을 계산합니다.

ROI를 계산하려면 비용을 알아야 합니다. 여기에는 직접 및 간접 비용이 포함되어야 합니다. 예:

- 사용된 소프트웨어/서비스 비용.

- 사용 공수 비용.

-직접 비용(예: 이메일 목록 또는 PPC 광고 임대 비용).

예를 들어 두 개의 광고 플랫폼을 A/B 분할 테스트한다고 가정해 보겠습니다. PPC 광고 비용뿐만 아니라 각 광고 세트를 실행하는 데 걸리는 시간과 광고를 알리기 위해 사용하는 분석 서비스 가격도 살펴봐야 합니다.

수익 계산

이 부분은 직관적입니다. 노력에서 오는 직접 수익을 계산합니다. 여기서 중요한 것은 판매 및 수익을 전송된 이메일, FB/Google의 광고 세트 등과 연결하기 위해 최신 분석 도구를 사용하는 것입니다.

ROI 계산

이제 수익 과 투자에 대한 정확한 아이디어를 얻었으므로 ROI를 쉽게 계산할 수 있습니다. 기억하십시오: 실험 비용을 철저히 계산하고 배포된 특정 캠페인 및 메시지에 수익을 연결하십시오.

A/B 테스트 영향을 측정하는 다른 방법

A/B 테스트 프로그램의 ROI를 측정하는 다른 방법이 있습니다.

Convert의 통합 책임자, 데이터 개인정보 보호 및 정보 보안 책임자 Dionysia Kontotasiou는 A/B 테스트의 영향을 측정하는 4가지 방법을 더 공유했습니다.

1. 얼마나 많은 실험이 끝났습니까?

회사 실험의 높은 비율이 결정적이지 않다면 실험을 잘못 설정하고 있다는 신호일 수 있습니다. 아마도 그들은 "이 변경으로 월간 등록 수가 5% 증가할 것"과 같은 명시적 가설보다는 "이 변경 으로 앱이 개선될 것입니다 "와 같은 모호한 가설을 작성하고 있을 것입니다.

2. 제품 팀 피드백

제품 팀이 이전보다 더 많은 사용자 통찰력과 데이터를 보유하고 있습니까? 그들의 제품 출시가 더 성공적으로 성장하고 있습니까? 그렇다면 A/B 테스트가 성공적이라는 좋은 신호입니다.

3. 실험 속도

테스트 속도는 특정 기간 동안 얼마나 많은 테스트를 수행했는지 측정한 것입니다. 이것은 테스트를 얼마나 빨리 설계, 개발, 테스트, 분석 및 실행할 수 있는지 측정하기 위한 운영 벤치마크 입니다. 일부 더 큰 테스트는 더 오래 걸리고 결과에 더 큰 영향을 미치는 데 중요하지만 더 작은 ' 빠른 승리 '를 무시해서는 안됩니다.

4. 프로그램 실행을 위한 예상 비용과 실제 비용

프로그램 실행에 소요된 시간 또는 예산을 추적합니다. 또한 예상 예산과 테스트 프로젝트에 대한 실제 지출을 모니터링하여 A/B 테스트 프로그램의 가치를 평가할 수 있습니다.

A/B 테스트 프로그램에 경험 변환을 사용하는 경우 목표와 각 테스트 변형의 성능이 포함된 복잡한 보고(아래 스크린샷 참조)에 액세스할 수 있으므로 ROI를 극대화할 뿐만 아니라 증명할 수도 있습니다!

결론

A/B 테스트의 가치는 수익 증가로 이어지는 개선 사항을 찾거나 웹 사이트에서 고객에게 더 나은 경험을 제공하고 발생할 수 있는 위험을 완화하는 데 있습니다. 수익 및 기타 측정을 사용하여 A/B 테스트 프로그램의 ROI를 회사의 C-Suite에게 결정적으로 증명할 수 있습니다.

A/B 테스트에서 ROI를 어떻게 높일 수 있습니까?

Convert to Find Out으로 데모를 예약하세요.

데모 요청