테스트 예산의 대부분을 어디에 투자해야 합니까?
게시 됨: 2021-07-01
따라서 A/B 테스트 프로그램에 대한 예산을 확보했고 무엇에 먼저 투자해야 할지 잘 모르겠습니다.
도구입니까? 에이전시? 아니면 전체 테스트 팀?
장기적인 이익을 위해 먼저 팀에 투자하는 것이 좋습니다. 유능한 운전자 없이는 어떤 도구도 수익성 있는 결과를 얻을 수 없기 때문입니다. 그리고 에이전시는 비용이 더 많이 들 것입니다.
그러나 모든 옵션을 탐색하고 싶다면 전략과 목표를 비교하여 어느 것이 가장 잘 맞는지 확인해야 합니다.
탐구하자…
- 에이전시를 고용해야 할까요, 아니면 사내에서 CRO를 운영해야 할까요?
- A/B 테스팅 팀에 얼마나 투자해야 할까요?
- 자신만의 CRO를 운영하고 싶다면? A/B 테스트 예산을 어디에 투자해야 할까요?
- 1. A/B 테스팅 도구를 먼저 얻으세요
- 2. 전담 테스터 고용 및 투자
- 3. 그리고 그들을 훈련시키십시오!
- 4. 학습 저장소 및 테스트 문화 만들기
- 5. 프로세스 간소화
- 1단계: 예비 통찰력 수집(문제 또는 기회 발견을 위해)
- 2단계: 테스트 계획 준비 및 타당성 입증
- 3단계: 프로젝트에 대한 보다 자세한 계획 준비
- 4단계: 테스트 시작 및 실행
- 5단계: 테스트 보고서 준비
- 6. 데이터 품질 향상
- 7. 테스트 팀에 추가 지원 추가
- 8. 다른 팀에 테스트 구축 시작
- 9. 고객 경험 측정 도구 추가
- 10. 실험과 수익을 연결하는 함정 피하기
- 결론
에이전시를 고용해야 할까요, 아니면 사내에서 CRO를 운영해야 할까요?
솔직히, 그것은 달려 있습니다.
에이전시는 경험이 있고 거의 전체 테스트 프로세스를 맡길 수 있기 때문에 훌륭합니다.
한 달에 약 10,000명 이상의 방문자가 있고 현재 캠페인의 효과를 최대한 빨리 보고 싶다면 예산이 충분하다면 대행사와 협력하는 것이 최선의 선택입니다.
A/B 테스팅 팀에 얼마나 투자해야 할까요?
Fiverr에서 CRO 지식을 가지고 있다고 주장하는 사람들을 찾을 수 있지만 저는 피하겠습니다.
평균 비용은 프리랜서의 경우 월 $2,000, 소규모 에이전시의 경우 월 8,000, 전담 팀이 있는 최상위 에이전시의 경우 월 25,000입니다.
여기에 추천 기관의 전체 목록이 있습니다.

물론 에이전시는 저렴하지는 않지만 기억하십시오. CRO는 시간이 지남에 따라 ROI가 거의 보장되는 수요가 많고 고도로 숙련된 역할입니다.
실제로 우리 데이터에 따르면 대행사는 사내 팀과 비교할 때 동일한 양의 캠페인을 실행하면서 평균적으로 더 많은 테스트를 통과하는 경향이 있습니다. 이는 '가장 큰 승리가 먼저' 프로세스를 따르고 귀하에게 가장 큰 영향을 미칠 수 있는 곳에서 더 많은 경험을 가지고 있기 때문입니다.

그 경험이 쌓이면 결과를 빨리 얻을 수 있습니다.
작은 작업과 개선에 집중하기 때문에 어려움을 겪을 수 있는 초보자 테스터와 대조됩니다.
관련: 2021년 필수 CRO 도구 43개(CRO 에이전시 검증)
그렇다고 에이전시가 항상 최선의 선택은 아닙니다. 사내 결과는 일단 팀이 '성숙'하면 앞으로 나아갈 수 있습니다. 그러면 더 많은 데이터에 대해 조치를 취하고 잠재 고객과 제품을 알고 있는 데이터 중심 회사가 되기 때문에 내부 테스트에서 더 높은 ROI를 볼 가능성이 더 큽니다.
비즈니스 전반에 걸쳐 CRO에 초점을 맞추고 있는 Booking.com과 같은 회사를 살펴보고 CRO가 귀하의 성장에 얼마나 영향을 미칠 수 있는지 확인하기만 하면 됩니다.
Harvard Business Review는 테스트를 통해 Booking.com이 어떻게 세계 최대 여행 숙박 플랫폼이 되었는지에 대한 사례 연구를 작성했습니다.
에이전시를 고용할 2k-25k가 없으면 어떻게 합니까? 오늘의 상승을 원하지 않고 청중의 정보를 기반으로 모든 조치를 취하는 '데이터 기반' 회사가 되기를 원하신다면 어떻게 하시겠습니까?
그런 다음 사내에서 CRO를 실행하고 싶을 것입니다.
사내 테스트는 다음과 같은 경우 시작하기에 좋은 장소입니다.
- 대행사보다 적은 비용으로 현재 테스트에서 더 많은 상승도를 원합니다.
- 대행사 기준에 적합하지 않은 SMB입니다. (트래픽/예산 등)
- 시간이 지남에 따라 확장 및 성장하고 회사 전체의 테스트 문화를 구축할 수 있는 기능을 원하는 경우.
이제 막 시작하는 경우 약간 혼란스러울 수 있으므로 이 가이드에서는 A/B 테스트 예산을 어디에 사용해야 하는지 안내해 드리겠습니다.
자신만의 CRO를 운영하고 싶다면? A/B 테스트 예산을 어디에 투자해야 할까요?
이것은 모두 주관적이라는 점을 염두에 두십시오. 그러나 이것은 A/B 테스트 예산이 있고 회사를 위해 CRO를 시작한 다음 그로부터 얻은 ROI와 통찰력을 사용하여 추가 투자를 원할 경우 따를 정확한 프로세스입니다.
몇 가지 기준에 따라 이 목록을 작성했습니다.
- 테스트를 수행하기 위한 주요 필요 또는 우선순위는 무엇입니까?
- 다음 단계를 수행하기 전에 필요한 것은 무엇입니까?
- 가장 '성숙한' 회사를 기반으로 테스트 팀을 성숙시키기 위해 어떤 습관, 도구 및 프로그램에 투자해야 합니까? (게임을 주도하고 연간 5억 달러를 운영하는 사람들, 주로 데이터 중심적이기 때문입니다).
CRO의 관점에서 성숙이 무엇을 의미하는지 모른다면 우리는 회사가 CRO에 얼마나 복잡하거나 투자했는지에 대해 이야기하고 있습니다. 기본 테스트를 시작하고 실행하는 사람부터 결과에 따라 모든 선택을 하는 회사에 이르기까지.
왜 중요한지, 언제 투자해야 하는지 각 부분을 안내해 드리겠습니다.
그럼 다 파헤치자...
1. A/B 테스팅 도구를 먼저 얻으세요
당신이 투자할 수 있는 가장 중요한 것은 당신의 사람들입니다. 하지만 도구 없이는 테스트를 실행할 수 없잖아요?
이상적으로는 3가지 유형의 도구가 있습니다.
- 현재 데이터를 추적하기 위한 사이트의 분석. 이것은 Google Analytics 또는 기타가 될 수 있습니다. (참고: 또한 테스트를 시작하기 전에 현재 전환율을 추적하고 판매가 어디서 왔는지 확인할 수 있어야 합니다.)
- 우리의 Convert 앱과 같이 사람들이 취하는 정확한 행동을 측정할 수 있는 정량적 테스트 도구입니다. 누가 어떤 조치를 취했는지, 어떻게 개선 또는 감소했는지 또는 단순히 변경하지 않았는지에 대한 숫자를 제공합니다. 이것이 없으면 아무것도 테스트할 수 없습니다. 이를 통해 현명한 선택을 시작할 수 있습니다.
- Hotjar 또는 기타와 같은 해당 데이터를 이해하려고 시도할 수 있는 정성적 도구. 그것은 당신이 당신의 청중을 조사하고, 그들의 마우스를 어디로 움직이는지 보고, 그들이 물건을 클릭하는 데 문제가 있는지 등을 볼 수 있게 해줍니다. 가장 좋은 시나리오는 정보를 양적 도구와 직접 통합하는 QA 도구를 얻는 것입니다.
CRO는 결과를 측정하고 문제를 파악한 다음 수정 및 개선을 시도하는 것입니다. 데이터를 추적하고 측정할 수 없다면 그렇게 할 수 없습니다.
이제 도구에 대한 비용을 지불해야 하며 비용과 추가 기능 범위가 모두 다릅니다. 여기에서 A/B 테스트 도구를 구입하는 방법과 여기에서 A/B 테스트 도구의 비용을 분석합니다.
(현재 도구에 너무 많은 비용을 지불하고 있는지 분석하는 방법과 계약 중간에 새 공급자로 전환하는 방법도 보여줍니다.)
따라서 도구를 먼저 사용하지만 모든 도구는 사용하는 사람이 중요하다는 사실을 기억하십시오.
2. 전담 테스터 고용 및 투자
실행하는 대부분의 테스트는 실패합니다.
무엇이 효과가 있고 무엇이 그렇지 않은지를 증명하고 손실을 피하면서 점진적인 승리를 얻고 있기 때문에 나쁜 것이 아닙니다.
테스트를 실행하는 전담 직원이 있으면 더 많이 실행하고 더 많이 배우고 더 빨리 성장할 수 있는 기회를 얻을 수 있습니다. 젠장, 그 지식을 사용하여 제품과 경험을 개선할 수도 있습니다.
문제는 이제 막 테스트를 시작하는 많은 회사에서 현재 직원의 역할에 테스트를 추가하려고 한다는 것입니다. 마케터를 프로젝트에서 떼어놓고 1% 테스터로 만들지 마십시오.
이것이 대부분의 사람들이 CRO가 자신에게 적합하지 않다고 생각하는 이유입니다. 그들은 몇 가지 테스트를 실행하고 잘못된 것에 집중하거나 심지어 데이터를 잘못 읽었습니다.
여기에서 긁지 마십시오. 테스터를 사내에서 구할 수 있다면 이는 최고의 장기 투자 중 하나가 될 것이며 테스터 없이는 더 이상 나아갈 수 없습니다.
3. 그리고 그들을 훈련시키십시오!
#teamovertools
결국 A/B 테스팅 도구 는 그것을 사용하는 사람들만큼 좋은 것입니다. 설정된 매개변수에 따라 항상 무작위로 사용자를 할당합니다. 그리고 그것이 당신을 위해 승자라고 부르지만, 성공적인 A/B 테스트를 실행하기 위해서는 통계의 기초를 확실히 이해하는 것이 가장 좋습니다.
트리나 모이트라, Convert.com
테스터가 있으면 시간을 내어 테스터를 교육하십시오! 실행할 수 있는 테스트와 얻을 수 있는 통찰력은 모두 테스터의 경험에 달려 있습니다.
그것 없이는 다음을 수행할 수 있습니다.
- 물건을 잘못 설정하고,
- 테스트 아이디어를 찾기 위해 고군분투하고,
- 검증할 수 없는 가설을 세우고,
- 충분히 오랫동안 테스트를 실행하지 않고,
- 데이터를 잘못 읽고 승리를 놓치고,
- 잘못 읽고 패자를 구현하십시오.
- 잘못된 것을 테스트하거나 더 나쁜 것을 테스트하십시오.
- 그들이 있어야 할 것을 테스트하지 마십시오 ...
…그리고 더. 우리는 당신이 저지를 수 있는 가장 흔한 A/B 테스트 실수 목록과 그것을 고칠 수 있는 방법을 정리했습니다.
모든 것이 우리가 생각하는 대로 작동하는 것은 아닙니다. 웹사이트 디자인의 모범 사례는 효과가 있지만 항상 그런 것은 아닙니다...
초보자 테스터는 이것을 테스트하지 않았거나 테스트했다고 생각조차 하지 않았을 수 있습니다. 특정 페이지에서 캠페인을 실행하고 이 데이터를 확인하지 않을 수 있습니다. 이것이 테스트의 모든 내용을 배우도록 훈련시키는 것이 중요한 이유입니다.
그럼 어디서 그들을 훈련시킬 수 있습니까?
순전히 CRO 및 A/B 테스트에 중점을 둔 CXL Institute의 환상적인 프로그램이 있습니다.
참고: Convert 고객이 되면 CXL 교육에 액세스할 수 있습니다.
믿을 수 없을 정도로 심도 있고 가장 똑똑한 테스터가 만든 것입니다. 나는 그것을 매우 추천합니다.
테스터에게 테스트의 모든 요소에 대한 이해를 제공할 뿐만 아니라 먼저 작업할 큰 영향 영역과 차이를 만들 테스트 유형의 우선 순위를 지정하는 데 도움이 됩니다.
테스터가 이 모든 것을 이해하면 견고한 A/B 테스트 전략을 세우는 데 도움이 됩니다.
TL;DR
시간을 내어 교육에 투자하여 팀 구성원의 기술을 향상시키십시오. 더 많이 배울수록 더 나은 결과를 얻을 수 있으며 더 나은 수익을 얻을 수 있습니다.
기억하십시오: 데이터가 의미하는 바를 아무도 모르면 데이터는 의미가 없습니다. 그렇죠?
4. 학습 저장소 및 테스트 문화 만들기
이는 규모를 확장하고 조직화하고 관리자로부터 동의를 얻고 실수를 빠르게 해결하고 회사 내에서 테스트 문화를 구축하려는 경우에 중요합니다.
우리는 다른 게시물에서 이것에 대해 이야기했지만 여기에서 빠르게 요약할 수 있습니다. 학습 저장소는 모든 과거 테스트의 데이터베이스입니다.
이것은 보여준다:
- 지금까지 실행한 각 테스트,
- 테스트 중인 페이지,
- 당신의 가설은 무엇이었습니까?
- 테스트 및 변경 사항(대조군 및 변형 포함)
- 결과적으로 상승, 하락 또는 동일하게 유지되는 경우,
- 평균 주문 금액의 변화. (양수 중 하나를 얻었고 음수이면 라이브로 푸시하지 않아 절약한 돈을 보여줍니다.)
- 그 결과에 대한 당신의 생각. (새로운 통찰력으로 이어졌는가 등)
사이트에 문제가 있습니까?
과거 문제가 포함된 리포지토리가 있으면 팀이 문제를 훨씬 빨리 찾고 수정하는 데 도움이 됩니다.
새로운 사람들을 훈련하고 싶습니까?
한 곳에서 모든 학습을 수행하면 테스터가 과거 테스트에서 학습할 수 있습니다.
더 나은 구매를 얻으십시오!
이와 같은 정보를 제공하면 테스트를 상사에게 쉽게 전달하고 CRO의 가치를 증명할 수 있습니다.
테스트 문화 구축
동의에 대해 말하자면 이러한 테스트를 사용하여 테스트의 회사 문화를 구축할 수도 있습니다. 나란히 촬영한 장면과 가설을 팀과 공유하고 어떤 것이 가장 잘 수행되었는지 추측할 수 있는지 확인합니다. 나중에 결과를 공유하십시오.
이것은 사람들이 CRO에 열광하게 만듭니다. 특히 대다수의 사람들이 테스트가 실패했다고 믿었다면 오직 그들만이 이겼다고 생각했습니다. 이것은 그들이 모든 것이 의견에 관한 것이 아니라는 것을 이해하는 데 도움이 됩니다.
당신은 또한 그들이 결코 생각하지 못한 영역에서 개선하도록 도울 수 있습니다! (특정 단어와 각도가 청중과 더 잘 연결된다는 것을 알게 된 다음 고객 지원, 카피라이팅 및 광고 팀 모두가 이에 대해, 그리고 그것이 미칠 수 있는 영향을 알게 되었다고 상상해 보십시오.)
그러나 흥분만으로는 편견을 완전히 제거하고 회사에서 오래 지속되는 테스트 문화를 조성하기에 충분하지 않습니다.
C급 경영진(최종 의사 결정권자)을 실험 문화 확산에 참여시키는 것만큼 효과적이지 않습니다.
알다시피, 사일로 제거 테스트는 훨씬 다른 기술이 필요하기 때문에 잘 작동하지 않습니다. 그러나 경영진과 긴밀하게 협력하여 테스트에 대한 확실한 이유를 제시하면 점차적으로 지속적인 테스트 및 데이터 기반 의사 결정 방식을 채택할 것입니다.
어떻게 이러한 테스트를 제시하고 경영진을 확보할 수 있습니까?
당신이 추측할 수 있는 추측할 수 있는 환상적인 사이트가 있습니다.
테스터가 아이디어를 얻고 가설 기술을 향상시키는 데 도움이 되도록 설계되었습니다. 사이트는 여러 A/B 테스트를 표시하여 작동하며 독자는 어떤 변형이 승리하는지 추측할 수 있습니다.

그들은 정기적으로 클릭할 수 있는 다양한 A/B 테스트를 제공하고 얼마나 많은 사람들이 옳고 그른지 추측한 결과를 볼 수 있을 뿐만 아니라 테스트 이면의 데이터, 실행된 내용 및 승자와 함께 변환한 방법도 볼 수 있습니다.
우리 자신의 의견에 이의를 제기하는 데 도움이 되므로 테스터에게 큰 도움이 됩니다.
이것은 회사에서 테스트 문화를 구축하기 위해 할 수 있는 것과 동일하며 비용이 들지 않습니다. 당신은 추측과 같은 웹사이트를 구축할 필요가 없습니다. 대신 저장소에 넣는 이미지와 정보로 이미 하고 있는 작업을 간단히 공유할 수 있습니다.

통제 및 변형이 포함된 회사 이메일을 보내고 사람들에게 그들이 이겼다고 생각하는 것에 투표하도록 요청하십시오. 그런 다음 테스트 결과, 가설 및 통찰력이 포함된 후속 이메일을 보냅니다.
이 연습에서 관리 팀을 참여시키십시오. 아니면 최소한 처음부터 결과까지 이야기를 들려주세요. 그들이 얼마나 잘못된 의견이 될 수 있는지 보게 하십시오. 테스트 문화를 구축하는 데 어떻게 도움이 되는지, 완전히 다른 영역의 팀에 얼마나 도움이 되는지 알게 될 것입니다.
그렇다면 리포지토리를 구축하는 방법은 무엇입니까?
컴퓨터의 폴더처럼 간단할 수도 있고 GrowthHackers의 'Experiments'와 같은 플랫폼을 볼 수도 있습니다. 학습 저장소이자 프로젝트 관리 도구입니다.
5. 프로세스 간소화
당신이 할 수 있는 가장 가치 있는 일 중 하나:
- 테스트를 개선하고,
- 그들의 빈도와 양을 늘리고,
- 오류 제거,
- 테스트당 비용 절감…
... 전체 테스트 시스템을 간소화하기 위해 시스템과 프로세스를 설정하는 것입니다.
테스트하려는 항목의 가설과 구성부터 사전 테스트 설정, 라이브로 푸시하는 방법, 테스트 중 수행할 작업 및 이후 수행할 작업.
반복하는 각 요소에 대한 시스템과 SOP(표준 운영 절차)를 구축하면 전체 테스트 프로그램이 향상될 뿐만 아니라 성공 가능성도 높아집니다.
왜요?
각 테스트는 인적 오류 가능성이 적고 더 원활하게 실행되는 동시에 더 빠르게 구현됩니다. 윈-윈 상황입니다.
물론 문제는 이 작업을 수행하는 회사가 거의 없다는 것입니다. 사실, 그것은 CXL의 산업 보고서 현황 보고서에 계속해서 등장합니다.

그러나 하루 종일 그들을 운영하는 기관?
아니면 테스트 문화를 확장하는 내부 팀입니까?
이들은 항상 가능한 한 빨리 시스템을 구축하는 데 중점을 두는 사람들입니다...
이것들도 충분히 쉽게 만들 수 있습니다.
각 테스트에 대해 수행할 작업을 매핑한 다음 각각의 새로운 테스트에 따라 따라야 할 문서를 작성하십시오. 모든 작업이 완료되었는지 확인하기 위해 확인란을 선택하기만 하면 됩니다.
예를 들어 다음과 같이 시작할 수 있는 간단한 실험 테스트 프로세스(Ben Labay의 Phase-Gate Testing Framework 기반)가 있습니다.
1단계: 예비 통찰력 수집(문제 또는 기회 발견을 위해)
고객과 시장에서의 위치를 이해하는 것으로 시작하십시오. 이러한 통찰력을 수집하려면 설문 조사 및 설문 조사, 이해 관계자 인터뷰, 사용자 테스트 등을 실행하여 고객과 시장을 조사하십시오.
답변을 얻고자 하는 주요 질문은 다음과 같습니다.
- 고객/사용자의 요구 사항을 충족하고 있습니까?
- 타겟 청중은 우리를 어떻게 인식합니까?
- 시장에서 우리 브랜드의 위치는 무엇입니까?
- 이러한 문제/기회에 대해 이미 수집한 데이터는 무엇입니까?
- 제품, 마케팅 또는 서비스에서 무엇을 변경해야 합니까?
이것들은 당신이 간결한 문제 진술을 하도록 이끌 것입니다. 측정할 메트릭과 이를 달성하는 방법에 대해 명확하게 알 수 있습니다. 또한 문제의 문제나 기회가 추구할 가치가 있는지 또는 나중으로 미룰 수 있는지 평가할 수 있습니다.
이 초기 평가에서 얻은 통찰력은 제안된 가설로 연구 요약을 준비하는 데 도움이 됩니다.
비즈니스 목표에 대한 테스트의 조정에 참여해야 하기 때문에 경영진 이해 관계자로부터 동의를 얻으려면 이를 사용하십시오.
이것은 우리를 다음 단계로 이끕니다…
2단계: 테스트 계획 준비 및 타당성 입증
이 단계에서는 경영진의 지원을 받기 위한 테스트의 실행 가능성에 대한 사례를 만들고 있습니다.
그들은 잠재적인 결과의 가치가 그것을 실현하는 데 필요한 자원을 정당화하는 방법을 알고 싶어할 것입니다.
이 단계에서 대답하고 싶은 질문은 다음과 같습니다.
- 테스트를 실행하는 데 필요한 리소스는 무엇입니까?
- 어떤 주요 변경 사항이 필요합니까?
- 다른 프로젝트/테스트에 영향을 미칩니까?
- KPI는 무엇이며 성공을 어떻게 나타냅니까?
- 가능한 결과는 무엇입니까?
테스트의 기본적인 범위를 설명하는 문서에서 이러한 질문에 대한 답변을 요약합니다. 이해하기 쉽게 스프레드시트에 표시하여 경영진의 승인을 받는 데 사용할 수 있습니다.
승인을 받으면 계획으로 넘어갈 수 있습니다.
3단계: 프로젝트에 대한 보다 자세한 계획 준비
여기에서 프로젝트에 참여하는 모든 사람을 얻을 수 있습니다. 경영진은 비용 영향과 예상 결과 간의 균형에 동의해야 합니다. 그리고 교차 기능 이해 관계자가 참여할 준비가 되어 있어야 합니다.
이를 달성하려면 다음 질문에 답하는 프로젝트에 대한 보다 자세한 계획을 준비하십시오.
- 테스트를 완료하려면 어떤 데이터/정보가 필요합니까?
- 어디에서 어떻게 테스트를 진행하고 있습니까?
- 어떤 메트릭이 성공을 나타내며 어떻게 측정합니까?
- 가능한 결과를 요약한 의사결정 트리를 준비했습니까?
프로젝트에 관련된 모든 사람의 완전한 일치를 얻을 수 있도록 이 모든 것을 하나의 계획으로 묶습니다. 이것은 또한 학습 보관소에 귀중한 추가 자료가 될 것입니다.
모든 이해 관계자가 전체 계획에 참여할 때 테스트를 시작할 수 있습니다.
4단계: 테스트 시작 및 실행
이 단계에서 테스트를 시작하고 모든 것이 제대로 작동하는지 확인합니다. 단일 또는 다중 QA 및 QC 점검과 주간 성능 점검을 수행합니다.
이 단계에서 원하는 명확성은 다음과 같이 답해야 합니다.
- 테스트가 이전 단계의 계획에 따라 구축되고 실행되고 있습니까?
- 데이터를 수집하고 의도한 대로 보고하고 있습니까?
- 테스트 프로젝트 일정이 제대로 지켜지고 있습니까?
- 이 테스트가 다른 프로젝트/테스트에 미칠 수 있는 영향을 해결했습니까?
- 관련된 모든 사람들이 여전히 진행 상황에 동참하고 있습니까?
문제로 드러나거나 필요한 변경 사항이 있는 경우 사건 로그에 문서화하십시오.
경영진 이해 관계자에게 다시 보고하고 테스트가 어떻게 진행되고 있는지 알립니다. 일이 계획대로 진행되고 있습니까? 그리고 데이터를 정확히 수집하고 보고서를 작성하고 있습니까?
이것은 다음 단계로 안내할 것입니다…
5단계: 테스트 보고서 준비
이 마지막 단계에서는 테스트의 결과로 내려진 분석, 결과, 통찰력 및 결정을 자세히 설명하는 테스트의 전체 문서를 준비하고 싶을 것입니다. 이것은 테스트 아카이브 및 학습 보관소의 일부가 될 것입니다.
이 테스트 보고서에 포함하고 싶은 내용은 다음과 같습니다.
- 테스트가 목표를 달성했는지 여부
- 얻은 통찰력으로 인해 즉시 수정된 사항
- 테스트 범위를 벗어나 새로운 것을 발견한 경우
- 테스트 결과에서 영감을 얻은 주요 결정
테스트에 대한 자세한 문서화 외에도 중요한 정보를 한 눈에 제공하는 테스트 스코어카드를 만드는 것이 좋습니다.
이제 다음 테스트를 위해 5단계를 반복하기만 하면 됩니다.
6. 데이터 품질 향상
더 많은 트래픽과 결과를 얻기 시작하면 더 자세한 보고를 위해 분석 플랫폼을 전환하는 것이 좋습니다.
월 방문자가 1000만 명이 되면 Google 애널리틱스 360으로 업그레이드할 수 있습니다.
또는 Adobe Analytics 및 Heap과 같은 실시간 교차 채널 도구를 살펴볼 수 있습니다. (둘 다 Convert 앱과 직접 통합됩니다.)
이러한 도구는 더 정확한 데이터를 제공하고 사용자 행동을 이해하는 데 도움이 되며 표준 GA로는 할 수 없는 것을 테스트 및 추적할 수 있습니다.
뿐만 아니라 CRM 및 기타 도구에도 연결됩니다.
7. 테스트 팀에 추가 지원 추가
지금까지 테스트 도구의 일부인 WYSIWYG 편집기를 사용하고 있을 것입니다.
그러나 더 빠르고 깔끔한 코드로 더 복잡한 테스트를 시작하려면 Javascript 개발자를 고용하는 것이 좋습니다.
이렇게 하면 개발자가 선호하는 도구와 워크플로를 사용하여 테스트를 수행한 다음 추가 코드 팽창 없이 테스트 도구에 직접 코드를 업로드할 수 있습니다.
그리고 보너스?
테스트는 여전히 도구를 통해 구현되기 때문에 모든 세분화 및 측정 기능을 사용할 수 있으며 우승자가 발견되면 자동으로 종료될 수도 있습니다.

(개발자를 사용하는 사람들에게 보이는 한 가지 문제는 도구를 우회하거나 자체 테스트 플랫폼을 구축하는 것입니다. 이것은 작동할 수 있지만 개발자가 테스트를 설계하고 완료되면 끄고 승자를 구현해야 하는 경우 이슈.)

8. 다른 팀에 테스트 구축 시작
이제 더 많은 테스트, 추적 데이터 및 경험을 실행하고 있으므로 여러 팀에서 테스트를 구현하기 시작할 때입니다.
더 이상 판매뿐만 아니라 제품 또는 트래픽 등 개선할 수 있는 모든 팀.
기억하십시오: 항상 큰 승리가 아니라 작은 승리의 집합입니다. 100개의 영역에서 1% 증가는 회사 운영 방식에 큰 차이를 가져올 수 있습니다.
각 팀에서 누군가를 교육하기 시작하거나 해당 영역에서 테스트를 관리하기 위해 사람들을 데려오고 교육할 수 있습니다. 일반적으로 천천히 시작하고 핵심 테스트 팀을 역할 모델로 사용하여 새 팀에 영감을 주고 지원을 제공하는 것이 가장 좋습니다.
한 번에 모든 팀을 구성하려고 하지 마십시오.
핵심은 팀을 하나 더 만들고 성공적으로 만든 다음 다음 팀으로 이동하는 데 도움이 되는 것입니다. 테스트 문화를 구축하려면 각 팀이 자체적으로 실행하고 효율적일 수 있기를 바랍니다!
9. 고객 경험 측정 도구 추가
Speero(CXL의 에이전시)는 최근 2020-2021년에 CRO를 실행하는 210개 회사의 피드백을 기반으로 CRO 성숙도에 대한 보고서를 작성했습니다.
그들의 목표는 다양한 실험 프로그램과 프로그램의 완성도가 결과에 어떤 영향을 미치는지 자세히 살펴보는 것이었습니다.
몇 가지가 정말 눈에 띄었습니다.
- 가장 성공적인 기업은 데이터 기반 기업입니다. 그들은 의견이 아닌 테스트 데이터를 기반으로 모든 선택을 합니다.
- 테스트 문화를 구축하는 데 도움이 되도록 회사 전체에 결과를 공유합니다 .
- 그리고 그들은 고객 경험 측정을 구현하는 회사 중 일부일 뿐입니다.
모든 사람이 고객 경험을 측정하는 것은 아닙니다. 우리가 전환율을 개선하지 않는다는 점에서 CRO에 대해 말할 때 생각하는 것이 아닙니다. 그러나 더 자세하게는 QA 및 Quant 유형 테스트에 사용할 수 있는 것과 동일한 방법론을 사용하여 더 높은 판매, 반복 판매 및 유지에 추가되는 모든 연결된 측면을 추적, 측정 및 개선하고 있습니다. (전환율에 직접적인 영향을 미칠 수 있는 모든 것).
고객 경험 측정에는 보다 구체적인 추적이 필요한 경우가 많지만 이렇게 하면 금전적 가치를 고객 경험 개선과 동일시할 수 있습니다.
뿐만 아니라 시간 경과에 따른 유지도 추적할 수 있습니다. (새 고객을 유치하는 것보다 기존 고객에게 더 많은 판매를 하는 것이 훨씬 더 유리합니다.)

그래서 이것을 위해 무엇을 사용할 수 있습니까?
프로세스는 실제로 상당히 커서 항상 채택되지 않는 또 다른 이유입니다.
이상적으로는 고객이 사이트를 떠나 제품을 받은 후에도 전체 고객 여정에서 상호 작용 및 피드백 시스템을 만드는 것입니다. 이를 위해서는 인적 요소와 조사 등을 위한 몇 가지 추가 도구가 필요합니다.
일부 에이전시는 CX를 전문으로 하므로 CX를 사용하여 시작할 수 있습니다(또는 계속 사용).
또는 Qualtrics 및 기타 도구를 살펴보고 내부적으로 프로그램을 구축할 수 있습니다.
CX는 학습 곡선이 있는 새로운 주제이지만 특히 CRO 테스트에 이를 다시 제공할 때 이점이 상당할 수 있습니다.
10. 실험과 수익을 연결하는 함정 피하기
"이 테스트를 실행하고 통찰력을 사용하여 결정을 내리기 때문에 X 금액의 돈을 벌 것입니다."라고 말하고 싶을 것입니다. 그 결론은 현실을 무시합니다.
세상은 우리가 바라는 것만큼 단순하지 않습니다. 너무 많은 요소가 결과에 영향을 미치므로 특정 결과가 출시될 때 일관되게 반복될 것이라고 생각하는 것은 현실적이지 않습니다.
그렇다면 왜 일부 A/B 테스트 도구, 에이전시 및 CRO 실무자는 여전히 A/B 테스트를 수익 예측과 연결합니까?
대답은 간단합니다. 흥미진진하고 종종 바이인을 끌어들입니다.
그러나 이것은 사람들을 실망하게 만들고 A/B 테스트에 대한 믿음을 잃게 만드는 쉬운 방법입니다. 이것이 바로 사람들이 수익을 보고하는 도구에 돈을 쏟아붓는 데 잘못 끌리는 이유입니다.
이러한 도구에 연간 10만 달러를 지출하는 것이 큰 실수인 이유는 다음과 같습니다.
현실 세계에는 엄청난 불확실성이 존재합니다.
테스트 결과가 정확하게 반복되지 않는 데에는 여러 가지 이유가 있으며 이를 무시해서는 안 됩니다. 시장 변화, 고객 행동 변화, 경쟁 변화, 예산 및 가격 변동. 미래는 테스트를 실행한 시간과 반드시 같지는 않습니다.
결과를 외삽하여 내년 정도의 수익 증가를 예측할 때 ROI 계산을 지나치게 단순화하고 잘못된 예측을 할 가능성이 더 높습니다.
테스트의 진정한 목적은 앞으로 나아가기 위한 결정을 내리는 것이어야 합니다.
테스트는 수익보다 목표와 통찰력과 더 관련이 있습니다. 더 나은 결정을 알리는 것이 A/B 테스트의 초점이 되어야 합니다. 이를 통해 의사 결정자는 볼 만한 매력적인 매출 수치와 실망할 위험이 있는 것보다 성장과 이익을 향한 더 확신에 찬 경로를 택할 수 있습니다.
그러나 실질적인 수익 목표가 실험 무지개의 끝이 아닌 경우 사람들의 관심을 끌기가 어려운 경우가 많습니다.
대신 무엇을 해야 할까요?
실험에 대한 대화를 예상 수익에서 실험하지 않는 비용으로 가져옵니다. 조치를 취하지 않으면 손실은 무엇입니까?
또한 테스트 프로젝트의 성공을 특정 목표와 관련된 특정 결정을 내릴 때 얻을 수 있는 자신감의 수준으로 설정하십시오. 이는 예상되는 수익 증대에서 초점을 이동시킬 뿐만 아니라 이해 관계자가 최적화 프로그램의 올바른 초점에 맞추는 데 도움이 될 것입니다.
여전히 숫자를 입력해야 하는 경우 범위를 지정하십시오. 실험은 결과를 얻을 수 있는 백분율의 확실성을 보여주기 때문에 이것은 숫자를 요구하는 사람들을 달래는 현명한 방법입니다. 예를 들어, 결과가 4.55% 상승한 것으로 나타났다면 이해 관계자에게 3.2%에서 5.9% 사이의 상승률을 기대하라고 말합니다.
결론
그래서 당신은 그것을 가지고 있습니다. 처음 시작할 때 A/B 테스트 예산을 지출하고 투자하는 정확한 방법과 시간이 지남에 따라 확장하고 추가로 투자하는 방법.
이 가이드를 사용하여 테스트 성숙도 여정에서 현재 위치를 파악하고 추가 성장에 도움이 되는 누락된 단계를 구현하거나 단순히 오늘 시작하기 위한 지침으로 사용할 수 있습니다.
Convert to Find Out으로 데모를 예약하세요.
데모 요청