"모든 것을 테스트" - 문서에서 실제에 이르기까지

분명히 하자.

판매 및 수익에 직접적인 영향을 미치지 않더라도 A/B 테스트를 잘 실행하고 프로세스에서 배운다면 더 많은 A/B 테스트를 실행 하는 것은 결코 실수 가 아닙니다.

하지만…

모든 테스트에는 시간, 노력, 인적 자본 등 의 투자가 필요합니다.

그렇다면 일부 전문가들은 모든 것을 테스트하는 것을 옹호하는 이유는 무엇입니까? 그리고 중도는 무엇입니까... 특히 당신을 위해... 예... 이 기사를 읽고 있습니다.

이제 당신은 좋은 테스트 아이디어를 많이 가지고 있고 그것들을 모두 테스트해야 하는지 알고 싶을 것입니다. 그러나 그것이 요점이 아닙니다! Natalia는 Speero의 Ben Labay와의 인터뷰에서 다음과 같이 언급했습니다.

수백 가지의 훌륭한 아이디어가 있지만 그것이 요점이 아닙니다. 요점은 적시에 작업할 수 있는 적절한 것을 찾는 것 입니다.

모든 것을 무작위로 테스트하기 시작하는 것이 유혹적으로 들릴 수 있지만 적시에 올바른 가설 을 테스트하는 것의 우선 순위를 정하는 것이 중요 합니다.

올바른 우선 순위를 지정하면 "모든 것을 테스트" 하는 사고 방식을 키울 수 있습니다. 그러나 대부분의 가설 우선순위 모델은 부족합니다.

모든 것을 A/B 테스트해야 하는지 여부, 우선 순위 지정이 결정을 내리는 데 어떻게 도움이 되는지, 기존 옵션의 한계를 극복하는 고유한 우선 순위 지정 모델을 만드는 방법을 이해하기 위해 조금 더 자세히 살펴보겠습니다.

모든 것을 테스트하십시오: 권장되는 이유는 무엇입니까?

이 논란의 여지가 있는 접근 방식을 검토하는 것으로 시작하겠습니다. 모든 것을 테스트하는 것이 의미가 있습니까?

어서, 편을 고르세요.

당신의 기본 행동은 무엇입니까?

이 기사의 나머지 부분을 읽고 더 많은 데이터를 수집하지 않고 "맛있는" 것이 무엇입니까?

완료?

이제 우리의 추론이 당신과 일치하는지 봅시다.

"모든 것을 테스트하는 것"이라는 수수께끼를 풀기 전에 A/B 테스트와 그 결과가 의미하는 바를 이해해야 합니다.

통계적 타당성

A/B 테스트는 염두에 두고 있는 변경 사항이 핵심 성과 지표(KPI)에 영향을 미치는지 확인하는 통계적으로 유효한 방법입니다.

예를 들어 블로그 방문을 늘리는 것이 목표인 경우 기본 탐색 메뉴에 블로그를 추가할 수 있습니다. 새 메뉴 는 더 이상 이전 메뉴의 복사본이 아닙니다. 그러나 사이트 방문자의 행동에 긍정적인 영향을 미치지 않는다면 이 변경은 쓸모가 없습니다.

두 버전이 구조적으로 다르다는 단순한 사실은 중요하지 않습니다. 전반적으로 중요한 것은 당신이 원하고 예상한 결과의 실현입니다. 사람들은 블로그 가 바닥글에 숨겨져 있을 때보다 메인 메뉴에서 블로그를 방문하는 경향이 더 있습니까?

상식적으로 YES 라고 말할 수 있습니다. (긍정적인) 효과 가 있어야 합니다. 그러나 테스트에서 영향 측정으로 모니터링하기로 선택한 측정항목의 변경 사항이 표시되지 않을 수 있습니다.

이것이 사실이라면 A/B 테스트도 위험을 완화합니다.

위험 완화

사이트 전체의 변경 사항을 구현하는 것은 복잡하고 완전히 다른 볼 게임입니다.

사용자가 원하지 않는 기능을 구축하고 예상한 결과를 생성하지 않는 웹 사이트 요소를 사용자 지정하여 변경을 수행 하고 리소스를 낭비할 위험 이 있습니다. A/B 테스트가 필요한 주요 이유 중 하나는 제안된 솔루션이 실제로 구현되기 전에 산성 테스트이기 때문입니다.

A/B 테스트 빌드아웃(특히 클라이언트 측 빌드) 은 하드 코딩된 웹 사이트 변경 사항 및 충실도가 높은 기능보다 리소스를 덜 사용합니다. 이것은 특히 결과가 주요 KPI가 올바른 방향으로 움직이지 않고 있음을 나타낼 때 특정 경로를 선택하지 않도록 청신호를 제공합니다.

테스트 없이는 단순히 작동하지 않는 경험에 투자합니다. 수익과 성능을 보호하기 위해 이전 디자인 으로 되돌려야 할 수도 있다는 사실을 모른 채 감수하는 맹목적인 위험입니다.

Analytics-toolkit.com의 창시자인 Georgi는 A/B 테스팅이 본질적으로 위험 관리 도구라고 주장합니다.

테스트할 수 있는데 왜 위험을 감수합니까?

(—나중에 블로그에서 자세히 설명합니다. 계속 읽으십시오!—)

유행 분석

에서 배운 테스트를 일관되게 실행 하면 특정 입력에 대한 청중의 응답에서 추세를 발견하기 시작합니다. 단일 반복에서 가치 있는 것을 도출할 수 있다고 가정하지 않는 것이 가장 좋습니다. 그러나 시간이 지남에 따라 메타 분석(단일 변수 A/B 테스트 환경에서)은 잠재적으로 다른 가설보다 특정 가설 테스트의 우선 순위를 정할 수 있다는 확신을 줄 수 있습니다.

실험에 많은 이점이 있다는 점을 감안할 때 일부 전문가는 모든 것을 테스트하는 데 앞장서고 있습니다.

반면에 많은 전문가들은 큰 질문에 답하기 위해 적어도 이전 실험의 반복 가능한 결과에서 영감을 얻는 것을 옹호합니다.

GoodUI의 편집장인 Jakub Linowski 가 가장 유명합니다. 그는 실험이 예측을 가능하게 하는 지식을 생성한다고 주장합니다. 그는 지식, 전술, 패턴, 모범 사례 및 휴리스틱을 추구하는 것이 중요하다고 생각합니다.

실험을 통해 얻은 지식은 더 신뢰할 수 있는 예측을 하는 데 도움이 됩니다. 이를 통해 더 정확한 가설을 생성하고 우선 순위를 더 잘 지정할 수 있습니다.

언뜻보기에 이러한 관점은 모순되는 것처럼 보일 수 있습니다. 그러나 그들은 " 실험은 불확실한 세계에서 확실성을 가져온다 "라는 동일한 주장을 강화합니다 .

데이터 세트에 대한 가정을 하거나 여러 업종 및 산업 전반에 걸쳐 원하는 유사한 최종 결과를 얻기 위해 실행한 테스트의 신념을 이어갑니다.

Convert에서 우리는 두 가지 보기에서 영감을 얻고 다음 두 가지 간단한 방법으로 한 패싯이 다음 패싯을 구축하는 방법을 봅니다.

학습 및 테스트: 영감을 받은 테스트를 위한 실용적인 듀오

무엇이든 물어보세요

이것은 스토아 학파 의 영원한 가르침입니다.

주변의 모든 것에 질문을 던질 때, 당신은 당신이 만나는 사람들, 당신이 살고 있는 문화, 그리고 당신의 두뇌가 따르기로 선택한 휴리스틱으로부터 얻은 것들의 합성물이라는 것을 깨닫게 됩니다.

일반적으로 우리를 움직이는 이 "직감 본능" 은 일반적으로 우리의 것이 아닙니다.

예를 들어 우리 중 많은 사람들은 소비 중심의 호화로운 생활을 꿈꾸고 있습니다. 그러나 이것이 정말로 우리에게서 온 것입니까? 아니면 우리 는 광고, 미디어, 할리우드의 희생자입니까?

미디어와 광고는 개인이 1차적으로 소비자가 되는 꿈과 욕망을 형성하는 데 중요한 역할을 하기 시작했고… 그(그러나 사실 그는 주관적이고 자동적인 욕망을 만들어 낸 욕망을 생성한 수백 개의 광고에 사로잡혀 있습니다.

압델 와하브 엘 메시리

자신의 "직감"만 사용하여 변경 및 비즈니스 결정을 내리는 것은 현명하지 않습니다. 우리가 만들고자 하는 변경 사항과 비즈니스에서 시행하려는 결정이 우리에게서 온 것인지 확신할 수 없다면 왜 우리는 그것에 집착합니까?

모든 것에 질문하는 것은 필수적 입니다. 직감, 모범 사례, 우선 순위 모델 등.

그리고 우리가 모든 것에 의문을 제기한다면 다음 단계는 실험을 통해 수학적 검증을 받는 것입니다. 질문에서 멈추는 것이 불확실성에서 확실함으로 가는 고리를 닫지 않기 때문입니다.

실험에서 배우기

테스트하지 않으면 배울 수 없습니다.

통찰력을 올바르게 수량화했는지 확인하십시오. 학습 내용을 의미 있는 것으로 변환하려면 A/B 테스트에서 정성적 데이터와 정량적 데이터를 모두 활용해야 합니다. 예를 들어 컨텍스트, 테스트 유형, 테스트 위치, 모니터링되는 KPI, 테스트 결과 등을 기준으로 평균 영향을 그룹화합니다.

이 체계적인 접근 방식의 좋은 예는 GOODUI 데이터베이스 입니다.

A/B 테스트에서 반복적으로 수행되는 패턴을 식별하여 기업이 더 빠르고 더 나은 전환을 달성하도록 돕습니다.

GOODUI는 366개의 테스트(회원 전용) 를 기반으로 하는 124개의 패턴 을 제공하며 매달 5개 이상의 새로운 신뢰할 수 있는 테스트 를 추가합니다. 실험을 통해 배우고 이러한 학습을 ​​패턴으로 수량화함으로써 GOODUI 데이터베이스는 지루한 A/B 테스트 프로세스를 단축하고 고객이 더 많은 승리를 얻을 수 있도록 합니다!

다음 패턴에서 영감을 얻으세요.

패턴 #2: 아이콘 레이블: https://goodui.org/patterns/2/

패턴 #20: 미리 준비된 답변: https://goodui.org/patterns/20/

패턴 #43: 긴 제목: https://goodui.org/patterns/43/

그러나 초점... 아이디어의 우선 순위 지정

회사별 결과를 고려하면서 가장 중요한 비즈니스 목표와 일치하는 아이디어의 우선 순위를 지정하십시오.

이것을 그림.

당신은 괜찮은 고객 기반으로 사업을 운영하고 있습니다. 그러나 이러한 고객의 유지율은 15% 미만 입니다. 귀하의 주요 목표는 훨씬 더 높은 비율로 고객을 유지하는 지속 가능한 비즈니스를 구축하는 것입니다. 이 목표는 우선 순위 지정에 영향을 미칩니다.

두 가지 아이디어가 있고 어떤 것을 먼저 테스트해야 하는지 알고 싶어한다고 가정해 보겠습니다. 하나는 유지율을 높일 가능성이 있고 다른 하나는 신규 고객의 매출을 증가시킬 가능성이 있습니다 . 후자가 개선 가능성이 훨씬 더 높더라도 첫 번째 아이디어에 우선순위를 두어야 합니다.

고객 유지율이 높을수록 장기적으로 안정적인 비즈니스를 의미하기 때문입니다. 이는 귀하의 중요한 비즈니스 목표 및 전략과 완벽하게 일치합니다.

다른 아이디어는 훨씬 더 많은 새로운 판매를 얻을 수 있습니다. 그러나 결국 귀하의 비즈니스는 여전히 고객의 85% 이상을 누출하게 될 것입니다.

실험을 위한 우선 순위 지정 모델은 항상 테스트 대상의 전략적 중요성을 고려하지 못합니다. 그들은 다양한 아이디어의 가능한 영향, 노력 등을 살펴보지만 비즈니스 전략 및 방향에 가장 적합한 아이디어는 고려하지 않습니다 .

Jonny Longden, Test Everything

대부분의 우선 순위 모델이 부족한 부분은 어디입니까?

당신이 열성적인 옵티마이저라면 A/B 테스트 아이디어의 긴 목록을 가지고 있을 것입니다. 그러나 제한된 트래픽과 리소스 로 인해 모든 것을 테스트하기로 결정하더라도 한 번에 모두 테스트할 수는 없습니다.

그것은 긴 할 일 목록을 가지고 있고 동시에 모든 것을 처리할 수 없다는 것을 아는 것과 같습니다. 따라서 우선 순위가 가장 높은 항목부터 우선 순위를 지정하고 시작합니다. 이것은 실험을 통해 수익을 창출하는 데 적용됩니다. 적절한 우선 순위를 지정하면 테스트 프로그램이 훨씬 더 성공적일 것입니다.

그러나 David Mannheim이 자신의 기사에서 썼듯이 A/B 테스트의 우선 순위 지정은 매우 어렵습니다. 이것은 주로

• 비즈니스 목표에 초점을 맞추지 않고 일치하지 않는 아이디어를 생성하는 경우가 많습니다 .
• 이전 실험에서 반복과 학습을 고려하지 마십시오 .
• 역기능 우선순위 지정 모델을 사용 하고 문제에 임의의 프레임워크를 추가하려고 합니다.

그리고 이것들은 가장 인기 있는 우선 순위 지정 모델조차도 간과하고 잘못된 정보를 얻는 경향이 있는 일부 영역이기도 합니다. 그런데 왜 그럴까요? 다음은 적절한 우선 순위 지정 부족에 기여하는 몇 가지 중요한 요소입니다.

• 오해의 소지가 있는 요소: 테스트를 선택하는 데 사용하는 요소는 매우 오해의 소지가 있습니다. 첫 번째는 노력이며, 노력이 덜한 아이디어가 빠른 우선 순위를 가질 가치가 있다는 인상을 줍니다.
• 가중치 함수: 대부분의 모델은 요인에 임의의 가중치를 할당합니다. 무작위로 우선 순위를 지정할 수는 없습니다. 이유가 필요합니다.
• 복잡한 반복: 우선 순위 지정을 위해 새로운 아이디어와 기존 테스트 반복(학습 기반)을 구별할 수 없습니다.

우선 PIE 우선 순위 지정 프레임워크 는 다음을 기반으로 가설의 순위를 지정합니다.

• 개선 가능성
• 중요성
• 쉬움

그러나 테스트 아이디어의 잠재력을 객관적으로 어떻게 결정합니까? 이것을 미리 알 수 있었다면 CXL은 우선 순위 지정 모델이 필요하지 않다고 설명했습니다.

PIE 모델 은 매우 주관적입니다. 또한 비즈니스 목표와 잘 맞지 않으며 위험이 낮은 솔루션을 권장합니다. 용이함은 노력이 덜한 아이디어가 우선 순위가 되어야 함을 암시하므로 오해의 소지가 있습니다.

위험이 클수록 보상도 커 집니다.

그리고 이것은 보다 정교한 아이디어에 도전하는 경우에만 적용됩니다.

또 다른 인기 있는 모델인 ICE (Impact, Confidence, and Ease) 채점 모델은 PIE 와 매우 유사하며 PIE 와 동일한 결함이 있습니다.

PXL 프레임워크 는 이 두 가지를 개선한 것으로 "잠재적" 또는 "영향" 평가를 훨씬 더 객관적으로 만듭니다. 그러나 여전히 단점이 있습니다.

첫째, 비즈니스 목표에 맞추는 것을 고려하지 않습니다. 둘째, 현재 테스트 반복 을 새로운 아이디어와 구별하지 않습니다.

Brainlabs의 전환율 최적화 글로벌 부사장인 David Mannheim은 ​​이전 컨설팅 회사인 사용자 전환에서 고객을 위해 구축한 200개 이상의 실험 중 50%가 서로 반복되는 작업이라고 밝혔습니다. 그들은 또한 원래 가설에서 80% 향상된 가치를 창출하고 다음과 같이 말했습니다.

우리는 "개념"이 효과가 있다는 것을 알고 있었지만 실행을 변경하여 6개 이상의 다른 반복을 추가함으로써 원본에서 80% 이상의 증분 이득을 보았습니다 .

"Running Experience Informed Experiments report " 에서 Convert는 인터뷰에 응한 거의 모든 전문가가 학습이 성공적인 아이디어를 이끌어낸다는 데 동의했음을 발견했습니다. 이는 H&M의 학습 패턴으로 더욱 뒷받침될 수 있습니다.

H&M의 제품 팀에서 실행하는 거의 모든 다른 실험은 이전 실험 또는 기타 연구 방법론에 대한 문서화된 학습을 기반으로 합니다 .

마티아스 만디아우

자신만의 A/B 테스트 우선 순위 모델을 만드는 방법은 무엇입니까?

우선 순위 지정은 "모든 것을 테스트"하는 사고 방식을 권장합니다. 가장 시급한 문제에 가장 큰 영향을 미치는 아이디어와 가설을 (먼저) 테스트할 수 있는 자신감을 줍니다.

그러나 모든 비즈니스는 다릅니다. 따라서 일률적인 실험 우선 순위 지정 방식은 있을 수 없습니다. David가 지적했듯이 컨텍스트 는 왕 입니다.

기본적으로 모든 모델이 잘못되었지만 일부는 유용합니다 .

통계학자 George EP Box

위의 예에서 모든 모델에 결함이 있지만 일부는 유용하다고 말할 수 있습니다. 비결은 비즈니스에 가장 유용하고 영향력 있는 모델을 만드는 것입니다.

다음은 모델을 구축하는 4단계입니다.

1. 예에서 영감을 얻으십시오

좋은 우선순위 지정 모델을 개발하는 가장 효과적인 방법 중 하나는 다양한 모델에서 기능을 선택하고, 혼합하고, 제한된 nitpicking으로 혼합을 생성하는 것입니다.

예를 들어, "항목을 추가하거나 제거하시겠습니까?" 와 같은 질문을 하는 PXL의 보다 객관적인 평가 접근 방식 에서 영감을 얻을 수 있습니다. . 동시에 ICE의 임팩트 각도 를 고려하여 추가할 수 있습니다.

2. 중요한 요소를 위한 공간 확보

비즈니스 목표와 일치하는 요소를 포함합니다 . 이를 통해 표면 수준의 지표 및 결과뿐만 아니라 고객평생가치(LTV) 및 고객 유지율과 같은 핵심 성장 동인 및 KPI에 더 집중할 수 있습니다.

앞서 언급했듯이 실험의 우선 순위를 정할 때 회사별 학습 도 중요합니다. 특정 솔루션이 청중을 위해 일관되고 역사적으로 다른 솔루션보다 우수한가요?

또한 반복 가능성 을 고려하십시오. 반복은 특정 비즈니스 문제를 해결하고 더 성공적으로 진행하는 데 도움이 될 수 있습니다. 사실이라면 반복 가능성이 있는 가설이 독립 실행형 테스트보다 우선시될 수 있고 또 그래야 합니다. 또한, 노력이 서로에게 영향을 미치는 플라이휠이 아니라면 실험은 아무 것도 아닙니다.

마지막으로 복잡성, 시간, 비용 및 실험의 우선 순위를 지정하는 데 사용되는 기존 측정을 포함한 리소스 투자 를 고려합니다.

3. 무게가 중요하다

실행한 테스트에서 얻고자 하는 것을 결정하십시오. 새롭고 획기적인 아이디어 를 탐구하고 있습니까? 아니면 해결책을 찾을 때까지 문제 영역을 이용 합니까?

필요에 맞게 채점 시스템을 사용자 정의하십시오. 이것을 더 잘 이해하기 위해 두 가지 다른 유형의 실험을 고려해 보겠습니다.

1. 탐색 메뉴에 블로그를 추가하면 블로그 방문이 증가합니다.
2. 결제 페이지에서 양식 채우기를 줄이면 장바구니 포기율이 줄어듭니다.

이 예에서는 우선 순위 지정 모델에 대해 두 가지 요소만 선택했다고 가정해 보겠습니다. 하나는 반복 가능성이고 다른 하나는 영향 가능성 이며 각 요인에 대해 1-5의 척도로 각 가설을 평가합니다.

현재 테스트의 주요 목표 는 전자 상거래 사이트의 카드 포기 문제를 해결하는 것 입니다. 테스트로 수정하지 않을 가능성이 있으므로 반복 가능성에 더 많은 가중치를 부여해야 합니다. 그리고 장바구니 포기를 눈에 띄게 줄이기 전에 단일 가설 내에서 여러 번 반복할 가능성이 높습니다.

점수를 두 배로 늘려 반복 가능성 요소 의 무게를 측정할 수 있습니다.

영향 잠재 요인에 대한 첫 번째 가설을 "4"로 지정해 보겠습니다. 그리고 "2"는 반복 가능성을 나타냅니다. 그런 다음 양식 채우기 가설의 경우 영향 및 반복 가능성 요인 모두에 대해 "3"입니다.

반복 가능성에 대한 강조가 없으면 "4 + 2 = 3 + 3" 이 됩니다.

그러나 이 요인에 대한 점수를 두 배로 늘리면 가설 2가 승리합니다.

첫 번째 가설의 최종 점수 : "4 + 2(2) = 8 "

두 번째 가설의 최종 점수 : "3 + 3(2) = 9 "

결론은 외부 및 내부 고려 사항이 변경됨에 따라 동일한 프레임워크의 우선 순위 지정 출력이 변경되어야 한다는 것입니다.

4. 올바른 약어를 칠 때까지 헹구고 반복하십시오.

한 번의 반복으로 좋은 결과를 기대하지 마십시오. 귀하의 비즈니스에 적합한 우선 순위 모델을 찾을 때까지 계속 수정하십시오.

예를 들어 ConversionAdvocates는 다음을 나타내는 자체 프레임워크 IIEA 를 만들었습니다.

• 통찰력
• 관념화
• 실험
• 분석

IIEA 는 시작하기 전에 모든 실험의 학습 및 비즈니스 목표를 나열하여 대부분의 모델의 두 가지 주요 문제를 해결하려고 시도합니다.

어떤 약어를 만들든 끊임없이 검토하고 재평가하십시오. ConversionAdvocates의 최적화 책임자인 Sina Fak 은 지난 5년 동안 IIEA를 개선해 왔다고 말했습니다.

2013년부터 이 사용자 지정 프레임워크를 사용하여 여러 비즈니스에서 비용 절감 및 전환율 증가와 같은 중요한 문제를 해결하도록 지원했습니다.

당신의 것은 편리한 ICE 또는 PIE 가 아닐 수도 있지만 결과는 맛있을 것입니다.

매우 유용한 새로운 우선 순위 지정 모델을 사용하면 기존 학습에서 차용하고 잠재적으로 "모든 것을 테스트" 할 수 있습니다.

우리 책의 윈-윈!