2022년 다변수 테스트에 대한 완전한 가이드

다변수 테스트(MVT)는 동시에 여러 A/B 테스트를 실행하는 것이 아닌가요?

아니요. 그것은 MVT에 대한 가장 인기 있는 신화 중 하나입니다. 그것보다 훨씬 더 뉘앙스입니다.

다변수 테스트는 A/B 테스트와 비슷하지만 하나가 아닌 여러 변수에 대해 제어를 테스트하고 있습니다. 알다시피, 그것은 A에 대한 B뿐만 아니라 C, D, E 등에 대한 것이기도 합니다. 또한 트래픽이 많은 사이트에서 가장 효과적인 변경 조합을 찾는 효율적인 방법입니다.

그래서…

• A/B 테스트 대신 MVT를 사용해야 하는 경우는 언제인가요?
• 다변수 테스트는 A/B/n 테스트와 동일합니까?
• 다변수 테스트의 몇 가지 예는 무엇입니까?
• 신뢰할 수 있는 결과를 얻기 위해 어떻게 실행할 수 있습니까?

다변수 테스트에 대한 질문에 답변해 드리며 이 과정에서 실험 및 CRO 기술을 강화하여 이 가이드의 끝에서 30분 안에 자신의 것을 배포할 수 있습니다.

실험 기술을 한 단계 끌어올리고 싶다면 이 가이드가 적합합니다.

좋은 소리? 의 시작하자…

다변수 테스트란 무엇입니까?

웹 페이지에서 다양한 요소의 서로 다른 버전을 동시에 테스트하여 함께 수행하는 방법을 배우고 싶다고 상상해 보십시오. 다변수 테스트는 실행하는 테스트입니다.

다변수 테스트(MVT 테스트)는 웹 페이지에서 여러 변수를 서로 다른 조합으로 테스트하는 기술입니다. 이러한 가능한 조합은 페이지의 두 개 이상의 변형을 생성하므로 "다중"입니다.

따라서 다변수 테스트는 컨트롤에 대해 둘 이상의 변형을 테스트하기 때문에 A/B/n 테스트와 유사합니다. 차이점은 A/B/n 테스트는 단변수인 반면, 다변수 테스트는 변경 사항의 조합을 직렬로 테스트한다는 것입니다.

예를 들어 페이지에서 두 개의 다른 헤드라인, 두 개의 이미지, 두 개의 버튼 색상을 테스트하려는 경우 MVT 테스트는 다음과 같습니다.

위의 MVT 테스트에서는 서로 다른 요소(헤드라인, 색상 및 이미지)를 한 번에 서로 다른 조합으로 테스트하여 최상의 조합을 찾습니다.

그러나 이것이 단일 요소의 변형을 두 개 이상 수행할 수 없다는 것을 의미하지는 않습니다. 3개, 4개 또는 그 이상을 가질 수 있으며 동시에 테스트할 수 있습니다. 사람들은 전환율 증가를 추적할 수 있도록 한 가지 변경 사항을 선호합니다.

주목해야 할 또 다른 중요한 사항은 MVT 테스트가 동시 테스트와 동일하지 않다는 것 입니다. 동시 테스트는 동일한 샘플 세트에서 동시에 여러 실험을 실행합니다. 그리고 이것은 간섭을 일으킬 수 있습니다.

동시 테스트는 다음과 같습니다. A/B 테스트를 실행하여 두 버전 간에 최상의 헤드라인을 찾고 MVT 테스트를 실행하여 동일한 랜딩 페이지에서 헤드라인, 히어로 이미지, CTA 또는 작업 버튼의 최상의 조합을 찾습니다. 동시에.

A/B/n(또는 다변수) 테스트에서 동일한 사용자 행동 가설을 제공하는 여러 변형으로 작업하고 있습니다. 한 질문에 답하기 위해 한 번에 실행되는 해당 방문 페이지의 많은 A/B 테스트를 상상해 보십시오. "이 로트 중에서 어떤 버전이 우리에게 가장 좋은 인상을 주나요?"와 같이 말입니다.

다변수 테스트 대 A/B 테스트: 차이점은 무엇입니까?

MVT 테스트는 훈련되지 않은 눈에 A/B 테스트의 보다 발전된 형태로 보일 수 있습니다. 그러나 두 가지 유형의 테스트는 매우 다릅니다.

A/B 테스트와 다변수 테스트의 차이점은 한 번에 테스트되는 변형의 수에 있습니다. A/B 테스트는 대조군에 대해 단일 변형을 테스트하는 반면, 다변수 테스트는 두 개 이상을 테스트합니다.

A/B 테스트는 하나의 요소를 테스트합니다. 예를 들어, 웹 페이지에 이미지를 추가하는 것을 테스트하고 있습니다. 실험은 다음과 같습니다.

• 컨트롤 = 이미지 없음
• 변형 1 = 이미지

이 경우 웹사이트의 이미지만 테스트하고 있으므로 A/B 테스트입니다.

A/B/n 테스트에서는 다변수 테스트와 마찬가지로 여러 변형이 있을 수 있습니다. 그러나 차이점은 A/B/n 테스트에서는 하나의 요소(또는 변수)만 테스트하는 반면, 다변수 테스트에서는 각 변형에서 여러 요소를 테스트한다는 것입니다.

다음은 Convert Partner Agency인 iProspect의 뛰어난 예입니다. 에이전시는 가격 페이지 정보가 포함된 테스트를 실행했습니다. 그들의 실험은 다음을 특징으로 했습니다.

• 가격 정보가 없는 컨트롤,
• 낮은 시작 가격의 변형 1,
• 높은 시작 가격의 변형 2.

어떤 종류의 테스트인지 짐작이 가시나요?

이 경우 가격 정보를 추가하여 하나의 요소만 테스트하므로 A/B/C(또는 A/B/n) 유형의 테스트가 있습니다.

A/B 테스트와 다변수 테스트 중 어느 것이 더 나은지에 관해서는 달성하려는 대상에 따라 다릅니다. MVT가 A/B 테스트보다 더 효율적인 경우가 있습니다.

페이지의 다른 요소(및 상호 작용 효과)를 테스트하려는 경우 A/B 테스트 대신 MVT를 사용하는 것이 더 쉽습니다. A/B 테스트를 사용하면 요소의 변형에 대해 여러 개의 연속적인 테스트를 생성해야 합니다. 한편, 다변수는 한 번에 처리합니다.

언제 다변수 테스트를 실행해야 합니까?

하나의 대안이 원본과 비교하여 어떤 실적을 내고 있는지 측정하려면 A/B 테스트를 사용하세요. 예를 들어 다른 헤드라인이나 다른 버튼 색상과 같이 한 요소를 변경하는 경우에 작동합니다. 이러한 변경 사항이 하나의 변형에 속하고 A 대 B가 되는 한.

컨트롤에 대해 둘 이상의 변형을 테스트했지만 한 번에 하나의 요소만 변경하는 경우 A/B/n 테스트를 사용합니다.

예를 들어 보겠습니다. 방문 페이지에 헤드라인을 추가하면 전환율이 향상되는지 테스트하려고 합니다. Convert Partner Agency인 Split Base와 같은 A/B/n 테스트를 수행할 수 있습니다. 그들은 혜택 중심의 헤드라인을 추가하면 전환이 증가하는지 확인하기 위해 테스트를 실행했습니다.

추신: 그랬어요! 순이익이 27% 증가했습니다.

둘 이상의 변이와 둘 이상의 변수가 있는 경우 다변량 테스트를 사용합니다. 예를 들어 헤드라인 아이디어와 CTA 옵션이 2개 더 있고 그 결과 변형 C와 D가 생성되는 경우 MVT가 이러한 변경 사항이 상호 작용하는 방식을 확인하는 가장 효율적인 방법입니다.

"버튼 색상 3과 함께 헤드라인 2를 사용했다면? 가입 건수에 어떤 영향을 미치나요?” MVT가 대답하는 질문의 종류는 페이지 요소가 동시에 작동할 때 페이지 요소 변경으로 인한 성능에 미치는 영향입니다.

다변수 테스트는 하나의 헤드라인 테스트를 넘어 해당 페이지의 더 많은 변형을 테스트합니다. 설계하고 실행하기가 더 복잡하므로 A/B 테스트보다 선택하는 것이 가치가 있습니다.

종종 A/B 테스트는 우리가 찾고 있는 답을 제공하기에 충분합니다. MVT는 하나 이상의 변형이 A와 B를 능가할 가능성이 있다고 생각하는 경우에 훨씬 더 적합합니다.

이러한 사례 중 일부는 다음과 같습니다.

1. 트래픽 양이 많고 짧은 시간에 더 많은 학습 자료를 수집하려고 합니다. 다변수 테스트는 트래픽이 많은 사이트에 짧은 시간에 아이디어 조합을 테스트할 수 있는 기회를 제공하지만 리소스를 낭비하지 않도록 고품질 아이디어여야 합니다.
2. 전환 상승도를 가져온 요소 조합을 알아야 합니다. 일련의 다양한 A/B 테스트가 불필요하기 때문입니다.

원하는 모든 변경 사항이 통합된 변형을 배포하는 것은 어렵습니다. 테스트 플랫폼이 그 정도의 자유를 허용하지 않을 수도 있습니다. 이 문제를 해결하는 한 가지 방법입니다. 그러나 나중에 이러한 변경 사항을 하드 코딩하는 것이 불가능하면 테스트 결과를 사용할 수 없습니다.

다변수 테스트의 이점

다변수 테스트는 전환율과 수익에 부인할 수 없는 영향을 미칩니다. 그것에 대해 생각해보십시오. 그렇지 않다면 아무도 그것을 사용하는 것에 대해 이야기하지 않을 것입니다!

MVT 테스트의 한 가지 이점은 웹사이트의 변경 사항이 전환율에 미치는 영향을 알아낼 수 있다는 것입니다. 그리고 다변수 테스트를 통해 이러한 변경 간의 상호 작용 효과 를 측정할 수 있습니다. 다양한 작은 변화의 복합 효과를 측정하고 이것이 대화 속도에 어떤 영향을 미치는지 확인할 수 있습니다.

다변수 테스트의 단점

트래픽이 많고 예산이 많은 웹사이트에서만 다변수 테스트를 실행하는 데에는 이유가 있습니다. MVT 테스트 실행의 단점에 대해 이야기해 보겠습니다.

1. 많은 샘플 크기가 필요합니다.

테스트 중인 요소 변경 사항이 많을수록 더 많은 변형을 갖게 됩니다. 이러한 각 변형은 통계 신호에 도달하기 위해 충분한 트래픽을 수신해야 하므로 정확한 결과를 얻으려면 더 오래 기다려야 합니다. 그렇기 때문에 많은 웹 사이트에서 트래픽이 부족하기 때문에 MVT 테스트를 실행할 수 없습니다.

2. MVT 테스트는 시간이 걸립니다

위에서 언급했듯이 각 변형에는 트래픽이 많이 필요합니다. 테스트하는 조합이 많을수록 유사 콘텐츠가 많아지고 기다려야 하는 시간도 길어집니다.

그러나 이것은 대부분의 CRO 사례에서 정당화됩니다. MVT 테스트를 일련의 A/B 테스트로 분할하면 더 많은 시간과 트래픽을 소비하게 되기 때문입니다.

3. 실행하는 데 더 많은 비용이 듭니다.

각 변형을 개발하고 QA하려면 추가 시간과 비용이 필요합니다. 그렇기 때문에 더 간단한 A/B 테스트보다 이러한 테스트를 실행하기로 한 결정은 확실한 이유가 있어야 합니다. 그렇지 않으면 테스트 ROI가 타격을 받습니다.

4. 오류가 발생하기 쉽습니다.

A/B/N 테스트를 실행할 때 A/B 테스트에 사용하는 것과 동일한 통계를 적용하지 않습니다. 추가 변형은 통계적 유의성 테스트의 조정을 요구합니다. FWER(Familywise Error Rate)이 증가하면 제1종 오류를 범하고 잘못된 변형을 승자로 태그할 가능성이 높아집니다.

큰 영향을 미친 다변수 테스트의 예

1. Microsoft는 SMB 사이트에서 다변수 테스트를 실행하고 전환율이 40% 증가하는 변종을 발견했습니다!

2. 2009년에 YouTube는 더 많은 사람들이 계정에 가입할 수 있도록 홈페이지에서 MVT를 실행했습니다. 그들은 이것을 "1,024가지 레시피 실험"이라고 부릅니다. 한 변형이 15.7% 상승으로 승리했습니다.

3. Booking.com은 테스트로 유명합니다. 그들은 다변수 테스트를 사용하여 새로운 기능을 출시하기 전에 더 적은 수의 청중과 함께 사용하는 방법을 배웁니다.

4. HawkHost는 홈페이지에서 상승도를 보고 싶었고 그것을 얻었습니다. 이들은 다변수 테스트에서 헤드라인, 부제목 및 영웅 이미지를 테스트하여 매출이 204% 증가했습니다. 엄청나네요.

5. Amazon의 랜딩 페이지 레이아웃은 다변수 테스트의 결과입니다. 그들은 이를 머신 러닝과 함께 사용하여 전환을 유도하고 7일 만에 구매율을 21% 높이는 최적의 레이아웃을 찾았습니다.

원천

다변수 테스트 통계: 다변수 분석 소개

다변수 테스트가 테스트 도구의 멋진 UI 아래에서 작동하는 방식과 그 이면의 원칙에 대해 궁금하다면 다음과 같이 해보자.

다변수 분석(MVA)은 하나 이상의 종속 변수가 다른 변수와 함께 동시에 분석되는 통계 분석 유형입니다. 이는 실제 세계가 작동하는 방식에 기반합니다. 특정 결과에 대해 둘 이상의 요소가 책임이 있습니다.

디지털 마케팅(예: 전환율 최적화)뿐만 아니라 탐색적 데이터 분석의 일부로 의료, 제조, 운송 등 다양한 분야에 적용됩니다. 기업 세계에서 많은 의사 결정을 주도합니다. 뿐만 아니라 정부에서.

복잡하지만 종속변수와 독립변수의 관계를 정확하게 분석할 수 있는 방법입니다.

MVT 및 트래픽: 다변수 테스트의 샘플 크기를 계산하는 방법은 무엇입니까?

가장 좋은 방법은 샘플 크기 계산기 도구를 사용하는 것입니다. 이것은 건강한 다변수 테스트 설계를 시작하는 데 필요한 모든 것을 제공합니다.

다변수 테스트를 언제 중단해야 합니까?

테스트를 너무 빨리 중지하면 수집된 데이터가 정확한 분석을 하기에 충분하지 않기 때문에 오류가 발생할 수 있습니다.

확실한 승자가 있을 때 중단하거나, 전환율이 10% 미만으로 떨어지면 변형을 중단하고 트래픽을 최고 실적으로 이동해야 한다는 말을 들어본 적이 있을 것입니다. 안심하십시오. 이렇게 하면 결과가 크게 오염될 것입니다.

다음과 같은 경우에는 다변수 테스트를 중단해서는 안 됩니다.

1. 각 변이에 대해 충분히 큰 샘플 크기를 수집합니다. 따라서 관련성이 있는 충분한 전환을 수집하기 위해 더 오래 실행합니다.
2. 30-60일 동안 트래픽과 쇼핑 기간의 균형을 맞추기 위해 1~2번의 전체 판매 주기를 실행합니다.
3. 통계적 의미에 도달합니다. 즉, 라이브로 푸시할 때 95% 정확도로 결과를 복제할 수 있어야 합니다.

다변수 테스트를 설계하는 방법?

A/B 테스트와 다변수 테스트는 설계 및 수행 방식이 비슷합니다.

아래에서 MVT를 실행하기 위한 단계별 테스트 방법을 간략하게 설명합니다. 그러나 여기에 빠른 조치가 있습니다.

1. 문제 식별 및 목표 공식화: 데이터를 검토할 때 웹사이트 방문자가 경험하는 것을 이해하고 문제를 찾으십시오. 가설(목표가 있는 솔루션)을 공식화하고 이를 기반으로 테스트하십시오.
2. 무엇을 테스트할지 결정하십시오: 귀하의 가설에는 웹페이지 요소의 조합이 포함될 것입니다. 목표를 달성하기 위해 그들과 함께 무엇을 할 것인지 알아내십시오. 원본에 반대되는 변형을 만듭니다.
3. 기간 및 샘플 크기 추정: 직접 수행할 필요는 없습니다. 사전 테스트 샘플 크기 계산기를 사용하십시오. 필요한 필수 숫자를 파악하는 데 도움이 됩니다.
4. 테스트 빌드: 테스트 플랫폼에서 변형 조합을 설정합니다.
5. 작동 확인: 각각의 새로운 처리에 대해 품질 보증 테스트를 실행하여 의도한 대로 작동하는지 확인합니다.
6. 테스트 실행: 트래픽을 시작합니다.

이제 데이터 수집에서 QA에 이르기까지 각 단계를 자세히 살펴보겠습니다.

다변수 테스트를 위한 데이터 수집

다변수 테스트 중에 데이터는 어떻게 수집됩니까? 주의를 기울여야 할 두 가지 주요 접근 방식이 있습니다.

1. 완전 계승

작동 방식은 다음과 같습니다. MVT의 모든 변형은 사이트로 유입되는 모든 트래픽에 대해 동일한 양의 트래픽을 받습니다. 5개의 변형이 있는 경우 각 변형은 사이트로 유입되는 트래픽의 20%를 차지합니다.

물론 통계적 유의성에 도달하려면 이 방법이 많은 트래픽을 필요로 하고 오랜 시간 동안 실행되어야 합니다. 그러나 이 특성은 또한 완전한 계승이 가장 정확한 옵션이 되도록 합니다.

2. 분수 계승

"전체" 대응과 달리 부분 요인은 변형의 하위 집합만 테스트합니다. 그래서 이름에 "fraction"이 있습니다.

10개의 변형이 있는 경우 그 중 5개를 테스트하고 결과에 따라 테스트하지 않은 5개의 성능을 예측합니다.

이 때문에 전체 계승보다 빠르게 실행되지만 훨씬 덜 정확합니다. 그 이점은 커밋하기 전에 전체 테스트가 어떻게 보일지 엿볼 수 있다는 것입니다.

다구치 방식은 어떻습니까? 일부에서는 분수 계승의 다른 이름이라고 합니다. 사용하기 복잡합니다. 따라서 대부분의 도구는 이를 제공하지 않습니다.

다변수 테스트를 위한 가설 생성

정확한 정성 및 양적 데이터를 기반으로 다변량 테스트 가설을 만들어야 합니다.

테스트를 실행하기 위해 블로그에서 찾은 일반적인 테스트 아이디어를 추측하거나 사용하고 싶지 않습니다. 데이터를 조사하는 동안 발견한 문제를 해결하거나 효과를 높일 수 있다고 생각되는 아이디어를 테스트하는 것과 같이 적절한 것을 선택하십시오.

이것이 테스트의 목표가 될 것입니다. 우리의 가설 생성기를 사용하여 확실한 가설을 세울 수 있습니다.

다변수 테스트를 위한 품질 보증

품질 보증이 없으면 어떤 테스트도 오도할 수 있습니다. QA 없이 진행하는 것은 위험하고 값비싼 실수를 유발할 수 있습니다. 테스트의 통찰력을 신뢰하기 전에 몇 가지 체크포인트를 통과하세요.

• QA 설정: QA 프로세스에 사용할 설정을 결정하는 경우 QA 등을 수행할 장치 및 브라우저에서 사용자 경험을 테스트하기 위한 특별한 사용 사례를 식별합니다.
• 외부 요인: 이벤트 또는 휴일, 동시에 실행되는 다른 테스트, 이벤트 및 사이트 트래픽과 같이 테스트에 영향을 줄 수 있는 제어할 수 없는 요소를 인식합니다.
• 실험 설정: 가설 수립의 품질, 트래픽 할당, 깜박임이 테스트에 영향을 미치는지, 기타 지연 및 오류 등을 확인합니다.
• 크로스 브라우저 및 크로스 장치: 장치 및 화면 해상도 전반에 걸친 타이포그래피, 글꼴 및 색 구성표를 확인하고, 여백 및 패딩을 확인하고, 사용 편의성을 확인하고, 다양한 장치에서 페이지 요소가 어떻게 작동하는지 등을 확인해야 합니다.

감지했을 수 있는 기타 불일치: 수정을 위해 이에 대한 정보를 팀과 공유해야 합니다.

다변수 테스트는 어떻게 실행합니까? 변환 경험에서 다변수 테스트 배포.

Convert Experiences에서 다변수 테스트를 만드는 데는 간단한 4단계만 거치면 됩니다. 수행할 작업은 다음과 같습니다.

1. 경험 이름 지정
   
   경험 변환에서 "새 경험"을 선택한 다음 "다변수"를 선택하고 경험의 이름을 지정합니다.

   

2. 변형 만들기
   
   테스트에 사용하는 페이지의 URL이 로드되면 첫 번째 변형을 편집할 준비가 된 것입니다. 사본을 편집하고, 새 시각적 개체를 추가하고, 이름을 지정할 수 있습니다. 아래 예에서는 다음을 수행했습니다.
   
   – 변경할 요소를 클릭함(주황색으로 강조 표시됨)
   – 메뉴에서 선택한 작업(예: 이미지 소스 변경)

   

3. 변형 이름 지정
   
   이것은 꽤 자명합니다. 나중에 보고할 때 눈에 띄는 것을 선택하고 싶을 것입니다.
4. 목표 및 청중 정의
   
   실험 요약으로 이동하여 대상 및 실험 목표를 설정합니다.
   
   당신은 그것을 가지고 있습니다! 귀하의 경험이 실행 중입니다.

이제 다변수 테스트가 무엇인지 그리고 성공적으로 다변수 테스트를 설정하는 방법을 이해했으므로 선택할 수 있는 몇 가지 다른 플랫폼을 분석해 보겠습니다. 시장에 나와 있는 많은 상위 A/B 테스트 도구는 하나의 소프트웨어에서 다변수 테스트와 A/B 테스트를 제공합니다. 어떤 것이 귀하의 요구에 가장 적합합니까?

다변수 테스트 방법이 결정적인 요인이라면 올바른 위치에 있습니다. 아래 목록은 시장에서 다변수 테스트를 위한 상위 9개 업체를 제공합니다.

사용 가능한 최고의 A/B 및 다변수 테스트 도구는 무엇입니까?

다음은 CRO 전문가들이 선호하는 다변수 테스트 도구와 이들이 제공하는 다변수 테스트 방법을 살펴보겠습니다.

• 경험 전환 – 전체 팩토리얼
• AB Tasty – 완전 계승
• Google 최적화 도구 및 최적화 도구 360 – 완전 요인도 분수도 아닌 하이브리드 접근 방식
• Adobe Target – Full Factorial 및 Taguchi
• Kameleoon – 완전 계승 및 분수 계승
• Optimizely – 완전 요인, 부분 및 Taguchi
• Sitespect – 전체 계승 및 분수 계승
• VWO – 풀 팩토리얼
• Webtrends Optimize – 완전 요인 및 부분 요인 요인

어떤 다변수 테스트 도구를 선택해야 할지 아직 확실하지 않습니까? 최고의 다변수 테스트 도구에 대한 이 완전한 분석을 확인하십시오.

2022년에 피해야 할 주요 다변수 테스트 실수

이러한 테스트는 올바른 방법으로 사용하는 경우에만 최적화 목표를 달성하는 데 도움이 될 수 있습니다.

그러나 우리는 인간이고 우리의 도구는 완벽하지 않으므로 실수가 발생합니다. 다음을 피함으로써 테스트를 망칠 가능성을 줄일 수 있습니다.

1. 정확성을 위해 MVT 도구를 테스트하지 않음

페이지의 변형을 만들되 아무 것도 변경하지 마십시오. 그대로 유지하고 나머지를 실행합니다. 사람들이 같은 것을 보고 있기 때문에 결과는 같아야 합니다.

2. 확고한 가설로 시작하지 않음

기준 없이 테스트를 실행하고 예상되는 것은 블라인드 실행입니다. 그것은 당신이나 당신이 테스트하는 사이트에 도움이되지 않습니다. 먼저 가설을 생성합니다.

3. 경쟁자 모방

조직은 고유하고 목표는 다릅니다. 경쟁자를 모방하는 것은 유익하지 않습니다. 많은 테스트가 귀하의 사례에 적용되지 않을 뿐만 아니라 자신이 무엇을 하고 있는지 모를 수도 있습니다.

4. 계절별 이벤트 또는 주요 사이트/플랫폼 이벤트 중 테스트 실행

테스트가 이벤트용이 아닌 경우 이벤트 중에 다변수 테스트를 실행하면 안 됩니다. 결과는 정규 요일의 정확한 성과를 반영하지 않습니다.

5. 엿보기

유혹은 저항하기 어렵습니다. 어떻게 진행되는지 보고 싶을 뿐입니다. 변형에 내기를 걸고 어느 것이 이기고 있는지 알고 싶을 수도 있습니다. 하지 않다.

부정확한 기대치를 갖게 될 뿐만 아니라 그에 따라 잘못된 결정을 내릴 수도 있습니다. 실행 중인지 또는 오류가 있는지 확인할 수 있습니다. 그게 전부입니다.

6. 테스트를 충분히 오래 실행하지 않음

다변수 테스트는 오랫동안 실행해야 합니다. 통계적 유의성에 도달하기 위해 충분한 트래픽을 가져와야 하는 별도의 A/B 테스트와 같다고 생각하십시오. 정확하고 중요한 결과를 얻을 수 있도록 다변수 테스트를 충분히 오래 실행하십시오.

7. 테스트가 실행되는 동안 변경하기

오류를 수정할 수는 있지만 웹사이트를 다시 디자인하거나 사본을 변경할 수는 없습니다. 변형의 모양과 느낌을 변경하는 모든 것은 테스트가 실행된 후에도 그대로 유지되어야 합니다.

8. 정확한 결과를 얻은 후 테스트를 중단하는 것을 잊음

생각보다 자주 발생합니다. 이것이 의미하는 바는 확실한 승자가 있더라도 나머지 트래픽에는 여전히 약한 버전의 사이트가 표시된다는 것입니다. 당신은 그렇게하고 싶지 않습니다.

9. 한번의 테스트 후 포기

어쩌면 모든 변형이 대조군보다 더 나빴을 수도 있습니다. 그래서 어쩌죠? 당신은 그것이 작동하지 않는 다양한 방법을 배웠습니다. 더 많은 테스트를 실행하고 더 많은 통찰력을 얻으십시오. 모든 지식은 가치가 있습니다.

10. 시험 후 유효성을 확인하지 않음

모든 것을 말하고 완료하고 결과를 얻었을 때 그것이 끝입니까? 테스트 플랫폼을 종료하고 계속 진행하시겠습니까? 결과의 정확성을 신뢰하기 전에 편안하게 앉아서 모든 것이 원활하게 진행되었는지 확인하는 것이 가장 좋습니다.

11. 충분한 테스트를 실행하지 않음

테스트를 실행할 때 승자인지 패자인지에 관계없이 테스트에서 배우십시오. 새로 발견한 지식을 사용하여 더 많은 정보에 입각한 가설을 만들고 다시 실행하십시오. 그리고 다시. 그것이 당신이 실험을 작동시키는 방법입니다.

12. 테스트를 문서화하지 않음

테스트 데이터베이스를 유지하십시오. 이렇게 하면 최적화 팀이 귀하일지라도 최적화 팀의 성능이 향상됩니다. 우리 모두는 다음 경험을 더 좋게 만들기 위해 이전 경험에서 배워야 합니다.

또한 동일한 테스트를 두 번 실행하는 데 시간을 낭비하지 않도록 합니다.

결론

전자 상거래 상점, SaaS 또는 간단한 랜딩 페이지가 있든 상관없이 다변수 테스트를 실행하는 것이 합리적인 시나리오가 있습니다. 트래픽이 많은 웹 사이트가 있을 수 있지만 다변수 테스트가 웹 사이트에 적합한지 결정해야 합니다. 다변수를 실행하기 전에 비용, 트래픽 및 필요성을 평가하십시오.