다변량 테스트: 최상의 결과를 위해 최상의 테스트를 실행하는 방법

A/B 테스트는 클릭 후 방문 페이지에 대한 최적화 아이디어를 찾는 가장 쉬운 방법 중 하나이지만 항상 가장 효율적인 방법은 아닙니다.

한 번에 2, 3 또는 4페이지를 테스트하기 전에 더 많은 테스트를 수행하는 방법을 알아보고 방문자 전환에 가장 적합한 요소 조합을 찾으십시오.

A/B 테스트란?

분할 테스트라고도 하는 A/B 테스트를 사용하면 서로 다른 두 버전의 웹 페이지를 비교하여 어떤 것이 방문자를 더 잘 전환시키는지 결정할 수 있습니다.

이 두 페이지는 다음과 같을 수 있습니다.

• 약간 다른

전환율이 높은 디자인이 있고 단일 요소를 개선하는 방법을 파악하려는 경우 한 가지만 다른 두 페이지를 테스트할 수 있습니다. 관심 있는 헤드라인 또는 뉴스 중심 헤드라인의 실적이 더 좋은지 확인하려면 헤드라인과 헤드라인을 테스트할 수 있습니다. 비디오 또는 GIF가 전환에 더 많은 영향을 미치는지 확인하려면 각 페이지에서 하나씩 테스트할 수 있습니다.

각각에 동일한 트래픽을 유도한 후 가장 많은 전환을 생성하는 것이 승자입니다. 그리고 두 페이지 사이에 차이점이 하나뿐이기 때문에 하나가 더 많은 전환을 생성한 이유는 분명합니다.

• 크게 다른

여러 면에서 서로 다른 두 페이지를 테스트할 수도 있습니다. 원본 페이지에는 대안 페이지와 다른 헤드라인, 추천 이미지 및 행동 유도 버튼이 있을 수 있습니다. 테스트는 다음과 같을 수 있습니다.

원본 페이지(A 또는 '대조')와 대안 페이지(B) 모두에 동일한 트래픽을 유도한 후 전환율이 더 높은 페이지가 승자가 됩니다. 그러나 테스트당 하나의 요소만 변경할 때와 달리 완전히 다른 페이지를 테스트할 때는 특정 페이지가 우승한 이유를 확인할 방법이 없습니다.

위 예의 결과를 보면 버전 "b"가 버전 "a"보다 낫다는 것만 알 수 있지만 원인이 여러 가지 있으므로 더 나은 이유 는 알 수 없습니다. 탐색 표시줄을 왼쪽에서 오른쪽으로 조정하거나 가입 양식을 위에서 아래로 조정하면 전환이 발생할 수 있습니다. 완전히 다른 디자인을 A/B 테스트할 때 확실히 알 수 있는 것은 한 페이지가 다른 페이지보다 낫다는 것입니다.

그러나 여러 요소의 변경 사항이 서로 상호 작용하는 방식을 확인하기 위해 실행할 수 있는 다른 종류의 테스트가 있습니다. 다변량 테스트라고 합니다.

다변량 테스트란 무엇입니까?

다변량 테스트는 옵티마이저가 서로 다른 두 웹 페이지를 비교하는 데 사용하는 프로세스입니다. 이 방법은 여러 요소 간의 미묘한 변화를 비교한 다음 이러한 요소가 서로 상호 작용하는 방식을 측정하여 최고의 성능을 찾는 데 중점을 둡니다.

A/B 테스트와 다변량 테스트의 차이점

하나의 헤드라인을 다른 헤드라인과 비교하거나 추천 이미지와 비디오를 비교하거나 하나의 클릭 유도문안과 약간 다른 것을 비교하여 성공적인 페이지를 찾는 A/B 테스트 사례 연구를 많이 읽었을 것입니다. Widemile의 옵티마이저에 따르면 정확하게 수행하는 데 사용할 수 있지만 A/B 테스트를 사용하는 더 이상적인 방법이 있습니다.

그들은 A/B 테스트의 이상적인 용도는 "두 개 이상의 근본적으로 다른 페이지를 테스트하는 것"이라고 말합니다. 테스트 측면에서 A/B 테스트를 통해 "글로벌 최대값"을 찾고 다변량 테스트를 통해 "로컬 최대값"으로 개선하는 것이 좋습니다.

글로벌 최대값과 로컬 최대값

어려운 일이지만, 살면서 아이스크림 한 스쿱을 먹어본 적이 없고 아이스크림 가게에 서서 30가지 맛 중 어떤 것을 사고 싶은지 결정하려고 한다고 잠시 상상해 보세요. .

10가지 종류의 초콜릿, 10가지 종류의 바닐라, 10가지 종류의 딸기가 있습니다. 어떤 특종을 원하는지 결정하기 전에 30가지 맛을 모두 시도하시겠습니까?

아마 아닐 겁니다. 당신은 가장 좋아할 종류를 좁히기 위해 초콜릿, 딸기, 바닐라 등 완전히 다른 맛 중 하나를 시도할 것입니다. 바닐라와 딸기보다 초콜릿을 더 좋아한다면 "초콜릿 칩 쿠키 도우", "초콜릿 땅콩 버터", "초콜릿 퍼지"와 같은 맛을 시도하여 가장 좋아하는 초콜릿을 결정하게 될 것입니다.

통계적 용어로 가장 좋아하는 품종(초콜릿, 바닐라 또는 딸기)을 전역 최대값이라고 합니다. 이것은 크게 다른 세 가지 유형 중에서 가장 맛이 좋은 맛입니다. 품종의 특정 맛(초콜릿 퍼지, 초콜릿 칩 쿠키 도우, 초콜릿 땅콩 버터)은 로컬 최대값이 됩니다. 그것은 당신이 선택한 다양성의 최고의 버전입니다.

옵티마이저는 유사하게 테스트에 접근하기를 원합니다. 방문자를 가장 잘 전환시키는 페이지(전역 최대값)를 찾은 다음 해당 페이지의 특정 요소를 조정하여 전환율이 가장 높은 페이지(로컬 최대값)로 개선하려고 합니다. 찾고 있는 항목에 따라 사용하는 테스트가 결정됩니다.

A/B 테스트를 사용해야 하는 경우와 다변량 테스트를 사용해야 하는 경우

A/B 테스트는 전역 최대값을 테스트하는 데 가장 적합합니다. 방문자가 전환하려는 페이지를 찾는 데 가장 좋습니다. A/B 테스트를 사용하여 Investopedia가 뉴스레터인 Investopedia Advisor의 전환율을 높이는 데 도움을 준 MarketingExperiments의 사례를 살펴보십시오.

제안은 간단했습니다. 주식 정보가 포함된 무료 뉴스레터였습니다. 그래서 원본 페이지에 그 내용이 반영되었습니다. 길거나 복잡하거나 많은 요소로 어수선하지 않았습니다. 여기에는 단일 필드 리드 캡처 양식, 글머리 기호, 인포그래픽이 포함되어 있습니다.

그러나 귀중한 무료 제공에도 불구하고 전환율은 1.33%에 불과했습니다. MarketingExperiments 팀은 페이지를 완전히 점검하기로 결정했습니다. 그들은 헤드라인, 레이아웃, CTA 버튼을 변경하고 배지를 추가했습니다. 그런 다음 새 페이지와 원본 페이지를 A/B 테스트한 결과 새 페이지의 전환율이 89.4% 더 높았습니다. 다음과 같이 생겼습니다.

이 A/B 테스트를 통해 실험자들은 새 페이지가 이전 페이지보다 전환율이 더 높은 이유 를 정확히 파악하지 못했지만 더 높은 변환기를 새로 찾았다는 점을 기억하는 것이 중요합니다. 즉, 그들은 새로운 글로벌 최대값을 찾았습니다. 그 시점에서 원하는 경우 다변량 테스트로 이 페이지를 구체화하여 어떤 요소 조합이 가장 많은 방문자를 전환시키는지 결정할 수 있습니다.

예를 들어, Optimizely의 이 가상 예제에서 테스터가 원하는 것이 바로 그것입니다. 그들은 가장 많은 방문자를 전환시키는 헤드라인과 이미지의 조합을 파악하려고 합니다.

그래서 그들은 헤드라인과 이미지의 다양한 조합으로 여러 페이지를 만들어 어떤 것이 가장 잘 수행되는지 확인합니다.

전환율이 가장 높은 테스트에서 나온 네 가지 버전이 승자입니다. 전구가 있는 두 가지 버전이 기어가 있는 두 가지 버전보다 실적이 더 좋다면 전구 이미지가 전환에 가장 큰 영향을 미친다는 결론을 내릴 수 있습니다. 거기에서 어떤 헤드라인이 더 많은 전환을 생성했는지 확인하고 해당 페이지를 사용할 수 있습니다.

다변량 테스트를 수행하는 방법

몇 년 전, VWO 설립자 Paras Chopra는 자신의 웹 페이지에서 다운로드를 늘리고 싶었을 때 다변량 테스트를 사용하여 그 방법을 알아냈습니다. A/B 테스트를 수행하는 단계에 익숙하다면 이 다변량 테스트 예에서 대부분의 단계를 인식할 것입니다.

1. 문제 식별

웹 페이지 개선을 시작하기 전에 데이터를 파헤치고 방문자가 웹 페이지와 상호 작용하는 방식을 파악하는 것이 가장 좋습니다. 그가 발견한 것은 사람들이 예상했던 만큼 "다운로드" 버튼을 클릭하지 않는다는 것이었습니다. 그래서 그는 그 이유를 파악하기 위해 페이지를 조사했습니다.

2. 가설 세우기

철저한 조사 후에 그는 다운로드 링크가 눈에 띄지 않는다는 것을 깨달았습니다. 그래서 그는 페이지 개선을 위한 가설을 세웠습니다.

방문자가 다운로드 링크를 인지하게 하는 확실한 해결책은 다운로드 섹션을 페이지에서 가장 눈에 띄는 부분으로 만드는 것입니다. 페이지 디자인에서 "다운로드" 제목 크기와 색상이 페이지의 나머지 부분과 잘 혼합되어 사람들이 다운로드 링크를 놓치게 되었습니다.

"다운로드" 링크를 더 눈에 띄게 만들면 전환율을 높일 수 있다고 믿었습니다. 그가 결정한 방법은 다음과 같습니다.

3. 변형 만들기

이제 테스트용 변형 페이지를 만들 차례입니다. 파라스에 따르면:

다변량 테스트의 경우, 사이드바의 "다운로드" 제목과 그 아래에 있는 "PDFProducer" 다운로드 링크의 두 가지 요소를 페이지에서 선택하여 변형을 만들었습니다. 테스트의 초점은 "무료"라는 단어의 효과와 다운로드 섹션을 강조 표시하는 효과를 관찰하는 것이었습니다.

그가 다운로드 섹션을 더 눈에 띄고 매력적으로 만들기로 결정한 방법은 다음과 같습니다.

원래 "다운로드" 링크에 대해 그는 세 가지 다른 변형을 테스트했습니다.

• 빨간색으로 "다운로드"
• 빨간색으로 표시된 "무료로 다운로드"
• 기본 색상으로 "다운로드"하지만 더 큰 글꼴 크기

원본 "PDFProducer" 링크에 대해 그는 두 가지 변형을 테스트했습니다.

• 기본 색상은 "PDFProducer"이지만 글꼴 크기는 더 커짐
• 빨간색 "PDFProducer"

모든 조합은 다음과 같습니다.

4가지 버전의 다운로드 링크(원본 포함)와 3가지 버전의 "PDFProducer" 텍스트(역시 원본 포함)를 사용하여 전체 요인 테스트를 수행하기 위해 12가지 변형이 형성되었습니다. 전체 요인은 가장 영향력 있는 항목만 테스트하는 부분 요인과 달리 모든 조합을 테스트합니다.

완전 요인, 부분 요인 및 Taguchi와 같은 여러 가지 다변량 분석 방법이 있지만 대부분의 옵티마이저는 정확도를 위해 전체 요인을 실행할 것을 권장한다고 CXL의 Alex Birkett는 주장합니다.

4. 샘플 크기 결정

페이지로 트래픽을 유도하기 전에 테스트 결과에 대한 결론을 내리기 전에 각 페이지에서 생성해야 하는 방문자 수인 샘플 크기를 결정해야 합니다.

VWO의 이 계산기는 방문자 수, 웹 사이트 트래픽을 기반으로 테스트를 실행하는 데 필요한 시간, 변형 수 및 통계적 유의성을 파악하는 데 도움이 됩니다.

통계적 유의성에 도달하는 방법과 계산기를 사용하는 데 필요한 모든 사항에 대해 자세히 알아보려면 이 블로그 게시물을 확인하세요.

5. 도구 테스트

트래픽 실행을 시작하기 전에 모든 것을 테스트하십시오. 클릭 후 방문 페이지가 모든 브라우저에서 동일하게 보입니까? CTA 버튼이 작동합니까? 광고의 모든 링크가 정확합니까?

실행을 시작하기 전에 캠페인의 모든 측면을 QA하여 결과에 해를 끼치는 것이 없도록 하는 것이 중요합니다.

6. 트래픽 운전 시작

이제 유사 콘텐츠를 만들었고 각각에 생성해야 하는 트래픽의 양을 알았으므로 트래픽을 유도하는 것이 안전합니다. 다변량 테스트의 가장 큰 단점은 결론을 내리기 전에 엄청난 양의 트래픽이 필요하므로 인내심을 가져야 합니다.

A/B 테스트를 할 때 상당한 트래픽을 유도해야 하는 페이지는 두 페이지뿐입니다. 그러나 예를 들어 Paras와 같은 다변량 테스트에는 테스트를 호출하기 전에 큰 샘플 크기를 수집해야 하는 12개의 서로 다른 페이지가 있습니다.

Leonid Pekelis는 타당성에 대한 위협을 주시하고 오탐 결과의 증가율을 고려하는 것을 잊지 마십시오.

“기본적으로 각 상호 작용에 대해 별도의 A/B 테스트를 실행하고 있습니다. 측정할 상호 작용이 20개이고 테스트 절차에서 각 상호 작용에 대해 5%의 오탐률을 발견하는 경우 갑자기 약 하나의 상호 작용이 완전히 우연히 완전히 감지될 것이라고 예상할 수 있습니다. 이를 설명하는 방법이 있습니다. 일반적으로 다중 테스트 수정이라고 하지만 비용은 결정적인 결과를 보기 위해 더 많은 방문자가 필요한 경향이 있다는 것입니다.”

7. 결과 분석

4주 동안 테스트를 진행한 후 Paras는 다음을 발견했습니다.

빨간색으로 표시된 "무료 다운로드"라는 제목이 다운로드 전환율을 39%에서 63%로 끌어올려 무려 60%나 증가한 것을 볼 수 있습니다. 큰 글꼴 크기의 "다운로드"(링크 색상이 빨간색으로 결합됨)도 기본보다 긍정적(43%) 개선되었습니다. 모든 결과 중에서 상위 3개는 95% 이상의 신뢰 수준에서 통계적으로 유의합니다.

Paras는 새 페이지를 구현하고 이 테스트를 잊을 수도 있었지만 대신 중요한 마지막 단계를 강조합니다.

8. 결과로부터 배우기

각 테스트는 향후 테스트에 정보를 제공하는 데 사용할 수 있는 웹 페이지 및 방문자에 대해 학습하는 데 사용해야 합니다.

그는 자신의 웹 페이지에서 다음과 같은 사실을 알게 되었습니다.

• "무료"라는 단어는 그의 웹 사이트 방문자에게 공감했습니다.
• 제안의 무료 특성은 클릭 유도 문안 또는 그 근처에서 가장 잘 광고됩니다.
• 붉은색이 방문객들의 시선을 끌었다.
• 더 큰 클릭 유도 문안은 더 많은 방문자의 시선을 끌었습니다.

그러나 이것이 그의 테스트 결과라는 것을 기억하십시오. "무료"라는 단어는 무료 제안을 광고하는 모든 웹 페이지에서 사용하기에 항상 좋지만 CTA의 최상의 위치, 크기 및 색상은 웹 페이지에서 다를 수 있습니다. 확실하게 알 수 있는 유일한 방법은 테스트하는 것입니다.

다변량 테스트를 시도해 보셨습니까?

너무 복잡하다고 생각해서 다변량 테스트에서 벗어난 적이 있습니까? 지금 Instapage Enterprise 데모에 등록하세요.