2022년 가장 인기 있는 다변수 테스트 도구

따라서 현재 A/B 테스트를 실행하고 있으며 테스트 프로그램을 확장하려고 합니다.

트래픽이 좋고 결과가 좋으며 이제 훨씬 더 많은 테스트를 실행하고 해당 데이터를 최대한 빨리 얻고자 합니다.

그러나 어떻게 더 빠르게 테스트를 시작할 수 있습니까? 또는 더 나은 방법으로 같은 기간 동안 더 많은 테스트를 실행하고 더 많은 정보를 얻을 수 있습니까?

이것이 다변수 테스트가 필요한 이유입니다. 여러 변형을 한 번에 모두 테스트하여 어떤 특정 변형이 가장 잘 작동하는지 확인할 수 있습니다.

이 가이드에서 우리는 MVT가 무엇인지, 어떻게 작동하는지, 그것을 사용하기 위해 필요한 것이 무엇인지, 사용 가능한 최고의 다변수 테스트 도구를 분류할 것입니다.

가격과 기능부터 비즈니스 수행 방식에 이르기까지 모든 다변수 테스트 도구를 결정할 때 올바른 선택을 할 수 있습니다.

그럼 본격적으로 알아보자...

다변수 테스트란 무엇입니까?

다변수 테스트를 이해하는 가장 좋은 방법은 다른 테스트 방법과 비교하고 어떻게 다른지 확인하는 것입니다.

그럼 A/B 테스트와 다변수 테스트를 살펴보고 어떻게 비교하는지 살펴보겠습니다.

A/B 테스트를 통해 원본 컨트롤 버전에 대해 단일 변형을 테스트합니다. 헤드라인을 개선하는 방법에 대한 아이디어가 있을 수 있으므로 해당 유사 콘텐츠를 만든 다음 어떤 것이 가장 실적이 좋은지 확인합니다.

A/B 테스트는 다음과 같습니다.

광고 제목 1(대조군)과 광고 제목 2(대안 아이디어)

우리가 실행할 수 있는 또 다른 테스트는 A/B/n 테스트입니다.

여기에서 컨트롤에 대해 여러 변형을 테스트하여 전체 승자를 찾을 수 있습니다. A/B/n 테스트는 단변수입니다.

예를 들어, 헤드라인 아이디어가 많은데 어떤 것이 효과가 있을지 확신이 서지 않을 수 있습니다. 하지만 몇 가지 유사 테스트를 실행하고도 여전히 정확한 결과를 얻을 수 있는 트래픽이 있기 때문에 어떤 것이 가장 실적이 좋은지 알아보기 위해 여러 헤드라인 아이디어를 테스트하기로 결정합니다.

광고 제목 1(대조군) 대 광고 제목 2 대 광고 제목 3

우승한 헤드라인 변형을 찾으면 영웅 샷 이미지를 테스트한 다음 CTA 각도를 테스트할 수 있습니다.

짐작할 수 있듯이 이 모든 작업에 시간이 걸립니다.

또 다른 옵션은 한 번에 많은 것을 변경하고 측정항목이 개선되는지 확인하는 테스트를 실행하는 것입니다.

다른 모든 테스트 아이디어가 정체되거나 영향을 미치지 않기 때문에 새로운 승자를 찾기 위해 새로운 승자를 찾기 위해 급진적인 변화 를 일으키려는 경우가 아니면 대부분의 A/B 테스트에서 이 작업을 수행하지 않는 경향이 있습니다.

그렇다면 일반 캠페인에 대해 이와 같이 급진적인 변경을 권장하지 않는 이유는 무엇이며 다변수 테스트와 어떤 관련이 있습니까?

우리는 한 번에 하나의 요소를 테스트합니다. 왜냐하면 우리가 엄청난 변경을 하고 새 페이지가 성공하거나 실패할 경우 이러한 변경 중 어느 것이 상승을 일으켰는지 확신할 수 없기 때문입니다.

다변수 테스트 또는 MVT를 사용하면 여러 변형을 테스트하는 동시에 각 변경 사항과 결과에 미치는 영향을 추적할 수 있습니다.

요소의 여러 변형을 테스트할 수 있을 뿐만 아니라 궁극적인 승자를 찾을 때까지 요소의 다른 조합을 실행할 수도 있습니다.

홈페이지를 개선하고 싶었고 가장 큰 효과를 보기 위해 테스트해야 할 몇 가지 아이디어가 있다고 가정해 보겠습니다.

• 헤드라인
• 영웅 샷 이미지
• CTA.

다변수 테스트를 사용하면 모든 헤드라인 아이디어, 영웅 샷 이미지 옵션 및 CTA 각도를 테스트할 수 있을 뿐만 아니라 이러한 변형의 각 조합을 테스트하여 우승 조합을 찾을 수도 있습니다.

광고 제목 1 + 영웅 이미지 1 + CTA 1 대

광고 제목 1 + 영웅 이미지 2 + CTA 1 대

광고 제목 1 + 영웅 이미지 1 + CTA 2 대

광고 제목 2 + 영웅 이미지 1 + CTA 1 대

광고 제목 2 + 영웅 이미지 2 + CTA 1 대

광고 제목 2 + 영웅 이미지 2 + CTA 2

다변수 테스트는 요소의 최상의 조합을 찾고 이러한 변경의 원인을 이해하는 데 도움이 될 수 있습니다.

그러나 적절한 다변수 테스트를 수행하려면 많은 시간과 리소스를 소비해야 합니다. 테스트뿐만 아니라 QA 및 분석을 위해 많은 리소스를 투자할 의향이 있습니까? 그러나 일부 시나리오에서는 더 나은 옵션일 수 있습니다. 그것들이 무엇인지 봅시다.

다변수 테스트는 언제 사용합니까?

다변수 테스트는 무엇에 사용됩니까? 다음은 MVT 테스트가 A/B 테스트보다 더 유용할 수 있는 몇 가지 경우입니다.

1. 트래픽이 많고 테스트 프로그램을 강화하려는 경우

트래픽은 다변수 테스트의 주요 핵심입니다. 각 변경 사항을 테스트하고 테스트 결과를 신뢰할 수 있으려면 많은 양의 트래픽이 필요합니다.

그러나 트래픽이 있고 더 많은 데이터를 얻고 더 많은 결정을 내리기 위해 테스트를 확장하려는 경우 MVT를 사용하면 한 번에 여러 아이디어를 실행할 수 있습니다.

2. 효과를 높이고 싶고 몇 가지 아이디어가 있지만 하나씩 테스트하기를 기다리고 싶지 않을 때

어떤 사람들은 시간 투자로 인해 현재 웹 페이지를 약간 변경하여 수정하는 데만 MVT를 사용해야 한다고 생각하지만 사실이 아닙니다. 물론, 이를 위해 사용할 수 있지만 더 큰 요소에 대한 광범위한 '가정' 테스트에도 사용할 수 있습니다.

(어쩌면 당신은 어떤 요소가 최고의 리프트를 제공할지 확신할 수 없기 때문에 어떤 것이 효과가 있는지 보기 위해 현명하게 가정된 아이디어를 벽에 던져보고 싶을 수도 있습니다.)

MVT를 실행할 트래픽 양이 있는 경우 광범위한 페이지 조합을 훨씬 빠르게 찾으려고 시도하지 않는 것은 당연합니다. 각 변형에서 테스트한 후 해당 트래픽의 효과를 측정해야 합니다 . 이렇게 하면 청중과 효과가 있는 이유에 대한 더 자세한 정보를 얻을 수 있기 때문입니다.

예를 들어 Facebook에서는 썸네일 이미지, 헤드라인 및 본문 카피 등의 변형을 추가하여 기본 다변수 테스트 광고를 설정할 수 있습니다.

테스트가 실행되고 해당 광고의 어떤 유사 콘텐츠가 가장 높은 CTR을 얻는지 알려줍니다.

당신의 목표가 클릭을 얻는 것이라면 이 광고가 이길 것입니다. 맞습니까?

그러나 모든 트래픽이 귀하가 보낸 페이지에서 이탈하는 경우 찾은 것은 잠재고객이 머물고 전환하도록 하는 것이 아니라 해당 잠재고객을 클릭하게 하는 변형뿐입니다.

페이지에서 MVT 테스트를 실행할 때도 마찬가지입니다. 특히 더 광범위한 아이디어 수집 방법으로 사용하는 경우에는 더욱 그렇습니다. 페이지에서 어떤 일이 발생하는지 확인하고 클릭 한 후 어떤 일이 발생하는지 확인하세요.

3. 이전 테스트를 개선하여 증가분을 얻을 때

MVT를 사용하여 작은 미세 조정을 측정하고 개선할 수도 있습니다. 실제로 많은 에이전시에서 현재 우승한 캠페인에 더 많은 효과를 내고 작은 변경 사항을 테스트하기 위해 이를 사용하고 싶어합니다.

이미 좋은 대안을 찾기 위해 페이지를 여러 번 A/B 테스트했지만 0.5%에 불과하더라도 최대한 많은 상승도를 얻고자 한다고 가정해 보겠습니다. 해당 페이지에서 MVT 테스트를 실행하여 추가 테스트를 수행할 수 있습니다.

4. 아이디어 조합에서 가능한 최대 리프트를 찾을 때(상호작용 효과)

때때로 연속적인 A/B 테스트가 서류상으로 우리에게 승자를 줄 수 있지만, 그것들을 결합할 때 항상 우리 페이지에서 가장 높은 실적을 내는 옵션은 아닙니다.

다음은 예입니다.

• 헤드라인 테스트를 실행하고 승자를 선택하고 구현합니다.
• 그런 다음 우승한 헤드라인 변형이 있는 동일한 페이지에서 영웅 샷 이미지 테스트를 실행하고 구현합니다.
• 그런 다음 이전 우승 요소와 동일한 페이지에서 CTA 테스트를 실행하고 구현합니다.

이론적으로 이것은 페이지의 최고 성능 버전이어야 하지만 상호 작용이나 부족으로 인해 이상한 일이 발생할 수 있습니다. 간단히 말해서, 한 테스트에서 손실된 요소가 다른 요소 변형과 결합될 때 순차적인 A/B 테스트 우승자를 능가하는 경우가 있습니다.

어떻게?

글쎄, 아마도 첫 번째 테스트에서 지는 헤드라인은 이미지 및 CTA 테스트의 승자와 결합할 때 더 높은 백엔드 전환율을 제공할 수 있습니다.

이런 일이 발생할 수 있지만 A/B 테스트를 실행한 경우에는 절대 알 수 없습니다. 대신 다른 요소를 테스트하기 전에 옵션에서 제거했을 것입니다. 이것이 다변수 테스트가 강력한 이유입니다. 테스트의 한 부분에서 성능이 낮은 요소를 가져오는 경우에도 전체 페이지 성능이 가장 높은 것을 찾을 수 있습니다.

더 나아가 어떤 요소가 가장 도움이 되었는지 알려줄 수 있습니다.

5. 청중, 향후 테스트 및 페이지를 위해 페이지에서 가장 중요한 요소를 검색할 때

MVT는 다양한 변형과 ​​요소의 성공적인 조합을 보여줄 뿐만 아니라 가장 높은 효과를 제공하는 요소도 보여줍니다.

영웅 샷이 더 많은 효과를 얻을 수 있지만 대안 페이지의 모든 요소 중에서 최종 결과에 가장 큰 기여를 한다는 것을 알 수 있습니까?

그러면 추가 개선을 위해 먼저 테스트할 위치에 대한 통찰력을 얻을 수 있으므로 영웅 샷 개선에 먼저 집중할 수 있습니다.

6. 테스트 프로세스에 머신 러닝을 적용할 때

많은 양의 데이터와 상호 작용을 필요로 하고 추적하는 MVT의 특성으로 인해 실제로 기계 학습 테스트 프로그램을 제공하는 훌륭한 소스로 사용될 수 있습니다.

ML이 가장 잘 작동하려면 대용량 데이터가 필요하지만 일단 데이터를 얻으면 실제로 패턴을 보기 시작하고 시간이 지남에 따라 더 적은 트래픽으로 결과와 동작을 예측할 수 있습니다. 실제로 Amazon과 같은 사이트가 바로 이 작업을 수행하고 있습니다.

다변수 테스트 예

다변수 테스트 예제 #1

Amazon은 MVT와 기계 학습을 사용하여 방문 페이지의 레이아웃을 조정하여 단 7일 만에 구매율이 21% 증가했습니다!

다변수 테스트 예제 #2

Booking.com은 다변수 테스트를 사용하여 특정 고객에게 새로운 고유 기능을 테스트한 다음 사이트 전체에 적용하기 전에 성능을 측정합니다.

다변수 테스트 예제 #3

Microsoft는 여러 페이지 요소(8×4!)에서 MVT 테스트를 실행한 후 SMB 웹사이트의 전환율이 40% 증가하는 것을 확인했습니다.

다변수 테스트 예제 #4

MVT를 사용할 수 있는 것은 저거너츠 뿐만이 아닙니다. HawkHost는 홈페이지에서 MVT 테스트(헤드라인, 부제목 및 영웅 장면 테스트)를 실행했을 때 매출이 204% 증가했습니다.

다변수 테스트의 장단점

다변수 테스트가 그렇게 강력하다면 왜 우리 모두는 그것을 사용하지 않습니까?

아시다시피, A/B 테스트의 장점은 상대적으로 작은 청중으로 하나의 아이디어를 빠르게 테스트할 수 있다는 것입니다. 즉, 대부분의 비즈니스는 트래픽이 상당히 적은 경우에도 테스트를 실행할 수 있으며 14-30일 이내에 결과를 볼 수 있습니다.

그러나 다변수 테스트를 사용하면 한 번에 여러 항목을 테스트하기 때문에 함께 실행할 훨씬 더 많은 대상이 필요합니다. (특히 여러 페이지 테스트를 수행하거나 여러 변형 조합을 테스트하는 경우)

홈 페이지의 헤드라인을 테스트하려고 한다고 가정해 보겠습니다.

• 헤드라인 컨트롤
• 광고 제목 변형

우리는 단일 변형을 테스트하고 있으므로 총 2개의 옵션이 있습니다.

이제 간단한 예로 테스트 결과가 신뢰할 수 있는지 확인할 수 있도록 페이지의 각 버전(변형 및 컨트롤)에 1,000명의 방문자를 확보하고 싶다고 가정해 보겠습니다.

(필요한 트래픽은 페이지와 전환율에 따라 다를 수 있지만 아이디어를 얻을 수 있도록 여기에서 단순화하겠습니다.)

즉, 테스트를 실행하고 결과를 신뢰하려면 2,000명의 방문자가 필요하며 각 페이지에는 1,000명의 방문자가 필요합니다.

우리가 테스트하고 싶다면 어떻게 될까요?

• 3개의 헤드라인
• 영웅 이미지 3개,
• 3 CTA?

총 9개의 변형이 아니라 실제로 9개의 변형(3x3x3)의 27개 조합입니다.

즉, 변형당 1000명의 방문자를 원할 경우 테스트를 실행하고 결과를 신뢰하기 위해 트래픽 요구 사항은 27,000명의 방문자가 되어야 합니다(페이지당 1,000명의 방문자를 지나치게 단순화하면 충분함).

실제로 트래픽만으로는 충분하지 않고 전환도 확인해야 하므로 정확한 데이터를 얻으려면 변형당 약 10,000명 이상의 방문자가 필요할 것입니다.

이것이 많은 기업이 MVT 테스트를 실행하지 않는 이유입니다. 단순히 트래픽이 없어서 효과적으로 실행할 수 없기 때문입니다. 실제로 대부분의 대행사에서는 페이지의 전환율이 이미 매우 높은 경우가 아니면 MVT 캠페인을 실행하기 전에 월간 방문자가 약 100,000명 정도가 되도록 권장합니다. 그럼에도 불구하고 더 빠르게 실행할 수 있도록 최대 6개의 변형만 실행하는 것이 좋습니다.

그러나 그런 종류의 트래픽이 있다면?

그렇다면 MVT를 사용하면 거의 동일한 시간 프레임에 훨씬 더 많은 테스트를 수행할 수 있습니다.

위의 예에서 정확한 측정 창을 얻기 위해 전체 30일 판매 주기 동안 각 테스트를 실행하도록 허용하면 어떻게 될까요?

트래픽이 있다고 가정하면 단일 다변수 테스트로 30-60일 동안 한 페이지에서 한 번에 27개의 테스트 조합을 실행할 수 있습니다. 27개월 동안 해당 페이지에서 27개의 연속 A/B 테스트를 실행하는 것과 비교할 때 나쁘지 않습니다!

(다시 말하지만, 여기에서 단순화하고 각 테스트에서 전체 판매 주기를 실행한다고 가정합니다.)

그러나 보시다시피 다변수 테스트를 사용하면 통찰력과 아이디어를 얻고 더 빠르게 구현할 수 있으며 연속적으로 테스트에 실패할 경우 가동 시간을 줄일 수 있습니다.

꽤 좋죠!?

분명히 트래픽 요구 사항 외에 MVT 테스트에는 몇 가지 다른 단점이 있습니다.

실행할 수 있는 변형 및 조합이 많기 때문에 테스트 전후의 QA 시간이 크게 늘어납니다.

모든 변형이 작동하고 의미가 있는지 확인해야 합니다. (일치하지 않는 헤드라인과 이미지를 표시하지 않음 등), 따라서 설정 시간과 비용이 크게 증가합니다.

또한 효과를 확인하십시오.

특정 페이지에서 전환이 증가하는 것을 보았기 때문에 궁극적인 목표까지 추적하십시오. 마지막으로 원하는 것은 더 많은 클릭이 있지만 열악한 사용자 경험 또는 높은 이탈률(또는 더 많은 클릭이 있지만 판매가 없음)입니다.

다변수 테스트의 장점

• 트래픽이 있다고 가정하면 다변수 테스트를 통해 많은 변형을 빠르게 테스트할 수 있습니다.
• MVT는 테스트 프로그램을 확장하여 작동하는 것과 작동하지 않는 것에 대한 더 많은 데이터를 찾는 데 도움이 될 수 있습니다.
• 연속 A/B 테스트보다 더 빨리 이기는 조합을 찾는 데 도움이 될 수 있습니다.
• 연속 테스트를 실행할 때 놓쳤을 수 있는 성공적인 조합을 찾는 데 도움이 될 수 있습니다. (하나의 헤드라인이 두 번째 실적을 내고 있고 그것을 잘라냈지만 세 번째 이미지 변형과 짝을 이루면 상승도가 두 배로 증가했다고 상상해보십시오. 연속 테스트를 사용하면 이것을 놓쳤을 것입니다. 다변수 테스트는 더 높은 수준의 상호 작용 효과를 필요로 합니다.)
• 일부 A/B 테스트 소프트웨어를 사용하면 어떤 특정 요소가 가장 높은 효과를 제공하는지 확인할 수 있습니다(청중을 더 깊이 이해할 수 있음).
• 또한 고성능 페이지에서 약간의 상승도를 찾는 데 사용할 수 있습니다. (이미 고성능 페이지가 있고 색상 변경과 같은 사소한 변화를 보기 위해 새로운 아이디어를 구상하고 있다고 상상해 보세요.)

다변수 테스트의 단점

• 실행하려면 많은 양의 트래픽이 필요합니다. 특히 결과를 신뢰하고 거짓 긍정 또는 부정(유형 1 및 유형 2 오류)을 볼 수 없도록 통계 서명을 원하고 더 작은 % 상승도를 측정하기 위한 통계 전력을 원하는 경우에 필요합니다.
• 테스트하는 변형 및 조합이 많을수록 트래픽 요구 사항이 빠르게 증가하므로 이를 염두에 두십시오. 많은 양력을 제공하지 않을 수 있는 추가 요소를 제거하는 것이 좋습니다. (즉, 바닥글 색상 등의 테스트에 대해 걱정하기 전에 헤드라인을 테스트합니다. 정말 원하면 언제든지 테스트할 수 있습니다.)
• 샘플 크기에 영향을 미치는 것은 트래픽만이 아닙니다. 현재 페이지의 전환율과 변수는 모두 통계적 유의성에 도달하는 데 필요한 샘플 크기의 양에 영향을 미칩니다. 더 나은 전환은 필요한 트래픽을 낮출 수 있고, 낮은 전환은 요구 사항을 증가시킵니다.
• 더 많은 변수를 테스트할 때의 오차 한계는 결과를 신뢰할 수 있기 전에 필요한 트래픽 양을 증가시킵니다.
• 사전에 모두 작동하는지 확인하려면 집중적인 QA 테스트를 실행해야 합니다.
• 또한 변형이 함께 의미가 있고 반대되거나 상충되는 조합이 없는지 확인하기 위해 QA를 실행해야 합니다. (오퍼와 일치하지 않는 CTA, 스키 여행을 광고하는 동안 해변 휴가에 대한 헤드라인, 글꼴과 배경 색상이 충돌하거나 혼합됩니다.)
• 트래픽 소스가 많지 않은 경우에도 MVT 테스트를 실행할 수 있습니다. stat sig에 도달하고 테스트를 종료할 때까지 시간이 훨씬 더 오래 걸릴 수 있습니다. (때로는 수개월 이상). 사실, 때때로 연속적인 A/B 테스트를 실행하는 것이 더 빠르고 더 효율적일 수 있습니다.
• 한 번에 여러 항목을 테스트하는 것만으로도 잠재고객 통찰력을 잃을 수 있습니다. (단일 요소나 각도를 테스트하면 청중을 더 잘 이해하는 데 도움이 될 수 있습니다.)

다변수 테스트 통계: MVT 이면의 수학

그러니 조금만 정신을 차리자...

다변수 테스트의 경우 표준 A/B 테스트 또는 분할 테스트와 다른 통계 분석 방법을 사용합니다.

나는 그것의 수학에 너무 많이 들어가고 싶지 않지만 여기에 단순화가 있습니다.

• A/B 테스트에서는 t-검정(또는 z-검정)을 사용하여 2개 이상의 결과 집합 간의 차이를 측정합니다.
• 다변량 테스트에서는 ANOVA 또는 '분산 분석'이라는 테스트 결과를 찾는 데 다른 방법이 사용됩니다. 모든 세부 사항을 알 필요는 없지만 핵심은 여기에 있습니다. 주요 차이점은 ANOVA가 변수 간의 연결과 영향도 측정한다는 것입니다. 이것은 요소의 조합이 서로 어떻게 영향을 미치는지 볼 수 있기 때문에 MVT의 주요 강점 중 하나입니다.

사용하는 도구에 따라 MVT 캠페인을 실행할 때 3가지 유형의 다변수 테스트 방법이 제공될 수 있습니다. 그들 각각은 테스트가 어떻게 작동하는지에 대한 수학에 영향을 미칩니다.

우리는 이것을 다음과 같이 부릅니다:

• 풀 팩토리얼,
• 분수 팩토리얼,
• 다구치.

그래서 그들은 무엇을 의미합니까?

완전 계승

거의 모든 MVT 도구는 기본 테스트 모델의 기반으로 전체 요인 테스트를 제공하며 항상 사용하고 싶은 도구입니다.

이 방법은 테스트에서 트래픽의 '전체' 분포를 나타냅니다.

간단히 말해서 모든 조합을 한 번에 테스트하고 테스트에 대한 트래픽을 각 변형 간에 균등하게 분할합니다.

A/B 테스트에서는 트래픽을 50:50으로 분할합니다. 그러나 MVT의 경우 10개의 변형이 있는 경우 트래픽의 10%만 각 변형으로 이동합니다.

변형의 수와 각 변형에서 통계적 유의성에 도달하는 데 필요한 트래픽 때문에 전체 계승에는 매우 큰 트래픽 소스가 필요하지만 가장 정확한 방법입니다.

그러나 일부 A/B 테스트 플랫폼은 대안으로 'Fraction Factorial' 테스트를 제공하기도 합니다.

분수 계승

이 방법 은 더 작은 변형 샘플을 테스트한 다음 현재 테스트 결과를 기반으로 최종 전환율을 추정 하여 더 큰 트래픽 요구 사항 중 일부를 우회하려고 시도합니다.

그것의 목표는 평소처럼 확장할 때 신뢰할 수 있는 결과를 예측하는 정확도에 있지 않습니다. 즉, 이것을 X 대상으로 확장하면 동일한 성능을 발휘할 것입니다.

대신, 더 깊이 테스트하거나 다른 방법을 사용하기 전에 통찰력을 얻을 수 있도록 조기 견인이 시작되는 위치를 확인할 수 있도록 설계되었습니다.

테스트하려는 변형이 10개 있다고 가정해 보겠습니다.

분수 계승은 실제로 그 중 5개를 테스트한 다음 지금까지의 결과를 기반으로 다른 5개 테스트에서 전환율을 추론하려고 시도합니다.

짐작할 수 있듯이 이것은 정확하지 않으며 오류 및 오탐지로 이어질 수 있으며 실제로 옵티마이저와 마케터 사이에서 논쟁의 원인이 됩니다. (거의 모든 사람들이 전체 계승을 주요 테스트 방법으로 권장합니다.)

다구치

마지막으로 다변수 테스트의 Taguchi 방법이 있습니다. 원래 제품 제조를 위한 R+D의 허용 가능한 손실 가정에 대해 품질 관리를 측정하는 방법으로 설계되었습니다.

대부분의 도구는 사용이 복잡하기 때문에 이를 제공하지 않습니다.

다변수 테스트를 언제 중단해야 합니까?

테스트를 중지하기 전에 실행할 때 고려해야 할 3가지 주요 사항이 있습니다.

• 테스트가 각 변형에 대해 충분히 큰 샘플 크기를 수집할 만큼 충분히 오래 실행되고 테스트가 관련성이 있을 만큼 충분한 전환을 수집해야 합니다.
• 테스트가 1 또는 2개의 전체 판매 주기를 실행하도록 하려면(30-60일 동안 트래픽과 쇼핑 기간의 균형을 맞추기 위해).
• 그리고 마지막으로, 결과가 통계적으로 유의미하기 위해서는 즉 우리가 이 테스트를 야생에서 수행하고 규모를 확장하면 동일한 방식으로 계속 수행될 것이라고 95% 확신할 수 있습니다.

이 시점 이전에 테스트를 중단하지 않는 것이 좋습니다. 그렇지 않으면 작업하기에 데이터가 충분하지 않습니다. 그러나 한 변형의 결제 양식이 작동하지 않는 등 성능 문제가 있는 경우 테스트를 중지했다가 다시 시작할 수 있지만 이상적으로는 테스트가 실행 중일 때 엿보지도 않으려고 합니다.

(일부 대행사는 확실한 승자가 있는 경우 조기에 중지하거나 전환율이 10% 미만으로 떨어지면 특정 변형을 중지한 다음 테스트가 계속 실행되도록 하고 더 많은 트래픽을 더 높은 성과를 내는 업체로 필터링할 것을 권장합니다. 분명히 이것은 영향을 미칠 수 있습니다. 테스트 결과 크게.)

다변수 테스트를 설정하고 수행하는 방법은 무엇입니까?

다변수 테스트를 설정하는 프로세스는 A/B 테스트와 매우 유사합니다.

1단계: 최종 목표 결정

먼저 페이지, 목표, 현재 결과 및 개선할 수 있는 방법에 대한 가설을 세워야 합니다.

우리의 가설 생성기를 사용하여 달성하고자 하는 것을 명확히 하고 몇 가지 구체적인 목표를 설정할 수 있습니다.

2단계: 테스트할 대상 파악

그런 다음 테스트할 요소와 현재 결과를 개선할 수 있다고 생각하는 변형을 결정합니다.

예를 들어 스크롤 없이 볼 수 있는 부분의 '핵심 요소'를 테스트하면 전환이 증가할 것이라고 생각할 수 있으므로 헤드라인, 주요 장면 및 CTA 버튼 텍스트를 테스트하고 싶습니다.

3단계: 테스트 기간 계산

테스트를 실행하거나 자산을 생성하기 전에 사전 테스트 샘플 크기 계산을 수행하여 이 테스트를 실행할 시간 프레임 및 트래픽 요구 사항을 예측할 것을 권장합니다. 이렇게 하면 반복 트래픽으로 실행 가능한 변형의 수에 대한 통찰력을 얻을 수 있고 여전히 빠른 결과를 얻을 수 있습니다. (또는 더 적은 수의 옵션을 테스트해야 하는 경우 알려주십시오).

위의 예에는 헤드라인, 영웅 장면, CTA 버튼 텍스트의 3가지 요소가 있습니다.

각각에 대해 단일 변형을 테스트하려는 경우 2x2x2=8 조합이 됩니다. 이것을 알면 얼마나 많은 트래픽이 필요한지 파악할 수 있습니다.

현재 주간 페이지 트래픽과 전환율을 계산기에 입력합니다(모든 전력 및 신뢰도 설정과 함께).

그런 다음 테스트할 페이지 수를 설정합니다. (이 예에서는 8)

그러면 최소 리프트를 감지하기 위해 얼마나 오래 달려야 하는지에 대한 시간 프레임이 제공됩니다.

4단계: 테스트 빌드

그런 다음 도구로 이동하여 다변수 테스트에 대해 다양한 버전과 조합을 설정합니다.

다변수 테스트 옵션을 선택하여 시작합니다.

이름을 지정한 다음 테스트하려는 페이지의 URL을 추가하십시오(도구가 WYSIWYG 편집을 위해 가져올 수 있도록).

이 예에서는 홈페이지 전환율을 개선하기 위해 노력할 것입니다.

도구에서 페이지가 로드되면 테스트 요소를 설정해야 합니다.

여기 변환에서는 다변수 테스트에서 편집할 부품에 대해 2개의 명명 변환을 사용합니다.

• 헤드라인 또는 CTA와 같이 테스트하려는 페이지의 요소를 참조하는 섹션,
• 특정 요소를 편집한 변형입니다.

한 번에 하나의 섹션을 선택하여 각 변형을 수정하고 추가하는 것이 좋습니다.

섹션에 'Headline'과 같은 이름을 지정한 다음 해당 섹션의 변형을 수정하고 추가합니다. (작업할 때 각 변형을 저장해야 합니다.)

그런 다음 테스트하려는 다음 '섹션' 또는 요소로 이동합니다. 이 예에서는 다른 배경 영웅 샷을 설정한 다음 CTA 버튼 텍스트 변형을 설정합니다.

5단계: 모든 것이 제대로 작동하는지 확인

각 변형을 설정한 후에는 각각의 새로운 치료법에 대해 QA 테스트를 실행하여 모두 작동하고 각 요소가 적절하게 맞는지 확인하십시오. (경쟁 CTA 또는 일치하지 않는 정보/이미지가 없거나 글꼴 색상 및 버튼을 이중으로 표시합니다.)

'저장하고 계속하기'를 클릭하면 새 페이지가 로드됩니다. 그런 다음 "보고서"탭을 클릭하십시오.

여기에서 페이지 변형과 그에 대한 정보를 볼 수 있습니다. 각 페이지 옆에 있는 '눈 모양 아이콘'을 클릭하여 미리보기를 확인하고 링크 작동을 테스트하십시오.

여기에서 QA 테스트를 실행하고 모바일 테스트에 동일한 URL을 사용할 수 있습니다.

6단계: 라이브 푸시

각 변형이 모두 작동하는 한 이제 테스트를 시작하고 데이터가 충분할 때까지 테스트를 실행할 수 있습니다.

(QA 테스트를 연 보고서 페이지에서 바로 테스트를 실시간으로 푸시하는 옵션이 있습니다.)

최적화 프로그램을 완성하기 위한 최고의 다변수 테스트 도구

이제 다변수 테스트의 작동 방식을 이해했으므로 시장에서 다변수 테스트를 제공하는 웹사이트 최적화 플랫폼을 분석해 보겠습니다. 무료 평가판 및 기타 몇 가지 세부 정보를 제공하는 경우 가격과 함께 기능을 다룰 것입니다.

그 전에 한 가지 빠른 작업이 있습니다.

당신이 사용하는 도구는 그것을 설정하는 사람에 의해서만 우수 하다는 것을 기억하십시오. 현금 흐름이 빠듯한 경우 먼저 내부적으로 도움을 줄 사람에게 투자하고(또는 외부 기관에 연락) 지금은 더 저렴한 도구를 사용합니다.

놀라운 MVT 테스트 도구를 가지고 있는 것은 아주 좋은 일이지만, 사람이 그것을 올바로, 충분히 빠르게 설정하거나 데이터를 이해할 수 없다면 무의미합니다!

#teamovertools

이제 2021년 전환율 최적화를 위한 최고의 A/B 및 다변수 테스트 도구를 살펴보겠습니다.

1. 경험 전환: 셀프 서비스 가격의 엔터프라이즈급 기능
2. AB Tasty: 중급 도구, 개인화, 데이터 추적
3. 최적화 도구 360: Google 최적화 도구의 유료 버전
4. Adobe Target: Adobe Analytics와의 원활한 통합
5. 카멜레온: 헬스케어 및 핀테크 기업 선호
6. Optimizely: 엔터프라이즈 중심의 숨겨진 가격 책정
7. SiteSpect: 빠른 로딩 엔터프라이즈 중심 도구
8. VWO: 미드레인지 도구, 고급 추적
9. Webtrends Optimize: 엔터프라이즈 실험 플랫폼

1. 경험 전환

G2 평점 : 4.7/5.0 (46 리뷰)

가격: 월 699달러부터 시작하며 그 이후에는 방문자 10만 명당 199달러입니다.

무료 플랜이나 평가판을 제공합니까? 예, 신용 카드가 필요하지 않은 14일 무료 평가판입니다.

방문자 100,000명당 비용: $199.

장점

• 완전한 개인 정보 보호: 개인 데이터가 저장되지 않습니다.
• 자사 쿠키 사용으로 인한 정확한 보고
• 빠르고 깜박임 없음
• 무제한 테스트 실행
• 세분화된 잠재고객 세그먼트를 대상으로 하는 40개 이상의 필터가 있는 조건 스택
• 프로젝트, 실험 및 변형 수준에서 유연한 JavaScript 삽입
• 사용자 정의 JS 조건 목표 트리거
• 100개 이상의 타사 도구(예: Shopify, WordPress, Mixpanel, Hotjar)와 통합
• 전화, 이메일 및 채팅을 통한 4배 빠른 인적 고객 지원.

단점

• 킥스타트 계획의 기본 포스트 세분화

다변수 테스트 기능 : 전체 계승. 또한 이러한 테스트를 실행할 때 직접적인 지원과 조언을 제공합니다.

클라이언트 측, 서버 측 또는 둘 다? Convert는 클라이언트 측 WYSIWYG 편집기로 작동하지만 서버 측에서 설정하고 사용자 정의 JS를 실행할 수도 있습니다.

엔터프라이즈에 서비스를 제공합니까? 예. 우리는 Sony, Jabra, Unicef ​​등과 같은 회사에서 선택하는 도구입니다.

고객 지원을 제공합니까? 예, 재판을 시작할 때부터입니다. 어떤 유형? 라이브 채팅, 블로그 및 지식 기반이 더 많이 제공됩니다.

그들은 개인 정보 보호 에 관심이 있습니까? 우리는 GDPR을 완전히 준수합니다. 우리는 GDPR을 충족하지 않는 다른 회사의 내부 작업 도구 사용을 중단했습니다. 이것이 우리에게 의미하는 것입니다.

그들은 세계에 관심이 있습니까? 예. 그것은 우리의 DNA에 있습니다. 우리는 나무를 심고, 지역 사회 프로그램을 운영하고, 초기 신청부터 다양성을 옹호하고, 자선 단체에 기부하는 등 많은 일을 합니다. 젠장, 우리는 15x 탄소 음성입니다.

TrustRadius 검토:

2. AB 테이스티

G2 등급: 4.5/5.0 (76 리뷰)

가격: Essentials 플랜에 대해 400,000명의 월간 테스트 방문자에 대해 $1900/월부터 시작합니다. 그로스 플랜은 $3800/월, 엘리트 플랜은 $5700/월부터 시작합니다.

무료 플랜이나 평가판을 제공합니까? 아니요. 새 기능을 보려면 데모 통화를 요청할 수 있습니다.

방문자 100,000명당 비용: 약 $475.

장점:

• 최적화에 내장된 AI 및 ML
• 무제한 실험 실행
• 깨끗하고 사용하기 쉬운 사용자 인터페이스
• 손쉬운 설정 및 테스트 미리보기
• 동적 위젯
• 다중 통합
• 광범위한 분석 보고서
• 개인화와 함께 사용 가능한 광범위한 타겟팅 옵션
• 신뢰할 수 있는 고객 지원
• 가격은 중급

단점:

• 잠재고객 성과에 대한 통찰력을 제공하는 마케팅 자동화가 없으며(특히 활성 실험의 경우) 때때로 고객 지원이 확인해야 합니다.
• 통계적 유의성 계산기는 UX에서 약간 기본적입니다.
• Google Analytics 통합은 복잡하고 코딩이 필요합니다.
• 무료 평가판 없음

다변수 테스트 기능: 완전 요인

클라이언트 측, 서버 측 또는 둘 다? 둘 다

빈도주의자인가 베이지안인가? 베이지안.

풀스택을 지원하나요? 예.

핵심 Web Vital이 준비되었습니까? 예. 이 도구는 빠르게 로드됩니다.

ML 또는 AI가 있습니까? 예.

엔터프라이즈에 서비스를 제공합니까? 예. 그들은 Disney, L'Oreal, Kalviyo 등과 같은 회사에서 선택하는 도구입니다.

고객 지원을 제공합니까? 예. 그들은 지식 기반과 라이브 채팅을 가지고 있습니다.

개인 정보 보호에 관심이 있습니까? 예. 사용자 IP 주소는 ID 코드를 생성하는 데 사용되며 도구로 이동하기 전에 즉시 삭제됩니다. 아이디 코드는 익명 처리 후 13개월이 지나면 삭제됩니다.

그들은 세계에 관심이 있습니까? 그들은 NGO에 직접 기부하고, 사회 활동 그룹과 협력하고, 벌집을 재활용하고 후원합니다.

TrustRadius 검토 :

이 다변수 테스트 도구가 작동하는 모습:

3. Google 최적화 및 최적화 360

G2 평점: 4.3/5.0 (27 리뷰)

가격 : 이 도구에는 2가지 버전이 있습니다. 최적화 도구는 무료이지만 고급 기능을 사용하려면 Google 최적화 도구 360을 선택해야 합니다.

최적화 도구 360의 가격은 맞춤형입니다(연간 약 150,000달러라는 소문이 있음). 월별 가격을 확인하려면 해당 영업팀에 문의할 양식을 작성해야 합니다.

그들은 무료 계획을 제공합니까? 예.

방문자 100,000명당 비용: 해당 없음

장점:

• 사용자 친화적 — 약간의 기술 지식 필요
• 처음 A/B 테스터에게 적합
• Google 애널리틱스와 빠른 통합
• Google의 방대한 데이터 리소스 덕분에 매우 상세한 잠재고객 세분화

단점:

• 프리 티어에서 한 번에 5개의 테스트로 제한됨
• 끌어서 놓기 편집기 기능 없음
• 이미지를 직접 업로드할 수 없습니다.
• 앱 테스트 불가, 브라우저만 가능
• 복잡한 테스트에는 적합하지 않음
• UI/UX 및 보고서는 시장에 나와 있는 대부분의 다른 도구만큼 시각적으로 매력적이지 않습니다.
• 깜박임이 가끔 발생합니다.

다변량 테스트 기능: 분명히 최적화 도구는 완전 요인 또는 분수가 아닌 하이브리드 접근 방식을 사용합니다. 그들의 지원 기반에 따르면

“저희 모델을 사용하면 하이브리드 접근 방식을 사용할 수 있으므로 이러한 절충안을 만들 필요가 없습니다. 우리는 테스트의 모든 조합을 제공하므로 상호 작용 및 최상의 조합에 대해 배울 수 있습니다. 그러나 우리는 또한 일부 변형이 조합에 걸쳐 표시된다는 사실을 모델링하므로 조합뿐만 아니라 요소 내의 변형에 대해 배울 수 있습니다."

클라이언트 측, 서버 측 또는 둘 다? 둘 다.

빈도주의자인가 베이지안인가? Google 최적화 도구는 NHST(Null Hypothesis Significance Testing)라고도 하는 빈도주의적 방법이 아닌 베이지안 방법을 사용합니다.

풀스택을 지원하나요? 예.

핵심 Web Vital이 준비되었습니까? 예. 이 도구는 빠르게 로드되지만 깜박임으로 인해 CLS 문제가 발생할 수 있습니다.

ML 또는 AI가 있습니까? 아니.

엔터프라이즈에 서비스를 제공합니까? 예, 하지만 최적화 도구 360을 통해서만 가능합니다.

고객 지원을 제공합니까? 팁, 비디오 자습서, 도움말 커뮤니티 등이 포함된 리소스 허브가 있습니다.

그들은 사생활에 관심이 있습니까? 제품이 사용되는 국가의 해당 데이터 보호법을 준수합니다.

또한 제3자 및 데이터 보호 기관과 협력하여 사용자의 데이터를 안전하게 보호합니다.

그들은 세계에 관심이 있습니까? Google은 2007년부터 탄소 중립을 유지해 왔으며 2030년까지 탄소를 제거할 계획입니다. 그 외에도 Google은 10억 달러를 약속하는 수많은 자선 활동으로 유명합니다.

TrustRadius 검토 :

이 MVT 테스트 도구가 작동하는 모습:

4. 어도비 타겟

G2 등급: 4.0/5.0 (29 리뷰)

가격 : 11개 파트 양식, 이메일 및 통화 후에만 사용할 수 있습니다. 시작 요금은 월 $10,000입니다.

무료 플랜이나 평가판을 제공합니까? 아니.

방문자 100,000명당 비용: 해당 없음

장점

• 인터페이스는 사용하기 쉽습니다
• 정확한 실시간 데이터 보고서 제공
• Adobe Analytics와 잘 통합되며 상향 판매 제안으로 설계되었습니다.
• 초보자와 전문가 모두를 위한 웹사이트 개인화 도구
• 설정 및 테스트 프로세스를 안내합니다.
• 캠페인 및 개인화를 지속적으로 테스트하고 개선하기 위한 고급 AI 보유

단점

• 대규모 최적화는 느릴 수 있음
• 가장 잘 작동하려면 매우 많은 양의 트래픽이 필요합니다.
• 양식 기반 편집기에는 학습 곡선이 필요합니다.
• 높은 가격대
• 평가판 옵션 없음
• 이미 Adobe Analytics를 사용하고 있을 때 가장 잘 작동합니다.
• 다른 유료 Adobe Marketing Cloud 도구와 연결하면 훌륭한 통찰력을 얻을 수 있습니다.

다변량 테스트 기능: 전체 요인 및 Taguchi(부분 요인의 방법으로).

클라이언트 측, 서버 측 또는 둘 다? 둘 다.

엔터프라이즈에 서비스를 제공합니까? 예. 거의 전적으로 비용 때문입니다.

고객 지원을 제공합니까? 예, 지식 기반 및 비디오 교육 프로그램의 형태로 제공됩니다.

개인 정보 보호에 관심이 있습니까? 예, 하지만 아이러니하게도 이에 대해 자세히 알아보려면 이메일과 전화번호가 필요합니다. 그러나 그들은 비침해 추적을 위해 자사 데이터에서 많은 작업을 수행하고 있습니다.

그들은 세계에 관심이 있습니까? 매우 그렇다. 그들은 다양성을 옹호하고, 100% 재생 에너지 건물을 만들기 위해 노력하고, 배출량을 줄이고, 지역사회 활동 프로그램을 운영하는 등 많은 일을 합니다.

TrustRadius 검토 :

이 다변수 테스트 도구가 작동하는 모습:

5. 카멜레온

G2 평점: 4.7/5.0 (24 리뷰)

가격 : 귀하의 요구 사항에 따라 사용자 정의. 영업 팀에 연락하면 고유한 가격을 얻을 수 있습니다.

그들은 무료 계획을 제공합니까? 예.

방문자 100,000명당 비용: 해당 없음

장점

• 간편한 클릭 추적 설정
• 다른 많은 도구와의 원활한 통합
• 비개발자를 위한 사용하기 쉬운 WYSIWYG 편집기가 있습니다.
• 고급 깜박임 방지 기술
• 지식이 풍부하고 도움이 되는 지원 팀
• 정확하고 상세한 테스트 계획 및 실행

단점

• WYSIWYG 편집기가 느리게 로드됨
• 보고 대시보드는 좀 더 개인화를 사용할 수 있습니다.
• 일부 복잡한 시나리오를 구현하려면 개발자 수준의 기술이 필요합니다.
• 테스트를 보관할 수 없습니다.
• IE7과 같은 구형 브라우저는 테스트에서 제외됩니다.

다변수 테스트 기능: 전체 요인 및 부분 요인(테스트 설정의 할당을 통해).

클라이언트 측, 서버 측 또는 둘 다? 둘 다. WYSIWYG 편집기에서 편집할 수 있을 뿐만 아니라 Kameleoon의 내장 코드 편집기를 사용하여 CSS 및 JS를 편집할 수 있습니다.

엔터프라이즈에 서비스를 제공합니까? 예. Lexus, Unity, Providence, Toyota 및 Rakuten은 Kameleoon을 사용합니다.

고객 지원을 제공합니까? 예. 복잡한 프로젝트를 지원하기 위해 전담 계정 관리자를 고용할 수도 있습니다.

개인 정보 보호에 관심이 있습니까? HIPAA, GDPR 및 CCPA를 준수합니다. 또한 각 A/B 테스트에 대한 개인 정보 보호 정책을 적용할 수 있는 유연한 동의 관리 기능이 있습니다.

그들은 세계에 관심이 있습니까? 나는 그들이 후원하는 자선 단체나 그들이 후원하는 환경적 원인에 대한 증거를 찾을 수 없었습니다. 그러나 독일과 프랑스 사무소에 두 개의 라이브 카멜레온이 있다는 사실은 흥미롭습니다.

TrustRadius 검토 :

이 MVT 테스트 도구가 작동하는 모습:

6. 최적화

G2 평점: 4.3/5.0 (109 리뷰)

가격 책정 : 사용자 지정 가격 책정 모델을 사용하고 있습니다. 그러나 Splitbase는 연간 최소 $36,000의 비용이 들 것으로 예상합니다.

그들은 무료 계획을 제공합니까? 아니요. 2018년에 무료 요금제를 중단했습니다.

방문자 100,000명당 비용 : N/A

장점:

• 무제한 실험 실행
• 깨끗하고 사용하기 쉬운 사용자 인터페이스
• 위젯 기능을 사용하는 재미
• 다양한 고급 타겟팅 옵션 사용 가능
• 신뢰할 수 있는 고객 지원

단점:

• 잠재고객 성과에 대한 자동 통찰력을 제공하지 않음(특히 활성 실험의 경우)
• Google Analytics 통합은 복잡하고 코딩이 필요합니다.
• Optimizely 스니펫은 일반적으로 페이지 로딩 시간을 늘립니다.

다변수 테스트 기능: 전체 요인, 부분 및 Taguchi.

클라이언트 측, 서버 측 또는 둘 다? 둘 다. Optimizely는 Javascript 스니펫을 통한 클라이언트 측 실험과 개발자 SDK를 통한 서버 측 실험을 제공합니다.

빈도주의자인가 베이지안인가? Optimizely의 Stats Engine은 다른 플랫폼에서 볼 수 있는 고정 수평 실험이 아닌 순차적 실험을 사용합니다.

풀스택을 지원하나요? 예.

핵심 Web Vital이 준비되었습니까? 예, 이 도구는 빠르게 로드됩니다.

ML 또는 AI가 있습니까? 예.

엔터프라이즈에 서비스를 제공합니까? 가격 책정으로 인해 대부분 엔터프라이즈 수준에 적합합니다. Microsoft, IBM, HP, eBay, Yamaha, Pizza Hut 및 Atlassian과 같은 브랜드에서 사용합니다.

고객 지원을 제공합니까? 예. 그들은 사용자가 24시간 연중무휴로 도움을 요청할 수 있는 전화번호와 문제를 해결하는 데 도움이 되는 리소스 은행을 보유하고 있습니다.

개인 정보 보호에 관심이 있습니까? 그들은 이전 및 새로운 개인 정보 보호법을 고려하고 이를 제품에 통합하므로 사용자인 귀하는 규정 준수에 대해 걱정할 필요가 없습니다.

그들은 세계에 관심이 있습니까? 대부분의 신입 사원은 둘째 날에 지역 사회에서 자원 봉사를 위해 파견됩니다.

TrustRadius 검토 :

이 다변수 테스트 도구가 작동하는 모습:

7. 사이트스펙트

G2 등급: 4.4/5.0 (50 리뷰)

가격 : 귀하의 필요에 따른 맞춤형 가격은 SiteSpect에 문의해야 합니다.

그들은 무료 계획을 제공합니까? 예, 무료 평가판을 제공합니다.

방문자 100,000명당 비용: 해당 없음

장점:

• 모든 마크업 언어(HTML, WML, XML, JSON), 스타일 시트, 스크립팅 언어 지원
• javascript 태그가 없으면 콘텐츠 새로 고침이나 깜박임이 없음을 의미합니다.
• 거의 모든 시나리오를 테스트할 수 있을 만큼 충분히 다용성
• 비간섭 테스트
• 분석 도구와 통합
• 코드의 프로덕션 버전을 수정할 필요가 없습니다.

단점:

• 테스트 구현에 필요한 기술 지식
• 사이트 속도를 약간 늦출 수 있는 추가 홉을 추가합니다.
• 보고 인터페이스가 더 좋을 수 있음

다변수 테스트 기능: 완전 요인 및 분수 요인(128개 이상의 조합을 테스트하는 경우 이 도구는 분수로 이동할 것을 권장합니다).

클라이언트 측, 서버 측 또는 둘 다? 둘 다.

빈도주의자인가 베이지안인가? SiteSpect는 대조와 변형을 비교할 때 양측 t-검정을 사용하여 신뢰 구간이 겹치지 않아 유의성을 나타내는 지점을 결정합니다. SiteSpect는 또한 z-점수를 계산하여 보고서에 사용합니다.

풀스택을 지원하나요? 예.

핵심 Web Vital이 준비되었습니까? 예. 이 도구는 엄청나게 빠릅니다.

ML 또는 AI가 있습니까? 예.

엔터프라이즈에 서비스를 제공합니까? 예. Staples, PetSmart, AmericanGirl 및 Urban Outfitters는 SiteSpect를 사용합니다.

고객 지원을 제공합니까? 고객 지원은 무료 및 유료 버전에 대해 전화 및 이메일을 통해 제공됩니다. 지식 기반에서 사용할 수 있는 사전 녹화된 웨비나도 있습니다.

개인 정보 보호에 관심이 있습니까? 그들이하다. PCI DSS 3.2 인증을 받았습니다. GDPR, CCPA 및 프라이버시 실드를 준수하고 HIPAA를 지원합니다.

그들은 세계에 관심이 있습니까? SiteSpect는 2014년부터 일부 자선 프로젝트를 후원하는 것으로 알려져 있습니다.

TrustRadius 검토 :

이 다변수 테스트 도구가 작동하는 모습:

8. VWO 테스트

G2 등급: 4.2/5.0 (239 리뷰)

가격 : $99/월부터 시작합니다. 더 많은 것은 필요에 따라 맞춤형 가격 책정이 필요합니다. 그리고 VWO 영업 팀에 문의해야 합니다.

그들은 무료 계획을 제공합니까? 예, 30일 무료 평가판으로 시작할 수 있습니다.

방문자 100,000명당 비용: ~$500

장점:

• 테스트를 다양한 시나리오에 적용할 수 있는 유연한 사용자 지정 옵션
• 코딩 지식이 거의 없어도 테스트를 쉽게 계획하고 실행할 수 있습니다.
• 모든 문제를 안내하는 전담 지원 팀
• 장기 목표를 추적할 수 있는 능력이 있습니다.
• 테스트를 함께 그룹화하는 기능
• 사용자 관찰 및 문제 해결에 유용한 녹음

단점:

• VWO의 전체 기능을 이해하기 위한 학습 곡선이 있습니다.
• 요금제는 자주 변경됩니다.
• 그들은 클라이언트 측 만 테스트합니다.

다변수 테스트 기능: 완전 요인(페이지 변형당 트래픽 비율을 설정할 수 있음).

클라이언트 측, 서버 측 또는 둘 다? 클라이언트 측만.

엔터프라이즈에 서비스를 제공합니까? 예. 그들의 기업 클라이언트에는 Ubisoft, AMD, Penn Foster, Optimeria 및 IMB Bank가 있습니다.

고객 지원을 제공합니까? 예, 도움이 필요할 때 전화할 수 있습니다. 또는 리소스 페이지를 참조하십시오.

개인 정보 보호에 관심이 있습니까? 예. 주요 개인정보 보호법 및 규정을 준수하지만 일부 방문자 데이터를 서버에 저장합니다.

그들은 세계에 관심이 있습니까? 최근 Wingify(VWO의 브랜드) Paras Chopra 회장은 델리에 10개 침대를 갖춘 COVID-care 시설을 설치하는 것을 포함하여 몇 가지 COVID 구호 계획에 대한 지원을 트위터에 올렸습니다.

TrustRadius 검토 :

이 MVT 테스트 도구가 작동하는 모습:

9: Webtrends 최적화

G2 평점: 4.9/5.0 (107 리뷰)

가격 : 한 달에 $212부터 시작하지만 필요한 사항에 따라 더 낮거나 높을 수 있습니다. 그들은 매우 유연한 가격 책정 구조를 가지고 있지만 가격을 확인하려면 영업 팀과 이야기해야 합니다.

그들은 무료 계획을 제공합니까? 예, 한 달에 1,500개 미만의 세션에 해당합니다.

방문자 100,000명당 비용: 해당 없음

장점:

• WYSIWYG 편집기를 사용하여 비기술적 사용자에게 적합한 사용자 친화적
• 팀 협업 지원
• 데이터 기반 통찰력 제공
• 지원 팀은 귀하의 성공에 진정한 관심을 보여줍니다.
• 웹사이트 및 기존 도구와의 원활한 통합
• 명확하고 직관적인 보고서

단점:

• 신규 사용자는 UI를 사용하기 어려울 수 있습니다.
• 간단한 테스트도 설정하는 데 시간이 걸립니다.
• 전체 서비스 비용은 높은 편입니다.

다변수 테스트 기능: 완전 요인 및 부분 요인.

클라이언트 측, 서버 측 또는 둘 다? 둘 다. 클라이언트 측 렌더링 및 서버 측 테스트 기능을 위한 프록시 없는 시각적 편집기도 있습니다.

엔터프라이즈에 서비스를 제공합니까? Microsoft, London North Eastern Railway, Marks and Spencer, Virgin Wines는 최적화 도구를 사용합니다.

고객 지원을 제공합니까? 예. 기술 지원, 교육 및 전담 전환 최적화 컨설턴트를 이용할 수 있습니다.

개인 정보 보호에 관심이 있습니까? GDPR을 완전히 준수합니다.

그들은 세계에 관심이 있습니까? 2021년 4월 Webtrends Optimize는 영국 암 연구를 위한 기금 마련을 위해 GoFundMe 이벤트에서 하루 100개의 팔굽혀펴기 도전에 도전했습니다. 그리고 그들은 2020년에 크리스마스 자선 기부라는 비슷한 일을 했습니다. 그래서 그들은 걱정합니다.

신뢰 반경 검토 :

이 도구에 대한 Trust Radius에 대한 리뷰가 있지만 최신 리뷰는 2019년 12월이었고 그 이전에는 2018년이었습니다. 도구가 변경될 수 있고 서비스도 변경될 수 있기 때문에 G2에서 최신 리뷰를 가져왔습니다.

이 다변수 테스트 도구가 작동하는 모습:

결론

그래서 당신은 그것을 가지고 있습니다.

2021년에 다변수 테스트를 제공하는 최고의 A/B 테스트 도구 목록입니다. 또한 테스트에 사용하는 방법, 기능, 가격 및 리뷰도 보여줍니다.

이제 이러한 다양한 매개변수에서 최고의 다변수 도구를 비교하고 테스트 요구 사항에 가장 적합한 도구를 선택할 수 있습니다.