2023년 A/B 테스팅 도구를 선택하는 방법

시장에 50개 이상의 A/B 테스트 도구가 있다는 것을 알고 계셨습니까?

예, 많은.

사용 가능한 옵션이 너무 많기 때문에 2023년에 어떤 옵션이 귀하의 요구 사항에 맞는지 어떻게 알 수 있습니까?

테스트 요구 사항을 충족하려면 은행을 헐뜯거나 카테고리 리더와 함께 갈 필요가 없습니다. 정기적으로 어떤 종류의 최적화 문제에 직면하는지 고려하십시오. 귀하에게 가장 적합한 A/B 테스트 소프트웨어는 귀하의 요구 사항과 예산에 맞아야 합니다.

시장에 나와 있는 모든 도구 중에서 '하나'를 어떻게 좁힐 수 있습니까?

이 블로그 게시물에서는 결정을 내릴 때 고려해야 할 요소를 간략하게 설명하고 2023년 최고의 A/B 테스트 도구에 대한 최고의 선택을 공유합니다.

도와드리겠습니다!

하지만 먼저…

요약: 최적화 퍼즐 이해하기

이 실험 성숙도 보고서는 실험 성숙도의 4가지 기둥을 식별했습니다. 이는 다양한 산업 분야의 조직이 프로그램을 확장하면서 실험에 성공하는 데 도움이 되는 실험의 핵심 측면입니다.

여기서 배울 내용은 흥미롭습니다. 그 기둥들은

1. 프로세스 및 책임: 여기에는 관념화 및 우선 순위 지정, 실험 설계, 성공 측정 방법 등을 위한 프로세스가 포함됩니다.
2. 문화: 실험에 대한 조직의 일반적인 태도는 무엇입니까? C-suite 지원은 얼마나 됩니까?
3. 전문성: 시간, 자원 및 기술 세트. 그리고 마지막으로…
4. 도구 및 기술: 실험을 지원하는 기술 스택.

이 연구는 몇 년 전에 수행되었지만 기본 사항은 변경되지 않았습니다. 도구는 최적화 퍼즐의 아주 작은 부분에 불과합니다.

혼자서 테스트 프로그램을 0에서 100으로 또는 괜찮거나 또는 환상적으로 만들 수 있는 최고의 A/B 테스트 도구를 찾기 위해 이 글을 읽고 있다면 이것을 현실 확인이라고 생각하십시오.

그렇다면 무엇에 중점을 두어야 할까요?

틀림없이, 사람과 프로세스가 실험 성공에 있어 결정적인 역할을 합니다. CRO 게임의 최상위에 있는 브랜드와 에이전시는 교육을 매우 진지하게 받아들입니다. 그리고 당신도 그래야 합니다:

A/B 테스트의 모범 사례 이상으로 팀에 투자해야 합니다. 최적화 게임을 다음 단계로 끌어올리고자 하는 조직을 위해 전문가가 규정한 우선 순위인 경우가 많습니다.

이 교육은 기본 A/B 테스트 자습서를 넘어 연구, 데이터 수집 및 분석, 비판적 사고, 실험 설계, 통계, QA, 이해 관계자 커뮤니케이션 등을 포함합니다.

나중에 다시 되살릴 것이기 때문에 이 아이디어에 핀을 고정합시다.

이 교육 믹스의 한 스트림은 A/B 테스트 공급업체에서 제공해야 합니다. 이는 팀에 적합한 도구를 찾을 때 염두에 두어야 할 사항입니다.

올바른 도구는 이러한 맥락에서 높은 테스트 속도(이는 Ronny Kohavi 및 Lukas Vermeer를 포함하여 실험 분야의 많은 최고 전문가들이 권장하는 프로그램 목표)에 대해 가장 효율적인 방법과 프레임워크가 무엇인지 이해하는 데 해당하는 교육을 제공합니다. 특정 테스트 플랫폼.

사람과 프로세스가 A/B 테스팅 소프트웨어 선택보다 더 큰 영향력으로 프로그램을 만들거나 깨뜨리기 때문에 업계에서 인기를 얻고 있는 아이디어는 최적화 예산의 20%만 도구 및 교육, 모집 및 운영에 휴식을 취하십시오.

예를 들어, WeTeachCRO 에이전시는 도구 지출이 20%보다 훨씬 낮을 수 있고 그래야 한다고 생각합니다.

기존의 통념에 따르면 도구는 총 CRO 예산의 20% 이상을 도구에 지출하지 말고 80%는 사람을 위해 남겨두라는 것입니다. 결국 사람은 프로그램에 진정한 차이를 만드는 사람인 반면 도구는 단지 조력자일 뿐입니다. 그러나 그 "지혜"를 제쳐두고 우리의 경험에 따르면 대부분의 고객은 20% 미만을 지출할 수 있습니다.

대부분의 고객의 경우 도구 비용은 월 500파운드 미만이며 인력 비용은 10-15배이므로 5-10% 범위에 더 많이 포함됩니다. Google 최적화 도구와 같은 무료 도구로 시작하면 테스트 복잡성이 기능을 초과하면 한 달에 수백 파운드의 비용으로 졸업할 수 있습니다.

숙련된 모든 CROer가 한 번은 물어봐야 하는 52가지 질문에서 발췌 - WeTeachCRO

이제 올바른 사고 방식을 갖추었으므로 A/B 테스트 도구를 구입할 때 다음으로 중요한 고려 사항으로 넘어가 보겠습니다. 특히 A/B 테스트 도구를 처음 구매하는 경우에는 더욱 그렇습니다.

그렇지 않은 경우 새 도구가 필요한 이유 설명으로 건너뛸 수 있습니다.

테스트할 트래픽이 충분합니까?

트래픽이 적은 웹사이트에서는 A/B 테스트가 작동하지 않습니다. 테스트를 시작하기 전에 웹사이트에 A/B 테스트의 각 변형으로 보낼 수 있는 충분한 트래픽이 있어야 합니다. 트래픽이 충분하지 않으면 실험이 통계적 의미에 도달하지 못하고 오랫동안 실행될 수 있습니다.

일반적인 A/B 테스트에서는 수천 명의 방문자를 각 변형으로 유도해야 합니다. Convert에서는 각 변형에 대해 최소 5,000명의 방문자와 약 1,000개의 전환을 보내어 어느 변형이 확실한 승자인지에 대한 결정적인 결과를 얻을 것을 권장합니다.

Convert의 A/B 테스트 계산기로 이동하여 A/B 테스트를 실행하는 데 필요한 트래픽, 전환 및 수익당 평균 주문량을 알아보세요. A/B 테스트에 필요한 트래픽이 부족한 경우 트래픽이 적은 테스트에 대한 가이드로 이동하십시오.

A/B 테스트를 성공적으로 실행하는 데 필요한 트래픽을 분류한 후에는 새 A/B 테스트 도구를 사용하라는 메시지를 표시합니다.

문제부터 시작

새로운 A/B 테스트 도구가 필요한 이유를 정확히 파악하십시오. 말할 필요도 없지만 이를 수행하기 위해 구조화된 접근 방식을 취하는 것이 중요합니다. 방법은 다음과 같습니다.

기존 A/B 테스트 도구를 구입한 이유를 매핑하십시오.

스택에 이미 테스트 도구가 있는 경우, 그 도구를 사용하게 된 계기는 무엇입니까?

이 점에 유의하십시오. 그것은 당신의 지점 A이며 다음으로 이상적인 도구인 지점 B에 도달하는 데 도움이 될 것입니다. 그러나 우리는 도중에 몇 정거장을 만들 것입니다.

플랫폼의 기능과 같은 객관적인 항목을 포함합니다. 어떤 것이 당신과 당신의 팀을 끌었나요? 어떤 것이 귀하를 사용자로 유지 했습니까? 이 공급업체에서 특히 마음에 들었던 점은 무엇입니까?

더 깊이 파고드는 것을 부끄러워하지 마십시오. 당연히 의사 결정 과정에는 감정적 측면이 강하지만, 앞으로의 견고한 최적화 프로그램을 위해서는 현재 도구를 자세히 살펴봐야 합니다.

당신이 시작했을 때 당신의 프로그램은 어디에 있었습니까?

A/B 테스팅을 시작하면서 발을 적셔보고 싶었습니까? 성장 마케팅 팟캐스트에서 웹사이트 최적화에 대해 들었고 이 도구를 추천받았습니까? 아니면 무료 도구를 사용 중이었고 한계를 넘어 테스트를 강화하고 싶었습니까?

도구 획득과 함께 이동하기를 희망한 가드레일 측정항목은 무엇입니까?

가드레일 지표는 목표 및 목표에 부합하도록 유지하기 위한 것입니다. 일이 계획대로 진행되지 않을 때 경고합니다.

그래서, 당신은 당신이 바꿀 수 있는 무언가가 있다고 믿었기 때문에 확실히 도구를 얻었습니다. 뭐였지? 수익? 이탈률 및 주문률과 같은 UX 메트릭?

결국 목표를 달성했습니까?

그렇지 않다면 그 이유는 무엇입니까? 당신의 테스트 프로그램이 피벗을 했습니까? 아니면 도구인 GASP가 나쁜 구매였습니까?

정직하게 대답하면 문제에 대한 명확한 지도를 얻을 수 있습니다. 그것이 당신의 포인트 A입니다.

전혀 문제를 찾지 못하셨나요? 아니면 이 질문의 일부 또는 전부에 대한 답이 없습니까? 실제 구매자와 중공구 사용자는 누구입니까? 그들과 비공식 채팅을 하면 필요한 답변을 얻을 수 있습니다.

예산이 있고 누군가 멋진 새 기능을 원한다고 해서 도구를 변경하고 싶지 않기 때문입니다.

기능은 문제를 거의 해결하지 못합니다. 그들은 기껏해야 솔루션 실행을 도울 수 있습니다. 그리고 이러한 변화는 다음과 같이 이해해야 합니다.

• 채택 면에서
• 공급업체 지원 — 기존 공급업체와 좋은 관계를 유지하고 있다면 의미가 있습니다. 여행의 동반자가 되는 것입니다.
• 시간에 따른 롤아웃 및 증가 — 새 도구에 적응하지 못한 날은 테스트를 전혀 또는 최대로 수행하지 않는 날입니다.

결론: 이동이 식별한 문제를 구성하는 모든 요소를 ​​해결하고 구멍을 막고 인력과 프로세스에 추가 가치를 가져올 것임을 알고 있는 경우에만 이동을 결정하십시오.

기술은 이러한 종소리와 호루라기가 트렌드가 아닌 진정한 기회를 가능하게 하는 경우 필요하다고 생각하는 모든 종과 호루라기를 따라 잡을 것입니다. 한 가지 기능을 위해 보트를 흔들지 마십시오.

적합한 사람들에게 물어보세요

실험이나 플랫폼 변경을 통해 해결할 수 있는 실제 문제 가 있으며 노력할 가치가 없는 경솔한 문제나 키메라(도구 문제로 나타나는 운영 및 절차상의 혼돈의 유령)가 아님을 확인했다면, 그런 다음 고려 사항 세트를 구축하세요.

고려 사항 집합을 구축하려면 모든 기반을 포괄하는 건전한 결정을 내리기 위해 올바른 데이터로 무장해야 합니다. 모든 것과 마찬가지로 올바른 데이터는 의견이 아니라 문제입니다.

또한 대부분의 사람들이 범하는 흔한 실수를 피하고 싶을 것입니다. 즉, 카테고리 리더를 선택하는 것입니다. 카테고리 리더가 모든 면에서 최고인 경우는 드뭅니다. 마지막으로 평가한 것과 동일한 도구를 기본값으로 사용해서는 안 됩니다.

실험이 복잡하기 때문입니다. 특정 프로그램 목표와 실험 워크플로를 지원하는 플랫폼이 필요 합니다 . 실험 성숙도의 모든 기둥이 함께 작동해야 하기 때문에 문화에 완벽하게 들어맞습니다.

선택에 열려 있습니다. Peep Laja가 말했듯이 즉시 상황을 개선합니다.

자, 어디서부터 시작할까요?

B2B 구매자가 도구 구매에 대해 말하는 것 — 여기에서 시작합니다

LinkedIn에서 설문조사를 진행했습니다. 우리는 B2B 소프트웨어 구매자에게 "연간 5,000달러가 넘는 소프트웨어를 구입할 때 가장 먼저 하는 일은 무엇입니까?"라고 물었습니다.

그들은 다음과 같이 대답했습니다.

• 57%는 구글 검색을 한다
• 21%는 알려진 브랜드 조사
• 14%는 G2 또는 TrustRadius에서 시작하고
• 7%는 추천 요청

추가 의견에는 4가지를 모두 조합할 사람들이 포함되었습니다. 중요한 샘플은 아니지만 상당히 대표성이 있으며 구매자가 도구 검색을 시작하기 위해 선호하는 방법을 엿볼 수 있습니다.

그렇다면 SEO가 가장 강력한 도구가 승리할까요? 정확히. 우리는 이 데이터를 엄청난 양의 소금과 함께 사용하고 있습니다. 우리가 무언가에 대한 단서가 없을 때 Google에 먼저 눈을 돌리는 경향이 있음을 보여줍니다.

이것이 검색을 위한 발판(고려할 A/B 테스트 도구 목록 제공)이지만 더 많은 정보에 입각한 전략이 필요합니다. 이 설문 조사의 맨 아래에서 나온 것: 적합한 사람들에게 물어보십시오.

우리가 추천하는 것

A/B 테스트 도구를 광범위하게 사용한 사람들과 팀에 문의하고 틈새 시장의 경쟁업체나 다른 플레이어가 사용하는 것도 확인하세요.

정기적으로 테스트하는 네트워크의 사람들에게 물어보십시오.

시작

• LinkedIn: 전환율 최적화 전문가 그룹을 살펴보십시오. 일부는 SaaS, 마케팅 전문가 및 Shopify에 더 구체적입니다. 또는 적절한 해시태그(예: #CRO, #abtesting #experimentation, #optimization)를 사용하여 게시물을 만들고, 자주 알고 있는 A/B 테스터를 태그하고 공개적으로 추천을 요청하세요.
• Slack 커뮤니티: CRO Growth Hacks, Marketers Chat, Growmance 및 Measure와 같은 마케터를 위한 Slack 커뮤니티에 대한 추천을 요청합니다.

당신은 피하고 싶을 것입니다

• 대행사 연락처: 적어도 이 단계에서는 대부분의‌가 금전적 리베이트 및 보상을 포함하거나 포함하지 않을 수 있는 도구 또는 즐겨찾기와 연계되어 있기 때문입니다. 이것은 좋지도 나쁘지도 않습니다. 지금의 공간이 딱 그렇다.
• Google 결과: 특정 A/B 테스트 플랫폼에 대한 Google 검색 결과를 피하거나 결정을 내리십시오. 당신은 최고의 SEO를 가진 도구가 아니라 당신에게 맞는 도구를 원합니다.

당신은 또한 수…

BuiltWith를 사용하여 공간의 다른 브랜드 살펴보기

이것은 틈새 산업에 종사하는 경우 잘 작동합니다. 자주 권장되는 플랫폼에는 기술 스택과의 통합이 없을 수 있습니다. 또는 귀하에게 중요한 측면과 측정항목을 개선하기 위한 실험을 지원하지 않을 수 있습니다.

예를 들어 Shopify 공간에는 많은 전환율 최적화가 있지만 대부분의 브랜드는 수익 추적 문제가 A/B 테스트 도구 설정의 일부라는 사실을 인정합니다.

실험 프로그램에 중요한 문제로 어려움을 겪고 싶습니까?

그렇기 때문에 고려 중인 A/B 테스트 도구에는 테스트 요구 사항을 수용할 수 있는 특정 조항이 있어야 합니다. Convert가 수익 추적 문제를 없애기 위해 맞춤형 Shopify 앱을 제공하는 것과 같습니다.

이것은 당신이 필요로 하는 정확한 도구를 산출하지 못할 수도 있지만, 당신의 고려 사항을 알려줄 것입니다.

귀하의 공간에서 사용 중인 브랜드를 찾으려면 BuiltWith에서 검색을 실행할 웹사이트 주소만 있으면 됩니다.

또는 고려 중인 도구를 검색하여 해당 공간에서 누가 사용하고 있는지 확인할 수 있습니다. 무료 계정을 사용할 때 제한이 있습니다.

팀을 탭하세요

조직에서 정기적으로 테스트를 실행하는 팀이 있는 경우 고려 사항을 알리는 데 가장 적합한 팀 중 하나입니다. 그들은 이미 수영장에서 수영 중이므로 온도를 알 수 있습니다.

그들의 의견을 얻으십시오. 특정 도구를 사용하려는 이유를 물어보십시오. 타협할 수 없는 기능과 있으면 좋은 기능은 무엇입니까?

과거의 어떤 경험이 멋진 기능 릴리스를 능가합니까? 최고의 신뢰 투표는 특정 플랫폼으로 과거에 성공한 테스터로부터 나온 것입니다.

이 정보를 수집하고 구성하십시오. 권장 사항을 찾으면 문제에 대해 빠르게 확인하여 제안 사항이 타당한지 확인하십시오.

고려 사항 세트 구축

이 단계에서 진지하게 관심을 갖고 있는 3~5개의 도구를 알게 되었습니다. 이것이 확실한 출발점입니다. 그러나 지금은 무형의 요소, 추천 및 브랜드 인지도를 기반으로 결정을 내릴 수 있습니다.

고려 사항 세트를 구축할 때 이러한 3-5 A/B 테스트 도구의 매트릭스를 만들고 문제의 구성 요소에 대해 유지합니다. 즉, 올바른 A/B 테스트 도구로 해결하려는 주요 문제를 해결하는 데 얼마나 도움이 되는지입니다.

예를 들어 보겠습니다.

문제 : 실험 배포 지연.

둘 이상의 필수 문제를 정확히 지적한 경우 해당 문제에 대한 다른 고려 사항도 설정해야 합니다. 그러나 동일한 도구로 문제의 구성 요소만 다릅니다.

여러 문제에 대한 문제는 평가하기가 복잡해질 뿐만 아니라 놀라운 대안이 맨 위에 나타날 수 있다는 것입니다. 그것이 당신이 객관적인 결정을 내리고 있다는 것을 아는 방법입니다. 꽤 깔끔하죠?

참고: 모든 문제의 우선 순위 수준이 다르기 때문에 그에 따라 가중치를 부여했는지 확인하십시오.

그렇다면 위의 예와 같이 고려 사항 집합에 무엇을 채워야 하는지 어떻게 알 수 있습니까?

공백 채우기

• 리뷰
  
  G2, Capterra 및 TrustRadius와 같은 인기 있는 소프트웨어 검토 사이트에서 시작하십시오. 기억하십시오: 스폰서 프로필이 더 많이 표시될 수 있습니다. 그러나 이것은 도구가 문제를 해결하는 데 얼마나 좋은지와는 관련이 없습니다.

• 단점
  
  별점 2-4개 리뷰를 목표로 하세요. 단점은 일반적으로 잘 생각됩니다. 목표에 치명적일 수 있는 문제를 살펴보십시오. 피하려고 하는 것이 보이십니까? 고려 세트에 "X"를 표시하십시오.

그러나 약간의 소금으로 비판적인 리뷰를 작성하십시오. 다른 사람을 위해 옆으로 갔던 것이 당신에게도 옆으로 가는 것이 확실하지 않습니다. 하지만 3~4개의 리뷰에서 공통 분모를 발견했다면 주의를 기울일 만한 패턴이 있다는 것입니다.

• 비교표
  
  일부 작업은 이미 완료되었습니다. 공급업체와 HubSpot 및 CXL과 같은 편견 없는 타사 소스의 비교 표를 살펴보세요.

Convert Experiences, Google Optimize, Optimizely, VWO, AB Tasty, Qubit 등을 비교하고 대조하는 데 도움이 되는 도구가 있습니다.

CRO 전문가가 A/B 테스트 도구를 구매하는 방법에 대해 이야기하고 싶습니까?

다음은 Ruben De Boer가 A/B 테스트 도구 선택에 대해 말한 내용입니다.

물론 먼저 A/B 테스트를 위한 충분한 트래픽이 있는지, 회사의 적어도 일부가 테스트를 지원하는지, 개발팀이 성공적인 실험을 구현하기에 충분한 리소스를 가지고 있는지 확인해야 합니다.

다음으로 현재 및 미래의 요구 사항을 고려하십시오. 목표, 요구 사항, 관련된 사람과 같은 현재 상황을 평가하는 것으로 시작하십시오. 예를 들어 IT가 완전히 관여하는 경우 서버 측 솔루션을 선택할 수 있습니다. 마케터만 참여하는 경우 클라이언트 측이 가장 가능성이 높습니다.

그런 다음 현재 상황만 보지 말고 몇 년 후 자신이 어떤 모습이 되고 싶은지 생각해 보세요. 그러면 어떤 필요가 있습니까? 실험 횟수를 늘릴 것인가? 더 많은 팀원이 도구를 사용하고 있습니까? 다양한 실험을 실행하시겠습니까? 다양한 공급업체의 영업 담당자와 함께 성장 가능성에 대해 논의하십시오.

마지막으로 현재와 미래의 요구 사항에 가장 잘 맞는 2~3가지 도구를 사용하여 무료 평가판을 수행하십시오. 무료 평가판 기간 동안 도구의 사용자 친화성, (타겟팅) 옵션 및 비즈니스에 적용 가능한 기타 사항(즉, 단일 페이지 애플리케이션에서 작동하는지)을 확인하십시오.

또한 고객 지원이 필요할 수 있으므로 개인적인 연결이 중요합니다. 예를 들어 온보딩에 대한 도움이 있습니까? 그렇다면 얼마나 행복합니까? 또한 고객 지원에 문의하십시오. 사용 가능한 채널(채팅, 메일, 전화)을 확인하는 것 외에도 그들이 얼마나 빨리 응답하는지(같은 시간대에 있습니까?) 그리고 얼마나 도움이 되는지 확인하십시오. 마지막으로, 도구가 사이트 성능에 미치는 영향을 IT 부서에 확인하십시오 .

Ruben De Boer, Online Dialogue 수석 전환 관리자

그리고 이것은 Max Whiteside의 생각입니다. Max는 Breaking Muscle의 콘텐츠 리드입니다.

테스트 범위를 정의하면 A/B 테스트 도구의 테스트 기능을 제한할 수 있습니다. A/B 테스트만 수행할 의향이 있습니까, 아니면 다중 페이지 및 다변수 테스트도 처리할 수 있는 도구가 필요하십니까?

각 도구는 고유한 방식으로 작동하며 고유한 테스트 유형을 제공합니다. 따라서 필요한 모든 기능을 갖춘 제품을 찾으면 테스트 용량이 커짐에 따라 도구를 전환할 필요가 없습니다.

둘째, 예산 A/B 테스트는 반복적인 프로세스이므로 테스트 환경을 구현할 때 예산을 중요한 고려 사항으로 만듭니다. 원하는 결과를 얻기 전에 테스트를 여러 번 반복해야 할 수도 있습니다. 그러면 다음 반복으로 진행할 수 있습니다. 시간과 자원이 모두 필요하며 예산에 따라 상한선이 결정됩니다. 주머니에 큰 흠집을 내지 않을 도구를 찾으십시오.

일부 테스트 도구는 테스트를 실행하는 동안 웹사이트 속도에 부정적인 영향을 미칠 수 있습니다. 로딩 속도가 느린 페이지는 이탈률을 높이고 사용자를 짜증나게 하여 전환율을 낮출 수 있습니다. 이러한 시나리오에서는 대조군이나 변형이 최적으로 수행되지 않아 최소 표본 크기가 충족되더라도 A/B 테스트 결과를 신뢰할 수 없게 만듭니다.

또한 깜박임 효과가 최소화됩니다. 깜박임 효과는 사용자가 변형으로 리디렉션되기 전에 원본 웹 페이지를 잠시 볼 때 발생합니다. 깜박임은 사용자 경험을 방해하고 테스트 결과를 왜곡할 수 있습니다. A/B 테스트의 신뢰성을 유지하려면 깜박임 효과를 생성하지 않는 도구를 선택하는 것이 가장 좋습니다. 따라서 A/B 테스트 도구가 웹사이트의 속도를 늦추는지 여부를 결정하는 것이 중요합니다.

Max Whiteside, Breaking Muscle 콘텐츠 책임자

도구와 접촉

지금까지 당신은 당신이 고려하고 있는 도구에 대해 비밀스런 팬이었습니다. 이제 수줍음을 극복하고 연락할 때입니다.

그리고 시작하기에 가장 좋은 곳은 무료 평가판이나 데모입니다.

무료 평가판 시작 및 데모 예약

도구가 작동하는 것을 볼 필요가 있습니다.

다양한 A/B 테스트 애플리케이션에서 어떻게 작동합니까? 예를 들어 Shopify(또는 기타 전자 상거래) 스토어의 CRO는 팝업 제안에 대한 CTA 사본 테스트부터 제품 이미지 배치에 이르기까지 이 스토어의 성능을 알고 싶을 것입니다.

데모는 도구가 문제를 해결하는 방법을 보여주고 무료 평가판은 플랫폼이 상품(예: 기능, 가격, 서비스, 로드맵)에 대한 주장을 뒷받침하는지 보여줍니다.

참고: 대부분의 엔터프라이즈 수준 A/B 테스트 도구는 사전 검증을 받기 전에 데모를 제공하지 않습니다. 그리고 그들은 무료 평가판을 제공하지 않습니다. 이것은 평가 과정에서 맹점이 될 수 있습니다.

문화 측정

"내가 구입하는 도구에서 문화가 중요한 이유는 무엇입니까?"라고 물을 수 있습니다.

A/B 테스트 도구를 사용할 때 공급업체는 실험 문화의 일부가 됩니다. 그 관계는 비즈니스 관행과 가치가 비슷할 때 가장 잘 작동합니다.

걱정하지 마세요. 고려할 도구가 1개 또는 2개 밖에 없는 곳으로 검색 범위가 좁혀지지는 않습니다. 좋은 문화는 실제로 드물지 않습니다. 너무 불편하고 너무 빨리 도구를 교체할 수 있는 마찰을 피하고 싶을 뿐입니다.

그렇다면 A/B 테스트 도구의 문화는 어떻게 측정할 수 있을까요? Glassdoor 리뷰를 볼 수 있습니다. 그곳에서 일하거나 일한 적이 있는 사람들은 문화에 대해 상당히 투명한(익명이지만) 통찰력을 줄 수 있습니다.

A/B 테스트 도구의 공급업체를 평가하는 또 다른 방법은 업계와의 상호 작용입니다. 그들은 진정으로 공간을 교육합니까?

블로그와 소셜 미디어 페이지에서 어떤 유형의 콘텐츠를 찾을 수 있습니까? 업계의 다른 플레이어는 어떻게 그들과 상호 작용합니까?

지피를 통해

그들은 당신의 프로세스 개선을 돕기 위해 도구 이상의 것을 찾고 있습니까? 단순히 "우리 도구는 훌륭합니다"라는 콘텐츠를 게시하는 것 이상입니다. 청중의 성공에 투자한 브랜드를 명확하게 찾을 수 있습니다. 그런 밝은 빛을 숨기는 것은 어렵습니다.

누락된 정보 요청

예, A/B 테스트 도구 공급업체에 정보 요청 문서로 부족한 부분을 채워달라고 요청할 수 있습니다.

RFI 문서는 유사하므로 이와 같은 템플릿이 작동합니다. 조직에 대한 소개 정보와 달성하고자 하는 목표 외에 고유한 것은 질문하는 것입니다. 당신은 알고 싶어합니다

• 판매자의 실적
• 귀사와 유사한 고객의 성공 사례
• 가격
• 참조 등

그러나 또한 중요한 것은 RFI에 응답할 책임이 있는 사람의 이름과 연락처 정보를 얻는 것입니다.

사전 구매 준비

A/B 테스트 도구를 성공적으로 구매하기 위한 노력의 일부는 구매 전 준비에 있습니다. 도구가 없거나 현재 도구가 없는 상태에서 기술 스택의 최신 소프트웨어로 전환하는 것입니다. 원활하게 마이그레이션하려면 어떻게 해야 합니까?

먼저 팀에 선택한 항목을 공개하고 바이인을 받으십시오. 지금까지 혼자 작업한 적이 없고 새 도구를 팀으로 사용하는 경우 사용자와 동일한 페이지에 있어야 합니다. 선택한 공급업체를 알려주십시오. 그리고 그들에게 그 이유를 보여주십시오.

이것이 구조화된 접근 방식이 실제로 도움이 되는 이유입니다. 이제 이 도구를 선택하는 것이 완벽하도록 이 결정을 내리기 위해 거쳐온 세심한 고려 사항을 보여줄 수 있습니다. 지금까지 모든 것이 올바르게 완료되었으므로 이 시점에서 바이인이 쉽습니다.

당신의 결정을 팀으로 토론하십시오. 실험 여정의 현재 문제와 어떻게 연결됩니까? 성장 목표를 어떻게 지원합니까? 다른 사용자는 도구에 대해 어떻게 말합니까? 연구를 통해 무엇을 배웠습니까? 그리고 그것이 당신의 고려 세트에서 어떻게 버텼습니까?

또한 공급업체를 선택하는 "이유"에 초점을 맞추십시오. 도구의 순전한 기능 외에도 테스트 목표를 지원하는 공급업체와 협력할 예정입니까? 팀이 새로운 A/B 테스트 도구를 최대한 활용하는 데 필요한 교육적 지원을 제공합니까? 사용자를 위한 공급업체의 목표는 무엇입니까?

그런 다음 전환에 대한 일정을 작성하고 롤아웃할 준비를 합니다. 문제와 비용이 많이 드는 지연을 방지하려면 마이그레이션을 신중하게 계획해야 합니다.

이것이 당신을 지원하는 공급업체와 협력하기를 원하는 이유입니다. 공급업체가 마이그레이션을 지원합니까? 데이터를 새로운 공급업체로 이전할 수 있습니까? 강력한 온보딩 프로세스가 있습니까? 이를 수행하는 데 필요한 전문 지식과 각 단계에 소요되는 시간을 알아보십시오.

마지막으로 3-6-9개월 단위로 세분화된 최적화 프로그램의 목표에 초점을 맞춥니다. 그렇게 하면 결정을 평가하기 위한 분기별 체크포인트가 생깁니다. 선택한 A/B 테스트 도구와 공급업체가 처음에 기대했던 대로 유지되고 있습니까?

여기서 주의: 기대치는 현실적이어야 합니다. 영향을 미칠 수 없는 결과에 대해 공급업체를 평가하지 않도록 하십시오.

이것을 당신이 가지고 갈 수 있는 실행 가능한 체크리스트로 만들어 봅시다.

마이그레이션할 때 염두에 두어야 할 요소에 대한 편리한 체크리스트

좋은 제품에서 더 나은 제품으로 마이그레이션하고 싶습니다. 똑똑한 천재; 놀랍도록 행복합니다. 그것은 우연히 일어나지 않습니다.

마이그레이션하려는 A/B 테스트 도구가 기대 이상으로 작동하고 실험 목표를 달성하는 데 도움이 되도록 아래 확인란을 모두 선택하세요.

• 비용 — A/B 테스트 도구의 비용이 예상한 결과를 정당화합니까? 도구에 대한 누적 투자가 예상 ROI를 어떻게 측정합니까?

• 학습 곡선 — 절대 사용하지 않을 수많은 기능으로 복잡한 UI 때문에 선택한 테스트 도구로 기본 작업을 수행하는 방법을 알아내기 위해 귀중한 실험 시간을 보내고 싶지 않습니다. 도구의 학습 곡선에 대해 알아보려면 리뷰를 읽으십시오.

• 깜박임 — 깜박임은 A/B 테스트 소프트웨어가 변형을 제시하기 전에 사용자가 화면에서 원래 버전의 페이지 플래시를 볼 때 발생합니다. 이로 인해 테스트 결과가 손상될 수 있습니다.
  
  Convert Experiences와 같은 일부 도구는 깜박임 방지 기술을 개발했기 때문에 이런 일이 발생하지 않습니다. 그러나 많은 무료 및 오픈 소스 A/B 테스트 도구에는 아직 그런 기능이 없습니다.

• 즉시 사용 가능한 통합 — A/B 테스트 도구는 외로운 늑대가 아닙니다. 최대 가치를 제공하려면 기술 스택의 다른 도구와 협력해야 합니다. CRO 도구와 함께 제공되는 즉시 사용 가능한 통합의 수를 확인하십시오. 작업에 필요한 필수 서비스와 통합됩니까?

• Google Analytics — 도구가 Google Analytics와 원활하게 통합되도록 합니다. 설정할 때 완료해야 하는 첫 번째 작업 중 하나입니다. 해당 도구를 도와줄 개발자가 필요한지 알아보십시오.

• 목표 — 목표 설정은 A/B 테스트의 필수적인 부분입니다. 테스트에 컨텍스트를 추가하고 테스트 결과의 영향을 보여줍니다. 새 도구는 이를 어떻게 처리합니까? Google Analytics에서 목표를 가져올 수 있습니까?

• 수익 추적 — 마이그레이션할 때 수익 추적이 일회성 및 다중 수익 이벤트 모두에 대해 올바르게 구성되었는지 확인하려고 합니다. 일부 도구는 수동 설정이 필요합니다. 당신은 그것을 원하지 않습니다.
  
  Convert Experiences는 Google Analytics Universal 및 Classic에 자동으로 연결하여 거래, 수익 및 주문된 항목의 값을 가져와 테스트에 알립니다.

• A/A 테스트 — 새 도구가 A/A 테스트를 통과합니까? A/B 테스트 플랫폼에 대한 무료 평가판 액세스 권한이 있는 경우 이 테스트를 실행하세요. 이것이 귀하의 도구가 편향 없이 A/B 테스트를 처리할 준비가 되었는지 여부를 알 수 있는 방법입니다.

• 공동 작업자 설정 — 팀에서 작업하는 경우 특히 중요합니다. 공동 작업자가 보고 변경할 수 있는 항목에 대한 액세스를 제어할 수 있습니까?

그리고 기억해야 할 두 가지 추가 고려 사항:

1. A/B 테스팅 도구는 어떤 수준의 고객 지원을 제공합니까?

평가 시 고려해야 할 또 다른 사항은 고객이 사용할 수 있는 기술 지원 수준입니다.

A/B 테스트 도구를 구입하는 것은 엄청난 노력일 수 있습니다. 문제가 발생할 경우 도구가 팀에 충분한 기술 지원을 제공하는지 확인해야 합니다.

시장에서 최고의 A/B 테스트 도구가 제공하는 지원 수준은 다양합니다. 일부 연구를 통해 고려 중인 테스트 도구가 다음 모두 또는 조합을 제공하는지 확인할 수 있습니다.

• 실시간 지원: 전화 또는 화상 통화로 제공
• 이메일 지원: 전용 이메일 주소로 제공됩니다.
• 실시간 채팅: 내장 메시징 앱 사용
• 문서: 일반적인 문제에 대한 솔루션을 제공하는 기사의 온라인 저장소입니다.
• 자동 지원: 사전 녹음된 응답 세트.

사용 가능한 지원 수준을 확인한 후에는 다양한 지원 채널에 배치된 사람들이 CRO 전문가인지 확인해야 합니다. 기술적인 문제가 발생할 경우 필요한 실시간 도움을 더 잘 제공할 수 있으므로 지원 담당자를 위해 CRO 전문가와 함께 도구를 선택하는 것이 특히 중요합니다.

또한 일부 A/B 테스트 도구는 추가 비용을 지불해야 하거나 무료로 액세스하려면 더 높은 계획으로 업그레이드해야 하는 추가 기능으로 전용 고객 지원을 제공한다는 점도 주목할 가치가 있습니다. 전용 기술 지원 비용을 지불하거나 더 나은 지원에 액세스하기 위해 테스트 요구 사항을 훨씬 능가하는 계획으로 업그레이드하면 A/B 테스트 도구의 전체 비용이 증가합니다.

Convert의 개발자 및 CRO 전문가 팀은 고객에게 무료로 기술 지원을 제공합니다. 우리의 지원은 라이브 채팅, 온라인 문서, 이메일 지원 및 라이브 지원의 형태를 취합니다.

2. A/B 테스팅 도구가 사이트 속도에 영향을 줍니까?

A/B 테스트 도구를 구입할 때 또 다른 중요한 고려 사항은 웹사이트 속도에 미치는 영향입니다. 일부 A/B 테스트 도구는 웹사이트 속도에 몇 초를 추가하고 로드 시간을 늘릴 수 있습니다. 느린 웹사이트 로드 시간은 사용자 경험에 영향을 미치고 트래픽에 영향을 줄 수 있습니다.

시장에 나와 있는 최고의 A/B 테스트 도구 중 일부가 웹사이트 속도에 어떤 영향을 미칠 수 있는지 메커니즘에 대해 알아보겠습니다. A/B 테스트 도구는 일반적으로 두 가지 범주로 나뉩니다.

1. 클라이언트 측 A/B 테스트 도구
2. 서버 측 A/B 테스트 도구

클라이언트 측 A/B 테스트 도구는 방문자의 브라우저에 저장된 JavaScript 스니펫을 사용하여 타겟팅 지침에 따라 서버가 방문자에게 표시하는 콘텐츠를 변경합니다. 서버측 A/B 테스팅 도구는 사용자의 브라우저를 건드리지 않고 서버에서 사용자에게 정확한 내용을 수정하여 전달합니다.

서버 측 테스트 도구가 최선의 선택인 것처럼 보이지만 비용이 많이 들고 많은 사용 사례와 관련이 없을 수 있습니다. 클라이언트 측과 서버 측 테스트 기사에서 차이점에 대해 더 자세히 알아볼 수 있습니다.

최고의 A/B 테스트 도구 중 상당수는 클라이언트 측 테스트 도구입니다. 클라이언트 측 A/B 테스트 도구는 두 가지 방식으로 로드됩니다.

1. 동기식

This is when the JavaScript snippet of your A/B testing software loads fully before your web page loads. This way of loading the scripts prevents flickering. But may cause your page speed to slow down, as the code snippet from your A/B testing solution load time adds to your overall page speed.

2. Asynchronously

This is when the code snippet from your A/B testing platform of choice and web page loads simultaneously. Tools that use this method of loading may be fast but are prone to flickering.

As I mentioned earlier, flickering occurs when the visitor sees the original content before the variation loads.

Convert is one of the fastest A/B testing software on the market. This is thanks to its Smart Insert Technology ^TM which reduces its impact on your site speed.

5 A/B Testing Tools We Like

Where do you start in your search for the perfect A/B testing tool to buy? Right here with our top 5 favorites.

We've considered everything we talked about above and created a list based on what we know about our audience.

뛰어들자!

1. Convert Experiences

Convert Experiences is for companies and teams looking to scale up their testing program with a mid-level testing platform that comes at a great price. You get fantastic support through your experimentation growth while staying ahead of privacy and data protection requirements.

Convert seamlessly integrates with over 100 tools in your MarTech stack and frees you from testing limitations you might've experienced with free tools and even some paid testing tools.

What we like about the tool: Everything! We built it

TrustRadius Rating: 9.4 out of 10 (18 reviews)

Pricing: Starts at $699/mo, then $199 for every 100k visitors after that

Free plan or trial? Yes, for 14 days with no credit card info needed to start

Cost per 100k visitors: $199

Pros:

• Stable, flicker-free testing
• 3rd-party cookie-free testing with no limits
• Over 100 integrations with other marketing tools (Shopify, WordPress, HubSpot)

단점:

• Only basic post segmentation is enabled on the kickstart plan

Client-side or server-side tool? 둘 다. You can use a client-side visual editor as well as set up to run custom JS on the server side.

Integration with Google Analytics? 예.

Core Web Vitals ready? 예. You get fast page loading, flicker-free, and minimal effect on CLS. So, your SEO isn't affected.

Frequentist or Bayesian stats? Frequentist two-tailed z tests.

Enterprise Support? 예. We serve companies like Sony, Unicef, and Jabra.

Customer Support? Yes, including live chat and a support center. And there's more coming.

Consciousness Quotient (CQ): We're an outspoken campaigner for user privacy and have environmental consciousness deeply embedded in our DNA. We are fully GDPR compliant and don't use tools that aren't GDPR compliant. And we're proudly 15x carbon negative.

Fair TrustRadius review:

2. 카멜레온

Kameleoon은 오늘날 세계에서 가장 인기 있는 A/B 테스트 플랫폼 중 하나이며 의료 및 핀테크 기업이 가장 선호하는 플랫폼입니다. 대부분의 도구보다 더 나은 기능으로 테이블에 추가 혜택을 제공합니다. 또한 훌륭한 UI와 뛰어난 개인화 설정 및 통합이 제공됩니다.

이 도구를 좋아하는 이유: 전체 스택 개인화 옵션을 사용하는 AI 기반 방문자 세분화

TrustRadius 평점: 10점 만점에 8.9점(70개 리뷰)

가격: 맞춤형, 트래픽에 따라 연간 약 35,000달러라고 들었습니다.

무료 요금제 또는 평가판? 예

방문자 100,000명당 비용: 해당 없음

장점:

• 고급 깜박임 방지 기술
• 사용하기 쉬운 WYSIWYG 편집기
• 다른 마케팅 앱과 원활하게 통합

단점:

• WYSIWYG 편집기를 로드하는 데 시간이 걸립니다.
• 테스트를 보관할 수 없습니다.

클라이언트 측 또는 서버 측 도구? 둘 다

구글 애널리틱스와 통합? 예

핵심 Web Vital이 준비되었습니까? 예.

빈도주의적 통계 또는 베이지안 통계? 이에 대한 정보를 쉽게 구할 수 없습니다.

기업 지원? 예. 그들의 기업 고객에는 Toyota, Rakuten 및 Lexus가 포함됩니다.

고객 지원? 예. 계정 관리자를 얻을 수도 있습니다.

의식 지수(CQ): HIPAA, GDPR 및 CCPA를 준수하며 실행하는 각 A/B 테스트에 대한 유연한 동의 관리 기능도 있습니다.

공정한 TrustRadius 검토:

3. AB 테이스티

고려해야 할 최고의 A/B 테스트 도구를 나열할 때 AB Tasty를 그 목록에 포함하고 싶을 것입니다. 기본적인 웹 실험을 넘어 훌륭한 테스트 프로그램을 실행하려는 회사에 적합한 중간 수준 도구입니다.

견고함에도 불구하고 기계 학습 기능과 같은 기능을 포함하는 비교적 간단한 UI를 가지고 있으므로 사이트에서 대규모 트래픽에 대해 보다 정교한 개인화 및 데이터 추적을 실행할 수 있습니다.

이 도구를 좋아하는 이유: 집중 테스트에 적합한 깨끗하고 간단한 UI

TrustRadius 평점: 10점 만점에 8.7점(78개 리뷰)

가격: 400,000명의 방문자에 대해 $1,900/월부터 시작

무료 요금제 또는 평가판? 아니요, 하지만 데모를 요청할 수 있습니다.

방문자 10만 명당 비용: ~$475

장점:

• 동적 위젯
• 기업이 아닌 팀을 위한 중간 가격
• 광범위한 분석 보고서

단점:

• 통계적 유의성 계산기는 기본

클라이언트 측 또는 서버 측 도구? 둘 다

구글 애널리틱스와 통합? 예.

핵심 Web Vital이 준비되었습니까? 예, 빠른 도구입니다.

빈도주의적 통계 또는 베이지안 통계? 베이지안.

기업 지원? 예, 엔터프라이즈 고객 경험을 제공합니다. Disney, L'Oreal 및 Klaviyo와 같은 회사는 AB Tasty를 사용합니다.

고객 지원? 예, 라이브 채팅 및 지식 기반이 있습니다.

의식 지수(CQ): AB Tasty는 NGO에 직접 기부하고, 재활용하고, 벌집을 후원함으로써 긍정적인 사회적 영향을 수행하는 개인 정보 보호 브랜드입니다.

공정한 TrustRadius 검토:

4. 최적화

Optimizely는 선구적인 웹 실험 플랫폼 중 하나이며 신뢰할 수 있는 견고한 도구로 큰 명성을 얻었습니다. 그러나 가격은 기업에 매우 집중하기 때문에 일반 CRO 팀에게는 상당히 과도할 수 있습니다.

그 외에도 CRO 팀이 고급 실험 프로그램과 개인화된 웹 경험을 실행할 수 있도록 하는 데 큰 역할을 합니다.

이 도구를 좋아하는 이유: AI 기반 개인화와 결합된 강력한 실험 도구

TrustRadius 평점: 10점 만점에 8.7점(3 리뷰)

가격: 숨겨진, 보고된 바에 따르면 연간 약 36,000달러입니다.

무료 요금제 또는 평가판? 아니요, 2018년 이후로

방문자 10만 명당 비용: 이 도구에는 적용되지 않음

장점:

• 다양한 타겟팅 옵션 사용 가능
• 사용하기 쉬운 위젯 기능
• 깔끔한 UI

단점:

• Google Analytics와 통합하는 것은 비개발자에게는 복잡할 수 있습니다.
• 매우 비싸다

클라이언트 측 또는 서버 측 도구? 둘 다. 클라이언트 측 실험은 JS 스니펫으로 작동하고 서버 측 실험은 개발자 SDK로 수행됩니다.

구글 애널리틱스와 통합? 예.

핵심 Web Vital이 준비되었습니까? 예.

빈도주의적 통계 또는 베이지안 통계? Optimizely는 다른 플랫폼에서 볼 수 있는 고정 수평 실험이 아닌 순차적 실험을 사용합니다.

기업 지원? 가격 때문에 기업 고객을 많이 수용합니다. 고객에는 HP, IBM 및 Microsoft가 있습니다.

고객 지원? 예, 연중무휴 전화번호 및 도움말 리소스를 포함합니다.

의식 지수(CQ): 그들은 사생활을 중요하게 생각하며 신입 사원을 입사 2일차에 지역 사회 자원 봉사에 참여시키는 전통이 있습니다.

공정한 TrustRadius 검토:

5. Google 최적화 도구(및 최적화 도구 360)

Google Optimize(GO)는 무료 웹사이트 최적화 및 실험 도구입니다. 이전에는 Google Analytics 내부의 콘텐츠 실험이었지만 지금은 A/B, 리디렉션, 개인화, 다변수 및 배너 테스트를 실행하기 위한 독립 실행형 서비스입니다.

Google 최적화 도구의 프리미엄 버전은 최적화 도구 360입니다. 더 강력하고 제한이 없는 GO 버전입니다. GO는 A/B 테스트를 시작하는 데 적합합니다. GO를 사용하면서 얻은 경험을 통해 중급 도구에 쉽게 적응할 수 있습니다.

이 도구를 좋아하는 이유: 최고의 무료 A/B 테스트 도구, CRO 여정 시작에 적합

TrustRadius 평점: 10점 만점에 7.9점(리뷰 43개)

가격: Google 최적화 도구는 무료이지만 프리미엄 버전인 최적화 도구 360에는 맞춤 가격 책정이 있습니다.

무료 요금제 또는 평가판? 예, 최적화 도구의 경우입니다.

방문자 100,000명당 비용: GO에는 적용되지 않음

장점:

• 시작하기 가장 쉬운 도구 — 초보자 친화적인 UI
• Google Analytics와 가장 원활하게 통합
• Google의 방대한 데이터 리소스 덕분에 상세한 잠재고객 세분화

단점:

• 한 번에 5개의 테스트로 제한
• 가끔 깜박임
• 모바일 앱을 테스트할 수 없음

클라이언트 측 또는 서버 측 도구? 둘 다

구글 애널리틱스와 통합? 물론 예.

핵심 Web Vital이 준비되었습니까? 깜박임 및 CLS 영향으로 어려움을 겪을 수 있지만 관리할 수 있습니다.

빈도주의적 통계 또는 베이지안 통계? 베이지안 테스트 접근 방식.

기업 지원? 최적화 도구 360에서만 사용할 수 있습니다.

고객 지원? 무료 도구에 사용할 수 있는 커뮤니티 및 기타 도움말 리소스가 있습니다. Optimize 360 ​​고객은 모든 범위의 고객 지원을 받습니다.

의식 지수(CQ): 최적화 도구는 Google의 많은 제품 중 하나이며 Google의 탄소 중립성과 수십억 달러 가치의 자선 활동에 속합니다.

공정한 TrustRadius 검토:

주요 내용

귀하의 요구에 적합한 A/B 테스트 소프트웨어를 찾는 것은 생각만큼 쉽지 않습니다. 테스트 요구 사항, 가격, 통합, 사용 가능한 기술, 설정, 교육 등과 같은 복잡한 요소를 고려해야 합니다.

문제를 시작하고 적절한 사람에게 질문하고 고려 사항 목록을 작성하고 A/B 테스트 도구에 대한 경험을 만들거나 깨뜨릴 수 있는 중요한 요소에 대한 신중한 분석을 기반으로 고려 사항 집합을 작성하면 이미 반쯤.

위에 나열된 5가지 도구로 테스트를 시작하도록 선택할 수 있습니다. 그러나 그것이 당신의 차 한 잔이 아니라면 우리는 당신이 거기에 가서 50개 이상의 A/B 테스트 도구를 조사하고 당신의 고유한 요구에 적합한 도구를 찾는 데 필요한 모든 것을 제공했습니다.

궁극적인 결정은 당신에게 있기 때문입니다.