고급 디지털 마케터를 위한 권장 A/B 테스트 스택

A/B 테스트의 기본 개념은 간단합니다. 두 버전의 콘텐츠를 서로 비교하여 어느 버전이 더 나은지 확인합니다.

분할 테스트를 실행한 결과 귀하의 비즈니스와 웹사이트는 더 많은 리드와 더 높은 전환율의 이점을 누릴 수 있습니다.

제 이름은 Lars Lofgren이고 Quick Sprout에서 회사를 운영하기 전에 Growth에서 경력을 쌓기 시작했습니다. KISSmetrics의 성장 담당 이사이자 I Will Teach You To Be Rich로서 저는 리드 목표를 달성하는 일을 개인적으로 담당했으며 각 웹사이트에서 전환을 개선하기 위해 A/B 테스트 프로그램을 실행했습니다.

저는 경력을 쌓는 동안 수백 번의 A/B 테스트를 수행했습니다.

두 회사에서 저는 전환율을 두 배, 세 배로 늘렸습니다. 좀 더 구체적으로 말하면 KISSmetrics에서 월간 리드 흐름을 4배로 늘렸고 I Will Teach You To Be Rich에서 매달 40,000개의 리드를 생성하는 리드 생성 시스템을 구축했습니다.

마케팅 경력을 쌓는 동안 사용 가능한 테스트와 관련된 거의 모든 소프트웨어를 사용해 보았습니다. 일부는 놀랍고 일부는 그렇지 않았습니다. A/B 테스트 프로그램을 다시 시작한다면 다음은 내가 신뢰할 수 있는 11가지 도구입니다.

A/B 테스트를 위한 최고의 도구

A/B 테스트에 필요한 다양한 유형의 도구가 있습니다. 테스트 실행을 위한 단일 도구를 뛰어넘습니다. 적용 가능한 모든 범주를 살펴보겠습니다.

거래 및 맞춤 이메일

거래 이메일을 제대로 테스트하려면 이메일 생성 및 분석을 완벽하게 제어해야 합니다. SendGrid는 이러한 유형의 컨트롤을 제공합니다. MailChimp와 같이 널리 사용되는 이메일 도구는 충분히 강력하지 않으며 많은 마케팅 자동화 도구도 충분히 유연하지 않습니다. 개발자가 완전히 제어할 수 있는 이메일 도구가 있는 것이 좋습니다.

Sendgrid에는 일부 A/B 테스트가 내장되어 있지만 제한적입니다.

Sendgrid의 마법은 내장 기능에서 나오지 않습니다. 개발자가 완전한 제어권을 가지고 있기 때문에 전체 이메일과 퍼널을 A/B 테스트할 수 있기 때문입니다. 모든 권한이 있으면 원하는 모든 테스트를 실행할 수 있습니다.

첫째, 저는 개인적으로 제목이나 클릭률을 테스트하지 않습니다. 그들은 비즈니스에 중대한 영향을 미치지 않습니다. 둘째, 콘텐츠를 테스트하는 것은 괜찮지만 완전히 다른 이메일 퍼널을 테스트하는 것을 선호합니다. 그것이 내가 가장 큰 승리를 찾은 곳입니다. 그래서 내장 테스트 UI를 무시하고 전체 이메일에 Sendgrid를 사용합니다.

대부분의 A/B 이메일 테스트는 실제로 홀드아웃 테스트입니다. 테스트 그룹의 50%에게 이메일을 보내고 나머지 50%에게는 아무것도 보내지 마십시오. 해당 이메일의 진정한 영향을 볼 수 있습니다.

설문조사

SurveyMonkey는 온라인 설문조사를 위한 업계 표준입니다. 이 글을 읽는 거의 모든 사람들이 그들의 플랫폼을 통해 한 지점 또는 다른 지점에서 설문 조사에 참여했습니다.

SurveyMonkey는 사용하기가 매우 쉽기 때문에 마음에 듭니다. 거의 모든 사람이 익숙하기 때문에 사용자는 소프트웨어로 구동되는 설문조사에 편안하게 참여할 수 있습니다.

"설문 조사를 A/B 테스트 스택의 일부로 간주하는 이유는 무엇입니까?"라고 물을 수 있습니다.

설문 조사 응답은 A/B 테스트 성공으로 이어지는 통찰력을 제공합니다. 테스트를 실행하기 전에 질적 연구부터 시작합니다. 고객을 더 잘 이해할수록 A/B 테스트에서 승자를 찾을 확률이 높아집니다.

귀중한 정성적 인사이트를 수집하려면 다음 팁을 염두에 두십시오.

• 설문 조사를 지나치게 복잡하게 만들지 마십시오. 정말 알아야 할 5~10개의 질문에 집중하세요.
• 대부분의 질문은 고객이 겪고 있는 문제에 집중하십시오.
• 응답자에게 정말 좋은 직감을 가질 때까지 개방형 질문으로 시작하십시오.

더 많은 지침이 필요한 경우 여기에 유용한 설문 조사 팁이 많이 있습니다.

사용자 테스트

A/B 테스트 성공을 위한 정성적 인사이트를 찾는 또 다른 좋은 방법은 사용자 테스트입니다. 이러한 실험에 가장 적합한 도구는 UserTesting입니다.

가장 먼저 해야 할 일은 잠재고객을 선택하는 것입니다. 자신의 청중을 사용하거나 UserTesting의 패널을 통해 특정 대상과 연결할 수 있습니다. 이 플랫폼을 사용하면 인구 통계 및 기타 요소를 정확하게 파악하여 실험에 가장 적합한 사용자를 찾을 수 있습니다.

다음으로 5명 또는 10명의 사용자를 선택하여 온보딩 프로세스 또는 웹 사이트에서 기타 일반적인 사용자 흐름 작업을 진행합니다. UserTesting은 귀하의 콘텐츠와 상호 작용하는 이러한 사용자의 비디오를 제공합니다. 결과적으로 A/B 테스트에서 승리할 수 있는 주요 마찰 지점을 식별할 수 있습니다.

이것은 A/B 테스트 승리를 위한 금광입니다. 가입 또는 온보딩 흐름에서 이들 중 몇 가지를 실행하는 것이 좋습니다. 나는 항상 나중에 큰 승리로 이어지는 주요 마찰 지점을 찾습니다. KISSmetrics에서 우리는 사람들이 추적해야 하는 모든 데이터를 매핑하는 것이 얼마나 어려운지 배웠습니다. 그런 다음 온보딩을 개편하여 보다 구조화하고 모든 데이터를 단계별로 사람들에게 안내했습니다.

비즈니스 인텔리전스

진지한 A/B 테스트 프로그램을 원하는 사람들은 모든 데이터와 보고서를 사내로 가져와야 합니다. 이를 효과적으로 수행하려면 일종의 데이터 웨어하우스가 있어야 합니다. 이것이 설정되면 비즈니스 인텔리전스 보고를 위한 최고의 도구인 Tableau를 구현할 수 있습니다.

제가 Tableau를 선호하는 이유는 완벽한 제어 기능을 제공하고 원하는 모든 보고서를 생성하기 때문입니다. 필요한 쿼리, 보고서 및 시각화를 정확히 알고 있기 때문에 모든 것을 원하는 방식으로 구축할 수 있습니다.

그러나 불행한 소식은 누군가가 그것을 관리하고 필요한 보고서를 작성해야 한다는 것입니다. 또한 어떤 보고가 필요한지 알기 위해서는 경영진 수준의 전문 지식이 필요합니다. 기존의 BI 분석가는 보고서를 작성할 수 있지만 어떤 보고서와 메트릭이 비즈니스에 가장 중요한지 알 수 없습니다. 이 모든 것이 빠르게 비싸집니다.

이 솔루션은 모든 사람을 위한 것은 아닙니다. 제대로 실행되는지 확인할 수 있는 전문 지식과 예산이 있는 경우에만 이 경로를 사용하세요.

통계적 유의성 계산기

기술 수준에 따라 통계적 유의성 계산을 위해 두 가지 도구가 권장됩니다.

쉬운 계산기
Neil Patel의 A/B Significance Calculator는 가장 간단한 옵션입니다. 각 변형에 대한 방문자 및 전환 수를 수동으로 삽입하기만 하면 됩니다.

그런 다음 계산기는 테스트가 결론을 도출할 만큼 충분히 중요한지 판단합니다.

고급 계산기
고급 옵션의 경우 AB Testguide 계산기가 최상의 솔루션입니다. 이 도구는 계산에 포함할 더 많은 매개변수를 제공합니다.

이 계산기를 사용하여 가설을 선택하고 신뢰 수준을 선택할 수 있습니다. 테스트 결과도 더 발전했습니다. 이 도구는 그래프뿐만 아니라 관찰된 검정력, p-값, z-점수 및 차이의 표준 오차와 같은 기타 통계 데이터를 표시합니다.

많은 테스트를 수행했거나 통계에 대한 배경 지식이 있는 경우에만 의미가 있는 추가 세부 정보입니다. 이것이 너무 복잡하다면 더 간단한 계산기를 선택하십시오.

왜 이것을 사용합니까?

대부분의 테스트 도구는 통계적 유의성을 계산하지 않습니까?

제가 배운 교훈이 하나 있다면 새로운 도구를 맹목적으로 신뢰하지 말라는 것입니다. A/B 테스트 도구를 신뢰할 수 있다고 확신할 때까지 통계적 유의성 계산을 다시 확인하십시오. 통계적 유의성을 계산하는 방법에는 여러 가지가 있으며 이 항목을 엉망으로 만들기도 쉽습니다.

그래서 새로운 테스트 소프트웨어로 작업할 때마다 계산이 확실하다는 것을 확인할 때까지 항상 위의 계산기 중 하나를 사용합니다.

웹 분석

트래픽 분석의 왕인 Google Analytics만 있으면 됩니다.

웹사이트를 A/B 테스트하려면 특히 다음과 같은 트래픽 역학을 이해해야 합니다.

• 트래픽이 가장 많이 발생하는 페이지는 무엇입니까?
• 어떤 트래픽 소스가 증가하거나 감소하고 있습니까?
• 어떤 페이지에서 가장 많은 트래픽이 발생합니까?

Google 애널리틱스를 사용하여 A/B 테스트하려는 페이지에 충분한 트래픽이 있는지 확인하는 경우에도 쉽게 설치할 가치가 있습니다. 또한 완전 무료이며 세계적 수준의 도구입니다.

거의 모든 사이트에 설치되는 이유가 있습니다. 데이터 품질, 보고서 및 통찰력의 양, 완전히 무료라는 사실은 Google Analytics를 타의 추종을 불허하는 거래로 만듭니다.

이전에는 Google 애널리틱스 프로필을 많이 맞춤설정했습니다. 하지만 현재는 설정을 거의 건드리지 않고 내장된 보고서에 의존합니다. 그래서 나는 당신이 똑같이 할 것을 제안합니다.

사용자 분석

두 번째 분석 도구를 사용하는 이유는 무엇입니까? Google 애널리틱스로 충분하지 않습니까?

수년이 지난 후에도 Google Analytics는 트래픽 분석에 탁월합니다. 예, 현재 사용자 추적 기능이 있지만 이를 위해 설계되지 않았습니다. 실제 사용자 분석에 사용하려면 Google Analytics 고급 사용자여야 합니다.

이를 위해 내가 가장 좋아하는 사용자 분석 및 고객 데이터 도구는 사용자 퍼널을 쉽게 추적할 수 있는 Amplitude입니다.

대부분의 A/B 테스트 프로그램은 일반적으로 등록 및 온보딩 퍼널에 중점을 둡니다. 테스트할 양이 많을 뿐만 아니라 이러한 퍼널에 대한 작은 개선이 비즈니스에 큰 영향을 미칠 수 있습니다.

유입경로를 테스트할 때 유입경로가 꾸준히 개선되고 있는지 매월 모니터링해야 합니다. A/B 테스트는 하나의 결과를 보고할 수 있지만 월별 KPI는 완벽하게 일치하지 않습니다.

데이터 웨어하우스와 Tableau와 같은 비즈니스 인텔리전스 도구에 올인하기로 결정했다면 사용자 분석 도구를 완전히 건너뛸 수 있습니다. 비즈니스가 전체 인프라를 구축할 준비가 되지 않았을 때 사용자 분석 도구가 좋은 중간 단계라는 것을 알았습니다.

클릭 후 방문 페이지

광고 후 클릭의 경우 "A/B 테스트" 또는 "빌더"가 있는 올인원 소프트웨어가 아니라 랜딩 페이지 경험을 전문으로 하는 전용 솔루션이 필요합니다. 이는 각 캠페인이 고유한 클릭 후 랜딩 페이지와 프로세스의 각 페이지를 A/B 테스트할 자격이 있는 경우에 특히 그렇습니다. Instapage는 모든 캠페인의 랜딩 페이지 제작을 확장하는 데 도움이 될 뿐만 아니라 A/B 테스트가 내장되어 있습니다. 성공을 찾으면 즉시 실행할 수 있습니다.

내 마케팅 프로그램은 항상 수많은 방문 페이지로 끝납니다. 트래픽이 가장 많은 페이지에 대해 A/B 테스트를 수행하지 않는 경우 수익은 보장되지 않습니다.

히트맵

고객 조사에는 다음과 같은 일반적인 조언이 있습니다. "사람들이 말하는 것에 집중하지 말고 그들이 하는 일에 집중하십시오." 그렇기 때문에 히트맵이 정성적 인사이트를 위한 또 다른 훌륭한 데이터 수집 리소스입니다. 히트맵은 사람들의 행동 방식을 더 잘 이해하는 데 적합합니다. 또한 이해하기 매우 쉽습니다.

사람들이 무엇을 클릭하는지, 얼마나 스크롤하는지, 마우스가 어디로 움직이는지 아는 것은 최적화를 위한 모든 종류의 아이디어에 박차를 가합니다. 이는 A/B 테스트를 위한 또 다른 아이디어의 금광입니다.

Instapage에는 클릭 후 랜딩 페이지에 대해 세 가지 모두를 수행할 수 있는 히트맵이 플랫폼에 내장되어 있습니다(아래 이미지는 클릭 맵일 뿐입니다).

또한 기본 사이트에서도 히트맵을 실행하고 싶을 것입니다. 그렇다면 Crazy Egg를 추천합니다.

홈페이지, 가격 책정 페이지 및 온보딩 흐름에서 히트맵을 실행하십시오. 예상하지 못한 클릭이 많이 발생하는 항목과 더 많은 관심을 끌 것으로 생각했지만 그렇지 않은 항목을 찾습니다. 그런 다음 사람들이 관심 없는 항목은 강조하지 않고 원하는 항목을 강조하는 테스트 아이디어를 생각해 보세요.

CXL에는 히트맵을 사용하는 방법에 대한 유용한 팁이 많이 있습니다.

A/B 테스트

A/B 테스트 도구 자체는 어떻습니까? 홈페이지, 온보딩 흐름 및 제품을 테스트하는 가장 좋은 옵션은 무엇입니까? 내 생각에 VWO는:

VWO에는 월 $199부터 시작하는 견고한 A/B 테스트 제품이 있습니다. 쉽게 연간 수만 달러가 될 수 있는 다른 도구와 비교할 때 VWO는 훨씬 더 쉽게 액세스할 수 있습니다. 달러당 가치는 매우 높습니다.

VWO를 사용하면 여러 분할 테스트를 동시에 실행할 수 있습니다. 코드를 편집하지 않고 A/B 테스트를 실행할 수 있는 시각적 편집기도 있습니다. 헤드라인과 같은 테스트 요소에 적합합니다. 코드 편집기를 사용하여 테스트를 보다 고급으로 변경할 수도 있습니다. 코드 편집기는 크게 개선되었습니다.

워드프레스 A/B 테스트

WordPress는 세계에서 가장 인기 있는 CMS이지만 전체 WordPress 사이트에서 A/B 테스트를 실행하는 것은 어려울 수 있습니다. 플랫폼은 확실히 이것을 위해 설계되지 않았습니다.

그렇기 때문에 WordPress A/B 테스트에 Nelio와 같은 플러그인을 사용해야 합니다.

경고 받다; 이 테스트를 수행하기 전에 사이트를 정리하고 싶습니다. 모든 것을 정리하지 않으면 수많은 플러그인 충돌이 발생하고 사이트에서 유효한 테스트를 위해 충분히 빠르게 테스트 변형을 제공할 수 없습니다. WordPress는 사이트 전체 테스트용으로 설계되지 않았기 때문에 A/B 테스트가 플러그인, 테마 및 제대로 구축되지 않은 사이트와 충돌하기 쉽습니다.

먼저 좋은 웹 호스트를 구해야 합니다. 마지막으로 원하는 것은 변형 제공을 지연시키는 느린 호스트이므로 사용자가 변경 사항을 알 수 있습니다. 그런 다음 WordPress 테마를 정리하고 불필요한 플러그인을 제거하십시오. 이것은 플러그인 충돌을 줄이고 눈에 띄지 않도록 충분히 빠르게 테스트를 제공합니다.

WordPress 사이트가 정리되고 로드 시간이 빨라지면 Nelio를 설치하고 이를 사용하여 사이트 전체 A/B 테스트를 실행합니다. 이메일 구독으로의 전환을 늘리기 위해 블로그에서 많은 테스트를 실행했습니다.

결론

진정한 A/B 테스트 프로그램을 효과적으로 실행하려면 도구 모음이 필요합니다. 여러 회사에서 수백 가지 도구를 직접 테스트하고 수백 가지 테스트를 거친 후 저는 디지털 마케팅의 다양한 영역에 초점을 맞추고 있기 때문에 위의 스택을 선호하며 모든 범주에서 하나가 "최고"인 것은 아닙니다.

고려하고 있는 인기 있는 새 도구가 있다면 이 중 하나를 자유롭게 교체하십시오. 내 일반적인 규칙은 사용자 기록 또는 설문 조사 도구와 같이 쉽게 시작하고 중지할 수 있는 도구로 자주 실험하는 것입니다. 그러나 분석과 같은 인프라 도구의 경우 신뢰할 수 있고 수년 동안 의존할 수 있는 도구를 선택합니다.

저자 소개
Lars는 현재 QuickSprout의 CEO입니다. 그 전에는 I Will Teach You To Be Rich와 KISSmetrics의 성장 이사였습니다.