A/B 테스트를 통해 로컬 및 글로벌 최대값을 찾아야 하는 경우

기억상실증에 걸린 짙은 안개 속에서 에베레스트 산을 오르고 있다고 상상해 보십시오. 뻗은 손만큼만 볼 수 있습니다. 당신은 당신이 어디에 있는지, 어떤 방향으로 향해야 하는지 알지 못하고 단지 정상에 도달해야 합니다. 당신이 할 확률은 무엇입니까?

아마도 산이 높은 만큼 낮을 것이다.

이는 인기 있는 A/B 테스트 방법의 기초와 관련하여 만들어졌습니다. 그 최고점은 클릭 후 방문 페이지의 가장 좋은 버전이며 현재 페이지의 산비탈에서 혼란스럽고 거의 눈이 멀고 길을 잃습니다.

설상가상으로 좋아하는 마케팅 블로거로부터 잘못된 지도를 받았을 수도 있습니다. A/B 테스트가 올바른 방식으로 진행되고 있다고 생각할 수 있습니다. 최고점을 향해 가고 있다고 생각할 수 있습니다. 그러나 곧 막다른 골목에 도달할 가능성이 있으며 클릭 후 랜딩 페이지에서 가장 실적이 좋은 유사 콘텐츠를 찾지 못할 것입니다.

초보자를 혼란스럽게 하는 A/B 테스트 신화

인터넷에서 가장 인기 있는 마케팅 블로그 중 일부는 처음부터 초보자를 망하게 하는 A/B 테스트 신화를 계속 이어가고 있습니다. 내가 시작했을 때도 희생되었습니다.

"A/B 테스트당 하나 이상의 페이지 요소를 변경하지 마십시오" 계속해서 읽었습니다. 출처를 신뢰할 수 있고 대부분의 경우 이해가 되었기 때문에 질문하지 않았습니다.

A/B 테스트의 요점은 페이지, 이메일, 광고 또는 테스트 중인 모든 항목을 최적화하는 데 사용할 수 있는 데이터를 수집하는 것입니다. 버전 "A"와 "B" 사이에 조정을 두 번 이상 수행한 경우 테스트 결과에 전환율이 변경된 원인을 어떻게 알 수 있었습니까? 어떤 종류의 데이터일까요?

그래서 클릭 후 랜딩 페이지 "A"의 헤드라인 대 클릭 후 랜딩 페이지 "B"의 헤드라인으로 요소를 한 번에 하나씩 테스트했습니다. 다음으로 클릭 후 방문 페이지 'A'의 파란색 버튼과 클릭 후 방문 페이지 'B'의 녹색 버튼이었습니다. 이것이 전문가와 Amazon 및 Google이 한 방식입니다. 수십억 달러 규모의 회사에 충분했다면 나에게도 충분했습니다.

내가 간과했지만 몇 달 후 고통스럽게 깨닫게 된 문제는 내가 Amazon이나 Google이 아니라는 것입니다. 그들의 웹사이트는 많은 트래픽을 생성합니다. 즉, 이러한 경솔한 버튼 색상 테스트를 통해 얻은 약간의 상승이 수백만 달러의 수익으로 이어질 수 있습니다.

그러나 대부분의 사람들에게는 시간과 자원의 낭비입니다. 대부분의 사람들에게 이 A/B 테스트 방법을 사용하는 것은 기억상실증으로 짙은 안개 속에서 에베레스트 산을 오르는 것과 같습니다.

언덕 오르기 휴리스틱

우리의 일상 생활에는 해결책이 분명한 문제가 있습니다. 그러나 익숙하지 않고 대체로 독특한 장애물에 직면하면 어떻게 됩니까? 예를 들어 이 미로를 보자:

이 특정 미로를 탐색하는 가장 좋은 방법에 대해 작성된 블로그 게시물이 없습니다. 당신의 친구(아마도)는 당신을 안내할 수 없습니다. 지도가 없습니다. 그렇다면 어떻게 A에서 B로 가나요?

그 답은 뉴웰, 사이먼, 쇼가 인공 지능을 연구하기 위해 1963년에 만든 "일반적인 문제 해결사"라는 컴퓨터 프로그램에서 찾을 수 있습니다. 그들의 연구는 인간의 문제 해결에도 적용되었습니다. Russ Dewey 박사는 다음과 같이 설명합니다.

Newell과 Simon은 각 문제를 공간으로 정의했습니다. 공간의 한쪽 끝에는 시작점이 있고 다른 쪽에는 목표가 있습니다. 문제 해결 절차 자체는 한 번에 한 단계씩 시작점에서 목표 상태에 도달하기 위해 해당 공간을 가로지르는 일련의 작업으로 간주됩니다.

일반 문제 해결사에서 프로그램은 다양한 작업(Newell과 Simon이 연산자라고 함)을 테스트하여 어떤 작업이 목표 상태에 더 가까워지는지 확인합니다. 연산자는 시스템의 상태를 변경하는 활동입니다. 일반적인 문제 해결사는 항상 목표에 더 가까워지는 것처럼 보이는 작업을 선택합니다. 이 전술은 항상 언덕이나 산의 정상을 향해 한 발짝 내딛는 전술과 비슷하기 때문에 언덕 오르기라고 합니다.

위의 미로에서 각각의 막다른 골목은 "공간"입니다. "작업"으로 극복해야 하는 문제, 즉 목표에 더 가까이 다가가는 작업("A"에서 "B"로 이동)입니다.

따라서 "A"에서 시작하여 가장 빨리 "B"로 이동한다고 생각되는 경로를 따라갑니다. 막다른 골목에 도달하면 돌아가서 대체 경로를 시도합니다. 목표에 도달할 때까지 과정을 반복합니다.

이것이 작은 요소를 A/B 테스트할 때 수행하는 작업입니다. 예를 들어 눈에 띄지 않는 버튼과 같은 문제를 식별합니다. 그런 다음 가설이 더 나은 페이지인지 테스트하여 클릭 후 랜딩 페이지의 최상의 버전(또는 그렇게 생각하는)을 생성하려는 목표에 조금 더 가까워집니다. 그래도 작동하지 않으면 다른 것을 테스트합니다.

그러나 어느 시점에 이르면 "로컬 최대값"이라고 하는 수익 감소 지점에 도달하게 됩니다.

로컬 최대값과 글로벌 최대값

위의 방법을 "힐 클라이밍" 휴리스틱이라고 하는 이유는 클릭 후 최고의 방문 페이지가 있는 산 정상을 올려다보는 언덕에서 머리를 긁적일 수 있는 큰 제한이 있기 때문입니다. 듀이 박사는 다음과 같이 설명합니다.

언덕 오르기는 단순한 전략이지만 항상 효과가 있는 것은 아닙니다. 한 가지 잠재적 함정은 "산기슭 문제"입니다. 오르막(또는 특정 방향)으로 가는 단계를 선택하는 경우 자신과 산 사이에 있는 산기슭을 오르는 데 훨씬 더 효율적인 절차를 무시하고 올라갈 수 있습니다. 즉, 융통성 없이 목표를 향해 직진하면 엄청난 대가를 치러야 하고, 많은 에너지를 낭비하거나, 목표에 기여하지 못한 채 스스로 더 많은 일을 하게 만들 수 있습니다.

최적화 용어로 이 "산기슭"을 "로컬 최대값"이라고 합니다. A/B가 더 테스트될 때 수익이 감소하는 현재 페이지의 최상의 버전입니다. 산의 정상을 "글로벌 최대값"이라고 합니다. 이것이 클릭 후 랜딩 페이지의 가장 좋은 버전입니다. 설명에 도움이 되는 그래픽은 다음과 같습니다.

단일 포스트 클릭 랜딩 페이지로 시작하고 작은 요소를 한 번에 하나씩 A/B 테스트하여 이를 개선함으로써 로컬 최대값에 가까워지고 있지만 이 방법으로는 결코 그 산의 정상에 도달할 수 없습니다. 그렇다면 그곳으로 가는 길을 어떻게 탐색합니까?

전역 최대값에 도달하기 위한 A/B 테스트

"A/B 테스트 세부 사항의 함정에 빠지지 마십시오"라는 제목의 블로그 게시물에서 Moz의 Rand Fishkin은 너무 가까운 상황에 부딪힐 수 있는 실망스러운 시나리오를 설명합니다.

상대적으로 만족스러운 페이지/개념을 찾고 사소한 테스트를 시작한다고 가정해 보겠습니다. 즉, 로컬 최소값을 중심으로 최적화합니다. 4~6개월 동안 테스트를 실행하면 전체 전환율이 5% 향상되고 꽤 기분이 좋아질 수 있습니다. 까지...

테스트에서 또 다른 크고 새로운 아이디어를 실행하고 더 개선합니다. 이제 방금 처음 테스트한 새롭고 대략적이며 최적화되지 않은 페이지만큼 전반적인 개념이 좋지 않은 페이지를 최적화하고 완성하는 데 시간을 낭비하고 있다는 것을 알게 되었습니다.

대신 Fishkin은 다른 마케팅 인플루언서와 마찬가지로 A/B 테스트를 "개편"하고 "대단한 아이디어"를 먼저 권장합니다. 즉, 근본적으로 다른 페이지를 테스트할 것을 권장합니다. 근본적으로 다른 페이지 중에서 가장 성능이 좋은 페이지가 전역 최대값에 가장 가깝습니다. 버튼 대 버튼, 헤드라인 대 헤드라인 등 다변량 테스트로 미세 조정해야 합니다. 여러 사례 연구에서 이 방법을 지원합니다.

전역 최대값에 대한 A/B 테스트

1. 페이스북

2008년에 Facebook은 완전히 새로운 내비게이션 디자인을 테스트했습니다. 그들의 팀은 페이지 왼쪽에서 오른쪽의 드롭다운으로 이동했습니다. 그러나 그렇게 함으로써 사용자가 내비게이션 내의 앱을 덜 볼 수 있게 하여 해당 앱에 대한 트래픽이 훨씬 줄었습니다. 그들은 페이스북의 귀중한 수입원이었기 때문에 그것이 문제였습니다.

몇 가지 인게이지먼트 트릭으로 새 디자인을 복구하려고 시도한 후 최적화 팀은 로컬 최대값에 도달했음을 깨닫고 전체를 폐기했습니다. Facebook 제품 개발자 Adam Mosseri:

여기서 우리가 하고 있는 것은 로컬 최대값에 대해 최적화하는 것입니다. 이 프레임워크 내에서 애플리케이션으로 보낼 수 있는 트래픽이 너무 많았습니다. 그리고 우리에게 필요한 것은 구조적 변화였습니다. 우리의 전제는 벗어났습니다. 우리의 이익은 우리를 잘못된 길로 인도했습니다. 우리는 그것을 깨닫지 못했습니다 […

2. 모즈

Moz용 전환율 전문가가 만든 이 변형 페이지는 원본보다 6배 더 깁니다. 원본 페이지에 없는 다른 요소들 중에서 더 많은 인포그래픽, 다른 헤드라인, 동영상이 포함되었습니다. 대조군보다 52% 더 뛰어났습니다.

팀이 원본 페이지의 요소만 개선했다면 전환율을 절반으로 높이는 콘텐츠를 추가하지 않았을 것입니다. 테스터로부터:

Rand의 효과적인 대면 프레젠테이션을 분석한 결과, 그가 Moz의 유료 제품에 대한 주장을 펼치는 데 최소 5분이 필요하다는 사실을 알게 되었습니다. 기존 페이지는 1분 요약에 가깝습니다. Rand의 프리젠테이션의 핵심 요소를 추가하자 페이지가 훨씬 길어졌습니다.

3. 서버 밀도

온라인에서 찾을 수 있는 대부분의 A/B 테스트 사례 연구는 웹 페이지의 모양과 관련이 있습니다. 버튼 색상 대 버튼 색상 또는 이미지 대 이미지이며 그 수는 매일 증가하고 있습니다. 결과적으로 A/B 테스트에 뛰어드는 대부분의 사람들은 웹 디자인에만 사용할 수 있다고 가정합니다.

그러나 Sever Density의 이 예에서 볼 수 있듯이 A/B 테스트의 개념은 제품 디자인이나 가격 구조를 포함한 모든 것에 적용될 수 있습니다.

서버 및 웹 사이트 모니터링 서비스인 이 회사는 고객이 모니터링해야 하는 서버 및 웹 사이트 수에 따라 비용을 지불하도록 허용했습니다.

이 구조는 고객 기반을 넓히기 위한 것이었지만 이제 팀의 목표는 더 높은 수익에 있었습니다. 그래서 그들은 패키지 모델을 사용하여 가격 책정에 대한 완전한 점검을 A/B 테스트했습니다.

새로운 구조는 실제로 더 적은 전환을 생성했지만 각각의 가치는 급증했습니다. 결과는 다음과 같습니다.

평균 주문 금액은 이전 금액인 $19.70에 비해 이제 $55를 넘어섰습니다. 테이크 아웃은 테스터에게 두 가지 중요한 사항을 상기시킵니다.

A/B 테스트는 피상적인 디자인 변경 이상의 용도로 사용할 수 있습니다.
전환이 전부가 아닙니다. 경우에 따라 더 적은 전환으로 더 나은 결과를 얻을 수 있습니다.

글로벌 및 로컬 최대 값을 어떻게 찾습니까?

기억하세요: A/B 테스트의 강점은 큰 변화를 통해 가능한 한 전역 최대값에 가까워지고 있다는 것입니다. 로컬 최대값을 찾으려면 대신 다변량 테스트를 사용하는 것이 좋습니다.

한 번에 하나의 페이지 요소만 엄격하게 테스트하는 함정에 빠졌습니까? 전역 최대값을 찾기 위해 테스트당 여러 번 변경합니까?

지금 Instapage Enterprise 데모를 통해 모든 고객에게 1:1 광고 개인화를 제공하는 방법을 알아보세요.