A/A 테스트란 무엇이며 마케터가 관심을 가져야 하는 이유는 무엇입니까?

이 시나리오를 경험해 보셨습니까? A/B 테스트를 설정하여 새 버튼과 헤드라인 조합이 더 많은 전환을 생성하는지 알아보십시오...

클릭 후 방문 페이지(대조 페이지와 대안 페이지) 모두에 동일한 트래픽을 유도하고 소프트웨어가 99%의 신뢰도로 대안 페이지를 승자로 선언하면 한 달 후에 중지합니다.

새로운 "승리" 디자인을 출시했지만 몇 번의 비즈니스 주기가 지난 후 전환율이 50% 증가해도 수익에 영향을 미치지 않습니다. 당신은 혼란스러워. 당신은 짜증나…

그리고 당신은 아마도 위양성 테스트 결과의 희생자일 것입니다.

위양성 테스트 결과는 무엇입니까?

50%의 전환율 증가가 더 많은 매출로 이어지지 않는 이유는 무엇입니까? Copyhackers의 Lance Jones는 그 이유가 아마도 존재하지 않았기 때문이라고 말합니다.

처음부터 테스트가 없었기 때문에 테스트에서 판매 또는 수익이 증가하지 않는 것이 전적으로 가능합니다(아마도). 자신도 모르게 테스트에서 "가양성"을 받았을 수 있습니다. 이는 제1종 통계 오류로 알려져 있으며, 진정한 귀무 가설에 대한 잘못된 거부로도 알려져 있습니다. 그것은 한 입이므로 단순히 거짓 긍정으로 기억합니다.

한 입이든 아니든 이러한 유형 1 통계 오류는 생각보다 더 일반적입니다. AB 테스트 결과의 약 80%는 가상인 것으로 추정됩니다.

잘못된 긍정을 기반으로 주요 결정을 내리는 경우 기껏해야 최적화를 운에 맡기는 것입니다. 최악의 경우 클릭 후 방문 페이지의 전환율이 실제로 악화되고 있습니다.

다행히 유해한 데이터를 퇴치할 수 있는 몇 가지 방법이 있습니다. 그 중 하나는 여러분이 이미 잘 알고 있는 테스트 방법과 유사합니다…

A/A 테스트란?

A/B 테스트에는 두 개의 서로 다른 페이지(원본(제어)와 다른 버전(변형))로 트래픽을 유도하여 어떤 것이 더 나은지 확인하는 작업이 포함됩니다.

마찬가지로 A/A 테스트에는 어떤 페이지가 더 나은지 확인하기 위해 두 페이지로 트래픽을 유도하는 작업이 포함됩니다. 그러나 A/B 테스트와 달리 A/A 테스트는 두 개의 동일한 페이지를 서로 맞붙입니다. 리프트를 발견하는 대신 목표는 컨트롤과 변형 사이에 차이가 없는지 찾는 것입니다.

왜 A/A 테스트를 할까요?

우리는 "두 개의 동일한 페이지를 서로 테스트하는 것이 도대체 무엇을 달성할 수 있을까?"

어리석게 들릴 수도 있지만 일부 전문 테스터가 테스트하기 전에 A/B 테스트를 테스트하는 데 사용하는 기술입니다. (뭐?)

정확한 테스트 결과에는 통계적 유의성 이상이 필요합니다.

누구나 A/B 테스트를 실행할 수 있지만 유효한 A/B 테스트를 실행할 수 있는 사람은 거의 없습니다(기억: 테스트 결과의 약 20%만이 실제로 합법적임).

정확한 테스트 데이터를 생성하는 것은 크고 대표적인 샘플 크기로 통계적 유의성에 도달하는 것 이상을 포함합니다. 결과에 대해 확신을 가지려면 샘플이 여러 유효성 위협에 의해 오염되지 않았는지 확인해야 합니다.

이러한 위협 중 하나인 도구 효과 는 A/A 테스트가 전투에 가장 도움이 되는 것입니다.

악기효과란?

유효성 위협으로부터 보호하는 것은 A/B 테스트를 시작하기도 전에 시작됩니다. CXL의 Peep Laja는 계측기 효과가 대부분의 테스트 결과에 영향을 미친다고 말합니다.

이것은 가장 일반적인 문제입니다. 테스트에서 결함이 있는 데이터를 유발하는 테스트 도구(또는 계측기)에 문제가 발생하는 경우입니다. 종종 웹 사이트의 잘못된 코드 구현으로 인해 발생하며 모든 결과가 왜곡됩니다.

그렇기 때문에 테스트를 설정할 때 도구가 올바르게 구성되고 제대로 작동하는지 확인하는 것이 중요합니다. 그렇지 않은 경우 다음과 같은 일반적인 문제가 발생할 수 있습니다.

• 핵심 성과 지표의 잘못된 보고. 하나의 도구에서 단 하나의 오류가 데이터를 뒤죽박죽으로 만들 수 있으므로 모든 테스트 정보를 추적하기 위해 단일 플랫폼에 의존해서는 안 됩니다. 최소한 Google Analytics와 통합하여 테스트 소프트웨어 및 웹사이트 추적에 표시되는 메트릭이 정확한지 다시 확인하십시오. 더 나은 결과를 얻으려면 다른 도구로 세 번 확인하십시오. 비교적 밀접하게 일치하지 않는 보고서는 의심하십시오.
• 클릭 후 랜딩 페이지 표시 문제. 작은 코딩 실수는 A/B 테스트 중에 표시 문제와 같은 큰 유효성 위협을 유발할 수 있습니다. 그렇기 때문에 클릭 후 방문 페이지가 모든 장치와 브라우저에서 예상대로 표시되고 방문자가 "깜박임 효과"라는 현상의 영향을 받지 않도록 하는 것이 중요합니다. 무엇보다도 느린 웹 사이트로 인해 이 문제가 발생할 수 있습니다. 이 문제는 컨트롤이 변형 직전에 방문자에게 일시적으로 표시될 때 발생합니다.
• 테스트를 너무 일찍 중지합니다. 일부 테스트 소프트웨어는 샘플 크기가 충분히 크지 않거나 대상 고객을 대표하지 않는 경우 조기에 우승 페이지를 선언합니다. 기억하세요: 통계적 유의성에 도달 했다고 해서 테스트를 중단할 때가 된 것은 아닙니다. 실행 시간이 길수록 결과가 더 정확해집니다.

이러한 문제(및 그 이상) 중 하나라도 테스트 종료 시 거짓 양성으로 이어질 수 있으므로 Peep은 테스터에게 경계를 경고합니다.

테스트를 설정할 때 매처럼 지켜보십시오. 추적하는 모든 단일 목표와 메트릭이 기록되고 있는지 확인하십시오. 일부 메트릭이 데이터를 전송하지 않는 경우(예: 장바구니 클릭 데이터에 추가) 테스트를 중지하고 문제를 찾아 수정한 다음 데이터를 재설정하여 다시 시작하십시오.

그러나 모든 사람이 두 발로 A/B 테스트에 즉시 뛰어드는 것을 편안하게 느끼는 것은 아닙니다. 특히 새 소프트웨어를 사용할 때는 더욱 그렇습니다. 따라서 추가 예방 조치로 일부 실무자는 A/B 테스트를 시작하기 전에 도구를 평가하기 위해 A/A 테스트를 수행합니다.

실험이 올바르게 설정된 경우 A/A 테스트가 끝날 때 두 페이지 모두 비슷한 전환율로 나타납니다. 그러나 다음 테스터에서 볼 수 있듯이 항상 그런 것은 아닙니다.

A/A 테스트 예시

오탐이 정말 흔합니까? 한 페이지가 실제로 해당 복제본을 능가할 수 있습니까? 이 사람들은 A/A 테스트를 사용하여 알아내고 다음 블로그 게시물에서 결과를 공개했습니다.

1. 인기 있는 테스트 도구의 주요 단점을 보여주는 홈 페이지 분할 테스트

2012년 11월 11일, Copyhackers 팀은 홈페이지에서 아래와 같이 A/A 분할 테스트를 시작했습니다.

6일 후인 18일에 그들의 테스트 도구는 95%의 신뢰도로 승자를 선언했습니다. 그러나 정확성을 위해 팀은 테스트를 하루 더 실행하기로 결정했습니다. 이 시점에서 소프트웨어는 99.6%의 신뢰 수준에서 승자를 선언했습니다.

그들의 홈페이지는 정확히 같은 페이지 보다 거의 24% 더 나은 성능을 보였고 소프트웨어에 따르면 결과가 오탐지일 확률은 0.4%에 불과했습니다. 그래도 팀은 약 3일 더 테스트를 실행했고 차이는 결국 균등해졌습니다.

그러나 그것은 요점이 아닙니다. 요점은 테스트 도구가 너무 일찍 승자를 선언했다는 것입니다. Copyhackers 팀이 계속 실행하지 않았다면 실험에 문제가 있다고 잘못 가정했을 것입니다. 테스트에 대한 자세한 내용은 여기를 참조하십시오.

2. A/A 테스트: 아무것도 하지 않고 전환율을 300% 증가시킨 방법

이 냉소적인 제목은 750,000명의 이메일 구독자를 대상으로 8개월 동안 수많은 A/A 테스트를 실행한 작가이자 자칭 "회복하는 기업가" David Kadavy의 이름입니다. 그 시간 동안 그는 다음과 같이 통계적으로 유의미한 결과를 생성했습니다.

그 결과는 다음과 같습니다.

• 이메일 열기 9% 증가
• 클릭수 300% 증가
• 구독 취소율 51% 감소

그는 말한다 :

많은 구직자(나의 예전 자신 포함)에게 이것은 "오 와우, 당신은 오픈을 10% 증가시켰습니다!"처럼 보입니다. Visual Website Optimizer의 유의성 계산기에 입력하여 p=.048임을 확인할 수도 있습니다. "통계적으로 유의미합니다!" 그들(또는 나)은 외칠지도 모릅니다.

하지만 사실은 모두 A/A 테스트였습니다. 서로 테스트한 내용은 동일했습니다. 여기에서 더 많은 결과를 확인하세요.

A/A 테스트를 실행해야 합니까?

이 질문에 대한 답은 당신이 누구에게 물어보느냐에 달려 있습니다.

더 많은 수익으로 연결되지 않는 큰 전환 증가를 계속 목격한 Neil Patel은 "A/A 테스트를 먼저 실행하는 것이 정말 중요합니다. 이는 부정확한 소프트웨어로 시간을 낭비하지 않도록 하는 데 도움이 되기 때문입니다."라고 말합니다.

반면 CXL의 Peep Laja는 A/A 테스트 자체가 시간 낭비라고 말합니다. 그래서 누가 맞습니까?

A/A 테스트의 두 가지 주요 문제점

이론적 관점에서 A/A 테스트는 많은 의미가 있습니다. 무엇보다 A/B 테스트를 실행할 때 정확도가 가장 중요하며 테스트를 테스트하는 것은 이를 보장하는 여러 방법 중 하나일 뿐입니다.

그러나 실제 테스트 환경에서 A/A 테스트는 득보다 실이 더 많을 가능성이 있습니다. 크레이그 설리반은 다음과 같이 설명합니다.

나에게 문제는 A/A 테스트 기간으로 테스트 실행 시간을 미리 로드해야 하므로 항상 실제 트래픽과 테스트 시간을 잡아먹는 것입니다. 한 달에 40개의 테스트를 실행하려고 하면 실시간으로 물건을 가져오는 능력이 손상될 것입니다. 2~4주간의 A/A 테스트를 실행하여 정렬을 확인하는 것보다 실험에 대한 반나절 동안 QA 테스트를 수행하는 것이 좋습니다.

그것이 문제 1입니다. A/A 테스트는 A/B 테스트를 통해 웹 사이트 방문자에 대해 자세히 알아보는 데 사용할 수 있는 실시간 트래픽과 트래픽을 요합니다.

두 번째 문제 는 Copyhackers의 사례 연구에 예시되어 있습니다. A/B 테스트와 마찬가지로 A/A 테스트도 오탐에 취약하기 때문에 신중하게 설계하고 모니터링해야 합니다.

즉, A/A 테스트는 한 페이지가 다른 페이지보다 더 나은 성능을 보인다고 말할 수 있습니다. 그렇지 않은 경우(그 가능성은 생각보다 훨씬 높습니다. — 약 50%)

Copyhackers 팀이 테스트 도구를 듣고 단 6일 만에 승자를 선언했다면 홈페이지가 일란성 쌍둥이보다 더 나은 성능을 보이는 이유를 알아내는데 훨씬 더 많은 시간을 할애했을 것입니다(실제로 그렇지 않은 경우). .

A/A 테스트의 주요 이점

이러한 문제에도 불구하고 A/A 테스트는 실제 테스트 중에 더 큰 문제를 파악하는 데 도움이 될 가능성이 있습니다. 이러한 테스트의 결과가 중요한 비즈니스 결정의 기반이 되는 경우 고려해야 할 강력한 이점입니다.

A/A 테스트를 하기로 결정했다면 A/A/B 테스트라고 하는 잠재적으로 덜 낭비적인 방법이 있습니다.

A/A/B 테스트 대 A/A 테스트

A/A 테스트의 전통적인 방법은 결론에서 방문자에 대해 아무 것도 알려주지 않기 때문에 트래픽을 낭비합니다. 그러나 해당 테스트에 "B" 변형을 추가하면 가능합니다. 둘의 차이점은 다음과 같습니다.

• A/A 테스트 = 서로에 대해 테스트된 2개의 동일한 페이지
• A/A/B 테스트 = 2개의 동일한 페이지와 1개의 변형이 서로 테스트됨

A/A/B 테스트는 트래픽을 세 개의 세그먼트로 분할하므로 통계적 유의성에 도달하는 데 시간이 더 오래 걸립니다. 그러나 장점은 일단 그렇게 하면 테스트 도구와 방문자 모두에 대한 데이터를 갖게 된다는 것입니다.

A와 A의 결과를 비교하여 테스트를 신뢰할 수 있는지 확인하십시오. 통계적으로 유사하면 A와 B의 결과를 비교하십시오. 그렇지 않은 경우 전체 테스트의 결과를 버려야 합니다(기존의 A/A 테스트보다 실행 시간이 더 오래 걸림). 트래픽이 세 가지 방식으로 분류되기 때문입니다).

A/A 테스트의 이점이 단점보다 더 큽니까?

일부 전문가는 "예"라고 말하고 다른 전문가는 "아니오"라고 말합니다. Leadplum의 Andrew First는 대답이 다음 사이에 있다고 생각하는 것 같습니다.

A/A 테스트는 아마도 월간 일이 아니어야 하지만 새 도구를 설정할 때 데이터를 테스트하는 데 시간을 할애할 가치가 있습니다. 지금 잘못된 데이터를 가로채면 몇 달 후 테스트 결과에 대해 더 확신을 가질 수 있습니다.

궁극적으로 그것은 당신에게 달려 있습니다. 새 도구를 사용하는 경우 Andrew의 조언을 따르는 것이 현명할 수 있습니다. 그렇지 않은 경우 Craig Sullivan의 리드를 따르고 대신 엄격한 사전 테스트 QA 프로세스를 설정하는 것이 가장 좋습니다. A/B 테스트를 위한 시간, 리소스 및 트래픽을 절약하십시오.

테스트 노력과 디지털 광고 캠페인을 최대한 활용하고 지금 Instapage Enterprise 데모에 등록하십시오.