A/A 테스트에 관한 모든 것: A/A 테스트를 실행해야 하는 이유와 시기

A/A 테스트를 사용하면 두 개의 동일한 페이지를 서로 테스트할 수 있으며 새로운 A/B 테스트 도구를 설정할 때 매우 유용할 수 있습니다.

A/A 테스트를 사용할 수 있습니다.

• A/B 테스트 플랫폼의 정확성을 평가하고,
• A/B 테스트 플랫폼이 내부 분석과 완전히 통합되었는지 확인하고,
• A/B 테스트 도구에 가능한 기술적인 문제를 식별하고,
• 페이지 또는 유입경로에 대한 기준 전환율 제공
• A/B 테스트에 사용할 적절한 샘플 크기를 결정하고
• 페이지 및 유입경로의 실적을 벤치마킹합니다.

Convert는 A/A 및 A/B 테스트 기능을 모두 제공하여 전환율이 높은 웹사이트를 성공적으로 디자인하고 개발하는 데 필요한 모든 것을 갖추고 있는지 확인합니다.

A/A 테스트의 중요성과 첫 경험을 설정하는 방법에 대해 자세히 알아보려면 계속 읽으십시오!

아마도 이런 일이 전에 당신에게 일어났습니다 ...

• A/B 테스트를 실행하여 새 CTA 버튼과 헤드라인이 전환을 증가시키는지 확인합니다.
• 다음 달에 대조군과 대안 페이지 모두에 동일한 양의 트래픽을 보냅니다.
• 귀하의 소프트웨어는 귀하의 변형이 승자임을 선언하므로(99% 신뢰도로) 중지합니다.
• 그런 다음 "성공하는" 디자인을 시작하지만 여러 비즈니스 주기 후에 전환율의 50% 증가가 순이익에 거의 영향을 미치지 않는다는 것을 알 수 있습니다.

가장 가능성 있는 설명은 위양성 테스트 결과입니다. 다행히 잘못된 테스트를 처리하는 다양한 방법이 있습니다.

A/A 테스트라고 들어보셨을 것입니다.

A/A 테스팅이란?

A/A 테스팅에 대해 알아보기 전에 A/B 테스팅에 대해 이야기하여 차이점을 지적해 보겠습니다.

일반적인 A/B 환경에서 트래픽은 둘 이상의 대안 대안 간에 분할됩니다.

하나의 변형은 일반적으로 "대조군" 또는 "원본"으로 지정됩니다. 경험의 다른 모든 변형을 대조군과 비교하여 주어진 측정항목에서 가장 큰 상승도를 생성하는 변형을 결정합니다.

반면 A/A 테스트에서는 일반적으로 50/50 분할을 사용하여 두 개의 동일한 변형에 트래픽을 할당해야 합니다.

일반적인 A/B 테스트의 목표는 더 높은 전환율을 찾는 것인 반면, A/A 테스트의 목적은 일반적으로 유사 콘텐츠의 상승도가 동일한지 여부를 조사하는 것입니다.

A/A 테스트에서는 트래픽이 무작위로 분할되어 두 그룹이 같은 페이지에 표시됩니다.

그런 다음 보고된 전환율, 클릭률 및 각 그룹에 대한 관련 통계가 기록되어 무언가를 배울 수 있습니다.

A/A 테스트 = 서로에 대해 테스트된 2개의 동일한 페이지

이제 A/A 경험을 사용할 수 있는 몇 가지 예를 살펴보고 이것이 귀하에게 유용한지 판단해 보겠습니다.

A/A 테스트를 실행하는 이유는 무엇입니까?

A/A 테스트를 실행하는 것은 다음과 같은 웹 디자인 및 개발 프로세스의 다양한 단계에서 특히 효과적일 수 있습니다.

• 새 A/B 테스트 도구 설치가 완료되면
• 현재 A/B 테스트 도구의 설정이 업그레이드 또는 변경되었을 때,
• 새로운 웹사이트나 앱을 만들 때,
• A/B 테스트의 데이터 보고서와 사용하는 다른 분석 도구 간에 불일치가 발견되는 경우.

이러한 각 사용 사례에 대해 자세히 살펴보겠습니다.

A/B 테스팅 플랫폼의 정확성 확인

A/A 경험은 A/B 테스트 플랫폼을 확보하려는 회사나 새로운 테스트 소프트웨어를 시험해보려고 하는 회사(적절하게 설정되었는지 확인하기 위해)가 시작할 수 있습니다.

A/A 경험에서 우리는 유사한 전환 가치를 목표로 동일한 페이지의 완전히 동일한 두 버전을 비교합니다.

통제와 변동 간에 차이가 없는 경우 예상 결과는 결정적이지 않습니다.

그럼에도 불구하고 "승자"가 두 개의 동일한 사본에 선언되는 경우가 있습니다.

이 경우 도구가 잘못 구성되었거나 비효율적일 수 있으므로 A/B 테스트 플랫폼을 평가하는 것이 중요합니다.

다음 단계로 다음을 수행해야 합니다.

1. A/B 추적 코드를 올바르게 설치했는지 확인하십시오.
2. 사이트 영역 확인
3. 잠재고객 확인
4. 목표 확인
5. 플랫폼을 포기하기 전에 해결할 수 있는 문제인지 확인하려면 A/B 테스트 지원 팀에 문의하세요.

바라건대, 문제는 위의 것 중 하나입니다. 문제를 파악할 수 없다면 A/A 테스트가 결정적이며 A/B 테스트 플랫폼이 정확하지 않다는 의미일 수 있습니다.

내부 분석과의 통합 범위 결정

A/B 테스트 플랫폼의 정확성을 확인할 때 A/A 테스트를 사용하여 플랫폼이 분석 도구와 완전히 통합되었는지 평가할 수 있습니다.

Google Analytics, Heap Analytics, Adobe Analytics, Plausible, Matomo 등 무엇을 사용하든 A/A 테스트 결과를 내부 분석 도구와 비교하여 통합이 예상대로 작동했는지 확인할 수 있습니다.

예를 들어 아래에서 GA는 원본에서 620명의 방문자를, 대안에서 592명의 방문자를 식별했습니다(원본과 동일한 페이지).

동일한 날짜 범위에 대해 Convert는 원본에서 972명의 방문자를, 변형에서 980명의 방문자를 공개했습니다(원본과 동일한 페이지).

이는 두 플랫폼 간의 통합이 예상대로 작동하지 않는다는 신호일 수 있습니다.

가능한 기술적 문제 식별

A/A 테스트를 사용하여 가능한 기술 문제를 식별할 수도 있습니다.

대부분의 A/B 테스트 소프트웨어는 다소 다른 방법을 사용하며 프로그램이 얼마나 많이 푸시되는지에 따라 상당한 변형이 발생할 수 있습니다.

이는 비정상적으로 보일 수 있지만 다음 중 하나에 더 심각한 근본적인 문제가 있음을 시사할 수도 있습니다.

• 수학 및 통계 공식
• 무작위화 알고리즘
• 브라우저 쿠키

A/A 경험을 사용하여 위의 문제를 드러낼 수 있습니다.

아래 사례에서 Wish 데이터 과학자들은 A/A 테스트에서 SRM 문제를 발견했습니다. 철저한 조사 후 SRM은 무작위 배정이 완전히 무작위가 아니기 때문에 발생하는 것으로 결정되었습니다.

무작위화 기술은 신뢰할 수 있는 실험 결과에 중요합니다.

무작위 표본의 사용은 A/B 테스트에 사용되는 통계 테스트의 필수 가정입니다.

무작위화는 실험 버킷 간에 관찰된 사용자 요인과 관찰되지 않은 사용자 요인의 균형을 맞춥니다. 테스트 중인 제품 기능과 시험 결과의 변경 간의 인과 관계를 설정합니다.

모든 페이지 또는 유입경로에 대한 기준 전환율 제공

숫자를 개선하려면 먼저 기준선이 어떻게 생겼는지 파악해야 합니다. 이것은 속도, 체중 또는 실행 시간이 될 수 있습니다.

마찬가지로 A/B 테스트를 수행하기 전에 먼저 결과를 비교할 전환율을 결정해야 합니다. 이것이 기준 전환율 입니다.

단일 경험으로 인해 수익이 증가한다는 말을 들어보셨을 것입니다. 하지만 이는 오해의 소지가 있습니다. 웹사이트 전환이 개선되었는지 여부는 한 번의 경험으로 알 수 없습니다.

모든 경험의 향상을 수량화할 수 없는 경우 전체 예상 전환과 달성 전환을 자주 비교해야 하므로 기준 전환율을 아는 것이 중요합니다.

운이 좋으면 "승리"로 간주되는 모든 경험이 전환이 기대치를 초과하는 데 도움이 될 것입니다.

이 작업을 충분히 자주 수행하면 전환이 계속 향상될 것입니다!

A/A 테스트는 이를 달성하는 데 도움이 될 것입니다.

방문 페이지 중 하나에서 A/A 테스트를 실행하고 있으며 원본 A와 대안 B가 거의 동일한 결과(2.14% 및 2.13%)를 제공한다고 가정해 보겠습니다.

결과적으로 기준 전환율은 2.13-2.14%로 설정할 수 있습니다.

이를 염두에 두고 이 벤치마크를 초과하는 것을 목표로 향후 A/B 테스트를 수행할 수 있습니다.

새 버전의 방문 페이지에서 A/B 테스트를 실행하고 전환율이 2.15%인 경우 결과는 통계적으로 유의하지 않습니다.

필요한 표본 크기 찾기

A/B 경험을 실행하기 전에 도로 여행을 떠나기 전과 마찬가지로 샘플 크기를 다시 확인하십시오.

샘플(사용자)이 충분하지 않으면 경험 효과를 관찰할 수 없습니다. 반면에 샘플이 너무 많으면 사람들을 지속적으로 나쁜 경험에 노출시켜 팀의 진행 속도를 늦출 위험이 있습니다.

이상적으로는 수집할 샘플 수를 먼저 결정하지 않고 경험을 시작해서는 안 됩니다.

그 이유를 이해하려면 다음을 고려하십시오.

동전이 있고 앞면이나 뒷면이 나올 확률이 50/50이라는 가설이 있다고 가정해 보겠습니다. 이것을 증명하기 위해 당신은 그것을 백 번 던집니다.

그러나 처음 10번의 던지기에서 10개의 꼬리를 얻었고 거기서 실험을 중단하기로 결정했다고 가정해 보겠습니다.

귀무 가설(동전이 공정하다는)을 기각하는 것은 통계적으로 유의미하게 보일 수 있지만 실험을 조기에 종료했습니다. 실험을 시작하는 데 얼마나 오랜 시간이 걸렸는지 모릅니다.

표본 크기를 추정하지 않으면 경험을 수행할 기간을 결정하지 못할 수도 있습니다.

그렇다면 어떻게 접근해야 할까요?

A/A 테스트는 웹사이트 방문자로부터 필요한 샘플 크기의 크기를 파악하는 데 도움이 될 수 있습니다.

월요일 아침 방문자는 토요일 밤 방문자와 통계적으로 완전히 다를 수 있습니다. 그리고 아마도 휴일 쇼핑객은 휴일이 아닌 시즌에 쇼핑하는 사람들과 통계적으로 다를 수 있습니다.

데스크톱 고객은 모바일 고객과 통계적으로 다를 수 있습니다. 그리고 스폰서 광고를 통해 오는 고객은 입소문을 통해 오는 고객과 동일하지 않습니다.

장치 및 브라우저와 같은 범주 내에서 결과를 볼 때 올바른 샘플 크기로 발견할 추세에 놀랄 것입니다.

물론 표본 크기가 너무 작으면 결과를 신뢰할 수 없을 수 있습니다. 경험 결과에 영향을 미칠 수 있는 몇 가지 부분을 놓칠 수 있습니다.

표본 크기가 클수록 테스트에 영향을 미치는 모든 세그먼트를 포함할 가능성이 높아집니다.

A/A 테스트를 실행하면 동일한 변형 간에 이상적인 동등성을 허용하는 샘플 크기를 결정할 수 있습니다.

간단히 말해서 A/A 테스트는 향후 A/B 테스트에 사용할 수 있는 적절한 샘플 크기를 결정하는 데 도움이 됩니다.

페이지 및 유입경로의 성능 벤치마킹

얼마나 많은 방문자가 귀하의 홈페이지, 장바구니 페이지, 제품 페이지 및 기타 페이지를 방문합니까?

이 작업을 수행할 때 승자를 찾을 수 있는지 여부에는 관심이 없습니다. 오히려 특정 페이지에 대해 더 큰 패턴을 찾고 있습니다.

이러한 경험은 다음과 같은 질문에 답하는 데 도움이 될 수 있습니다.

• 홈페이지의 매크로 전환율은 얼마입니까?
• 방문자 세그먼트별 전환율 분석은 무엇입니까?
• 기기 세그먼트별 전환율 분석은 무엇입니까?

A/A 경험은 웹사이트의 모든 부분에 대한 새로운 A/B 경험을 비교할 수 있는 기준을 제공합니다.

웹사이트의 분석을 통해 동일한 정보를 받을 수 있다고 주장할 수 있습니다.

그러나 이것은 사실이기도 하고 거짓이기도 합니다.

A/B 테스트 도구는 주로 승자를 선언하는 데 사용되므로(테스트 데이터를 Google 애널리틱스로 전송하거나 다른 계산을 수행하는 동안) 웹사이트 측정항목이 실행 중일 때 계속 관찰하고 싶을 것입니다.

A/A 경험 설정

A/A 경험은 전환율 최적화를 위한 매우 중요한 도구입니다.

그러나 A/A 경험의 문제는 경험을 수행할 때 사용할 페이지를 결정하는 것입니다.

A/A 경험 페이지로 선택한 페이지에 다음 두 가지 특성이 있는지 확인하십시오.

• 많은 양의 트래픽. 페이지를 방문하는 사람이 많을수록 유사 콘텐츠 간의 일치를 더 빨리 알 수 있습니다.
• 방문자는 구매하거나 가입할 수 있습니다. A/B 테스트 솔루션을 결승선까지 미세 조정하고 싶을 것입니다.

이러한 요구 사항이 웹 사이트의 홈페이지에서 A/A 테스트를 자주 수행하는 이유입니다.

다음 섹션에서 A/A 테스트 캠페인을 만드는 방법에 대해 자세히 설명하겠지만, 웹사이트의 홈페이지에서 A/A 테스트를 설정하는 방법을 간단히 설명하면 다음과 같습니다.

1. 동일한 페이지의 두 가지 동일한 버전(컨트롤 및 변형)을 만듭니다. 유사 콘텐츠 생성을 완료한 후 샘플 크기가 동일한 잠재고객을 선택합니다.
2. KPI를 결정하십시오. KPI는 시간 경과에 따른 성과를 측정하는 지표입니다. 예를 들어, KPI는 클릭 유도문안을 클릭한 방문자의 수입니다.
3. 테스트 도구를 사용하여 청중을 고르고 무작위로 분할하여 한 그룹을 대조군으로 보내고 다른 그룹을 변형으로 보냅니다. 대조와 변형이 모두 특정 방문 횟수에 도달할 때까지 경험을 실행합니다.
4. 두 그룹의 KPI를 추적합니다. 두 그룹 모두 동일한 콘텐츠에 노출되기 때문에 비슷하게 행동해야 합니다.
5. A/B 테스트 도구를 분석 소프트웨어에 연결하십시오. 이를 통해 분석 프로그램에서 데이터가 정확하게 수집되고 있는지 다시 확인할 수 있습니다.

A/A 테스트 결과를 어떻게 해석합니까?

A/A 경험에 대한 결정적이지 않은 결과를 기대합니다

계절성은 A/A 테스트의 결과를 변경하지 않을 수 있지만 목표 중 하나는 예상치 못한 결과를 감지하는 것입니다. 이러한 이유로 결과를 검토하기 전에 최소 일주일 동안 테스트를 실행하는 것이 좋습니다.

한 주가 끝나면 A/A 테스트 결과를 검토할 때 다음 동작을 확인해야 합니다.

• 시간이 지남에 따라 통계적 유의성은 주어진 값을 중심으로 안정될 것입니다. 10%의 경우 통계적 유의성은 90% 이상으로 안정됩니다.
• 더 많은 데이터가 수집되면 실험의 신뢰 구간이 줄어들어 0이 아닌 값이 제외됩니다.
• 원본과 변형은 테스트 결과 동안 다양한 지점에서 다르게 수행될 수 있지만 공식적으로 통계적으로 유의미한 승자로 표시되어서는 안 됩니다.

변형 간에 차이가 없어야 하므로 약간의 차이만 있고 통계적으로 유의미한 결과는 없을 것으로 예상해야 합니다. 아마도 다음과 같은 내용을 보게 될 것입니다.

동일하지 않은 변형을 얻는다는 것은 무엇을 의미합니까?

A/A 경험에서 두 개의 동일한 변형 간에 상당한 차이가 있는 경우 A/B 테스트 소프트웨어가 올바르게 구현되지 않았거나 테스트 도구가 비효율적임을 의미할 수 있습니다.

그러나 경험이 제대로 수행되지 않았 거나 결과가 무작위 분산으로 인한 것일 수도 있습니다. 이러한 샘플링 오류는 모든 방문자를 측정하는 것이 아니라 샘플을 측정할 때 자연스럽게 발생합니다.

예를 들어, 95% 신뢰 수준은 두 변형 간의 의미 있는 성능 차이가 아니라 샘플링 오류로 인해 20번 중 1번 발생하는 결과가 우수함을 나타냅니다.

적절하게 실행된 A/A 경험이 유사 콘텐츠의 정체성을 검증하지 못하는 또 다른 이유는 타겟 고객의 이질성 때문입니다.

예를 들어, 다양한 연령대의 여성에 대해 다양한 전환율을 사용하여 여성 그룹에 대해 A/A 경험을 실행한다고 가정해 보겠습니다.

정확한 A/B 테스트 도구를 사용하여 테스트를 제대로 실행하더라도 두 개의 동일한 변형 간에 상당한 차이가 나타날 수 있습니다. 왜요? 이 예에서 방문자의 50%는 20세에서 90세 사이이고 나머지 50%는 20세에서 50세 사이일 수 있습니다. 플랫폼의 오류라기보다 불일치 결과는 단순히 두 관객이 매우 다릅니다.

마지막으로 A/A 테스트를 포함하여 모든 종류의 테스트를 실행할 때 또 다른 일반적인 실수 는 결과를 계속 확인하고 통계적 유의성이 감지되면 테스트를 조기에 종료하는 것 입니다.

승리한 유사 콘텐츠를 너무 빨리 선언하는 이러한 관행을 "데이터 엿보기"라고 하며 잘못된 결과를 초래할 수 있습니다.

A/A 테스트에서 데이터 엿보기를 통해 분석가는 두 가지가 실제로 동일한 경우 하나의 변형에서 상승도를 확인할 수 있습니다.

이를 방지하려면 사용할 샘플 크기를 미리 결정해야 합니다. 다음을 기반으로 결정하십시오.

• 최소 효과 크기: 효과가 조직에 의미가 없는 최소 상승도
• 힘
• 귀하가 수용할 수 있다고 생각하는 유의 수준

A/A 테스트의 목적은 일단 표본 크기에 도달하면 통계적으로 유의미한 결과를 보지 않도록 하는 것입니다.

A/A 테스트의 문제점은 무엇입니까?

A/A 테스트가 실험 전략에 가져올 수 있는 많은 이점 외에도 A/A 테스트의 두 가지 주요 단점은 다음과 같습니다.

1. A/A 실험 설정에는 예측할 수 없는 요소가 포함되어 있습니다.
2. 높은 표본 크기가 필요합니다.

이러한 각 과제를 개별적으로 살펴보겠습니다.

무작위성

앞서 언급했듯이 A/A 테스트를 수행하는 주요 이유 중 하나는 테스트 도구의 정확성을 평가하는 것입니다.

그러나 대조 전환과 유사 전환 간의 차이점을 발견했다고 가정해 보겠습니다.

A/A 테스트의 문제는 항상 임의의 요소가 관련되어 있다는 것입니다.

다른 상황에서는 통계적 의미가 오로지 우연에 의해서만 달성됩니다. 즉, 두 유사 콘텐츠 간의 전환율 차이는 절대적이기보다는 확률적입니다.

큰 표본 크기

유사한 변형을 비교할 때 동일한 변형보다 선호되는지 여부를 결정하려면 큰 표본 크기가 필요합니다.

이것은 많은 시간을 필요로 합니다.

A/A 테스트를 실행하는 것은 '실제' 테스트 시간을 잡아먹을 수 있습니다.

대규모 최적화 프로그램의 비결은 프로세스에서 낭비, 어리석음 및 비효율성을 완전히 제거하여 리소스 비용 대 기회 비율을 줄이고 테스트 처리량과 학습 내용의 속도를 보장하는 것입니다.

사이트에서 실험을 실행하는 것은 주요 국제 공항에서 바쁜 항공사를 운영하는 것과 약간 비슷합니다. 이륙 슬롯이 제한되어 있으므로 이를 효과적으로 사용해야 합니다.

CXL용 크레이그 설리반

경험 변환 및 A/A 테스트

A/A 테스트는 더 "고급" 지원 요청에서 자주 발생합니다.

Convert 지원 에이전트의 다음 제안은 해결된 수십 가지 사례를 기반으로 합니다.

1. A/B 테스트 플랫폼을 테스트하려면 먼저 A/A 경험을 수행하십시오. 둘 사이의 차이가 선택한 수준에서 통계적으로 유의하면 플랫폼이 손상될 수 있습니다.
2. A/A/B 또는 A/A/B/B 테스트를 수행하고(아래에서 자세히 설명) 두 개의 A 변이 또는 두 개의 B 변이가 선택한 수준에서 통계적으로 유의한 차이를 생성하는 경우 결과를 폐기합니다.
3. 많은 A/A 테스트를 설정합니다. 예상보다 많은 테스트에서 통계적으로 유의미한 차이가 나타나면 플랫폼이 손상된 것입니다.

변환 경험 내에서 A/A 테스트를 설정하는 방법은 무엇입니까?

이제 변환 경험을 사용하여 몇 가지 다른 유형의 A/A 테스트(예, 복수)를 설정하는 방법을 살펴보겠습니다.

순수한 A/A 경험

가장 일반적인 A/A 설정은 동일한 두 페이지를 50/50으로 분할하는 것입니다.

목표는 각 변형이 거의 동일한 성능을 갖도록 하여 경험 구성을 검증하는 것입니다.

데이터에 유용한 정보가 아닌 노이즈가 포함되어 있는지 확인하기 위해 동일한 내용을 자체적으로 확인하고 있습니다.

이 간단한 A/A 경험을 설정하려면 경험 메뉴를 클릭하십시오. 그런 다음 오른쪽 상단의 "새 경험" 버튼을 클릭합니다.

"경험 생성 마법사"의 세부 정보를 입력하고 "A/A 경험" 경험 유형을 선택합니다.

이제 A/A 경험이 생성되어야 합니다. "Edit Variations" 옵션이 없다는 점을 제외하면 플랫폼의 다른 유형의 실험과 동일합니다.

상태를 변경하여 경험을 활성화합니다.

보정된 A/A/B 또는 A/A/B/B 경험

이 보정된 A/A/B 또는 A/A/B/B 테스트 이면의 아이디어는 복제된 A 또는 B 변형이 A/B 테스트의 정확도를 측정한다는 것입니다.

A와 A 또는 B와 B의 차이가 통계적으로 유의한 경우 테스트는 무효로 간주되고 결과는 폐기됩니다.

이러한 테스트를 설정하려면 A/A가 아닌 A/B 경험을 시작해야 합니다.

화면 오른쪽에 있는 "New Experience" 버튼을 클릭하여 새로운 경험을 만드세요.

해당 버튼을 클릭하면 이 팝업 메뉴가 표시됩니다. 옵션 A/B 선택:

그런 다음 두 번째 상자에 URL을 입력합니다.

선택한 URL과 상단에 도구 모음을 표시하는 Visual Editor로 이동합니다.

왼쪽 상단의 페이지 변형 섹션에서 "변형 1"이 기본적으로 선택되어 있음을 알 수 있습니다.

즉, 이 버전의 URL을 변경해도 원래 URL에는 영향을 미치지 않습니다.

이렇게 하면 "A" 버전이 원본 페이지이고 "B" 버전이 변형 1인 클래식 A/B 테스트가 됩니다.

A/A/B 또는 A/A/B/B의 경우 대안 A 및 대안 B와 각각 동일한 대안 A 및 다른 대안 B를 추가해야 합니다.

다음과 같이 표시되어야 합니다.

"저장하고 계속하기" 버튼을 클릭하면 모든 작업이 완료됩니다!

많은 A/A 경험 실행

우리는 이미 이에 대해 다루었지만 많은 청중을 대상으로 1000번의 연속적인 A/A 테스트를 수행하고 모든 요구 사항을 따르고 예상보다 훨씬 더 자주 통계적으로 유의미한 결과를 얻으면 A/B 테스트 프레임워크가 손상될 수 있습니다.

샘플이 제대로 무작위화되지 않았을 수 있습니다. 또는 두 가지 변형이 상호 배타적이지 않을 수도 있습니다.

다음과 같이 보일 수 있습니다.

A/B 경험과 동시에 A/A 경험을 실행할 수 있습니까?

동일한 웹사이트에서 A/B 테스트와 동시에 A/A 테스트를 실행해야 할 수도 있습니다.

이 경우 다음과 같은 몇 가지 가능성이 있습니다.

1. 동시에 실행하면 테스트가 서로 충돌하는 것에 대해 걱정할 필요가 없습니다.
2. 실험을 동시에 수행할 수 있지만 다른 청중을 대상으로 합니다.
3. 올바른 순서로 테스트를 수행할 수 있습니다(테스트 2(A/B 테스트)로 이동하기 전에 테스트 1(A/A 테스트) 완료).

옵션 3이 가장 안전하지만 경험의 기능을 크게 제한합니다.

동일한 페이지 또는 페이지 세트에서 동시에 여러 경험을 실행하는 것이 완전히 가능합니다.

그러나 한 실험의 버킷팅은 동시에 발생하는 다른 실험의 데이터에 영향을 미칠 수 있습니다.

다음은 병렬 테스트를 실행할 때 사용할 가장 중요한 두 가지 변환 기술입니다.

1. 트래픽의 50%를 A/A 테스트에 할당하고 나머지 50%의 트래픽이 실행 중인 다른 A/B 환경에 들어가도록 허용합니다.
2. 다른 A/B 테스트에서 A/A 방문자를 제외합니다.

사전 테스트 QA 프로세스: A/A 테스트에 대한 흥미로운 대안

A/A 테스트 진행 여부를 결정할 때 누구에게 질문하느냐에 따라 답변이 달라집니다. A/A 테스트가 논쟁의 여지가 있는 문제임에는 의심의 여지가 없습니다.

A/A 테스트에 대한 가장 일반적인 주장 중 하나는 시간이 너무 오래 걸린다는 것입니다.

A/A 테스트는 상당한 시간을 소비하며 종종 A/B 테스트보다 훨씬 더 큰 샘플 크기가 필요합니다.

두 개의 동일한 웹 사이트 버전을 비교할 때 상당한 편향을 나타내기 위해서는 높은 표본 크기가 필요합니다.

결과적으로 테스트를 완료하는 데 시간이 더 오래 걸리고 잠재적으로 다른 중요한 테스트에 소요되는 시간을 줄일 수 있습니다.

시간이 많지 않거나 트래픽이 많은 경우에는 사전 테스트 QA 프로세스를 고려하는 것이 가장 좋습니다.

이 블로그 기사에서는 전체 QA 프로세스를 수행하기 위해 따라야 하는 모든 단계를 안내합니다. 당신이 사용하는 방법은 당신에게 달려 있고 당신이 얼마나 많은 시간을 가지고 있는지에 달려 있습니다.

A/A 테스트에 SRM이 존재할 수 있습니까?

다음과 같이 자문해 보십시오. A/A 테스트 중에 관찰된 실제 사용자 수를 반으로 나누면 50/50 비율(또는 90/10 비율 또는 기타 비율)에 가까울까요?

그렇지 않은 경우 두 가지 문제 중 하나에 직면하게 됩니다. 코드 내에서 테스트 인프라를 호출하는 방법에 문제가 있거나(한쪽에서 "누수") 테스트 인프라에 문제가 있습니다. 할당 메커니즘.

샘플 비율 불일치 오류(SRM 오류)는 A/A 테스트에서 감지할 수 있는 결함입니다.

비율이 65/35와 같으면 동일한 타겟팅 전략을 사용하여 다른 A/B 테스트를 실행하기 전에 문제를 조사해야 합니다.

A/A 테스트의 장점이 단점을 능가합니까?

A/A 테스트를 월 단위로 수행해서는 안 되지만 새 A/B 도구를 설정할 때 데이터를 테스트하는 것이 좋습니다.

지금 잘못된 데이터를 포착하면 나중에 A/B 테스트 결과에 대해 더 확신할 수 있습니다.

결정은 궁극적으로 귀하의 몫이지만, 새로운 도구를 사용하기 시작하는 경우 A/A 테스트를 수행하는 것이 좋습니다. 그렇지 않은 경우 A/B 테스트를 통해 시간, 비용 및 트래픽을 절약할 수 있으므로 엄격한 사전 테스트 QA 절차를 설정하는 것이 좋습니다.

위의 스크린샷이 귀하의 질문에 답이 되었기를 바랍니다. 그러나 그렇지 않은 경우 데모에 등록하여 Convert Experiences로 A/A 테스트를 설정하는 것이 얼마나 쉬운지 직접 확인하십시오.