전환 경험 보고서를 정확하게 읽고 해석하는 방법

변환 사용자라면 보고서에 중요한 데이터가 포함되어 있다는 것을 알고 있습니다. 그러나 그 모든 숫자와 그래프는 무엇을 나타냅니까? 그리고 그것들로부터 어떤 결론을 이끌어낼 수 있는지 어떻게 알 수 있고 그 정보를 사용하여 테스트를 개선할 수 있습니까?

경험을 검증하기 위해 통계적 유의성 계산기를 사용하는 것만큼 간단합니까?

실험 보고서에 녹색이 충분히 표시되면 A/B 테스트를 성공적으로 호출한 것입니까? 아니면 다른 요소도 살펴봐야 합니까?

통계적 유의성 계산기는 정확한 테스트에 필수적이지만 전체 내용을 알려주지는 않습니다. 변환 보고서를 최대한 활용하려면 A/B 테스트 통계를 확실히 이해해야 합니다.

왜 그런데?

A/B 테스팅은 기본적으로 통계 분석 방법이기 때문입니다. 당신은 다른 하나 없이는 가질 수 없습니다.

A/B 테스트 또는 경험은 두 데이터 세트 간의 관계에 대한 가설을 개발하고 비교하여 통계적 유의성이 있는지 확인하는 통계적 가설 테스트의 한 예입니다.

따라서 초보자이든 숙련된 사용자이든 보고서에서 사용할 수 있는 테스트 통계의 전체 범위를 이해하고 A/B 테스트에서 더 나은 결과를 얻으려면 계속 읽으십시오!

그렇다면 A/B 테스트 보고서로 무엇을 할 수 있습니까? 두 가지 실제 사례를 살펴보겠습니다.

실시예 1

전자 상거래 비즈니스는 전환율을 향상시키기 위해 제품 페이지를 최적화할 계획입니다.

이 특정한 상황에서,

상품페이지 전환율 = 주문건수 / 상품페이지 방문자수

마케팅 팀은 세 가지 새로운 제품 페이지 디자인을 평가하고 있습니다. 그들은 네 가지 가능성, 즉 기존 디자인과 세 가지 새로운 가능성 중에서 가장 효과적인 것을 선택하기를 원합니다. 전환율이 한 요인인 경우 전환 경험 보고서와 해당 통계 방법을 사용하여 최고의 실적을 낸 기업을 찾는 방법은 무엇입니까?

실시예 2

가격 페이지를 변경함으로써 SaaS 웹사이트는 회원 기반을 확대하기를 희망합니다.

그들을 위해,

가격 페이지 전환율 = 구독 수 / 가격 페이지 방문자 수

마케팅에서는 세 가지 다른 디자인을 평가하여 현재 디자인보다 더 많은 구독자를 유치할 수 있는지 확인하고 있습니다.

경험 전환 보고서 및 해당 통계 방법을 사용하여 전환율을 선택 기준으로 사용하여 이러한 비교를 수행할 수 있는 방법은 무엇입니까?

이 기사에서는 경험 전환 보고서에 포함된 내용, 웹사이트 개선을 위해 이를 사용하는 방법, 조치를 취할 수 있도록 방문자 경험에 대한 자세한 분석을 해석하는 방법에 대해 설명합니다.

A/B 테스트 보고서 변환 이면의 통계를 이해하는 데 도움이 되는 따라하기 쉬운 가이드를 읽으십시오.

전환 경험 보고서의 모든 섹션에 대한 자세한 지도

전환 사용자는 보고서를 통해 웹사이트 성능에 대한 자세한 정보에 액세스할 수 있습니다. 어떤 정보가 표시되고 웹사이트 성능을 개선하기 위해 정보를 사용하는 것이 가장 좋은지 이해할 수 있도록 변환 보고서의 모든 요소를 ​​종합적으로 살펴보겠습니다.

보고 싶은 경험을 선택하고 보고서 탭을 클릭하여 보고서에 액세스할 수 있습니다.

이 섹션에는 다음과 같은 네 가지 섹션이 있습니다.

• 상위 메뉴
• 요약
• 변형
• 목표

➢ 상위 메뉴

상위 메뉴를 통해 다음 정보에 빠르게 액세스할 수 있습니다.

• 시작 날짜 : 경험이 시작된 날짜
• Days Running : 경험이 실행되는 시간
• 보고서 범위 : 날짜 필터를 사용하면 특정 기간 동안의 데이터를 필터링할 수 있습니다.
• 세그먼트 : 방문자 세그먼트별로 보고서 필터링
• 모든 테스트 사용자 : 테스트에 참여한 사용자 수
• 총 전환 수 : 총 목표 전환수입니다. 전환은 순 방문자당 단일 목표 전환만 추적합니다. 여러 목표 전환에 대해 이 페이지를 확인하십시오.
• 목표 : 주어진 경험이 가진 목표의 수

특정 날짜 범위에 대한 필터

보고서 범위를 사용하여 특정 날짜 범위에 대한 데이터를 필터링할 수 있습니다. 사용자 지정 날짜 범위는 기존 선택 사항이나 달력 컨트롤을 사용하여 지정할 수 있습니다.

특정 세그먼트 필터링

"모든 사용자" 드롭다운 상자에서 방문자 세그먼트를 선택하여 보고서를 필터링할 수 있습니다. 다음과 같은 질문에 답하는 데 사용할 수 있습니다.

• 다양한 소스의 트래픽이 경험에서 어떻게 행동했습니까?
• 모바일 대 데스크톱에서 가장 우수한 변형은 무엇이었습니까?
• 어떤 변형이 가장 새로운 사용자를 끌어들였습니까?

조직에 중요하고 다양한 사용자 행동 및 의도 신호를 나타낼 가능성이 있는 잠재고객/세그먼트를 타겟팅해야 합니다.

각 잠재고객의 개선점 및 신뢰도 점수를 검토하여 각 대안 콘텐츠의 실적을 확인하세요. 분석 결과에 따라 모든 트래픽에 가장 적합한 변형을 시작할지 또는 할당을 조정할지 결정할 수 있습니다.

전환 경험 보고서에는 다음 세그먼트가 포함됩니다.

• 사용하는 브라우저,
• 사용한 기기,
• 신규 방문자 vs 기존 방문자,
• 사용자 국가,
• 트래픽 소스,
• 대륙, 그리고
• 10개의 맞춤 세그먼트.

점 3개로 된 메뉴를 사용하고 몇 가지 추가 작업을 적용할 수도 있습니다.

보고서 공유

보고서 공유를 클릭하면 경험 데이터를 다운로드하기 위한 다음 옵션이 포함된 팝업이 열립니다.

코드 보기

코드 보기는 전환 추적 코드에 액세스할 수 있는 두 번째 옵션입니다.

통계 설정

세 번째 옵션인 통계 설정에서는 다음을 구성할 수 있습니다.

• 신뢰 수준(통계적 유의성) - 여기에 설명됨
• 트랜잭션 이상값 - 여기에 설명됨
• 자동화 — 여기에 설명됨
• 경험 데이터를 재설정하는 통계 재설정 버튼

일시 중지 경험

네 번째 옵션을 사용하면 경험을 일시 중지할 수 있습니다.

➢ 요약

전환 경험 보고서의 요약 섹션에서 경험에 적용되는 사이트 영역 및 대상 조건에 대한 요약을 찾을 수 있습니다. 또한 몇 가지 현명한 권장 사항을 제공합니다.

스마트 추천 활성화

스마트 권장 사항을 활성화하려면 프로젝트 구성, 추가 설정으로 이동하십시오.

스마트 추천 보기

이러한 스마트 권장 사항은 두 곳에서 볼 수 있습니다.

1. 보고서 요약에서:

결과에 따라 다음 메시지가 나타날 수 있습니다.

• 유의미하고 상승도 음수 : ${variant_name} 변이가 ${lift}%의 음수 상승도와 함께 가장 실적이 좋은 변종임을 관찰했습니다. ${primary_goal_name} 목표에 대한 실험은 중요합니다. 학습을 추출하고 새로운 가설을 설계하는 것이 좋습니다.
• 중요하고 긍정적인 상승 : 축하합니다! ${primary_goal_name}의 경우 ${variant_name}이(가) 현재 ${lift}% 개선되어 승리하고 있습니다. 실험은 의미가 있습니다.”
• 미미하고 긍정적인 상승 도: ${primary_goal_name}에 대한 유효한 결론을 도출하려면 더 많은 방문자가 필요합니다. ${variant_name}이(가) ${lift}%의 상승도와 함께 가장 실적이 좋은 항목이라는 것만 알지만 최종 결론을 내리려면 더 많은 방문자가 필요합니다.
• 미미하고 부정적인 상승 도: ${primary_goal_name}에 대한 유효한 결론을 도출하려면 더 많은 방문자가 필요합니다. 결론을 내리기 전에 테스트를 계속 실행하십시오.

2. 목표 확장 상자에서:

다음은 결과에 따라 표시될 수 있는 몇 가지 메시지입니다.

• 축하합니다. {variation.name}이(가) 우승했습니다. 통계적으로 00% 확신합니다.
• 불행히도 {variation.name}은 {baselineText}보다 실적이 좋지 않습니다. 통계적 신뢰도는 00%입니다.
• {variation.name}이 {baselineText}보다 실적이 좋은 것 같지만 아직 확신할 수 없습니다.
• {variation.name}을(를) 판단하기에는 너무 이르다

기준 스크린샷

기준 스크린샷 위로 마우스를 가져가면 몇 가지 추가 옵션이 표시됩니다.

• 실제 크기 스냅샷 보기
• 변형 미리보기
• 변형 스냅샷 다시 찍기

라이브 미리보기 및 강제 변형 링크

미리보기 변형은 라이브 미리보기 및 강제 변형 URL을 얻을 수 있는 팝업을 엽니다.

➢ 변형

변형이라는 섹션은 경험 변형에 대한 세부 정보를 제공합니다. 상태 열 뒤의 각 열은 경험 목표를 나타냅니다.

점 3개로 된 메뉴를 클릭하여 열을 활성화/비활성화하거나 재정렬할 수 있습니다.

상태 버튼이 활성화되면 변형을 일시 중지할 수 있습니다.

변형 행 중 하나에서 점 3개로 된 메뉴를 클릭하면 몇 가지 추가 옵션을 사용할 수 있습니다.

• 강제 변형 URL 열기
• 스톱 바리에이션
• 새 배포로 변환
• 새 실험에서 원본으로 변환
• 변형 수정
• 실시간 미리보기

➢ 목표

이 섹션에서는 각 경험 목표에 대한 간략한 설명과 다음 섹션에서 분석할 몇 가지 흥미로운 통계 및 그래프를 찾을 수 있습니다. 계속 진행하기 전에 익숙하지 않을 수 있는 몇 가지 용어에 대해 설명하겠습니다.

• 기본 목표 : 목표 중 하나 옆에 기본 목표라는 용어가 표시되면 이는 우리가 모든 경험에 추가하는 2개의 기본 목표 중 하나임을 의미합니다.
• 1차 목표 : 1차 목표는 본인이 결정해야 하는 단 하나의 목표일 수 있습니다. 그것은 당신의 경험을 위한 가장 중요한 목표입니다. 이것은 목표 목록에 가장 먼저 표시되며 이에 따라 경험 상태가 변경됩니다.
• SRM : 테스트에서 잠재적 샘플 비율 불일치가 감지되었습니다. 경험 설정을 확인하거나 이를 발견하면 [email protected]으로 문의하십시오.
• 기준 : 이것은 기본 경험 기준입니다.

이제 이 보고서의 각 요소를 살펴보겠습니다.

변형 이름

이것은 변형의 이름입니다. 변형 통계를 표시하거나 숨기기 위해 활성화/비활성화할 수 있는 확인란이 옆에 있습니다.

개선

전환율 측면에서 웹 페이지의 원본 및 변형이 어떻게 수행되는지 여기에서 확인할 수 있습니다. 백분율 차이는 양수 또는 음수일 수 있습니다. 계산된 신뢰도가 통계 설정에 설정된 신뢰도보다 크면 색상이 다음과 같이 변경됩니다.

• 빨간색 -
• +용 녹색
• 기타 회색

방문자

경험에 대한 버킷 방문자의 총 수입니다. 고유 방문자가 여기에 나열됩니다.

전환수

이는 각 목표/대안의 총 전환수를 나타냅니다. 사용자가 취하기를 원하는 모든 액션을 전환이라고 합니다. 웹사이트에 따라 버튼 클릭부터 구매까지 모든 것이 포함될 수 있습니다.

전환율

이 열에는 전환으로 전환된 방문자의 비율이 표시됩니다.

신뢰 수준(통계적 유의성)

A/B 결과를 해석할 때 통계적 유의성은 가장 중요한 개념입니다.

이 열은 실험 대안의 전환율에 대한 신뢰 구간이 원본과 얼마나 다른지를 나타냅니다. 신뢰도에 숫자가 표시되지 않으면 (기본적으로) 이를 계산하기 위해 각 유사 콘텐츠에 대해 최소 5회의 목표 전환이 필요하기 때문입니다. 또한 각 변형에 대해 설정된 최소 방문자 수를 충족해야 합니다. 최소 전환을 변경한 경우 선택한 최소 전환을 충족해야 합니다.

이 열에는 다음을 나타내는 회색/녹색 점이 포함됩니다.

• 75%-85% 신뢰도를 위한 1개의 녹색 점
• 85%-95% 신뢰도를 위한 2개의 녹색 점
• 95%-96% 신뢰도를 위한 3개의 녹색 점
• 96%-97% 신뢰도를 위한 4개의 녹색 점
• 97% 이상인 경우 5개의 녹색 점

상자 그림(신뢰 구간)

상자 그림 또는 신뢰 구간은 실제 전환율이 떨어지는 값의 범위를 나타냅니다.

결과를 논의할 때 원본 페이지와 대안 페이지에 대해 관찰된 전환율 값의 차이와 실제로 전환율이 떨어질 수 있는 범위를 표시하는 것이 좋습니다. 차이 간격은 숫자 선 눈금에 표시되는 값의 가능한 범위입니다.

전환율의 가능한 가장 높은 범위는 숫자 눈금의 상한선으로 표시되고 전환율의 가장 낮은 범위는 숫자 눈금의 하한선으로 표시됩니다.

스케일에서 다음 색상을 볼 수 있습니다.

• 회색 영역: 실험이 아직 결정적이지 않거나 유효한 결과를 선언하기 위해 추가 사람이 필요함을 나타냅니다.
• 승리한 변형은 녹색 으로 표시됩니다.
• 손실 분산은 빨간색 으로 표시됩니다.

상자 그림에서 원본 전환율과 유사 전환율이 겹치는지 확인하십시오.

원본에 대한 전환율의 신뢰 구간은 10-20%이고 대안 1의 전환율은 신뢰 구간이 15-25%라고 가정합니다. 두 신뢰 구간 사이의 중첩이 5%이고 15-20% 사이에 있다는 점은 주목할 가치가 있습니다. 이러한 맥락에서 B의 변동이 실제로 주요 개선 사항인지 여부를 알 수 없습니다. 이것이 상자 플롯이 겹치는 경우 Convert가 승자를 선언하지 않는 이유입니다.

상태

이렇게 하면 변형에 대한 상태 보고서가 표시됩니다.

그래프

여기에서 세 가지 다른 유형의 그래프에 액세스할 수 있습니다.

다음은 각각에 대한 설명입니다.

전환수

• 시간 경과에 따른 전환율 : Y축은 전환율, X축은 시간입니다. 각 라인은 변형(누적 전환율) + 전체 실험의 전환율(모든 변형의 평균) + 전체 실험 내 누적 방문자 수를 나타내는 오른쪽의 두 번째 축 Y를 나타냅니다.
• 시간 경과에 따른 전환: Y 축은 전환을 표시하고 X 축은 시간을 표시합니다. 각 라인은 대안(전환) + 전체 실험의 전환(모든 대안의 평균 전환) + 전체 실험 내 누적 전환 수를 나타내는 오른쪽의 두 번째 축 Y를 나타냅니다.
• 시간 경과에 따른 일일 전환율 : 비누적 전환율 – 그래프 시간 경과에 따른 전환율과 유사하지만 Y축에 누적 방문자가 표시되지 않고 API에 비누적이 사용된다는 점만 다릅니다.
• 시간 경과 에 따른 개선: X축의 일별 전환율 개선 및 각 변형(원본은 아님)을 표시합니다.
• 시간 경과에 따른 일일 방문자

제품

• 방문자 1인당 상품 : 방문자 1인당 누적 평균 주문 상품 – Y축은 방문자 1인당 평균 주문 상품, X축은 시간입니다. 각 라인은 변형(방문자당 누적 평균 주문 제품) + 전체 실험의 방문자당 평균 주문 제품에 대한 하나(모든 변형의 평균) + 전체 실험 내 누적 방문자 수를 나타내는 오른쪽의 두 번째 축 Y를 나타냅니다. .
• 방문자 1인당 일일 상품 : 방문자 1인당 비누적 평균 주문 상품
• 시간 에 따른 개선 : X축에 일별 제품의 개선 및 각 변형(그러나 원본은 아님)
• 시간 경과에 따른 일일 방문자

수익

• 시간 경과에 따른 수익 : 방문자당 누적 평균 수익 – Y축은 방문자당 평균 수익, X축은 시간을 나타냅니다. 각 라인은 하나의 변형(방문자당 평균 수익) + 전체 실험의 방문자당 평균 수익(모든 변형의 평균)을 나타냅니다. 오른쪽의 두 번째 축은 전체 실험 내 방문자의 누적 수를 나타냅니다.
• 방문자당 일일 수익 : 방문자당 비누적 평균 수익
• 시간 경과에 따른 개선: X축의 일별 수익 개선 및 각 변형 선(그러나 원본은 아님)
• 시간 경과에 따른 방문자

그래프 위로 마우스를 가져갑니다.

그래프 위로 마우스를 가져가면 해당 날짜의 모든 유사 콘텐츠의 전환율과 원본과 비교한 유사 콘텐츠의 전환율이 표시됩니다.

표준편차 표시

상자를 선택하여 표준 편차(표준 오차라고도 함)를 표시할 수도 있습니다.

통계 공식 변환 사용

참고: 통계 용어는 다른 블로그에서 다루므로 여기에서 반복하지 않겠습니다. 여기서 우리의 목적은 Convert가 사용하는 수학 공식을 언급하는 것입니다.

Convert는 .05 신뢰 수준(95%)에서 빈도주의적 양측 Z-검정을 사용합니다. 80%-99% 사이에서 변경할 수 있는 옵션이 있는 정규 대칭 분포인 각 꼬리에 대해 .025입니다.

곧 베이지안 통계 를 변환 보고서에 추가할 예정입니다. 자세한 내용은 계속 지켜봐 주십시오.

양측 검정은 모든 방향(상승 또는 하락)에서 통계적으로 유의한 차이를 찾으려는 경우에 사용해야 합니다. 여기에서 목표는 유사 콘텐츠가 통계적으로 유의미한 전환 증가 또는 감소로 이어졌는지 확인하는 것입니다.

전환율

이 공식은 각 변형에 대한 전환율을 계산하는 데 사용됩니다.

(총 목표 전환수 / 순 방문자수) * 100

유사 콘텐츠에 대한 전환율 변경

경험 대안과 원본 간의 전환율 변화율은 다음과 같이 계산됩니다.

신뢰 구간

전환율에 대한 신뢰 구간을 계산하는 통계적 방법은 각 변형에 대해 사용됩니다.

표준 오차(1 표준 편차에 대한)는 이항 분포에 대해 Wald 방법을 사용하여 계산됩니다. 따라서 주어진 전환율( p ) 및 표본 크기(순 방문자 수)에 대해 표준 오차는 다음과 같이 계산됩니다.

이 공식을 사용하여 표준 오차를 계산합니다. 이 공식은 이항 분포가 정규 분포로 근사될 수 있다고 가정합니다(중심 극한 정리 때문에 ). 샘플 분포는 특정 목표에 대해 10회 이상의 전환이 있는 경우 정규 분포로 근사할 수 있습니다.

변환율에 대한 신뢰 구간을 결정하려면 표준 오차에 표준 정규 분포의 95번째 백분위수(1.65와 동일한 상수 값)를 곱합니다.

즉, 실제 전환율 p가 다음 범위에 있다고 90% 확신할 수 있습니다.

Z-점수

Z-점수를 사용하여 결과가 유의한지(전환율이 무작위 변동으로 인해 달라지지 않음) 여부를 결정할 수 있습니다.

Z-점수 원래 값과 변동 평균 값 사이의 표준 편차 수입니다. 표준 정규 분포를 사용하여 보기 이벤트 수가 1000보다 크고 다음 기준 중 하나가 충족될 때 95% 유의성이 결정됩니다.

• 확률(ZScore) > 95%
• 확률(ZScore) < 5%

개선

보고서에 표시되는 다를 가능성은 다음과 같은 확률(Z-점수) 값에서 파생됩니다.

• 만약에
  
  확률(ZScore) <= 0.5
  
  그 다음에
  개선 = 1- 확률(ZScore)
  

• 만약에
  
  확률(ZScore) > 0.5
  
  그 다음에
  개선 = 확률(ZScore)

경험 보고서를 해석할 때 확인해야 할 사항

이제 모든 변환 경험 보고서 섹션과 해당 통계 공식에 익숙해졌으므로 몇 가지 다른 경험 보고서를 해석하고 이를 통해 얻을 수 있는 것을 보겠습니다.

경험 데이터가 중요한가요?

결과를 평가하고 다음에 무엇을 할지 판단하기 전에 경험 데이터가 중요한지 확인하십시오. 전환 경험 보고서의 "신뢰 수준"을 사용하여 결과가 우연에 의한 것인지 사용자 행동의 진정한 반영인지 결정할 수 있습니다.

95% 유의 수준은 관찰된 결론이 우연의 결과가 아니라는 95% 확신을 의미합니다. 그것은 또한 당신이 틀릴 확률이 5%라는 것을 의미합니다.

또는 신뢰 수준을 실험을 반복하면 다른 결과를 얻을 가능성으로 생각할 수 있습니다.

90% 신뢰 등급을 얻은 경우 테스트를 반복하면 다른 답변을 얻을 가능성이 10분의 1입니다. 95% 신뢰에서는 20분의 1의 확률이 있고 99% 신뢰에서는 100분의 1의 확률이 있습니다.

승리 변형: 긍정적인 영향

다음은 원본을 능가하고 긍정적인 개선을 가져온 중요한 변형의 예입니다.

"구독 맞춤화 - 1단계 페이지 보기" 목표의 경우 이 경험에서 변형 1이 변형 0(원본)을 능가할 확률은 98.7%입니다. 상자 그림은 변형 1을 선택하면 원본보다 13.73% +- 0.6% 향상될 수 있음을 보여줍니다.

이 경험에서 개선이 +7.20%라고 말하는 것이 안전하지만 전환율이 13.73% +- 0.6% 사이에 있을 가능성이 동일합니다. 상황에 관계없이 변형 1은 원본보다 개선될 것이므로 이를 구현하기 위한 강력한 표시입니다!

왜요?

동일한 조건에서 동일한 경험을 10,000번 반복해도 변형 1은 여전히 ​​10,000번 중 9,870번을 이깁니다.

손실 변동: 부정적인 영향

대안 1이 긍정적인 개선을 가져오지 않고 대안 0(원본) 전환율에 부정적인 영향을 미치는 중요한 경험의 결과를 자세히 살펴보겠습니다.

이 경험에서 대안 1이 대안 0보다 전환율에서 손실될 확률은 98.87%입니다. 대안 1에서는 원본의 전환율에 4.5% +- 1% 사이의 부정적인 영향을 예상할 수 있습니다.

결정적이지 않은 결과: 중립적 영향

이제 중요하지 않은 경험을 살펴보겠습니다. 아래의 경험에서 어떤 변형도 이길 확률이 충분히 높거나 95%보다 큰 확률이 없습니다.

이 경험에서 변형 1이 변형 0을 이길 확률은 84.58%에 불과합니다.

다음 단계는 무엇입니까?

선택할 수 있는 몇 가지 옵션이 있으며 모두 가설과 경험의 궁극적인 목표에 따라 다릅니다. 어떤 경우이든 테이블에는 항상 몇 가지 옵션이 있습니다.

• 청중을 확장하십시오. 방문자 세그먼트가 너무 제한적인 경우 더 많은 잠재고객이 있는 세그먼트에 초점을 맞추십시오.
• 일부 변형을 제거합니다. 예를 들어 4개의 변형을 개발했다면 2~3개의 변형으로 동일한 환경을 실행해 보십시오.
• 더 오랜 시간 동안 실행 상태로 두십시오.
• 직감을 따르고 브랜드와 가장 일치하는 것을 선택하십시오. 두 변형에서 결과가 비슷하고 동료가 하나가 다른 것보다 브랜드 요구 사항에 더 잘 부합한다는 데 동의하면 하나를 승자로 선택할 수 있습니다.
• 경험을 다시 시작하십시오. 초기 결과를 검증하거나 무효화하기 위해 동일한 테스트를 두 번 실행하는 것은 현명한 방법입니다. 상황이 동일할 가능성이 낮기 때문에(다른 시간대, 교통 변동 등) 결과가 다를 수 있습니다!
• 하도록 허용합니다. 원본이 이미 최적화되었을 수 있습니다.

균일한 트래픽 분포가 있습니까?

A/B 경험을 설정할 때 트래픽의 비율을 각 변형에 할당합니다(기본적으로 50/50).

방문자 수는 예상 트래픽 분할을 나타내야 합니다.

유의미한 차이의 경우 SRM(샘플 비율 불일치)이 거의 확실합니다.

50/50 분할에서 한쪽에 400명의 방문자가 있고 다른쪽에 600명의 방문자가 있으면 결과를 신뢰할 수 없습니다. 이런 일이 발생하면 A/B 경험 설정을 살펴볼 때입니다. 결과는 내부 IP 주소 또는 외부 봇과 같은 이상값으로 인해 왜곡될 수 있습니다.

데이터는 데이터를 사용하여 수행하는 분석만큼만 우수하다는 것을 기억하십시오. 정확하고 실행 가능한 통찰력을 위해 Convert Experiences의 심층 보고를 포함하여 원하는 대로 사용할 수 있는 모든 도구를 활용하십시오.

아직 계정이 없다면 무료 평가판에 등록하고 15일 동안 사용해 보십시오. 이 게시물에서 논의한 모든 멋진 기능과 더 많은 기능에 액세스할 수 있습니다. 질문이 있거나 시작하는 데 도움이 필요한 경우 저희 팀이 도와드리겠습니다.