온라인 통제 실험의 메타 분석: 이 과학적 방법의 힘과 한계에 대한 편견 없는 관점

A/B 테스트 및 기타 온라인 실험에서 메타 분석이 얼마나 유용합니까?

과거 학습을 활용하여 가설 생성을 개선하는 데 도움이 됩니까? 아니면 메타 분석이 경험을 통해 비즈니스 내에서 혁신하기 위해 상황별 데이터를 구축하는 대신 단순히 "검증된 패턴"에 의존하는 게으른 변명입니까?

이것은 뜨거운 토론 주제입니다. 일부는 찬성하고 일부는 크게 반대합니다. 그러나 어떻게 두 가지 관점에서 이점을 얻고 실험 프로그램에 실질적인 가치를 가져올 수 있습니까?

그것이 이 포스트의 내용입니다. 그 안에서 당신은

• 메타 분석이 실제로 무엇인지 이해
• 실행 중인 메타 분석의 예 보기
• 개념으로서의 메타 분석이 주의(그리고 존중)로 다루어져야 하는 이유를 발견하고,
• 실험 팀이 올바른 방법으로 메타 분석을 수행할 수 있는 방법 알아보기

그리고 보너스가 있습니다. 두 명의 잘 알려진 전환율 최적화 전문가가 이에 대해 반대 입장에서 논의하는 것도 볼 수 있습니다.

들어가 봅시다.

메타 분석이란 무엇입니까?

메타 분석은 통계를 사용하여 여러 실험 결과를 분석하여 결정을 내립니다. 그것은 연구원들이 동일한 문제를 다루는 의학 연구의 결과를 함께 모으고 통계 분석을 사용하여 효과가 실제로 존재하는지 그리고 그것이 얼마나 중요한지 판단하는 과학 세계에서 비롯됩니다.

의사 결정을 위한 A/B 테스트, 다변수 테스트 및 분할 테스트를 수행하고 비즈니스 목표를 달성하기 위한 최고 성능의 방법을 찾는 온라인 제어 실험에서 우리는 이전에서 이미 배운 것을 활용하기 위해 메타 분석을 차용했습니다. 향후 테스트를 알리기 위한 테스트.

야생에서 다른 예를 봅시다.

온라인 통제 실험에서 메타 분석의 예

다음은 A/B 테스팅에서 메타 분석의 3가지 예, 사용 방법 및 각 노력에서 발견된 내용입니다.

1. Alex P. Miller 및 Kartik Hosanagar 의 전자 상거래 A/B 테스트 전략에 대한 실증적 메타 분석

이 A/B 테스트 메타 분석은 2020년 3월에 게시되었습니다. 분석가는 SaaS A/B 테스트 플랫폼에서 수집한 데이터를 사용하여 전자 상거래 산업의 테스트를 구체적으로 연구했습니다. 그것은 3년 동안 7개 산업에 걸쳐 252개의 미국 기반 전자 상거래 회사에서 수행한 2,732개의 A/B 테스트로 구성되었습니다.

그들은 전자 상거래 전환 퍼널의 다양한 단계에서 테스트가 어떻게 배치되는지에 대한 강력한 분석을 제공하기 위해 이러한 테스트를 분석했습니다.

그들이 발견한 것은:

• 다른 실험 유형과 비교할 때 가격 프로모션에 대한 테스트와 카테고리 페이지에 배치된 테스트는 가장 큰 효과 크기와 연관됩니다.
• 다양한 판촉에 대한 소비자의 반응은 전자상거래 사이트 내에서 해당 판촉이 위치하는 위치에 달려 있다는 증거입니다.
• 제품 가격에 관한 프로모션은 전환 유입경로 초기에 가장 효과적이지만 배송 관련 프로모션은 전환 유입경로 후반(제품 페이지 및 결제)에서 가장 효과적입니다.

다른 예와 연구원들이 발견한 것을 살펴보겠습니다.

2. 전자 상거래에서 작동하는 것 — Will Browne과 Mike Swarbrick Jones의 6,700개 실험에 대한 메타 분석

대부분 소매 및 여행 부문에서 6,700건의 대규모 전자 상거래 실험에서 얻은 데이터를 사용하여 Browne과 Jones는 29가지 유형의 변경 효과를 조사하고 수익에 대한 누적 영향을 추정했습니다. 2017년 6월에 발간되었습니다.

논문 제목에서 알 수 있듯이 목표는 대규모 메타 분석을 실행하여 전자 상거래에서 작동하는 것을 탐색하는 것이었습니다. 이것이 그들이 이 강력한 요약에 도달할 수 있었던 방법입니다. 즉, 사이트 모양의 변경은 행동 심리학에 기반한 변경보다 수익에 미치는 영향이 훨씬 미미합니다.

방문자당 수익(RPV) 메트릭은 이러한 영향을 측정하는 데 사용됩니다. 따라서 결과에서 실험에서 +10% 상승은 해당 실험에서 RPV가 10% 상승했음을 의미합니다.

다음은 분석에서 얻은 몇 가지 다른 결과입니다.

• 최고 실적(카테고리별)은 다음과 같습니다.
  
  
  • 희소성(주식 포인터, 예: "3개만 남음"): +2.9%
  • 사회적 증거(다른 사람의 행동을 사용자에게 알리기): +2.3%
  • 긴급(카운트다운 타이머): +1.5%
  • 포기 복구(사용자에게 사이트에 계속 머물도록 메시지 보내기): +1.1%
  • 제품 추천(업셀, 크로스셀 등): +0.4%
• 그러나 아래와 같은 UI의 외형적 변경은 효과가 없었습니다.
  
  
  • 색상(웹페이지 요소의 색상 변경): +0.0%
  • 버튼(웹사이트 버튼 수정): -0.2%
  • 클릭 유도문안(텍스트 변경): -0.3%
• 실험의 90%가 수익에 1.2% 미만의 영향을 미쳤습니다(긍정적이든 부정적이든).
• A/B 테스트가 사례 연구에서 흔히 볼 수 있는 수익의 두 자릿수 증가로 이어진다는 증거는 거의 없습니다.

이제 기다려. 이러한 메타분석 결과를 복음으로 받아들이기 전에 온라인 실험의 메타분석에는 한계가 있음을 알아야 합니다. 이에 대해서는 나중에 다루겠습니다.

3. Georgi Georgiev 의 GoodUI.org에서 115개의 A/B 테스트에 대한 메타 분석

2018년 6월 온라인 실험 전문가이자 "온라인 A/B 테스팅의 통계적 방법"의 저자인 Georgi Georgiev는 GoodUI.org에서 공개적으로 사용 가능한 115개의 A/B 테스트를 분석했습니다.

GoodUI.org는 새로 발견된 UI 패턴과 Amazon, Netflix, Google과 같은 실험 중심 회사가 테스트를 통해 배우고 있는 내용을 포함한 실험 결과 모음을 게시합니다.

Georgi의 목표는 이 데이터를 수집하고 분석하여 테스트의 평균 결과를 밝히고 A/B 테스트의 메타 분석을 설계하고 수행할 때 더 나은 통계적 관행에 대한 아이디어를 제공하는 것이었습니다.

그는 초기 데이터 세트를 잘라내고 몇 가지 통계적 조정을 하는 것으로 시작했습니다. 여기에는 다음이 포함됩니다.

• 컨트롤을 경험하기 위해 보낸 사용자 수와 도전자를 경험하기 위해 보낸 사용자 수 간의 불균형이 있는 테스트 및
• 손상된 테스트(비현실적으로 낮은 통계적 검정력으로 발견됨).

그는 나머지 85개의 테스트를 분석하여 평균 상승률이 3.77%이고 상승도 중앙값이 3.92%임을 발견했습니다. 아래 분포를 보면 테스트의 58%(대부분)가 -3%에서 +10% 사이에서 관찰된 효과(상승률 %)가 있음을 알 수 있습니다.

이것은 이 데이터 세트를 나타내며 지금까지 수행된 모든 A/B 테스트가 아니라는 점에 유의하는 것이 중요합니다. 또한 출판 편향(나중에 논의할 메타 분석의 단점 중 하나)을 고려해야 합니다.

그러나 이 메타 분석은 전환율 옵티마이저 및 기타 최적화 이해 관계자가 A/B 테스트에서 외부 벤치마크가 무엇인지 파악하는 데 도움이 됩니다.

자체 A/B 테스팅 메타 분석을 수행하는 데 관심이 있으십니까?

Georgi가 사용한 것과 동일한 데이터 세트에 액세스할 수 있습니다. GoodUI.org에서 공개적으로 사용할 수 있습니다. 플랫폼, 산업 및 다양한 핵심 문제에 대해 수행된 A/B 테스트의 정제된 결과 저장소입니다.

이와 같은 다른 A/B 테스트 결과 모음이 있지만(수많은 A/B 테스트 예제 및 사례 연구에서 데이터를 가져와 생성할 수도 있음) GoodUI는 고유합니다. 검색을 하고 사례 연구를 수집하는 경우에는 얻기 어려운 테스트에 대한 추가 통계 정보를 얻을 수 있습니다.

GoodUI를 독특하게 만드는 몇 가지가 더 있습니다.

• 실험 결과에 따라 차별하지 않습니다. 여기에는 John Copas와 Jian Qing Shi의 "메타 분석, 깔때기 플롯 및 민감도 분석"에 명시된 바와 같이 실제 문제인 메타 분석의 출판 편향과 싸우기 위한 승리, 결정적이지 않은, 평면 및 음성 테스트가 포함됩니다.
  
  출판 편향은 결과가 부정적이거나 결정적이지 않은 연구보다 '중요한' 경우 소규모 연구를 출판하는 것을 선호합니다. 검증할 수 없는 가정을 하지 않고는 이를 수정할 수 없습니다.

• GoodUI는 한 걸음 더 나아갑니다. 종종 메타 분석 결과는 연구 논문에 묻혀 있습니다. 특히 매우 성숙하지 않은 실험 팀의 경우 실제 적용에 거의 도달하지 않습니다.
  
  GoodUI 패턴을 사용하면 호기심 많은 옵티마이저가 관찰된 백분율 변화, 통계적 유의성 계산 및 신뢰 구간을 파헤칠 수 있습니다. 그들은 또한 각 전환 패턴에 대해 양방향으로 진행되는 "미미함", "가능", "중요함" 및 "강함"의 가능한 값으로 결과가 얼마나 강력한지에 대한 GoodUI의 평가를 사용할 수 있습니다. A/B 테스트의 메타 분석에서 얻은 통찰력을 "민주화"한다고 말할 수 있습니다.

• 그러나 여기에 문제가 있습니다. 메타 분석을 괴롭히는 문제(이질성 및 출판 편향)와 메타 분석 결과가 메타 분석 자체의 품질에 달려 있다는 사실을 인식하지 못하는 실험자는 맹목적으로 패턴을 복사하는 영역으로 방향을 틀 수 있습니다.
  
  오히려 자체 연구를 수행하고 A/B 테스트를 실행해야 합니다. 그렇게 하지 않는 것은 최근에 (당연히) CRO 분야에서 우려의 원인이 되었습니다.

GoodUI와 같은 일부 테스트에 대해 유사한 깊이 있는 세부 정보를 얻기 위해 파고들 수 있는 또 다른 A/B 테스트 사례 연구 리소스는GuestheTest입니다.

메타 분석 – 예 또는 아니오

지적인 마음은 패턴을 찾습니다. 이것이 다음에 유사한 문제가 제시될 때 문제에서 솔루션으로의 경로를 단축하는 방법입니다.

이러한 패턴을 통해 기록적인 시간 안에 답을 찾을 수 있습니다. 그렇기 때문에 우리는 실험에서 배운 것을 취하여 종합하고 패턴을 추론할 수 있다고 믿는 경향이 있습니다.

그러나 실험 팀이 그렇게 하는 것이 바람직합니까?

온라인 통제 실험에서 메타 분석에 대한 찬성과 반대는 무엇입니까? 두 세계의 장점을 모두 얻을 수 있는 중간 지점을 찾을 수 있습니까?

우리는 메타 분석에 대한 다양한 관점을 가지고 실험 영역에서 가장 목소리가 높은 두 사람에게 질문했습니다.

Jonny Longden과 Jakub Linowski는 신뢰할 수 있는 목소리입니다.

야쿱 리노프스키

조니 롱든

메타 분석 — 조심해야 합니까?

위의 논의에서 Jonny는 온라인 테스트에서 메타 분석 데이터를 사용할 때 CRO 실무자가 주의를 기울여야 하는 두 가지 잠재적인 문제를 지적했습니다.

• 문제 #1: 테스트하지 않고 결과 사용하기
  "그 회사에 효과가 있었다면 우리에게도 효과가 있었을 것입니다." 검토 중인 결과의 스니펫에 도달하지 않는 테스트 주변의 뉘앙스가 있기 때문에 이는 잘못된 생각으로 판명될 수 있습니다.
  
  여러 테스트에서 간단한 솔루션을 보여줄 수 있지만 이는 다른 솔루션보다 약간 더 잘 작동할 가능성일 뿐이며 웹사이트에서 작동할 것이라는 확실한 대답은 아닙니다.

• 문제 #2: 테스트를 그렇게 쉽게 분류할 수 없습니다.
  #1에서 언급했듯이 이러한 결과는 테스트 이면의 전체적이고 미묘한 이야기를 보여주지 않습니다. 왜 테스트가 실행되었는지, 어디서 왔는지, 웹사이트에 어떤 이전 문제가 있었는지 등을 알 수 없습니다.
  
  예를 들어 제품 페이지의 클릭 유도문안에 대한 테스트인 것만 알 수 있습니다. 그러나 메타 분석 데이터베이스는 이러한 패턴에 깔끔하게 속하지 않더라도 이를 특정 패턴으로 분류합니다.

이것이 A/B 테스팅 메타 분석 데이터베이스 사용자 또는 CRO 연구원이 학습을 추출하기 위해 자체 메타 분석 데이터베이스를 구성한다는 것은 무엇을 의미합니까?

메타 분석이 한계가 있다는 의미는 아니지만 사용할 때 주의해야 합니다. 어떤 주의를 기울여야 할까요?

테스트 엄격함과 혁신 추구를 타협하지 마십시오

메타 분석은 결과의 반복성을 보장하기 위해 실험이 엄격하게 통제되는 의료 커뮤니티의 통계적 아이디어라는 것을 기억하십시오.

관찰을 둘러싼 환경 및 기타 요인은 여러 실험에서 반복되지만 온라인 실험에서는 동일하지 않습니다. 온라인 실험의 메타 분석은 이러한 차이에 관계없이 데이터를 함께 가져옵니다.

한 웹사이트는 다른 웹사이트와 근본적으로 완전히 다릅니다. 왜냐하면 그것은 매우 다른 청중과 매우 다른 일들이 진행되고 있기 때문입니다. 상대적으로 비슷해 보여도 같은 제품이라 해도 백만가지, 백만 가지 면에서 완전히 또 완전히 다르기 때문에 통제할 수 없을 뿐입니다.

조니 롱든

다른 제한 사항 중에서 이것은 진정한 메타 분석이라고 부를 수 있는 것의 품질에 영향을 미칩니다.

따라서 테스트에 들어간 통계적 활력 수준과 테스트의 메타 분석이 확실하지 않은 경우 Shiva Manjunath가 조언하는 것처럼 극도의 주의를 기울여야만 사용할 수 있습니다.

메타 분석의 목표는 경쟁자를 모방하는 것이 되어서는 안 됩니다. 메타 분석을 활용하는 것에서 곧바로 복사하는 것으로의 도약은 신뢰성의 한계를 뛰어넘습니다. "복사"의 의도에는 미묘한 차이가 있으므로 흑백 상황이 거의 아닙니다.

위 Deborah의 게시물에 대한 댓글은 다양했습니다. 어느 정도 복사하는 것은 괜찮지만 과도하게 사용하는 것은 위험합니다.

Jakub이 동의하듯이, 특히 우리가 실험에서 관찰한 패턴을 검증할 때 복사에 주의해야 합니다.

그러나 우리가 경계해야 할 것은 실험을 상품화 하는 것입니다. 즉, 메타 분석의 패턴과 통찰력을 모범 사례로 사용하여 상황별 데이터가 말해야 하는 것을 칭찬하는 대신 실험 연구를 대체합니다.

따라서 해결하려는 문제를 이해하는 것으로 시작하고 성공할 가능성이 가장 높은 개입 유형을 정확히 찾아내십시오. 레거시 실험 데이터의 메타 분석이 고유한 최적화 전략을 가장 잘 지원하는 곳입니다.

메타 분석 — 실험용 플라이휠에 기름칠을 하시겠습니까?

실험 플라이휠은 추진력을 재활용하는 방법이 있습니다. 처음으로 실험할 때 동작을 설정하려면 많은 관성이 필요합니다.

실험 플라이휠의 아이디어는 그 모멘텀을 활용하여 더 많은 테스트를 실행하고 다시 돌아가서 점점 더 좋아지고 더 많은 테스트를 실행하는 것입니다.

메타 분석이 도움이 될 수 있는 부분입니다. 플라이휠에서:

1. 희망적으로 가설을 검증하기 위해 테스트를 실행합니다(그리고 그 과정에서 일부를 거부할 수도 있음).
2. 그들이 의사 결정에 추가한 가치를 측정하십시오.
3. A/B 테스트에 대한 더 많은 관심과 동의를 유도합니다.
4. A/B 테스트 인프라에 투자하고 데이터 품질을 개선하십시오.
5. 이전 라운드보다 적은 노력으로 다음 단계를 시작할 수 있도록 A/B 테스트의 인적 비용을 낮춥니다.

그러나 데이터 중심 조직으로서 A/B 테스트의 힘을 인식하면서 여기서 그치지 않습니다. 대신 초기 실험 투자를 기반으로 더 많은 가설을 검증하거나 거부하려고 합니다.

초기 통찰력이나 지식이 시작되지 않으면 플라이휠을 움직이기 위한 관성이 너무 커질 것입니다. 이 지식을 공유하면(A/B 테스트 데이터 민주화) 지식 장벽을 낮춤으로써 다른 사람들이 실험적 접근 방식을 취할 수 있도록 영감을 주고 가능하게 합니다.

이것은 메타 분석이 실험 플라이휠에 윤활유를 공급하는 방법에 대한 1번 사항을 알려줍니다.

1. 메타 분석은 아이디어를 가정하는 시간을 줄일 수 있습니다.
   이전 테스트에서 배운 내용, 통찰력 등을 모두 가져와 새로운 가설을 쉽게 생성할 수 있습니다. 이것은 실행하는 테스트의 수를 늘리고 A/B 테스트 플라이휠을 가속화하는 훌륭한 방법입니다.
   
   우리는 이미 확립된 패턴을 다시 만드는 데 시간을 덜 소비하고 이전 실험에서 배운 것을 기반으로 새로운 경로를 개척하는 데 더 많은 시간을 할애합니다.

2. 메타 분석은 과거 데이터로 더 나은 예측률로 이어질 수 있습니다.
   과거 실험 중심 학습이 실험 플라이휠을 더 빠르게 회전시킬 수 있는 또 다른 방법은 현재 데이터와 결합하여 새로운 가설에 정보를 제공하는 것입니다.
   
   이는 A/B 테스트에서 관찰된 영향이 미래에 어떻게 확산되는지를 잠재적으로 개선합니다.
   
   95% 유의도 테스트에 대한 FDR(오탐지율)이 18%에서 25% 사이이기 때문에 A/B 테스트를 배포한다고 해서 원하는 결과를 얻을 수 있다는 보장은 없습니다. 그리고 이 결론에 이르게 한 조사된 테스트의 70%만이 적절한 검정력을 가지고 있었습니다.
   
   잘못된 발견 비율은 실제로 무효 효과인 중요한 A/B 테스트 결과의 비율입니다. 가양성 또는 제1종 오류로 오인하지 마십시오.

3. 마지막으로, 메타 분석은 본질적으로 결정적이지 않은 테스트 결과에 대한 신뢰를 구축하는 방법일 수 있습니다.
   신뢰 수준은 테스트 결과가 순전히 우연에 의한 것이 아님을 신뢰하는 데 도움이 됩니다. 충분하지 않은 경우 해당 테스트에 "결정적이지 않음"이라는 태그를 붙이고 싶지만 그렇게 서두르지는 마십시오.
   
   왜요? 통계적으로 유의미한 p-값을 누적하여 유의미한 결과를 얻을 수 있습니다. 아래 게시물을 참조하세요.

메타 분석은 1) 효과 추정의 정확도를 높이고 2) 결과의 일반화 가능성을 높이는 두 가지 주요 이점이 있습니다.

출처: 좋은 것, 나쁜 것, 못생긴 것: Madelon van Wely의 메타 분석

메타 분석이 효과 크기와 유의 수준을 모두 조정하고 수정한다는 점을 감안할 때 다음을 포함하여 다른 실험을 사용하는 것과 동일한 방식으로 더 높은 표준 결과를 사용할 수 있습니다.

1) 자체 실험을 위한 검정력 계산/표본 크기 추정(주관적 추측 대신 실제 데이터 사용)

2) 익스플로잇-실험 결정을 내리기 위해. 추가적인 자신감이 필요하다고 느끼는 사람은 스스로 추가 실험을 하기로 결정할 수 있습니다. 누군가가 메타 분석에서 충분히 강력한 증거를 찾은 경우 추가 실험을 실행하지 않고 더 빨리 조치를 취할 수 있습니다.

야쿱 리노프스키

메타 분석이 실험 프로그램이 더 많은 추진력을 얻는 데 도움이 될 수 있는 모든 방법과 함께 몇 가지 잘 알려진 제한 사항이 있음을 명심하는 것이 중요합니다.

메타 분석을 수행(및 사용)하기로 선택한 경우 – 다음 사항을 염두에 두십시오.

예, 메타 분석 방법을 통해 실험 결과를 결합하면 통계적 정밀도를 향상시킬 수 있지만 다음과 같은 초기 데이터 세트의 근본적인 문제가 제거되지는 않습니다.

분석에 포함된 낮은 품질의 실험

메타 분석에 포함된 실험이 제대로 설정되지 않고 통계 오류가 포함되어 있으면 메타 분석가가 아무리 정확해도 잘못된 결과가 나옵니다.

A/B 테스트에서 표본 크기가 불균등하게 할당되었거나 검정력 또는 표본 크기가 충분하지 않았거나 엿보기의 증거가 있었을 수 있습니다. 사례가 무엇이든 결과에는 결함이 있습니다.

이 제한을 우회하기 위해 할 수 있는 일은 테스트 결과를 신중하게 선택하는 것입니다. 데이터 세트에서 의심스러운 결과를 제거합니다. 포함하기로 선택한 테스트에 대한 통계적 유의성과 신뢰 구간을 다시 계산하고 메타 분석에서 새 값을 사용할 수도 있습니다.

이질

애초에 같은 양동이에 넣으면 안 되는 테스트 결과를 합치는 것입니다. 예를 들어, 테스트를 수행하는 데 사용된 방법론이 다른 경우(베이지안 대 빈도주의 통계 분석, A/B 테스트 플랫폼별 차이 등).

이것은 분석가가 고의 또는 무의식적으로 연구 간의 주요 차이점을 무시하는 메타 분석의 일반적인 한계입니다.

이질성을 방지하기 위해 원시 양적 데이터를 볼 수 있습니다. 테스트 결과의 요약만 결합하는 것보다 낫습니다. 즉, 데이터에 액세스할 수 있다고 가정하고 각 A/B 테스트의 결과를 다시 계산합니다.

출판 편향

'파일 서랍 문제'라고도 알려진 이것은 메타 분석에서 가장 악명 높은 문제입니다. 공개적으로 사용 가능한 데이터에 대한 메타 분석을 수행할 때 게시할 수 있는 결과를 합산하는 것으로 제한됩니다.

그렇지 못한 사람들은 어떻게 됩니까? 출판물은 일반적으로 통계적으로 유의미하고 상당한 치료 효과가 있는 결과를 선호합니다. 이 데이터가 메타 분석에 표시되지 않으면 결과는 게시된 내용만 나타냅니다.

깔때기 플롯과 해당 통계를 통해 출판 편향을 파악할 수 있습니다.

그렇다면 사례 연구 또는 A/B 테스팅 메타 분석 데이터베이스에 포함되지 않은 A/B 테스트는 어디에서 찾을 수 있습니까? A/B 테스트 플랫폼은 결과와 상관없이 테스트 데이터를 제공하는 가장 좋은 위치에 있습니다. 이것이 이 기사의 예 1과 2가 운이 좋은 곳입니다.