A/B 테스트에서 승리하기 위해 정성적 데이터 및 정량적 데이터를 처리하는 방법은 무엇입니까?

핵심 개념으로 분류하면 CRO는 전환에 관한 것이 아니라 잠재 고객과 웹 사이트와 상호 작용하는 방식을 이해하는 데 더 중점을 둡니다.

고객을 더 많이 이해하고 고객이 원하는 것이 무엇인지, 사이트에서 어떻게 행동할수록 더 나은 고객 경험과 제안을 제공할 수 있습니다.

이것은 테스터로서 우리의 주요 목표가 가능한 한 많은 정보를 찾는 것임을 의미합니다. 데이터가 많을수록 테스트를 더 잘 계획하고 결과의 향상을 확인하려고 시도할 수 있습니다.

문제?

우리는 항상 해당 데이터를 수집하거나 이해하는 데 능숙하지 않습니다. 우리는 사용할 도구, 정보를 찾는 프로세스를 모르거나 경험 부족으로 인해 또는 더 나쁘게 분석하고 정확한 통찰력을 얻지 못하고 결과를 손상시키는 우리 자신의 편견을 추가할 수 있습니다.

그것이 바로 오늘의 가이드에서 다룰 내용입니다. 청중에 대한 정보를 수집하고, 이해하고, 사용하는 방법입니다. 새로운 테스트에 대한 더 많은 아이디어와 통찰력을 얻을 수 있도록 다른 테스터와 프로세스도 자세히 살펴보겠습니다 .

계속해서 더 자세히 알아보거나 여기를 클릭하여 "데이터를 사용하여 A/B 테스트를 승리로 이끄는 방법"을 알아보세요.

사이트 또는 앱에 대한 정보를 테스트하고 찾을 때 살펴보고자 하는 두 가지 유형의 데이터가 있습니다.

정량적 데이터 분석의 예는 다음과 같습니다.

• 페이지에 대한 트래픽 측정
• 해당 트래픽의 이탈률
• 클릭률
• 가입자 비율
• 판매율
• 평균 판매 가치.

대부분의 테스트 프로그램은 웹 사이트에서 작동하거나 중단된 항목에 대한 데이터를 얻기 위한 기술적 분석으로 시작한 다음, 정성적 분석으로 넘어가기 전에 사이트가 현재 수행하는 방식에 대한 기준을 얻기 위한 정량적 분석으로 시작합니다.

정성적 데이터의 예는 다음과 같습니다.

• 사용자 조사
• 스크롤 맵
• 클릭 추적
• 히트 매핑
• 설문조사.

목표는 단순히 청중과 청중이 상호 작용하는 방식을 더 잘 이해하여 사이트 사용에 대한 잠재적인 문제를 발견하거나 사이트에서 그들의 행동에 영향을 미칠 수 있는 외부 문제를 배우는 것입니다.

예를 들어 CTA에 클릭수가 많지 않다는 것을 알고 있지만 언어가 명확하지 않거나 청중의 공감을 얻지 못하는 것은 고객 인터뷰를 통해서만 알 수 있습니다.

A/B 테스팅에서 데이터를 사용하는 올바른 방법은 무엇입니까?

특정 전환 이벤트만 추적하거나 사용자 행동을 모니터링하는 것처럼 보이지만 목표는 양적 데이터와 정성적 데이터를 결합 하는 것입니다. 기술적 결함이나 일반적인 문제를 찾기 위한 것일 수도 있지만 이상적으로는 이를 결합하여 스스로 교육하고 청중을 보다 포괄적으로 파악할 수 있습니다.

우리도 즉각적인 정보를 원하는 것이 아닙니다. 우리는 왜 이런 일이 일어나는지 알아내고 한 단계 더 나아가 근본 원인을 찾고자 합니다.

양적 조사를 하고 페이지의 전환율이 낮다는 것을 확인했다고 가정해 보겠습니다. 제안이나 제품이 원하지 않습니까? 아니면 프로세스를 개선해야 합니까?

그런 다음 방문 페이지에서 히트맵을 실행하고 대다수의 청중이 특정 CTA를 클릭하지 않는 것을 확인하고 그 이유를 추측할 수 있습니다. 아마도 언어가 명확하지 않습니까?

그러나 더 자세히 살펴보면 일부 장치의 경우 단순히 화면 밖에 있는 반면 다른 장치의 경우 눌러야 하는 버튼인지 명확하지 않을 정도로 눈에 띄지 않는다는 것을 알 수 있습니다.

• 우리가 본 것이 질적 데이터뿐이라면 CTR이 낮다고 생각할 것입니다.
• 우리가 본 것이 질적 데이터뿐이라면 사람들이 클릭하지 않는다고 가정할 수 있습니다.

그러나 그것들을 결합함으로써 우리는 훨씬 더 깊은 것을 볼 수 있습니다. (이것이 우리가 A/B 테스트에서 데이터를 실제로 이해하는 방법입니다.)

"측정되는 것은 관리된다"는 오래된 관용구는 사실입니다. 물론 핵심은 제한적이거나 결함이 있는 데이터 세트를 기반으로 결정을 내리지 않도록 하여 항상 여러 데이터 소스를 살펴보는 것입니다.

속도를 늦추고 이유를 묻고 데이터가 유입되도록 하는 법을 배우는 것은 훨씬 더 나은 테스터이자 문제 해결자가 되는 데 도움이 될 것입니다.

즉시 답을 찾으려 하기보다 충분한 정보가 있는지 스스로에게 물어보십시오.

• 사용자에게 쉽게 고칠 수 있는 문제(깨진 버튼 또는 약한 CTA)가 있습니까? 아니면 개선할 수 있는 문제가 더 있습니까?
• 귀하의 초기 아이디어에 영향을 미치는 고유한 편견이나 이전 경험이 있습니까?
• 먼저 청중에 대해 자세히 알아볼 수 있습니까?

이 CTA 및 레이아웃 문제를 자세히 살펴보면 대부분의 청중이 화면 해상도와 로딩 속도가 다른 구형 모바일 장치를 사용한다는 사실을 알게 된다면 어떨까요? CTA 및 판매 페이지뿐만 아니라 대부분의 콘텐츠와 상호작용이 누락되었을 수 있습니다. 소셜 미디어와 블로그 콘텐츠도 영향을 받을 수 있습니다!

다시 깊이 들어가십시오. 그들은 왜 이러한 장치를 가지고 있습니까? 그들은 더 비싼 장치를 살 여유가 없습니까? 그들에게 중요하지 않습니까? 그렇지 않다면 무엇입니까?

지금까지 가진 것으로 모든 결정을 내리려고 하지 마십시오. 시간을 갖고 생각하고 얻은 결과에 대해 더 깊이 생각하십시오. 이유를 찾으십시오.

데이터 수집 및 분석 시 피해야 할 큰 실수

이제, 당신이 혼자가 아니기 때문에 초기 연구에서 즉각적인 통찰력을 찾으려는 유형의 테스터라면 걱정하지 마십시오.

이것은 대부분의 사람들이 데이터를 수집하거나 이해하려고 할 때 만드는 몇 가지 되풀이되는 문제 중 하나일 뿐입니다.

문제 #1: 의견을 입증하기 위한 데이터 수집

새로운 통찰력을 찾기 위해 데이터를 사용하고 있습니까? 아니면 현재 아이디어를 검증하기 위해 데이터를 사용하고 있습니까?

데이터를 사용하여 아이디어를 검증하는 것은 괜찮습니다. 그것이 가설의 목표입니다. 우리는 무엇이 잘못되었고 어떻게 고칠지에 대한 아이디어를 가지고 있으므로 테스트와 그 결과로 그것을 증명하려고 합니다.

그러나 과학적 방법을 잊지 마십시오! 우리는 우리의 생각과 의견에 집착할 수 없습니다. 데이터를 믿고 진짜 이유를 찾아야 합니다. 그것이 우리가 관심을 갖는 것입니다. 가설이 '틀린' 것은 괜찮습니다. 실패한 테스트에서 다른 통찰력을 찾는 것은 단순히 청중에 대해 더 많은 것을 가르쳐줍니다!

데이터가 당신에게 한 가지를 말하지만, 당신은 다른 것을 시도하고 증명하기 위해 그것을 왜곡하는 것에 주의하십시오.

문제 #2: 문제를 명확하게 설명하지 않고 분석 지원

테스트(및 대부분의 비즈니스)에서 일반적인 문제는 데이터를 분석하는 사람이 항상 분석가가 아니라는 것입니다.

대신 분석가는 문제를 해결하려는 제3자를 위해 보고서에 정보를 가져오는 매개체로 사용됩니다. (거의 영광스러운 대시보드가 ​​됩니다.)

다음은 예입니다.

• 당신의 상사에게는 목표와 문제가 있습니다.
• 그들은 솔루션과 원인에 대한 대략적인 아이디어를 가지고 있으므로 분석가에게 XYZ에 대한 데이터를 요청하지만 컨텍스트는 없습니다. 그들은 이 문제와 해결책이 효과가 있을지 알아 내려고 노력하고 있습니다.
• 일반적으로 더 많은 데이터를 요청하기 위해 왔다갔다 합니다. 이 요청은 아이디어를 잘못 뒷받침하거나 더 이상의 이해가 이루어지지 않았습니다.
• 그래서 새로운 테스트나 아이디어가 제시되고 문제는 해결되지 않은 채로 남아 있습니다.

좋지 않죠?

그러나 상사가 특정 문제의 맥락을 가지고 분석가에게 와서 문제를 명확히 하고 근본 원인을 찾기 위해 함께 일했다고 상상해 보십시오.

이를 통해 이해를 빠르게 추적하고 이를 해결하기 위한 새로운 테스트를 수행할 수 있습니다.

문제 #3: 다른 관점에 몰두하지 않고 단일 데이터 소스에 의존

우리는 전에 이것을 암시했지만, 당신의 이해와 잠재적인 테스트 솔루션 및 아이디어를 심각하게 제한하기 때문에 단일 데이터 소스에만 집착하지 않는 것이 매우 중요합니다.

출처가 많을수록 무슨 일이 일어나고 왜 일어나는지 더 잘 그릴 수 있습니다.

예, 시간이 걸리지만 전환율 최적화는 해당 잠재고객을 이해하는 것입니다. 일을 하고 가능한 한 많이 배우십시오.

알면 알수록 좋다!

지피를 통해

문제 4: 비판적 사고를 기술로 우선시하지 않음

우리의 뇌는 이상합니다. 우리는 기본 충동, 감정적 동인 및 이전 경험의 시스템에 따라 작동합니다. 목표는 너무 많은 에너지를 낭비하지 않고 우리를 살아 있게 하고, 출산하고, 결정을 내리는 것입니다.

이것을 알면 테스터(그리고 모든 사업주)가 비판적 사고와 인지적 편견의 과정과 그것이 우리의 이해와 결정에 어떻게 영향을 미치는지 알고 있는 것이 항상 현명합니다.

비판적 사고란 무엇인가?

비판적 사고는 사실과 데이터를 분석하여 편견 없이 판단하는 능력입니다.

우리의 의사 결정에는 수백 가지의 다양한 요소가 포함되며, 그 중 하나는 이전 삶의 경험이나 상황에 기반한 결정의 편향입니다. 우리는 이러한 인지적 편향 을 부릅니다.

비판적 사고를 연습하는 사람들은 이것을 이해하므로 편견 없는 판단을 내리는 데 도움이 되는 특정 프로세스를 사용합니다.

• 식별 . 문제를 찾으십시오.
• 데이터 수집 . 여러 소스를 사용해야 합니다. 소스 선택에 편향을 추가하지 않도록 하십시오.
• 분석 . 이 출처를 신뢰할 수 있습니까? 신뢰할 수 있습니까? 데이터 세트가 사실일 만큼 충분히 큽니까?
• 해석 + 추론. 이 데이터에서 어떤 패턴을 볼 수 있습니까? 지금까지 무엇을 말하고 있습니까? 가장 중요한 것은 무엇입니까? 인과관계나 상관관계를 보고 있습니까?
• 설명 . 왜 이런 일이 일어나고 있다고 생각합니까?
• 자체 규제 . 이 분석 및 테스트 가설에 영향을 미치는 인지 편향이 있습니까? 잘못된 가정을 하고 있습니까? 그것들을 통해 확인하십시오.
• 열린 마음과 문제 해결. 현재 이해하고 있는 상황에서 이 문제를 어떻게 해결할 수 있습니까? 먼저 더 배워야 합니까?

보시다시피, 이 정보를 분석하는 프로세스를 갖는 것은 매우 중요합니다. 그럼에도 불구하고 결정을 내리고 이 데이터를 분석하는 방법에 영향을 줄 수 있는 잠재의식적 편견을 살펴봐야 합니다.

인지 편향이란 무엇입니까?

인지 편향은 패턴 인식을 사용하여 결정에 에너지를 절약하기 위해 두뇌를 위한 치트 코드입니다. 물론 문제는 우리의 편견이 항상 올바른 것은 아니며 긍정적이든 부정적이든 우리의 결정과 행동에 영향을 미칠 수 있다는 것입니다. Ik 이것은 테스트와 관련하여 특히 두드러집니다.

여기 몇 가지 예가 있어요.

• 행동 편향 : 데이터가 개선될 수 없음을 시사하는 경우에도 행동을 취하려는 경향이 있습니까?
• 고정 편향: 이전에 획득한 정보를 기반으로 결정을 내리는 경향.
• 권위 편향: 권위 있는 위치의 의견에 더 높은 가치를 두는 경향.

이것이 데이터 분석 및 테스트 아이디어에 어떤 영향을 미칠 수 있는지 알 수 있습니까?

여기에서 다루기에는 너무 많은 것들이 있습니다(일부 추정치는 총 150개 정도). 나는 당신이 당신의 자신의 목록을 만드는 것이 좋습니다. 그런 다음 앞에서 설명한 대로 데이터를 분석하기 위한 비판적 사고 프로세스를 구축하고 분석에 영향을 줄 수 있는 잠재적인 편향을 '체크리스트'할 수 있습니다.

문제 #5: 상관 관계를 인과 관계로 간주

이는 데이터에서 패턴이 존재할 수 있지만 결과의 원인이 아닐 수 있다는 점에서 인지 편향과 거의 관련이 있습니다.

그것들은 부산물이나 단순한 우연의 일치로 종종 함께 발생합니다.

예를 들어, 대부분의 서퍼들은 오전에 일하지 않고 대신 서핑을 합니다. (파도에 대한 최고의 해상 바람이있을 때입니다).

해변에서 지켜보는 사람에게는 아마도 이 사람들이 직업이 없거나 병가가 있다고 생각할 것입니다. 그러나 바다에서 여러 번 대화를 나눈 후에 서핑을 하는 거의 모든 사람들이 스스로 일을 하므로 시간을 선택하고 선택할 수 있다는 것이 분명해졌습니다.

이제 그들 중 일부는 이러한 유연성과 자유 시간이 있었기 때문에 서핑을 시작했지만(Correlation), 다른 사람들은 서핑을 할 수 있도록 이러한 유연성을 가질 수 있는 직업을 선택했습니다(인과 관계).

꽤 멋지죠?

그러나 사실은 초기 조사와 '인터뷰' 후에도 데이터 세트에 대한 부정확한 견해를 얻기 쉽습니다. 열린 마음으로 데이터를 살펴보고 더 깊이 파고들어 진짜 원인을 찾으세요.

정성적 및 정량적 데이터를 수집하는 다양한 방법

이 데이터를 수집하기 위해 무엇을 사용할 수 있습니까?

정량적 데이터 수집의 경우 일반적으로 두 가지 유형의 도구를 살펴봅니다.

• 최신 결과를 얻기 위한 Google Analytics 또는 타사 제공업체와 같은 분석 도구.
• 변환 경험과 같은 A/B 테스트 도구를 사용하여 변형과 컨트롤 간의 성능 변화를 수치적으로 측정할 수 있습니다.

이 두 가지 모두 원시 수치 데이터를 제공합니다.

(여기에서 A/B 테스트 도구에 대한 비교 가이드를 확인하여 가장 적합한 도구를 확인하세요.)

질적 연구의 경우 여러 요소를 테스트하기 때문에 더 폭넓은 선택을 고려하고 있습니다.

• 히트 매핑
• 클릭 추적
• 시선 추적
• 사용자 녹음
• 현장 조사 및
• 직접 고객 설문조사.

시선 추적은 하드웨어 요구 사항으로 인해 가장 비용이 많이 드는 도구인 경향이 있습니다. 내부에 설치하고 사용할 수 있는 소프트웨어 옵션이 있는 반면, 다른 옵션은 눈의 움직임과 관심 위치를 확인하기 위해 안구 추적 안경이나 카메라를 설정하는 외부 회사를 고용하는 것입니다.

히트 매핑, 클릭 추적, 기본 사용자 기록 및 설문 조사의 경우 이러한 모든 기능을 결합한 Hotjar와 같은 저렴한 도구를 사용할 수 있습니다. 일반적인 문제를 찾아내고 제3자의 도움을 받지 않고도 거의 즉각적인 통찰력을 얻는 데 도움이 되며 *거의*는 시선 추적과 유사한 기능을 수행합니다.

마지막으로, 사용자 기록을 한 단계 더 발전시키고 독립적인 사용자를 귀하의 웹 페이지를 사용하고 정해진 작업을 수행하도록 하고 상호 작용을 기록하고 귀하에게 정보를 전달할 에이전시를 고용할 수도 있습니다.

참고:

정량적 도구 섹션에 이러한 항목을 나열하지 않았지만 때로는 정성적 도구를 정량적 데이터 수집에 사용할 수 있는 중복 항목이 있습니다.

설문조사 도구를 사용하고 X 수의 참가자의 응답을 측정하여 판매 카피에 대한 생각과 응답할 것으로 생각하는 숫자 값을 얻을 수 있습니다.

그러나… 이것은 사람들이 말하는 것이 항상 그들이 하는 것과 같지 않기 때문에 여전히 주관적 입니다.

행동(그들이 말하는 것)에 대한 피드백을 측정한 다음 실제 행동 반응(그들이 취하는 행동)도 측정하는 것은 항상 좋은 생각입니다. 때로는 이를 통해 무엇을 제공하고 어떻게 구성할지에 대한 더 깊은 아이디어를 얻을 수 있습니다.

실험 전문가는 정성 및 정량 데이터에 어떻게 접근합니까?

전문가가 데이터를 수집하고 사용하는 방법을 알고 싶으십니까? 우리는 최근 "Think like like CRO pro" 시리즈의 일환으로 7명의 CRO 전문가를 인터뷰했습니다.

나는 당신이 그들을 읽을 것을 강력히 권장하기 때문에 그들의 인터뷰를 망치지 않을 것이지만, 나는 그들이 아래의 데이터에 대해 어떻게 생각하는지에 대한 몇 가지 흥미로운 정보와 그들의 방법에 대한 나의 생각을 꺼냈습니다…

구르심란 구르잘 – OptiPhoenix

정량적 데이터는 일반적으로 사용자가 이탈한 위치, 다양한 채널의 실적, 다양한 장치의 CR, 사용자가 웹사이트를 종료하는 위치 등을 이해하기 위해 기본적인 전환 구멍을 찾는 데 유용하지만 정성적 데이터는 사용자가 이탈하거나 특정 조치를 취하는 이유에 대한 세부 정보를 파악하는 데 도움이 됩니다. .

실험과 함께 "Where+Why"를 결합하면 사용자 행동에 대한 완전한 그림을 그릴 수 있습니다.

히트맵, 세션 녹음, 설문 조사 결과와 같은 정성적 데이터를 연구하거나 사용성 테스트를 수행하는 것은 통계적으로 유의미한 패턴을 만드는 데 훨씬 더 많은 시간이 필요하지만 정량적 데이터는 분석하기 쉽습니다. 더 자세하고 의미 있는 통찰력을 수집하려면 중요합니다. GA 또는 Hotjar에 의존하여 데이터를 수집하는 것뿐만 아니라 체크아웃 프로세스에서 오류가 발생하는 모든 사용자에 대한 기록에 태그를 지정하고 어떤 필터에 대해 이벤트를 GA로 보내는 것과 같이 데이터를 보다 의미 있게 만들기 위해 사용자 정의 이벤트를 푸시합니다. 또는 정렬 옵션 등을 가장 많이 사용하므로 데이터를 최대한 활용할 수 있습니다 .

데이터의 전체 라인을 얻기 위해 사용자 정의 태그를 추가하는 것은 정말 환상적인 아이디어입니다. 이렇게 하면 문제와 문제가 발생한 위치뿐 아니라 문제가 발생한 위치와 트래픽 소스도 볼 수 있습니다.

Haley Carpenter, 수석 CRO 전략 전문가

우리 모두에게는 편견이 있다는 것을 끊임없이 상기시키십시오. 가능한 한 진실하고 정확하게 보고하는 것이 귀하의 임무임을 아십시오. 정직은 높게 유지하는 핵심 가치입니다.

또한 작업을 다시 확인하거나 확실하지 않은 경우 다른 사람이 검토하도록 하십시오. 두 번째 눈은 때때로 매우 유익할 수 있습니다. 특히 몇 시간, 며칠 또는 몇 주 동안 무언가를 응시한 경우에는 더욱 그렇습니다.

언젠가 녹음을 필사해야 하는 인류학 과정을 수강한 적이 있습니다. 그 교수는 말을 하는 사람에게 필사본을 그대로 유지하는 것이 가장 중요하다고 강조했습니다. 우리는 두 글자 단어를 자르거나 작은 문법 오류를 수정하는 것과 같은 작은 일을 하지도 않았습니다.

저는 이 강의를 지금까지 가지고 다니며 데이터 분석, 특히 사용자 테스트 기록에 적용하고 있습니다. 분석을 가능한 한 원본 데이터에 충실하게 유지하는 것이 중요합니다.

연구와 결과를 여러 눈으로 보는 것은 문제를 놓치지 않고 잠재적인 편견을 제거하며 다른 관점을 얻을 수 있는 좋은 방법입니다. 이것은 종종 단일 테스터가 놓쳤을 통찰력으로 이어질 수 있습니다.

Rishi Rawat – 마찰 없는 상거래

양적 데이터에 대한 나의 견해:

데이터는 데이터입니다. 그것을 이해하기 위해 곁눈질하지 마십시오. 그것에 감정적으로 얽매이지 마십시오. 데이터 수집이 시작되기 전에 가설을 진술하십시오. 데이터가 당신의 본능을 반증한다면, 새로운 테스트를 재설계하고 실행하십시오. 데이터는 데이터입니다. 존경합니다.

질적 데이터에 대한 나의 견해:

우리는 이 주제에 대해 논란의 여지가 있습니다. 우리는 최종 사용자 연구를 믿지 않습니다. 즉, 저는 제품을 구입한 사람들과 이야기하지 않습니다. 이런 종류의 연구가 중요하지 않다고 생각하는 것은 아닙니다. 그냥 비싸다. 나는 내가 작업하고 있는 제품의 설립자나 발명가로부터 모든 정성적 데이터를 얻는 것을 선호합니다.

최종 구매자의 사용자 경험이 그 순간에 이루어진 한 번의 구매에 대한 스냅샷일 뿐인 경우 발명가는 전체 여정에 대한 컨텍스트를 가지고 있습니다. 나는 설립자로부터 나의 양적 '느낌'을 얻고 싶습니다. 설립자/발명가는 당신의 머리를 돌릴 정도로 많은 제도적 지식을 가지고 있습니다. 그들이 어디서부터 시작해야 할지 모를 정도로 오랫동안 '중간'에 있었다는 것입니다. 여기에서 옵티마이저의 질문 기술이 작용합니다. 옵티마이저는 제작자가 외부에서 볼 수 있도록 도와줍니다. 나는 이러한 유형의 질적 데이터에 많은 가치를 부여합니다.

자, 이것은 흥미로운 아이디어입니다...

CRO에서는 고객 여정을 이해하기 위해 사용자에게 초점을 맞추는 경향이 있습니다. 문제는 고객이 때때로 무엇이 잘못되었는지 또는 어떻게 설명해야 하는지 모른다는 것입니다.

그러나 마찬가지로 사업주는 제품을 속으로 알 수 있지만 의사 소통에는 서툴다. 그들에게는 모든 경험이 있기 때문에 당연하지만 고객에게는 그 메시지가 뭔가를 놓치고 있을 수 있습니다. 이상적인 세상에서 다른 회사의 테스트를 실행하는 경우 청중과 소유자 모두에게 말하고 싶습니다.

시간이나 자원이 부족하다면 사업주에게 이야기하십시오. Rishi가 말했듯이, 그들은 종종 뽑아낼 수 있는 이 모든 통찰력을 가지고 있습니다. 그런 다음 테스터로서 우리의 임무는 누락된 부분과 고객과 연결하는 방법을 찾는 것입니다.

Sina Fak – 전환 옹호자

모든 데이터에는 편견이 내재되어 있는 것이 현실입니다.

데이터 수집 방법부터 분석에 사용되는 샘플 데이터, 데이터를 검토하고 분석을 실행하는 사람에 이르기까지 모든 것에 우리가 완전히 통제할 수 없는 편향 요소가 있습니다.

데이터만으로는 전체 내용을 알 수 없습니다. 이야기의 일부를 이해하고 통찰력을 끌어내기 위한 출발점을 제공할 뿐입니다. 편견 없는 이야기를 전달하는 방식으로 데이터를 처리하는 유일한 방법은 데이터를 테스트하고 실험을 실행하는 것입니다.

이것은 우리가 이전에 말한 것과 연결됩니다.

모든 테스트와 연구에는 편견이 있습니다. 우리는 비판적 사고와 분석 과정을 통해 그 중 일부를 부정하려고 시도할 수 있지만 여전히 침투할 수 있습니다.

아이디어를 테스트하고 더 알아보고 테스트하십시오. 과학적 방법을 잊지 마십시오. 우리는 'fail forward'하고 우리가 찾고 있는 답을 찾을 수도 있습니다.

야쿱 리노프스키 – GoodUI

일반적으로 일관성 있는 측정이 많을수록 실험이 더 신뢰할 수 있고 신뢰할 수 있습니다.

A/B 테스트 결과를 비교할 때 할 수 있는 몇 가지 방법이 있습니다.

● 동일한 실험의 여러 메트릭 비교(예: 장바구니에 담기, 판매, 수익, 반품 구매 등의 효과 일관성)

● 개별 실험의 과거 데이터 비교(예: 2개의 개별 웹사이트에서 실행된 2개의 개별 실험 간의 효과 일관성

Quant 및 Qual 데이터 분석은 초기 계획과 마찬가지로 중요한 사후 테스트임을 잊지 마십시오.

잠재적인 문제와 '아하 순간'을 위한 위치를 통해 체크리스트를 작성하는 프로세스가 있으면 처음 보는 것보다 훨씬 더 나은 결과를 얻을 수 있습니다.

(때때로 데이터는 바로 거기에 있고 우리는 그것을 놓칩니다.)

에덴 비다니 – 그린 라이트 카피

두 가지 유형의 데이터를 나란히 놓고 가능한 한 많이 작업하려고 합니다. 저에게는 전체 그림의 균형을 맞추는 데 도움이 됩니다.

퀄 데이터는 퀀트에 깊이와 의미를 부여하고 퀀트 데이터는 퀄 데이터의 어떤 요소에 더 많은 w8을 부여해야 하는지에 대한 일반적인 방향을 제공합니다 .

비교하고 대조할 수 있도록 두 데이터 세트를 함께 사용하는 것이 무슨 일이 일어나고 있는지 분석하고 이해하는 가장 좋은 방법입니다.

이것은 문제와 솔루션을 찾기 위해 단일 데이터 세트를 갖는 것에 대해 이전에 말한 것과 관련이 있습니다. 우리가 가진 모든 것이 하나였다면 우리는 다른 결론에 도달했을 것입니다. 둘 다 사용하여 해당 상관 관계를 시도하고 찾으십시오.

시바 만주나트 - 스피로

제가 Quant + Qual 분석에 접근하는 방식은 경찰의 심문과 같습니다. 동기나 가설이 있지만 심문을 위해 데려온 사람이 무죄이거나 유죄라고 단정할 수는 없습니다. 가져온 사람(실험 데이터)은 무죄로 간주되며 합리적인 의심(통계적 유의성)을 넘어 유죄를 입증하는 것이 귀하의 임무입니다.

따라서 데이터를 직접 보고, 다른 사람을 인터뷰(정성적 데이터)하고, 은행 거래 내역을 보거나 누군가가 출근/퇴근 시간에 대한 로그를 보고 알리바이가 확인되는지 확인할 수 있습니다(정량적 데이터).

가장 좋은 예는 아니지만 항상 객관적으로 접근해야 합니다. 그리고 데이터 소스(예: 양적 데이터가 있는 사이트의 설문조사가 포함된 히트맵)를 확인하여 스토리를 만들고 이것이 가설을 지원하는지 또는 지원하지 않는지 확인합니다. 통계적 엄격함과 함께 분명히 y!

나는 이 비유를 좋아하고 셜록 홈즈를 생각나게 하고 테스트에 바로 연결됩니다.

아직 데이터가 없습니다. (또는 충분하지 않음). 데이터가 있기 전에 이론화하는 것은 큰 실수입니다. 무의식적으로 사람은 사실에 맞는 이론이 아니라 이론에 맞게 사실을 왜곡하기 시작합니다.

실험자로서 우리는 모든 편견을 제거해야 합니다. 경험했거나 단순히 우리가 가설을 생각해 냈기 때문입니다. 대신 결과를 공정하게 대하고 진실을 찾아야 합니다.

우리의 목표는 옳지 않습니다. 그것은 우리가 그것을 구축할 수 있도록 작동하는 것을 찾는 것입니다!

데이터를 사용하여 성공적인 테스트를 설계하는 가장 좋은 방법은 무엇입니까?

한동안 테스트를 해 본 적이 있다면 대부분의 테스트가 승자를 만들지 않는다는 것을 알고 있습니다. 사실, 약 3/10만이 승리하고 나머지는 실패로 간주됩니다.

그러나 승패의 용어는 그다지 좋지 않습니다. 예, 테스트는 상승도를 제공하지 않았지만 개선하고 이유를 찾는 데 사용할 수 있는 데이터를 제공합니다.

기억하다:

우리는 단일 테스트에 집중하지 않습니다. 승리하더라도 우리는 여전히 반복적인 학습 및 개선 프로세스를 사용합니다. 우리는 테스트하고, 배우고, 가설을 세우고, 다시 테스트합니다.

이것은 아이디어를 지지하거나 반증하기 위해 새로운 데이터의 피드백 루프를 만드는 데 도움이 됩니다.

• 우리는 테스트하고 실패하지만 배운다.
• 우리는 이러한 학습을 ​​취하고 우리가 승리하고 개선할 때까지 테스트합니다.
• 그런 다음 로컬 최대값에 도달하고 더 이상 개선할 수 없을 때까지 계속 테스트합니다.

즉시 승자를 얻으려는 데 집중하지 마십시오. 이것은 CRO가 당신에게 효과가 없다고 주장하는 빠른 길입니다. 대신 데이터를 통찰력으로 바꾸고 매번 더 많은 것을 배우십시오.

당신은 승자에 가까울 수 있지만 더 나은 실행이 필요할 뿐입니다.

또는 전체 메시지를 근본적으로 바꿀 수 있는 순간에 가까울 수도 있습니다. 그것을 고수하고 매 시험마다 계속 배우십시오!

해당 피드백 루프를 데이터 처리 및 테스트 프로세스에 구축하십시오.

그러나 가장 중요한 것은? 수집하는 데이터에 액세스하고 이해할 수 있는지, 해당 데이터를 올바르게 사용하고 있는지, 신뢰할 수 있는지 확인하십시오!…

조직의 데이터 접근성을 개선하는 방법

작업할 데이터가 있는 것은 모두 좋은 일이지만 데이터에 액세스하여 배울 수 없다면 소용이 없습니다!

일부 회사는 데이터 과학자를 통해서만 데이터에 액세스할 수 있기 때문에 데이터 흐름에 병목 현상이 발생하는 경우가 많습니다. 정보가 필요한 경우 액세스가 필요하거나 해당 정보와 직접 작업하여 문제가 발생합니다.

이를 극복하는 좋은 방법은 데이터 액세스를 민주화하는 것입니다.

• 기존의 단일 역할 도구(GA 등)에 대한 데이터 액세스를 필요로 하는 팀에 허용하고,
• 전체 팀이 사용할 수 있는 데이터 보고 기능이 내장된 셀프 서비스 도구를 사용하는 방법을 살펴보십시오.
• 데이터 결과의 중앙 집중식 학습 저장소를 구축합니다. 이를 통해 직접 테스트 팀뿐만 아니라 전체 조직에서 데이터 통찰력을 얻을 수 있습니다.

데이터 액세스에 관심을 갖는 이유는 무엇입니까?

데이터에 대한 액세스는 비즈니스의 ROI에 영향을 미칠 수 있는 결정의 수를 증가시키기 때문입니다.

물론 트릭은 액세스 권한이 있으면 원하는 것을 찾을 수 있는지 확인하는 것입니다…

신뢰할 수 있는 데이터를 수집하여 데이터 사용성을 개선하는 방법

데이터 사용성은 질문에 답하기 위해 데이터를 사용할 수 있는 용이성을 나타냅니다.

개요에서 보면 데이터의 목표는 다음과 같아야 합니다.

• 비즈니스 ROI에 영향을 미치는 통찰력 찾기 . 그것이 없으면 목표가 없는 정보 데이터일 뿐입니다.
• 그것들을 빨리 찾고 정보를 얻기 위해 애쓰지 않아도 됩니다.
• 그리고 이러한 통찰력을 사용하여 빠르고 신뢰할 수 있는 결정을 내릴 수 있습니다. 데이터를 신뢰할 수 있기 때문이거나 결과를 이해하고 조작하지 않거나 잘못된 긍정을 제공하기 때문입니다.

짐작할 수 있듯이 여기에는 시스템과 프로세스에 따라 몇 가지 문제가 있을 수 있습니다.

우리는 이미 해당 정보에 액세스할 수 있는 것이 얼마나 중요한지, 그리고 전사적으로 데이터 보고서를 열 수 있는 셀프 서비스 기능이 있는 도구 또는 프로세스의 이점에 대해 논의했습니다.

그러나 이제 해당 데이터에 액세스할 수 있으므로 원하는 정보를 찾고 신뢰할 수 있는지 확인해야 합니다.

이상적으로는 데이터 세트를 구성하기 위해 사전 예방적으로 프로세스를 실행해야 합니다.

• 가장 중요한 측정항목을 쉽게 찾을 수 있도록 합니다.
• 참조 모델과 목표를 사용하여 기존 도구가 추적할 수 없는 특정 데이터 세트를 찾습니다.
• 업데이트, 편집 및 새로운 정보가 누락되지 않도록 데이터 소스 간의 동기화를 확인하십시오.
• 그리고 데이터 과학 팀이 빅 데이터를 처리하여 이 모든 정보를 쉽게 찾고 신뢰할 수 있도록 하십시오!

데이터에 대한 이 최종 목표를 염두에 두고 있으면 새로운 데이터 세트가 들어오기 전에 미리 준비 프로세스를 구축하기 시작하는 것이 더 쉬워집니다. 나중에 찾을 수 있음).

가설을 알려주는 통찰력을 생성하기 위해 편향되지 않은 데이터 분석을 수행하는 방법

그렇다면 이 데이터를 사용하여 통찰력과 아이디어를 얻으려면 어떻게 해야 할까요?

글쎄, 스포일러 경고, 우리는 실제로 지금까지 이 가이드를 통해 이것을 다뤘습니다.

• 더 넓은 그림을 위해 여러 데이터 소스를 사용하는 것을 목표로 합니다.
• 편견 없는 프로세스를 사용하여 해당 데이터를 수집하십시오. 가능하면 특정 인구통계 또는 기기로 제한하지 마세요.
• 정보를 평가하기 위해 비판적 사고를 사용하십시오.
• 인지 편향과 그것이 분석에 어떤 영향을 미칠 수 있는지 살펴보십시오.
• 결합된 각 데이터 소스를 조사해야 합니다. (기술적, 양적 및 질적 함께).

테스트에서 학습하여 더 많은 테스트에 영감을 줄 수 있습니다.

추가 개선을 위한 피드백 루프로 테스트를 처리해야 합니다. 이것은 현재 테스트에 적용하여 계속 개선하고 더 많은 효과를 얻을 수 있습니다. 또는 새로운 통찰력이 더 도움이 될 수 있는 이전 테스트에 이를 적용할 수도 있습니다.

어느 쪽이든 목표는 더 이상 리프트를 얻을 수 없을 때까지 테스트, 학습, 개선 및 반복하는 것이어야 합니다.

하지만… 실제로 그 테스트 결과로부터 학습을 하려면 어떻게 해야 할까요?

좋은 소식은 여기에서 확인할 수 있는 A/B 테스트 결과를 학습하는 7단계 가이드를 작성했다는 것입니다.

지금 시간이 없으시다면 여기 간략하게 요약해 보겠습니다.

• 결과를 신뢰할 수 있는지 확인하는 것부터 시작하십시오. 정확합니까? 중요합니까? 당신은 그들을 확신합니까? 테스트가 충분히 오래 실행되었습니까? 그들에게 영향을 미친 외부 요인이 있었습니까?
• 마이크로 및 매크로로 이동합니다. 테스트가 이기거나 실패했기 때문에 가드레일 지표에 어떤 영향을 미치는지 확인해야 합니다. 아이러니하게도 CTR의 상승은 잘못된 청중의 관심을 끌 경우 판매 감소를 의미할 수 있습니다. 마찬가지로, CTR의 하락은 현재 최고의 청중에게만 어필할 수 있으므로 판매를 증가시킬 수 있습니다. 따라서 테스트 결과뿐만 아니라 측정항목을 확인하십시오.
• 더 깊이 들어가서 결과를 세분화하십시오. 모든 청중, 트래픽 채널 및 장치가 동일한 성능을 발휘하는 것은 아닙니다. 일부 채널이 손상될 수 있습니다. 그러면 자세한 그림이 없기 때문에 결과가 좋거나 나쁘게 왜곡될 수 있습니다. (이는 또한 특정 채널에 가장 잘 맞는 변형에 대한 통찰력을 제공하여 더 높은 상승도를 위해 게재를 분류하는 데 도움이 됩니다.)
• 성능 및 사용자 행동을 확인합니다. 이전에 정성적 및 정량적 데이터 분석을 실행했다고 해서 테스트 후에 건너뛰어야 하는 것은 아닙니다. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. 무엇이 잘못되었나요? 어떻게 해결할 수 있습니까?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

결론

그래서 당신은 그것을 가지고 있습니다. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!