마인드 맵 시리즈 테스트: CRO 전문가처럼 생각하는 방법(11부)

루벤 드 보어와의 인터뷰

실험을 통해 더 많은 것을 얻고자 하는 사람입니까?

오늘 우리의 손님은 수년간 이 일을 해왔고 당신이 실험 여행을 시작하는 데 도움을 줄 수 있습니다. 또한 그는 실험이 올바른 ROI를 제공하는지 확인하는 방법에 대한 훌륭한 조언을 제공합니다.

모든 것을 파악한 후에는 모든 학습 내용을 추적하여 회사 전체에 적용할 수 있습니다. 우리 전문가는 그렇게 하는 방법에 대한 수많은 조언을 가지고 있습니다.

뛰어들어봅시다.

루벤, 자기소개를 해주세요. 테스트 및 최적화에 참여하게 된 동기는 무엇입니까?

2009년에 저는 사람들이 향상된 사회적 기술로 더 행복하고 자신감을 가질 수 있도록 가르치는 회사를 도왔습니다. 그 당시에는 자신이 하고 싶은 일을 통해 다른 사람들을 지원하고 영감을 주는 것이 중요하다는 사실을 깨달았습니다. 나는 또한 다음 질문에 매료되었습니다.

오프라인에서 사람들의 행동을 바꿀 수 있다면 온라인에서는 어떻게 할 수 있습니까?

이것이 내가 인간 행동과 심리학 연구에 들어간 방법입니다. 데이터는 항상 내 것이었습니다. 나는 데이터에서 패턴과 솔루션을 찾는 것을 즐깁니다(학교에서 나는 다른 어떤 주제보다 데이터 주제에 훨씬 더 능숙했습니다).

그리고 최적화와 결과를 얻는 것을 좋아합니다. 직장에서 뿐만 아니라 사생활에서도요.

이러한 관심과 열정의 조합은 자연스럽게 저를 테스트 및 최적화 작업으로 이끌었습니다.

몇 년 동안 최적화를 해오셨습니까? 테스터와 옵티마이저를 지망하는 사람들에게 추천하는 리소스는 무엇입니까?

2009년에는 웹사이트를 최적화하고 비즈니스 및 온라인 데이터를 분석하기 시작했습니다. 2011년이 되어서야 처음으로 A/B 테스트를 했습니다. 물론 전환율 최적화를 시작할 때 저지를 수 있는 모든 실수를 저 스스로 저질렀습니다.

제 최고의 자원은 이 분야의 다른 전문가를 만나는 것입니다. 아이디어와 경험을 공유하고 서로에게서 배우십시오. 이벤트에서는 연사뿐만 아니라 청중의 아이디어도 얻습니다. 서로 돕고 함께 배움으로써 우리는 우리 자신과 우리의 일을 다음 단계로 끌어올릴 수 있습니다.

5단어 이내로 답변: 최적화 분야는 무엇입니까?

지속적인 개선 마인드, 학습 및 실험.

사람들이 최적화를 시작하기 전에 반드시 이해해야 하는 상위 3가지 사항은 무엇입니까?

첫째, 기본을 바로 잡습니다 . 전문가는 종종 일반적인 관행을 기반으로 실험을 실행합니다. 그러나 이러한 관행은 다른 웹사이트에서 테스트되었으며(전혀 테스트된 경우) 귀하의 웹사이트 또는 (디지털) 제품에서는 전혀 작동하지 않을 수 있습니다.

데이터, 사용자 및 과학적 연구에서 테스트 아이디어를 얻으십시오. 그리고 실험을 완료하면 배운 내용과 이러한 학습 내용을 바탕으로 어떤 새로운 테스트 아이디어를 얻을 수 있는지 생각해 보세요. 이러한 소스는 성공적인 변형을 찾을 수 있는 더 큰 기회와 함께 확실한 테스트 아이디어를 만드는 데 도움이 됩니다.

많은 전문가들이 잘못 알고 있는 또 다른 기본 절차는 통계입니다. 모든 실험에 대해 사전 테스트 분석을 수행하십시오 . 최소 샘플 크기와 테스트 기간을 계산하고 도달한 후에만 테스트를 중지합니다.

사전 테스트 계산에서 A/B 테스트를 위한 트래픽이 충분하지 않다는 것을 알게 되면 사용성 테스트를 통해 테스트 아이디어를 검증할 다른 방법을 찾으십시오.

둘째, 프로세스가 핵심 입니다. 적절한 프로세스가 없으면 성공할 수 없습니다. 프로세스를 최적화하려면 실험의 ROI(투자 수익)를 이해해야 합니다.

ROI = (수량 * 품질) / 비용

수량은 실행한 실험의 수입니다. 품질은 승자당 승률과 가치입니다. 비용은 시간과 돈이므로 효율성이 높습니다.

적절한 프로세스(프로세스, 진행 상황 및 통찰력을 추적하는 도구 포함!)가 있으면 ROI와 실험 성공을 최적화할 수 있습니다.

세 번째로, 귀하의 업무는 A/B 테스트를 실행하는 것이 아니라는 점을 이해하십시오. 작업의 상당 부분을 변경 관리 에 전념해야 합니다. 번창하고 실험 문화를 향해 일하기 위해서는 A/B 테스트만으로는 충분하지 않습니다. 문화, 사고방식, 조직 전체가 일하는 방식을 바꿔야 합니다. 사람들, 특히 고위 경영진을 참여시키는 것으로 시작하십시오.

편향되지 않은 이야기를 전달할 수 있도록 질적 및 양적 데이터를 어떻게 처리합니까?

간단히 말해서:

첫 번째 단계는 웹 데이터, 고객 서비스, 설문 조사, 설문 조사 및 과학 기사와 같은 다양한 리소스를 사용하여 철저한 조사 를 수행하는 것입니다.

이 과정의 두 번째 단계는 연구에서 얻은 통찰력을 매우 중요한 가설로 바꾸는 것 입니다. 단일 요소나 웹 페이지와 관련이 없는 (잠재적인) 고객에 대해 설명하는 5개에서 10개의 가설을 목표로 합니다.

예를 들어:

• 고객들은 우리 제품이 너무 비싸다고 생각합니다.
• 사람들은 가입하기 전에 서비스에 대한 추가 정보가 필요합니다.
• 사람들은 소속될 필요가 있기 때문에 우리의 고객이 됩니다.

그런 다음 연구를 기반으로 여러 관련 실험을 통해 이러한 가설을 검증할 수 있습니다. 이것을 메타 분석 이라고 합니다.

왜요? 단일 A/B 테스트는 오류가 발생하기 쉽습니다. 실험 결과 오탐이 발생하거나 실험이 성공한 이유가 가설에 명시된 것과 다를 수 있습니다. 메타 분석을 통해 우리는 진실에 가장 가까이 다가갑니다. 따라서 우리의 통찰력은 더 신뢰할 수 있고 더 나은 후속 실험을 만듭니다.

메타 분석은 증거의 계층 구조를 기반으로 얻을 수 있는 최고 품질의 증거입니다.

프로세스의 마지막 단계에는 가장 중요한 가설과 고객 여정의 위치(어느 페이지에서)를 추적하고 이를 기반으로 테스트 아이디어의 우선 순위를 지정하여 승률과 학습을 최대화하는 것이 포함됩니다.

최적화 팀을 위해 어떤 종류의 학습 프로그램을 설정했습니까? 그리고 왜 이러한 구체적인 접근 방식을 취했는가?

위에 설명된 프로세스는 귀하와 귀하의 조직이 실제로 배울 수 있는 신뢰할 수 있는 통찰력을 수집하는 데 도움이 됩니다.

이러한 메타 분석을 잘 문서화하면(Airtable과 같은 도구에서) 성공이 어디에 있는지 보기가 더 쉬워집니다. 모든 실험에 가장 중요한 가설과 심리적 방향에 태그를 지정하면 잠재 고객의 요구 사항(및 문제)에 대한 엄청난 양의 지식을 얻을 수 있을 뿐만 아니라 고객 여정에서 해당 문제를 해결하기 위한 여정과 어떤 유형의 실험을 통해 해결할 수 있는지도 알 수 있습니다.

많은 실험을 수행하고 명확한 그림을 얻기 시작하면 이러한 통찰력을 공유할 수 있으며 전체 조직이 배우고 이점을 얻을 수 있습니다.

사라지고 싶은 가장 짜증나는 최적화 신화는 무엇입니까?

두 가지를 언급하겠습니다

놀라운 향상 실험이 달성할 수 있습니다(단일 A/B 테스트로). 주로 일부 공급업체가 이에 대한 책임이 있습니다. 그들의 경우와 방문 페이지에서 광고를 크게 향상시켜 잘못된 기대를 낳습니다.

더 나은 의사 결정을 위해 실험을 사용하는 조직이 성공하는 경우가 많습니다. 돈에만 집착하는 사람이 아닙니다.

두 번째는 일반적으로 전환율 최적화라는 이름입니다. 그것은 잘못된 인상을 주고 실험 전문가가 달성할 수 있는 것에는 너무 협소합니다.

Ruben과의 인터뷰가 실험 전략을 올바른 방향으로 이끄는 데 도움이 되기를 바랍니다! 어떤 조언이 가장 마음에 들었습니까?

더욱 발전된 전략을 안내해 줄 CRO 전문가와의 다음 인터뷰를 기대해주세요! 아직 시청하지 않았다면 Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak, Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan 및 최신 Rich Page 와의 인터뷰를 확인하십시오.