마인드 맵 시리즈 테스트: CRO 전문가처럼 생각하는 방법(22부)

Nils Koppelmann과의 인터뷰

Nils Koppelmann은 실험 및 데이터 기반 의사 결정의 이점을 열렬히 지지합니다. 그는 성공적인 A/B 테스트가 단지 어떤 것이 작동하는지 알아내는 것이 아니라 작동하는 이유를 알아내는 것임을 이해하고 있습니다. 그리고 그는 이 관행에 대한 두 가지 일반적인 신화를 없애기 위해 왔습니다.

A/B 테스트에는 위험이 따르며 소규모 회사는 효과적으로 테스트할 수 없습니다. 반대로 Nils는 A/B 테스트가 효과가 있는 것과 그렇지 않은 것에 대한 통찰력을 제공함으로써 위험을 줄이는 데 도움이 될 수 있다고 믿습니다. 소규모 회사는 대규모 회사보다 트래픽이 적을 수 있지만 위험이 적기 때문에 실제로 더 과감하게 테스트할 수 있습니다.

따라서 다음에 A/B 테스트가 너무 위험하거나 비용이 많이 든다고 생각되면 Nils와의 이 인터뷰에서 불필요한 위험을 초래하지 않고 사이트에서 효과적으로 테스트하는 방법에 대한 팁을 읽으십시오.

닐스, 자신에 대해 말해주세요. 테스트 및 최적화에 참여하게 된 동기는 무엇입니까?

지난 8년 이상 동안 저는 크고 작은 고객이 온라인 입지를 "최적화"할 수 있도록 웹사이트와 온라인 상점을 구축해 왔습니다.

얼마 전, 내 생각은 우리의 디자인이 실제로 원하는 영향을 미치도록 하는 방법으로 바뀌었습니다.

약 3 1/2년 전에 전환율 최적화라는 용어를 처음 접했을 때 왜 그것이 우리가 이미 집중한 것이 아닌지 궁금했습니다. 그 시점부터 저는 디자인과 기술을 제공하는 것에서 통찰력과 결과를 제공하는 것으로 초점을 옮겼습니다.

최적화의 세계는 여전히 대부분의 온라인 회사에서 탐색하지 못한 많은 잠재력을 가지고 있습니다. 우리는 사용 가능한 방대한 양의 데이터를 활용하고 이를 통해 지속적으로 개선할 수 있도록 배워야 합니다.

저에게 가장 인상적인 것 중 하나는 다시 배우는 것이 얼마나 재미있는지 입니다. 내가 자발적으로 통계에 관한 책(Georgi Georgiev와 그의 위대한 책 Statistical Methods of Online A/B Testing)을 펴서 실제로 읽을 것이라고는 생각하지 못했습니다. 이것과 다른 많은 측면들이 제가 시험을 보고 배우도록 계속 영감을 줍니다.

몇 년 동안 최적화를 해오셨습니까?

최적화에 대한 열망은 현상 유지에 대한 불만족, 그 이상에 대한 호기심, 무엇이든 개선할 수 있다는 확신에서 비롯됩니다.

전문적인 맥락에서 저는 약 8년 동안 최적화를 해왔습니다. 처음에는 사이드 프로젝트를 구축 및 최적화하고 회사가 웹 사이트 및 온라인 상점을 개선하도록 지원합니다. 이제 우리는 신규 및 기존 기업이 실험 문화를 만들고 실험의 힘을 사용하여 성장을 촉진하도록 돕고 있습니다.

생각해보면 최적화를 하지 않은 기억이 없습니다. 이미 어렸을 때 나는 항상 일을 처리하는 방식에 의문을 제기했습니다. 아버지가 제가 "너무 많은" 질문을 했다고 말씀하신 것을 기억합니다. 돌이켜보면 제가 그렇게 했고 지금도 하고 있어서 정말 기쁩니다.

개인적인 삶에서도 나는 삶의 대부분을 추적하고 최적화하는 것으로 알려져 있습니다.

테스터와 옵티마이저를 지망하는 사람들에게 추천하는 리소스는 무엇입니까?

처음 시작하는 사람에게 추천하고 싶은 리소스가 많이 있지만 이것을 좀 더 실용적으로 만들어 보겠습니다.

시작하려면 다음과 같은 몇 가지 제안 사항이 있습니다.

1. 더 호기심을 갖고 왜 어떤 일이 그렇게 된 이유에 대해 질문하기 시작하십시오. 이것만으로도 세상을 보는 완전히 새로운 시각이 열릴 것입니다.
2. 해결책을 찾는 것보다 문제에 대해 생각하는 데 더 많은 시간을 할애하십시오. 먼저 문제를 진정으로 이해해야 해결책이 더 쉽게 나올 것입니다.
   
   알버트 아인슈타인(Albert Einstein)이 말했듯이 "문제를 해결하는 데 1시간이 주어진다면 나는 55분 동안 문제에 대해 생각하고 5분 동안 솔루션에 대해 생각합니다."
   
   즉, 상자 밖에서 생각하는 것이 중요합니다. 이는 문제의 매개변수 내에서 생각할 뿐만 아니라 외부 각도와 가능성도 고려한다는 것을 의미합니다.
   
   핵심은 둘 사이의 균형을 찾는 것입니다.
3. 더 나은 질문을 하는 법을 배우십시오. 이것은 호기심을 활성화하고 활용하기 때문에 최적화 프로그램이 무기고에서 가질 수 있는 가장 유용한 도구 중 하나입니다.

또한 실험 초보자와 베테랑 모두를 대상으로 하는 주간 실험 뉴스레터에서 흥미로운 기사, 리소스 및 도구를 공유합니다.

5단어 이내로 답변: 최적화 분야는 무엇입니까?

배우기 위해 테스트합니다. 지속적인 개선. 실험. 빌딩 시스템.

사람들이 최적화를 시작하기 전에 반드시 이해해야 하는 상위 3가지 사항은 무엇입니까?

먼저 조사한 다음 테스트하십시오. 최적화를 시작하기 전에 정성적 및 정량적 데이터로 가정을 뒷받침해야 합니다. 그런 다음 이를 바탕으로 강력한 가설을 세웁니다.

단기적인 향상을 위해 최적화하지 마십시오. 프로그램이 긍정적인 ROI를 갖는 것이 매우 중요하지만, 그것에 집중할 뿐만 아니라 실험이 가져오는 엄청난 학습 기회와 위험 상한선도 고려해야 합니다.

최적화 노력은 당신이 옳고 그름을 증명하는 것이 아니라 그 이유를 결정하는 것을 목표로 해야 합니다. 당신이 거기에 도달한 방법과 거기에 도달하는 방법을 복제하는 방법을 이해하지 못한다면 어떤 최적화도 의미가 없습니다. A/B 테스팅에서 장기적인 성공을 위해서는 좋은 시스템을 갖추는 것이 중요합니다.

편향되지 않은 이야기를 전달하기 위해 질적 및 양적 데이터를 어떻게 처리합니까?

편향되지 않은 데이터는 없지만 모든 종류의 데이터에 대한 편향을 최소화하려면 데이터가 어떻게 수집되고, 어떻게 해석되고, 어떤 결론이 도출되는지 이해하는 것이 중요합니다.

당신이 말하는 데이터가 얼마나 신뢰할 수 있는지 분류하려면 Hierarchy of Evidence를 확인해야 합니다.

우리는 정량적 데이터를 사용하여 사전 필터링한 다음 정성적 데이터와 과학적 자원을 사용하여 더 깊이 파고든 다음 다시 정량적 데이터를 사용하여 초기 가정과 가설을 증명하거나 반증합니다.

우리 노력의 맨 위에는 소위 메타 분석이 있어 이전 실험에서 패턴을 찾고 추가 연구 및 실험 노력을 조정할 수 있습니다.

편견을 제거하는 또 다른 좋은 방법은 실험을 만드는 사람과 그 결과를 평가하는 사람 사이에 단절을 만드는 것입니다. 이것은 실험의 성공에 대한 편향을 최소화합니다.

사라지고 싶은 가장 짜증나는 최적화 신화는 무엇입니까?

저는 두 가지 신화를 없애고 싶습니다.

1. 그 테스트는 위험을 초래하지만 실제로는 적절하게 수행될 때 위험을 감소시킵니다.
2. 소규모 회사는 테스트할 수 없지만 실제로 트래픽이 거의 없는 소규모 회사는 관련된 위험이 적기 때문에 더 과감하게 테스트할 수 있습니다.

Nils와의 인터뷰가 실험 전략을 올바른 방향으로 이끄는 데 도움이 되기를 바랍니다!

어떤 조언이 가장 마음에 와 닿았나요?

아직 CRO의 전설 Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Deborah O'Malley , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough , Alex Birkett , John Ostrowski , Ryan Levander , Ryan Thomas , Bhavik Patel , Siobhan Solberg , Tim Mehta , Rommil Santiago 및 Steph Le Prevost 의 최신 소식입니다.