마인드 맵 시리즈 테스트: CRO 전문가처럼 생각하는 방법(6부)

GoodUI의 Jakub Linowski와의 인터뷰

왜 어떤 사람들은 CRO에 소질이 있는 것처럼 보이는지 생각해 본 적이 있습니까?

실험을 잘 하기 때문만은 아닙니다. 그들은 또한 다른 방식으로 사물에 대해 생각하는 방법을 알고 있습니다. 이것이 이 시리즈가 당신이 하는 데 도움이 될 것입니다. 성공적인 CRO를 구성하는 사고방식과 이를 전략에 어떻게 적용할 수 있는지 자세히 살펴보겠습니다.

올바른 마음가짐을 가질 수 있다면 사각지대가 어디에 있는지 먼저 이해하지 않고 시도하는 것보다 성공이 훨씬 더 쉬울 것입니다. 궁극적으로 테스팅 마인드 맵 시리즈는 최적화 전략을 더 잘 계획하고 더 자신 있게 테스트를 실행할 수 있도록 도와줍니다!

이 기사에서 GoodUI의 Jakub Linowski는 실험의 힘은 유용한 방법으로서의 능력뿐만 아니라 더 나은 결정을 내릴 수 있는 강력한 통찰력을 생성하는 데 있다고 말합니다.

야쿱, 자기소개를 해주세요. 테스트 및 최적화에 참여하게 된 동기는 무엇입니까?

저는 2014년경 제 디자인 배경이 저를 이 길로 이끌었을 때 실험의 세계에 끌렸습니다. 사람들이 좋은 UI의 예와 "모범 사례" 목록을 공유하기 시작하면서 나도 그랬고, 이것이 GoodUI.org가 탄생한 방법입니다. 그러나 내 모든 제안과 UI 패턴이 증거에 의해 뒷받침되는 것보다 시각적 가설에 더 가깝다는 것을 깨닫는 데 오랜 시간이 걸리지 않았습니다. 나는 정말로 더 많은 자신감을 얻고 나쁜 아이디어에서 좋은 아이디어를 걸러내는 일을 더 잘하고 싶었습니다.

그래서 A/B 테스트에 대해 들었을 때 (신뢰 구간이 무엇인지 전혀 몰랐음에도 불구하고) 상당히 흥분했습니다. 나는 프론트 엔드 개발자를 고용했고 우리는 작은 최적화 에이전시를 시작했습니다. 우리는 블로그에서 읽은 아이디어, 고객으로부터 들은 모든 아이디어와 새로 떠오르는 GoodUI 패턴 라이브러리에서 테스트를 시작했습니다. 대부분의 고객이 공개적으로/b 테스트를 게시할 수 있도록 허용하면서 일부 패턴이 다른 패턴보다 더 낫다는 것이 분명해지기 시작했습니다. 몇몇은 별로 하지 않았다. 다른 사람들은 잘 복제되었습니다. 그리고 다른 사람들은 부정적인 결과를 초래했습니다.

우리는 이제 이러한 실험의 무게를 측정해야 했습니다.

그래서 GoodUI.org는 전체 서클 피드백 루프를 사용하여 유사하고 비교 가능한 실험의 저장소로 빠르게 전환하기 시작했습니다. 더 높은 빈도와 영향으로 더 잘 수행된 항목이 맨 위에 표시되었습니다(중앙값 집계 데이터 사용). 유사한 패턴에 대한 테스트 결과가 데이터베이스에 피드백되는 동안 예측을 수정하고 정확도를 높였습니다.

네, 저는 훌륭한 방법 인 동시에 우리가 더 나은 예측을 할 수 있게 해주는 강력한 전문 지식의 원천 으로서 실험하는 것을 즐깁니다.

몇 년 동안 최적화를 해오셨습니까? 테스터와 옵티마이저를 지망하는 사람들에게 추천하는 리소스는 무엇입니까?

우리는 2014년 5월에 주요 보험 회사의 견적 랜딩 페이지에서 첫 번째 도약 a/b 테스트를 실행했습니다. 변형에는 우리 자신의 제한된 경험을 기반으로 양식, 복사 및 리드 양식 개선에 대해 당시 우리가 알고 있던 모든 것이 포함되었습니다. 결과는 리드가 상대적으로 +53% 증가했습니다(±28, p-val 0.0002). 나를 사로잡은 첫 번째 실험이다.

리소스에 관한 한, 저는 다른 사람들이 테스트하는 것을 배우는 것을 좋아합니다. 우리가 알고 있는 Netflix, Airbnb, Amazon과 같은 대기업의 실험을 찾아보는 것은 특히 흥미롭고 가치 있는 일입니다. 전반적으로, 나는 우리보다 몇 걸음 앞서 있는 사람들로부터 배우는 것이 항상 좋은 생각이라고 생각합니다(Robert Greene의 Mastery 내부를 포함하여 많은 사람들이 제안한 대로).

5단어 이내로 답변: 최적화 분야는 무엇입니까?

최적화는 우리가 개선하고 있음을 의미합니다.

(결과는 최적화에 중요합니다. 예를 들어 100가지의 단순하거나 바람직하지 않은 실험 결과는 충분하지 않습니다. 당신은 많은 것을 배울 수 있습니다. 그렇습니다. 그러나 우리가 무언가를 최적화하기 위해서는 우리가 원하는 방향으로 바늘을 움직여야 합니다 .)

사람들이 최적화를 시작하기 전에 반드시 이해해야 하는 상위 3가지 사항은 무엇입니까?

탐색 – 가능한 한 많은 아이디어를 생성합니다.

활용 – 더 빠른 속도를 위해 과거 결과와 아이디어의 우선 순위를 지정합니다.

실험 – 우리의 아이디어가 위조되거나 검증되도록 여는 것.

편향되지 않은 이야기를 전달할 수 있도록 질적 및 양적 데이터를 어떻게 처리합니까?

나는 / b 테스트 결과를 검증한다는 아이디어에 동의합니다. 일반적으로 일관성 있는 측정이 많을수록 실험이 더 신뢰할 수 있고 신뢰할 수 있습니다.

결과를 비교할 때 다음과 같은 몇 가지 방법이 있습니다.

• 동일한 실험의 여러 측정항목 비교 (예: 장바구니에 담기, 판매, 수익, 구매 반품 등의 효과 일관성)
• 별도의 실험에서 과거 데이터 비교 (예: 2개의 개별 웹사이트에서 실행된 두 개의 개별 실험 간의 효과 일관성)

최적화 팀을 위해 어떤 종류의 학습 프로그램을 설정했습니까? 그리고 왜 이러한 구체적인 접근 방식을 취했는가?

나는 실험 복제 가 테스트 결과를 더 잘 예측하는 데 중요한 요소라고 굳게 믿습니다(전문 지식 생성).

따라서 자체 플랫폼에서 유사한 실험을 그룹화하고 유사한 메트릭을 집계합니다.

실험을 통해 지식 기반을 구축할 때 또 다른 중요한 것은 출판 편향을 최소화하는 것입니다. 즉, 결과(긍정적, 부정적, 중요하고 중요하지 않은 것 포함)와 무관하게 모든 실험을 기록하는 것입니다.

사라지고 싶은 가장 짜증나는 최적화 신화는 무엇입니까?

가장 최근에 저는 실험에 단점이 없다고 주장하는 사람들 때문에 짜증이 났습니다(이 멋진 LinkedIn 스레드에서 잘 포착했습니다). 이것이 때때로 나오는 미묘한 방법은 "패배한 시험은 없고 오직 배움만 있을 뿐입니다"와 비슷하게 들리는 진술을 통해서입니다.

이것은 학습이 핵심 목표이고 실험자가 비용으로부터 보호되는 상아탑 세계에서 사실일 수 있습니다.

그러나 직업으로서 고객의 웹사이트를 최적화하기 위한 도구로 실험을 사용할 때 공짜 점심은 없습니다. 실험 실행에는 비용, 위험, 단점 및 장점이 있습니다. 이런 관점에서, 나는 결과를 추적하고 인정하는 것이 정말 건강하다고 생각합니다(일련의 음성 테스트를 편안하게 인정하고 미백하지 않는 것을 포함). 모든 직업이 계속 발전하려면 긍정적인 피드백과 부정적인 피드백 루프가 모두 필요합니다.

Jakub과의 인터뷰가 전환 전략을 올바른 방향으로 이끄는 데 도움이 되기를 바랍니다! 어떤 조언이 가장 마음에 들었습니까?

더욱 발전된 전략을 안내해 줄 CRO 전문가와의 다음 인터뷰를 기대해주세요! 아직 시청하지 않았다면 OptiPhoenix의 Gursimran Gujral, Speero 의 Haley Carpenter , Frictionless Commerce의 Rishi Rawat , ConversionAdvocates의 Sina Fak 및 Green Light Copy의 Eden Bidani 와의 인터뷰를 확인하십시오.