마인드 맵 시리즈 테스트: CRO 전문가처럼 생각하는 방법(14부)

'Positive' John Ostrowski와의 인터뷰(Positive Experiments)

좋은 판단력과 의사결정 능력은 CRO의 성공에 필수적입니다. John Ostrowski에게 최적화란 문제를 이해하고 청중을 파악하며 팀의 성장을 도모하는 것입니다.

그는 모든 결과 측정항목이 실험을 통해 어느 정도 향상될 수 있다고 생각하지만 항상 노력할 가치가 있는 것은 아닙니다. 단순히 숫자만 볼 수는 없습니다. 기회 비용, 위험 및 기타 요소를 고려해야 합니다. "주스를 짜낼 가치가 있는" 때(우선순위 지정이라고도 함)를 아는 것은 실험자들이 직면하는 가장 큰 도전 중 하나입니다. 여기에서 의사결정 신뢰도를 높이기 위해 정성적 및 정량적 데이터를 사용해야 합니다.

John은 이전에 읽었던 다른 어떤 것과도 다른 CRO에 대한 신선한 접근 방식을 제공합니다.

뛰어들자…

존, 자신에 대해 말해주세요. 테스트 및 최적화에 참여하게 된 동기는 무엇입니까?

브라질에서 미국, 헝가리, 폴란드로. 기계 엔지니어에서 데이터 분석가, 실험가, 성장 멘토로.

나는 어디에서 무엇을 하던 옵티마이저였습니다.

도구가 진화했습니다.

린 제조는 린 스타트업이 되었습니다.

식스 시그마는 제품 성장 프레임워크가 되었습니다.

지속적인 개선, Kaizen은 공통 분모로 남았습니다.

완전한 디지털로 전환하기 위한 전환점은 내가 헝가리에서 가졌던 비전이었습니다.

몇 년 동안 최적화를 해오셨습니까? 테스터와 옵티마이저를 지망하는 사람들에게 추천하는 리소스는 무엇입니까?

산업 시대와 함께 약 9년 동안 무언가를 최적화했습니다. 특히 약 5년간 온라인 최적화 노력을 기울였습니다.

내가 기억하는 첫 번째 실험은 생산 라인 간의 다른 허용 오차에 대해 알아보기 위해 설정이 다른 두 대의 콜드 스탬핑 기계 사이였습니다. 즐거운 시간.

자원에 관한 한, 나는 하나의 코스, 하나의 책, 하나의 팟캐스트, 하나의 뉴스레터를 추천할 것입니다.

온라인 과정:

Reforge의 Experimentation Deep Dive는 최적화 게임을 전략적 수준으로 끌어 올립니다.

책:

Ronny Kohavi의 온라인 신뢰할 수 있는 실험을 충분히 추천할 수 없습니다. 읽기만 해도 초능력이 생깁니다.

팟캐스트:

귀도의 CRO 카페에 있는 수많은 금덩어리.

뉴스 레터:

성장 실험, 재정적 자유 및 긍정성에 대한 생각을 공유하는 인터넷 코너인 Positive Experiments 뉴스레터를 위한 뻔뻔한 플러그

5단어 이내로 답변: 최적화 분야는 무엇입니까?

짜낼 가치가 있는 주스를 추출합니다.

— 귀하의 비즈니스에 가치가 무엇인지 정의하는 것은 그 자체로 연습입니다.

사람들이 최적화를 시작하기 전에 반드시 이해해야 하는 상위 3가지 사항은 무엇입니까?

"문제를 해결하는 데 1시간이 주어진다면 55분 동안 문제에 대해 생각하고 5분 동안 솔루션에 대해 생각합니다."

1. 문제를 이해합니다. 해결하려고 하는 것은 무엇이며 왜 중요한가요? 비즈니스 성장에 어떤 도움이 됩니까? 무슨 이야기를 하려는 겁니까?
2. 당신의 청중을 아십시오 . 권력 역학은 온보딩 중에 노출되지 않는 조직의 보이지 않는 힘입니다. 이해 관계자는 데이터에 어떻게 반응하고 어떤 유형의 데이터를 선호합니까? 무엇이 그들을 똑딱거리게 만드는가? 청중을 아십시오. 챔피언이 되십시오.
3. 성장은 팀의 노력이며 장기적인 게임 입니다. 나에게 "그로스 핵"은 "빨리 부자가 되기"와 같은 범주에 속합니다. 성공한 사람들에 대한 이야기와 실패한 다른 수백만 명의 사람들에 대한 이야기를 듣습니다. 생존 편향. WYSIWYG 플랫폼을 사용하면 개별 기여자만이 많은 일을 할 수 있습니다. 당신이 통제할 수 있는 것과 그렇지 않은 것을 아십시오. 노동이든 자본이든 레버리지를 찾는 방법을 배우십시오.

편향되지 않은 이야기를 전달하기 위해 질적 및 양적 데이터를 어떻게 처리합니까?

연구에 대한 나의 결정 우선 접근 방식은 Behzod Sirjani와 Douglas Hubbard를 혼합한 것입니다.

나에게 인생, 사업, 투자는 모두 올바른 판단과 의사 결정에 관한 것입니다.

따라서 qual 및 quant는 위험을 수반하는 일부 결정에 대한 증거가 됩니다.

저는 응용 정보 경제학(DDCMM)의 5단계를 통해 생각합니다.

1. 결정을 정의합니다.
2. 당신이 지금 알고 있는 것을 결정하십시오.
3. 결정하지 않은 비용 대비 추가 정보의 가치를 계산합니다. (없으면 5단계로 이동합니다.)
4. 정보 가치가 높은 곳을 측정합니다. (추가 측정이 필요하지 않을 때까지 2단계와 3단계로 돌아갑니다.)
5. 결정하고 행동하세요.

조사 방법을 선택하는 것(4단계)은 그 자체로 우선 순위 지정 단계입니다.

청중과 어떤 증거가 결정에 대한 확신을 높일 수 있는지 알고 가장 좋은 방법을 정의하십시오.

어떤 유형의 증거가 귀하의 결정에 더 유용할지 먼저 정의하지 않고 "연구 방법 X를 실행합시다"를 기본값으로 사용하지 마십시오.

청중을 인식하십시오 – 때로는 이해 관계자가 고객 인터뷰나 일화에 더 잘 응답할 것입니다.

내 가장 영향력 있는 실험은 양질의 연구, 특히 행복한 사용자 인터뷰에서 비롯된 가설이었다는 점을 언급할 가치가 있습니다.

최적화 팀을 위해 어떤 종류의 학습 프로그램을 설정했습니까? 그리고 왜 이러한 구체적인 접근 방식을 취했는가?

우리의 실험 챕터는 10명의 성장 마인드를 가진 개인으로 구성된 그룹으로, 데이터로 틀렸다는 것을 증명하기를 좋아하는 평생 학생입니다.

다양한 배경에서 온 70년의 최적화 경험이 결합되었습니다.

챕터 식과 동료 검토에서 기대할 수 있는 것 외에도 우리 팀을 위한 리포지(Reforge)가 있습니다.

우리는 모두 실험 심층 분석과 성장 시리즈를 모두 진행하기를 요청합니다.

공통 언어를 갖는 것은 성과가 좋은 팀에게 과소평가된 초강대국입니다.

사라지고 싶은 가장 짜증나는 최적화 신화는 무엇입니까?

실험? Err.. CRO 말씀이시죠?

이것이 내가 생각하는 방법입니다. 네 단계로:

1. 기본 빌딩 블록(전략, 도구 및 기술, 프로세스, 사람)이 있습니다.
2. 거버넌스 구조를 형성하는 데 도움이 되는 요소(하이브리드, 중앙 집중식, 분산형)
3. 실험 문화가 번성하려면 그것이 있어야 합니다(AB 테스트 플라이휠)
4. 그리고 조직 구조(예: 제품 주도)에 따라 iTech Media, OKR 이니셔티브, CRO 및 Safety Net에 대해 다양한 워크플로가 설정됩니다. 자세한 내용은 여기를 참조하세요.

산업으로서 우리는 이 잘못된 이분법에서 벗어나는 것이 좋습니다.

우리는 더 잘할 수 있습니다.

John과의 인터뷰가 실험 전략을 올바른 방향으로 이끄는 데 도움이 되기를 바랍니다!

어떤 조언이 가장 마음에 들었습니까?

더욱 발전된 전략을 안내해 줄 CRO 전문가와의 다음 인터뷰를 기대해주세요! 아직 시청하지 않았다면 Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough 와 최신 인터뷰를 확인하십시오. 알렉스 버켓 .