測試思維導圖系列:如何像 CRO 專業人士一樣思考(第 14 部分)

已發表: 2022-05-21
採訪“積極的”約翰·奧斯特羅夫斯基

採訪“陽性”約翰·奧斯特羅夫斯基(陽性實驗)

良好的判斷力和決策能力對於 CRO 的成功至關重要。 對 John Ostrowski 來說,優化就是理解問題、了解你的受眾,以及讓增長成為團隊的努力。

他認為,任何結果指標都可以通過實驗在一定程度上得到改進——但這並不總是值得付出努力。 您不能只在真空中查看數字——您必須考慮機會成本、風險和其他因素。 知道什麼時候“果汁值得擠壓”(又名優先級)是實驗者面臨的最大挑戰之一。 這是應該使用定性和定量數據來提高決策信心的地方。

John 提供了一種全新的 CRO 方法,它不同於您以前讀過的任何其他方法。

讓我們潛入……

約翰,給我們介紹一下你自己。 是什麼啟發了您進入測試和優化領域?

從巴西到美國、匈牙利和波蘭。 從機械工程師到數據分析師、實驗者和成長導師。

無論我在哪里或做什麼,我都是一個優化者。

工具進化了。

精益製造變成了精益創業。

六西格碼成為產品增長框架。

持續改進,Kaizen,仍然是共同點。

實現全數字化的轉折點是我在匈牙利的一個願景:“想像一個我在筆記本電腦前工作的世界,在任何地方,無需通勤到工廠……”

你優化了多少年了? 您向有抱負的測試人員和優化人員推薦的一種資源是什麼?

隨著行業的發展,大約九年的時間優化了一些東西。 運行在線優化工作,具體來說,大約 5 年。

我記得的第一個實驗是在兩台具有不同設置的冷沖壓機之間進行的,以了解生產線之間的不同公差。 娛樂時間。

就資源而言,我會推荐一門課程、一本書、一個播客和一份時事通訊。

在線課程:

Reforge 的 Experimentation Deep Dive 將優化遊戲提升到了戰略層面。

書:

我不能推薦 Ronny Kohavi 的在線可信實驗。 它給你超能力只是閱讀它。

Ronny Kohavi 的在線可信實驗

播客:

Guido 的 CRO 咖啡館裡有無數金塊。

通訊:

積極實驗通訊的無恥插件,我在互聯網的角落分享我對增長實驗、財務自由和積極性的看法

陽性實驗通訊

用 5 個字或更少的詞回答:對你來說優化的學科是什麼?

榨汁值得一試。

— 請注意,定義價值對您的業務意味著什麼本身就是一種練習。

人們在開始優化之前必須了解的三件事是什麼?

阿爾伯特愛因斯坦名言

“如果我有 1 小時的時間來解決一個問題,我會花 55 分鍾思考這個問題,5 分鍾思考解決方案。”

  1. 了解問題。 您要解決什麼問題,為什麼它很重要? 它如何幫助業務增長? 你講的故事是什麼?
  2. 了解你的聽眾。 權力動態是您在入職期間沒有接觸到的組織中的無形力量。 利益相關者如何響應數據,他們更喜歡什麼類型的數據? 是什麼讓他們打勾? 了解你的聽眾。 成為冠軍。
  3. 成長是一個團隊的努力和長期的遊戲。 對我來說,“增長黑客”與“快速致富”屬於同一類別。 你聽到關於成功者的故事,而其他數以百萬計的失敗者都被壓制了。 倖存者偏差。 所見即所得的平台使個人貢獻者只能做這麼多。 知道什麼在你的控制範圍內,什麼不在你的控制範圍之內。 學習如何找到槓桿,無論是勞動力還是資本。

您如何處理定性和定量數據,以便它講述一個公正的故事?

我的決策優先研究方法是 Behzod Sirjani 和 Douglas Hubbard 的結合。

對我來說,生活、商業和投資都是關於良好的判斷和決策的。

因此,qual 和 quant 成為某些帶有風險的決策的證據。

我認為通過應用信息經濟學(DDCMM)的五個步驟:

  1. 定義決策。
  2. 確定你現在知道的。
  3. 計算額外信息的價值與不做決定的成本。 (如果沒有,請轉到步驟 5。)
  4. 衡量信息價值高的地方。 (返回步驟 2 和 3,直到不需要進一步測量。)
  5. 做出決定並採取行動。

選擇研究方法(步驟 4)本身就是一個優先步驟。

了解您的受眾以及哪些證據會增加做出決定的信心,然後定義最佳方法。

避免在沒有首先定義哪種類型的證據對您的決定更有用的情況下默認“讓我們運行研究方法 X”。

注意你的聽眾——有時利益相關者會對客戶採訪或軼事做出更好的反應。

值得一提的是,我最有影響力的實驗是源於質量研究的假設,更具體地說是快樂的用戶訪談。

您為優化團隊設置了什麼樣的學習計劃? 你為什麼採取這種特定的方法?

我們的實驗章節是由 10 名具有成長意識的人組成的小組,他們是喜歡被數據證明是錯誤的終身學生。

七十年的優化經驗相結合,都來自多個背景。

除了您對分會儀式和同行評審的期望之外,我們的團隊還擁有 Reforge。

我們要求所有人都參加實驗深度潛水和成長系列。

對於高績效團隊來說,擁有共同語言是一種被低估的超能力。

如何測量任何東西道格拉斯哈伯德pdf

您希望消失的最煩人的優化神話是什麼?

實驗? 呃..你的意思是CRO,對吧?

這就是我的想法,分四個步驟:

  1. 有基本的構建塊(戰略、工具和技術、流程、人員)
  2. 這有助於塑造治理結構(混合、集中、分散)
  3. 必須具備這樣的條件才能使實驗文化蓬勃發展(AB 測試飛輪)
  4. 並且根據您的組織結構(例如以產品為主導),設置不同的工作流程 - 對於 iTech 媒體、OKR 計劃、CRO 和安全網,請在此處閱讀更多信息。

作為一個行業,我們最好擺脫這種錯誤的二分法。

我們可以做得更好。

約翰·奧斯特羅夫斯基信息圖

有時,找到接下來要運行的正確測試可能是一項艱鉅的任務。 下載上面的信息圖,以便在難以找到靈感時使用!

希望我們對 John 的採訪將有助於指導您的實驗策略朝著正確的方向發展!

什麼建議最能引起你的共鳴?

請務必繼續關注我們與 CRO 專家的下一次採訪,他將帶領我們了解更高級的策略! 如果您還沒有,請查看我們對Gursimran GujralHaley CarpenterRishi RawatSina FakEden BidaniJakub LinowskiShiva ManjunathAndra BaraganRich PageRuben de BoerAbi Hough和我們最新的採訪亞歷克斯·伯克特

CRO 大師
CRO 大師