測試思維導圖系列：如何像 CRO 專業人士一樣思考（第 11 部分）

採訪魯本·德波爾

您是希望從實驗中獲得更多收益的人嗎？

我們今天的客人多年來一直這樣做，可以幫助您開始自己的實驗之旅。 此外，他對如何確保您的實驗為您提供正確的投資回報率提出了一些很好的建議。

一旦你弄清楚了所有這些，你就會想要跟踪所有的學習，這樣你就可以在你的公司中應用它們。 我們的專家有很多關於如何做到這一點的建議。

讓我們潛入水中。

魯本，介紹一下你自己。 是什麼啟發了您進入測試和優化領域？

2009 年，我幫助了一家公司，該公司通過提高社交技能來教會人們變得更快樂、更自信。 那時，我真的意識到通過自己喜歡做的事情來支持和激勵他人的重要性。 我也對這個問題著迷：

如果我們可以在線下改變人們的行為，我們如何在線上做到這一點？

我就是這樣開始研究人類行為和心理學的。 數據一直是我的事。 我喜歡在數據中尋找模式和解決方案（在學校，我在數據主題上的表現比其他任何主題都要好）。

我喜歡優化和獲得結果。 不僅在我的工作中，而且在我的個人生活中。

這種興趣和激情的結合自然促使我從事測試和優化工作。

你優化了多少年了？ 您向有抱負的測試人員和優化人員推薦的一種資源是什麼？

2009 年，我開始優化網站並分析業務和在線數據。 直到 2011 年，我才進行了第一次 A/B 測試。 當然，從轉化率優化開始，我犯了所有可能犯的錯誤。

我的第一資源是會見該領域的其他專家。 分享想法和經驗，互相學習。 在活動中，不僅要從演講者那裡獲得想法，還要從觀眾中獲得想法。 通過互相幫助和共同學習，我們可以將自己和我們的工作提升到一個新的水平。

用 5 個字或更少的詞回答：對你來說優化的學科是什麼？

持續改進的心態、學習和實驗。

人們在開始優化之前必須了解的三件事是什麼？

首先，正確掌握基礎知識。 專家通常會根據常見做法進行實驗。 然而，這些做法已經在不同的網站上進行了測試（如果完全測試的話），可能根本不適用於您的網站或（數字）產品。

從您的數據、用戶和科學研究中獲取您的測試想法。 當你完成一個實驗時，想想你學到了什麼，以及基於這些學習你能想出什麼新的測試想法。 這些資源將幫助您制定可靠的測試想法，並更有可能找到成功的變化。

我看到許多專家出錯的另一個基本程序是統計數據。 對於每個實驗，做你的預測試分析。 計算最小樣本量和測試持續時間，只有在達到這些值後才停止測試。

如果您在預測試計算中發現 A/B 測試的流量不足，請尋找其他方法來驗證您的測試想法，例如通過可用性測試。

其次，過程是關鍵。 如果沒有適當的流程，您將不會成功。 要優化您的流程，您必須了解實驗的投資回報 (ROI)：

ROI =（數量 * 質量）/成本

數量是您運行的實驗數。 質量是每個獲勝者的獲勝率和價值。 成本是時間和金錢，所以你的效率。

有了正確的流程（包括跟踪您的流程、進度和洞察力的工具！），您可以優化您的投資回報率和實驗成功率。

第三，要明白你的工作不僅僅是運行 A/B 測試。 你的大部分工作應該專門用於變更管理。 要蓬勃發展並朝著實驗文化努力，A/B 測試是不夠的。 您需要改變整個組織的文化、思維方式和工作方式。 首先讓人們參與進來，尤其是高層管理人員。

您如何處理定性和定量數據，以便它可以告訴您一個公正的故事？

簡而言之：

第一步是使用各種資源進行深入研究，如網絡數據、客戶服務、調查、民意調查和科學文章。

該過程的第二步是將您的研究見解轉化為可靠的總體假設。 以五到十個假設為目標，這些假設說明了您的（潛在）客戶的一些情況，與單個元素或網頁無關。

例如：

• 客戶覺得我們的產品太貴
• 人們在註冊之前需要更多關於我們服務的信息
• 人們成為我們的客戶，因為他們需要歸屬感

然後，您可以根據您的研究，通過幾個相關實驗來驗證這些假設。 這稱為薈萃分析。

為什麼？ 單個 A/B 測試容易出錯。 您的實驗可能會導致誤報，或者實驗獲勝的原因可能與您的假設中所述的不同。 通過薈萃分析，我們最接近真相。 因此，我們的見解更可靠，我們創建了更好的後續實驗。

基於證據的層次結構，薈萃分析是您可以獲得的最高質量的證據。

該過程的最後一步涉及跟踪哪些總體假設有效以及客戶旅程中的哪個位置（在哪個頁面上），並基於此確定您的測試想法的優先級，以最大化您的獲勝率和學習。

您為優化團隊設置了什麼樣的學習計劃？ 你為什麼採取這種特定的方法？

上面列出的過程將幫助您收集可靠的見解，您和您的組織可以從中真正學到東西。

當你很好地記錄這些元分析時（在像 Airtable 這樣的工具中），你會更容易看出你的成功之處。 通過使用總體假設和心理方向標記每個實驗，您可以獲得關於潛在客戶需求（和問題）的大量知識，同時還知道客戶旅程中的哪些地方可以解決這些問題，以及通過什麼類型的實驗。

一旦你做了很多實驗並開始獲得清晰的畫面，你就可以分享這些見解，整個組織都可以學習並從中受益。

您希望消失的最煩人的優化神話是什麼？

我會提到兩個

令人難以置信的提昇實驗可以完成（通過單個 A/B 測試）。 這主要是一些供應商的責任，因為在他們的案例和登陸頁面上，他們以巨大的提升做廣告，導致錯誤的期望。

使用實驗來做出更好決策的組織通常是蓬勃發展的組織。 不是那些只關注金錢的人。

第二，一般的名稱轉換率優化。 它給人的印像是錯誤的，並且對於實驗專家可以完成的事情來說太狹窄了。

希望我們對 Ruben 的採訪將有助於指導您的實驗策略朝著正確的方向發展！ 什麼建議最能引起你的共鳴？

請務必繼續關注我們與 CRO 專家的下一次採訪，他將帶領我們了解更高級的策略！ 如果您還沒有，請查看我們對Gursimran Gujral 、 Haley Carpenter 、 Rishi Rawat 、 Sina Fak 、 Eden Bidani 、 Jakub Linowski 、 Shiva Manjunath 、 Andra Baragan的採訪，以及我們對Rich Page的最新採訪。