測試思維導圖系列：如何像 CRO 專業人士一樣思考（第 22 部分）

採訪尼爾斯·科佩爾曼

Nils Koppelmann 熱衷於倡導實驗和數據驅動決策的好處。 他明白，成功的 A/B 測試不僅僅是找出某件事是否有效，而是找出它為什麼有效——他來這裡是為了消除關於這種做法的兩個常見誤解。

A/B 測試會帶來風險，小公司無法進行有效測試。 相反，Nils 認為 A/B 測試可以幫助降低風險，因為它可以幫助您了解哪些有效，哪些無效。 雖然小公司的流量可能比大公司少，但他們實際上可以更大膽地進行測試，因為風險較小。

因此，下次當您認為 A/B 測試聽起來風險太大或太昂貴時，請閱讀 Nils 的採訪，了解如何在您的網站上進行有效測試而不引入任何不必要的風險。

尼爾斯，介紹一下你自己。 是什麼啟發了您進入測試和優化領域？

在過去 8 年多的時間裡，我一直在建立網站和在線商店，以幫助大大小小的客戶“優化”他們的在線形象。

前段時間，我的想法轉向如何確保我們的設計真正產生預期的影響。

大約 3 1/2 年前，當我第一次遇到轉化率優化這個術語時，我想知道為什麼它不是我們已經關注的東西。 從那時起，我將重點從提供設計和技術轉移到提供見解和結果。

優化的世界蘊藏著巨大的潛力，大多數在線公司在很大程度上仍未探索。 我們應該利用大量可用數據並從中學習，以便不斷改進。

對我來說最引人注目的事情之一就是再次學習是多麼有趣。 我從來沒有想過我會自願打開一本關於統計的書（向 Georgi Georgiev 和他的偉大著作《在線 A/B 測試的統計方法》致敬）並真正閱讀它。 這和許多其他方面不斷激勵我通過測試來學習。

你優化了多少年了？

優化的願望源於對現狀的不滿足，對更多的好奇，以及任何事情都可以改進的確定性。

在專業環境中，我已經優化了大約 8 年。 最初，構建和優化輔助項目並幫助公司改進網站和在線商店。 現在，我們正在幫助新成立的公司創建實驗文化，並利用實驗的力量促進他們的成長。

回想起來，我不記得曾經沒有優化過。 小時候，我總是質疑做事的方式。 我記得我父親說我問了“太多”的問題，回想起來我真的很高興我做了並且仍然這樣做。

即使在我的個人生活中，我也知道我會跟踪和優化我生活的大部分方面。

您向有抱負的測試人員和優化人員推薦的一種資源是什麼？

我會向剛開始的人推薦很多資源，但讓我們讓它更實用一些。

首先，這裡有一些建議：

1. 更加好奇，並開始質疑為什麼某事會以這種方式完成。 僅此一項，就會開啟一個全新的世界觀。
2. 花更多的時間思考問題而不是尋找解決方案。 您首先需要真正了解問題，然後解決方案會更容易。
   
   正如阿爾伯特·愛因斯坦所說， “如果我有一個小時來解決一個問題，我會花 55 分鍾思考這個問題，然後花 5 分鍾思考解決方案。”
   
   也就是說，跳出框框思考很重要，這意味著不僅要在問題的參數範圍內思考，還要考慮外部角度和可能性。
   
   關鍵是要在兩者之間找到平衡。
3. 學會提出更好的問題。 這是任何優化器都可以在其武器庫中擁有的最有用的工具之一，因為它可以激發並激發好奇心。

此外，我在我的每週實驗通訊中分享有趣的文章、資源和工具，該通訊面向實驗初學者和老手。

用 5 個字或更少的詞回答：對你來說優化的學科是什麼？

測試學習。 連續的提高。 實驗。 建築系統。

人們在開始優化之前必須了解的三件事是什麼？

先研究，再測試。 在開始優化之前，請確保使用定性和定量數據支持您的假設。 然後基於此創建強有力的假設。

不要只針對短期提升進行優化——雖然對於項目來說，獲得積極的投資回報率至關重要，但它不應該只關注這一點，還應該考慮到實驗帶來的巨大學習機會和風險上限。

優化工作不應該旨在證明您是對還是錯，而是要確定原因——無論哪種情況。 如果您不了解如何到達那里以及如何復製到達那裡，那麼優化任何東西都是沒有意義的。 為了在 A/B 測試中取得長期成功，擁有良好的系統至關重要。

您如何處理定性和定量數據，以便它講述一個公正的故事？

沒有無偏見的數據，但為了盡量減少對任何類型數據的偏見，了解數據的收集方式、解釋方式以及從中得出的結論非常重要。

要對您所談論的數據的可靠性進行分類，您應該查看證據層次結構。

我們使用定量數據進行預過濾，然後使用定性數據和科學資源進行更深入的研究，然後再次使用定量數據來證明或反駁最初的假設和假設。

我們最重要的工作是所謂的元分析，它使我們能夠在以前的實驗中尋找模式，並協調進一步的研究和實驗工作。

消除偏見的另一個好方法是在創建實驗的人和評估結果的人之間建立脫節。 這最大限度地減少了對實驗成功的偏見。

您希望消失的最煩人的優化神話是什麼？

我想消除兩個神話：

1. 該測試引入了風險，而實際上它在正確完成時會降低風險
2. 小公司無法進行測試，而實際上流量很少的小公司可以更大膽地進行測試，因為相關的風險較小/風險較小。

希望我們對 Nils 的採訪將有助於指導您的實驗策略朝著正確的方向發展！

什麼建議最能引起你的共鳴？

如果您還沒有，請查看我們過去對 CRO 傳奇人物Gursimran Gujral 、 Haley Carpenter 、 Rishi Rawat 、 Sina Fak 、 Eden Bidani 、 Jakub Linowski 、 Shiva Manjunath 、 Deborah O'Malley 、 Andra Baragan 、 Rich Page 、 Ruben de的採訪Boer 、 Abi Hough 、 Alex Birkett 、 John Ostrowski 、 Ryan Levander 、 Ryan Thomas 、 Bhavik Patel 、 Siobhan Solberg 、 Tim Mehta 、 Rommil Santiago ，以及我們最新的Steph Le Prevost 。