測試思維導圖系列：如何像 CRO 專業人士一樣思考（第 6 部分）

採訪 GoodUI 的 Jakub Linowski

你有沒有想過為什麼有些人似乎對 CRO 有訣竅？

這不僅僅是因為他們擅長設置實驗。 他們還知道如何以不同的方式思考問題，這也是本系列將幫助您做的事情。 我們將仔細研究構成成功 CRO 的心態，以及如何將它們應用於您的戰略。

如果你能讓自己進入正確的心態，那麼成功會比你在沒有先了解盲點可能在哪裡的情況下嘗試要容易得多。 最終，測試思維導圖系列旨在幫助您更好地規劃優化策略並更有信心地執行測試！

在這篇文章中，GoodUI 的 Jakub Linowski 分享了實驗的力量不僅在於它作為一種有用的方法的能力，還在於它能夠產生強大的洞察力，從而為更好的決策提供依據。

Jakub，給我們介紹一下你自己。 是什麼啟發了您進入測試和優化領域？

2014 年左右的某個時候，當我的設計背景引導我走上這條路時，我被實驗世界所吸引。 隨著人們開始分享優秀 UI 和“最佳實踐”列表的示例，我也開始分享，這就是 GoodUI.org 的由來。 然而，沒過多久我就意識到我所有的建議和 UI 模式都更接近於視覺假設，而不是任何有證據支持的東西。 我真的很想獲得更多的信心，並更好地從壞想法中篩選出好的想法。

所以當我聽說 A/B 測試時，我非常興奮（儘管我不知道置信區間是什麼）。 我聘請了一名前端開發人員，我們成立了一個小型優化機構。 我們開始測試我們在博客上讀到的、從客戶那裡聽到的任何想法，以及從我們自己新興的 GoodUI 模式庫中聽到的任何想法。 由於我們的大多數客戶都允許我們公開發布 a/b 測試，因此很明顯有些模式比其他模式更好。 有些沒有做太多。 其他人復制得很好。 其他人則導致負面結果。

我們現在需要權衡這些實驗。

因此，GoodUI.org 很快開始變成一個包含類似和可比實驗的存儲庫，具有完整的反饋循環。 以更高頻率和影響力表現更好的事物浮出水面（使用中值匯總數據）。 雖然類似模式的測試結果被反饋到我們的數據庫中，從而更正了我們的預測並提高了準確性。

所以，是的，我喜歡實驗，因為它既是美妙的方法，又是強大的專業知識來源，使我們能夠做出更好的預測。

你優化了多少年了？ 您向有抱負的測試人員和優化人員推薦的一種資源是什麼？

2014 年 5 月，我們在一家大型保險公司的報價登陸頁面上進行了第一次飛躍 a/b 測試。 變化包括我們當時所知道的關於根據我們自己有限的經驗改進表格、複製和潛在客戶表格的一切。 結果是導聯相對增加 53%（±28，p-val 0.0002）。 這是我第一個讓我著迷的實驗。

就資源而言，我喜歡從其他人的測試中學習。 查找來自 Netflix、Airbnb 和 Amazon 等大公司的實驗是特別令人興奮和有價值的，我們知道這些公司擁有良好的樣本量並進行了大量測試。 總的來說，我認為向比我們領先幾步的人學習總是一個好主意（正如許多人所建議的那樣，包括 Robert Greene 在Mastery中的建議）。

用 5 個字或更少的詞回答：對你來說優化的學科是什麼？

優化意味著我們正在改進事物。

（結果對優化至關重要。例如，一百個平坦或不受歡迎的實驗結果還不夠好。你可能會學到很多東西，是的。但是為了讓我們優化某些東西，我們需要朝我們想要的方向移動指針.)

人們在開始優化之前必須了解的三件事是什麼？

探索——產生盡可能多的想法。

開發——根據過去的結果優先考慮想法，以提高速度。

實驗——打開我們的想法被偽造或驗證。

您如何處理定性和定量數據，以便它可以告訴您一個公正的故事？

我同意驗證 a/b 測試結果的想法。 一般來說，我們擁有的一致措施越多，我們的實驗就越可靠和值得信賴。

在比較結果時，我們可以採用以下幾種方法：

• 比較同一實驗中的多個指標（例如，效果的一致性：添加到購物車、銷售額、收入、退貨購買等）
• 比較不同實驗的歷史數據（例如，在 2 個不同網站上運行的兩個獨立實驗之間的效果一致性）

您為優化團隊設置了什麼樣的學習計劃？ 你為什麼採取這種特定的方法？

我堅信重複實驗是更好地預測測試結果（產生專業知識）的關鍵因素。

因此，在我們自己的平台上，我們將類似的實驗分組並彙總類似的指標。

從實驗中建立知識庫時，另一件重要的事情是盡量減少發表偏差。 也就是說，保留所有實驗的記錄，與它們的結果無關（包括積極的、消極的、重要的和不重要的）。

您希望消失的最煩人的優化神話是什麼？

最近，我被那些聲稱實驗沒有缺點的人惹惱了（這個精彩的 LinkedIn 帖子很好地捕捉到了）。 有時會出現一種微妙的方式是通過聽起來類似於“沒有失敗的測試，只有學習”的陳述。

這在像牙塔世界中可能是正確的，學習是關鍵目標，實驗者不受成本影響。

然而，作為一種職業，當我們使用實驗作為優化客戶網站的工具時，沒有免費的午餐。 進行實驗有其成本、風險、缺點和優點。 從這個角度來看，我認為跟踪和承認結果的真實情況是非常健康的（包括坦然承認一連串的陰性測試而不是粉飾它們）。 所有職業都需要積極和消極的反饋循環才能不斷進步。

希望我們對 Jakub 的採訪將有助於指導您的轉換策略朝著正確的方向發展！ 什麼建議最能引起你的共鳴？

請務必繼續關注我們與 CRO 專家的下一次採訪，他將帶領我們了解更高級的策略！ 如果您還沒有，請查看我們對OptiPhoenix 的 Gursimran Gujral、Speero的Haley Carpenter、 Frictionless Commerce 的 Rishi Rawat、 ConversionAdvocates 的 Sina Fak和Green Light Copy 的 Eden Bidani 的採訪！