如何提高測試速度？ 為什麼需要高速程序？
已發表: 2019-05-22
通常，如果您每月運行 4 次 CRO 測試（即每週一次測試），並且如果 10% 的測試獲勝，那麼您正在運行一個很好的優化程序。 這是一個不錯的測試能力和不錯的勝率。
更好的是，如果您為獲勝的測試提供了良好的提升，並且您的程序的性能會隨著時間的推移而不斷提高。
但是大多數優化程序運行得併不好。
事實上，只有 22% 的公司對他們的 CRO 工作感到滿意。
這意味著，高達 78% 的公司可以優化他們的優化程序。
但是怎麼...
是什麼扼殺了大多數轉換優化程序
大多數優化程序的問題在於它們不是為長期成功而設計的。 相反，它們在逐個測試的基礎上茁壯成長。
此類程序大多僅與它們運行的最後一次測試一樣有效（或不有效）。
運行它們的公司將實驗的實施視為勝利。 他們短視的觀點使他們無法開發基礎設施來支持一致的質量測試計劃。
雖然對於任何實驗來說，好的執行都是必須的，但即使是糟糕的實驗也可以很好地執行。
但是當這種情況發生時，沒有人會贏。
只專注於執行，而不是在構思、假設和記錄/學習等步驟上花費足夠的時間和精力——這些實際上決定了實驗的質量——通常只會帶來短期的成功，如果有的話。
那麼讓我們看看如何提高測試速度並運行一個好的優化程序。 如果您已經在運行一個，您可以使用這些提示來進一步提高您的贏率和整體程序性能。
開始。
如何產生更多的想法來測試
要每月運行（至少）4 次測試，您需要一個充滿測試想法的管道。 沒有“創意庫”，您就無法支持良好且一致的測試速度。
儘管如此，在大多數 CRO 項目中，當團隊中的某個人有某種 CRO 測試頓悟時，就會計劃進行測試。
理想情況下，您應該不斷地將質量測試想法引入您的實驗計劃。 這些測試思路可以來自：
- 深入挖掘您的 CRO 工俱生成的海量數據。 發現測試想法的最佳方法是深入挖掘您的數據。 您的分析解決方案（例如 Google Analytics、Kissmetrics、Mixpanel 等）是查找您流失人數最多或參與率低的頁面的絕佳來源。 Hotjar、Clicktale 和 Decibel 等工具會向您展示您的用戶在您的網站上所做的事情，並可以幫助您確定真正的轉化熱點。 然後是 UserTesting、UsabilityHub 和 Usabilla 等解決方案，可以讓您收集大量定性反饋，這些反饋可以轉化為一些關鍵的測試機會。 雖然審查如此多的數據孤島具有挑戰性，但這些都是真正成功的測試想法的來源。
- 運行手動 CRO 審計。 為 CRO 審核您的網站會發現一些最有價值的測試優化差距。 運行 CRO 審計會迫使您系統地查看您網站（及其他）的各個方面，並查看您可能在哪裡虧損。
- 使用諸如 Stuck Score 之類的評估來發現您網站上的“轉換障礙”。 您還可以使用諸如 Stuck Score 之類的評估來發現您網站上的轉換問題並提供出色的測試想法。 這些工具很智能，可以準確地發現整個網站的測試機會。
一旦你開始利用這些資源，你應該能夠產生一致的想法流。
但是產生質量測試的想法只是這個問題的一個方面。 另一個是在考慮的想法上缺乏溝通和協作。 這可能看起來微不足道（因為畢竟，您只需要數據，對嗎？），但這些問題會深深地影響您的員工，並且可能會扭曲您的實驗文化。
例如，以 Google 嘗試的著名的 41 種藍色實驗為例。 谷歌的實驗——儘管它是基於數據的——仍然因採用工程師主導的方法而受到批評。 以下是曾擔任 Google 內部設計師的 Douglas Bowman 對 Google 如何處理其實驗的感受：“是的，Google 的一個團隊確實無法在兩種藍色之間做出決定，因此他們正在測試每種藍色之間的 41 種色調看看哪個表現更好。 我最近就邊框應該是 3、4 還是 5 像素寬進行了辯論，並被要求證明我的情況。 我不能在這樣的環境中工作。 我已經厭倦了辯論這種微不足道的設計決策。”
如果不分享您正在考慮的想法並讓您的團隊參與進來，您就無法建立一個每個人都想參與的包羅萬象的實驗文化。
使用 Compass 之類的 CRO 工具（來自我們的 Convert Suite），您可以毫不費力地促進這種數據支持的協作構思。 Compass 可讓您通過匯集不同的數據源來提出數據支持的測試想法，還可以根據 Stuck Score 的見解提出測試想法。 Compass 甚至可以讓您邀請您的團隊成員並讓他們參與反饋等選項。
形成數據支持的假設和以激光為中心的優先級
一旦你有了你的測試想法，你會發現其中一些是顯而易見的。 例如，如果您收到一些用戶反饋說您的內容不可讀（並且您的目標人群是 40 歲以上的人），那麼也許您可以實施增加字體大小或更改其顏色的想法離開。 畢竟，只需更改一點 CSS 代碼，只需一分鐘即可修復。
您的一些想法看起來很有希望並且似乎完全值得測試，但您仍然需要尋找“足夠”的數據點來支持它們[稍後會詳細介紹……]。
有些想法你必須放棄，因為它們很模糊，你無法驗證它們。 例如，如果您的 CRO 審核顯示您的 NPS 分數較低，並且您發現這是轉化率低的原因，那麼您不可能使用簡單的實驗來解決它。
其中，實際上可以轉化為強有力假設的想法是您真正的測試機會。
但是您需要大量數據來支持您所做的每個假設。 因此，例如，如果您假設優化您的移動著陸頁體驗會帶來更高的轉化率，那麼您需要大量數據點來支持它。 在這種情況下，以下是您可以使用的一些數據：
- 移動轉化率低——通過您的網絡分析解決方案（如 Google Analytics）獲取數據。
- 移動流量異常高的下降——再次，通過您的網絡分析解決方案（如穀歌分析）獲得的數據。
- 客戶反饋不佳——通過您的用戶測試解決方案獲得的數據。
正如你所看到的，形成這個假設的數據是相當平衡的，因為你有來自多個數據源的輸入。 此外，您擁有定量和定性數據。 理想情況下，你應該找到這樣平衡的數據來支持你所有的“值得測試”的想法。
但你還沒有完成。
因為在你準備好所有好的假設之後，你需要一種對它們進行評分或優先排序的方法。 這樣做會告訴你首先嘗試哪個假設——或者根本不嘗試。 提示： “讓我們測試一個新的網站設計！！！ 這將推動我們的銷售。” 通常是一個非常糟糕的假設。
許多因素決定了檢驗假設的實用性。 此處需要考慮其實施時間和難度以及它可能對轉換產生的潛在影響。
但大多數公司缺乏這方面的優先排序模型。 這通常會導致啟動一項雄心勃勃的測試，例如，使用整個月的 CRO 帶寬的重大設計大修。 這意味著您不能再計劃或運行測試，至少在一個月內是這樣。 最糟糕的是，即使如此雄心勃勃的測試也不能保證任何顯著的結果。
為避免這種情況，您可以使用 CXL 的 PXL 優先級框架。 該框架迫使您在非常細化的層面上進行思考，例如更好地理解提議的變更、評估它如何解決研究期間發現的問題、其潛在影響以及實施工作。
您還可以查看 PIE 和 ICE 評分框架來確定您的假設的優先級。
確定假設優先級的更明智的方法是使用 CRO 工具，該工具可以告訴您實驗的資源和時間密集程度。 例如，Compass 為您的所有假設提供了良好的估計。
從 A/B 測試中學習
測試可能是不確定的。
對於大多數轉化率優化程序，只有 20% 的測試達到統計顯著性。
所以所有的學習都需要回到測試組合中，並被用來提出更好、更精緻的想法和假設。
不僅如此，當挑戰者版本獲勝但收入下降時，獲勝的實驗實際上也可能是失敗者。
此外，如果一個假設是一個非常強大且有數據支持的假設，通常會為其創建大約 3-4 個後續實驗（即使最初的實驗贏了！）。
這意味著，僅僅解釋和記錄你的實驗結果是不夠的。 要計劃有意義的迭代測試，您需要在每次運行時記錄整個實驗過程。
通過記錄其觀察和學習，LinkedIn 能夠跟進一個失敗的實驗，該實驗實際上是正在測試的關鍵功能的贏家。 這是完整的獨家新聞：
2013 年，LinkedIn Search 啟動了一項重大實驗，發布了升級後的統一搜索功能。 基本上，LinkedIn 搜索“足夠聰明”，可以自動找出查詢意圖，而無需使用“人員”、“工作”或“公司”等限定詞。 搜索登陸頁面在此版本中進行了徹底改造——從導航欄到按鈕和片段的所有內容都重做了，因此用戶看到了很多很多的變化。
但實驗失敗了，LinkedIn 驚訝地看到它的關鍵指標坦克。
團隊現在決定通過一次回溯一個更改來回滾到原始設計，以便它可以識別出沒有很好地被用戶接受的那個。 在這段耗時的回滾過程中，LinkedIn 發現人們不喜歡的不是統一搜索，而是一組幾個小改動導致點擊量和收入下降。 一旦 LinkedIn 解決了這些問題，統一搜索就顯示出積極的用戶體驗，並面向所有人發布。
因此，無論是簡單的 A/B 測試還是複雜的多變量測試，您啟動的任何實驗都應詳細記錄。 它的學習成果也需要記錄在案。 通過這樣做，您可以確保您未來（或後續）的實驗實際上比您之前的實驗更好。
使用 Convert Compass 之類的 CRO 工具，您可以建立關於您的想法、觀察、假設和學習的知識庫，以便您的整個團隊可以一起學習和成長。 不僅如此，Compass 甚至可以使用您的學習來提出您可以嘗試的假設。
把它包起來……
通過優化 CRO 計劃的構思、假設和學習部分，您可以顯著提高實驗質量。 通過在這些方面與您的所有員工合作和互動，您可以建立和促進一種包羅萬象的實驗文化。
您可能會發現在構思時很難將所有數據匯集在一起，或者在假設（和優先級排序）時遇到數據不堪重負，甚至在為後續實驗記錄或使用學習成果時遇到困難，但這些將幫助您增加測試速度並為您的長期 CRO 成功奠定基礎。
如果您更願意使用為您完成所有這些繁重工作的 CRO 工具，請在下方註冊。
Compass 幫助您進行數據支持的構想（通過將來自不同數據孤島的所有數據匯集在一起，並結合來自 Stuck Score 的輸入建議首先嘗試的想法）、有意義的優先級劃分（通過告訴您實驗的難度、容易程度或影響力） )，以及你的學習記錄（通過將你所有的想法、數據研究、觀察、結果、學習等集中在一個地方！）。
