何時通過 A/B 測試尋求局部和全局最大值

想像一下，您正在失憶的濃霧中攀登珠穆朗瑪峰。 你只能看到伸出的手。 你不知道你在哪裡，也不知道該往哪個方向前進，只知道你需要到達頂峰。 你做的機率有多大？

大概和山一樣低。

儘管這是一個戲劇性的類比，但它是參考了流行的 A/B 測試方法的基礎。 那個高峰是您點擊後登錄頁面的最佳版本，而您在當前頁面的山坡上感到困惑、幾乎失明和迷失。

更糟糕的是，您最喜歡的營銷博主可能向您提供了一張錯誤的地圖。 你可能認為你正在以正確的方式進行 A/B 測試——你正朝著那個高峰的方向前進。 不過，您很快就會陷入死胡同，而且您永遠找不到效果最好的點擊後目標網頁變體。

讓初學者感到困惑的 A/B 測試神話

互聯網上一些最流行的營銷博客繼續延續 A/B 測試神話，從一開始就注定了初學者的失敗。 當我開始時，它也讓我受害。

“每次 A/B 測試不要更改超過一個頁面元素”我一遍又一遍地讀著。 我沒有質疑它，因為消息來源是值得信賴的，而且因為大多數情況下，它只是有道理。

A/B 測試的目的是收集可用於優化頁面、電子郵件、廣告或任何您正在測試的數據。 如果我在版本“A”和“B”之間進行了多次調整，我怎麼能在測試結束時知道是什麼導致了轉換率的變化？ 那會是什麼樣的數據？

因此，我一次測試一個元素：點擊後登陸頁面“A”的標題與點擊後登陸頁面“B”的標題。 接下來，是點擊後登陸頁面“A”上的藍色按鈕與點擊後登陸頁面“B”上的綠色按鈕。 這就是專業人士以及亞馬遜和谷歌的做法。 如果它對價值數十億美元的公司來說足夠好，那對我來說也足夠了。

幾個月後我痛苦地意識到我忽略的問題是我不是亞馬遜或谷歌。 他們的網站產生大量流量，這意味著通過這些無聊的按鈕顏色測試獲得的小提升可以轉化為數百萬美元的收入。

但是，對於大多數人來說，它們是在浪費時間和資源。 對於大多數人來說，使用這種 A/B 測試方法就像失憶了在濃霧中攀登珠穆朗瑪峰。

爬山啟發式

在我們的日常生活中，我們會遇到一些解決方案很明確的問題。 但是，當您遇到一個不熟悉且非常獨特的障礙時會發生什麼？ 以這個迷宮為例：

沒有關於導航這個特定迷宮的最佳方法的博客文章。 您的朋友（很可能）無法指導您完成它。 你沒有地圖。 那麼，如何從 A 點到達 B 點呢？

答案可以在名為“通用問題求解器”的計算機程序中找到，該程序由 Newell、Simon 和 Shaw 於 1963 年創建，用於研究人工智能。 他們的研究也被應用於解決人類問題。 Russ Dewey 博士解釋說：

Newell 和 Simon 將每個問題定義為一個空間。 空間的一端是起點，另一端是目標。 解決問題的過程本身被認為是跨越該空間的一組操作，從起點到目標狀態，一次一步。

在通用問題求解器中，程序測試各種動作（Newell 和 Simon 稱之為運算符）以查看哪種動作更接近目標狀態。 操作員是改變系統狀態的任何活動。 一般問題解決者總是選擇看起來更接近目標的操作。 這種戰術被稱為爬山，因為它類似於總是向山頂或山頂邁出一步的戰術。

在上面的迷宮中，每個死胡同都是一個“空間”——一個你需要通過“操作”來克服的問題，這些操作會讓你更接近你的目標（從“A”到“B”）。

所以，你從“A”開始，沿著你認為最快到達“B”的路徑前進。 當你遇到死胡同時，你會返回並嘗試另一條路線。 你重複這個過程，直到你達到你的目標。

這就是您在對小元素進行 A/B 測試時所做的。 您確定了一個問題，例如一個不起眼的按鈕。 然後，通過測試您假設的更好版本，您離創建最佳點擊後登錄頁面（或您認為的）的目標更近了一步。 如果這不起作用，則您測試另一個。

但是，在某些時候，您會達到稱為“局部最大值”的收益遞減點。

局部最大值和全局最大值

上述方法被稱為“爬山”啟發式的原因是因為它有一個主要的限制，可能會讓你在山上撓頭仰望山頂——你最好的點擊後登陸頁面就在那裡。 杜威博士解釋說：

爬山是一種簡單的策略，但並不總是奏效。 一個潛在的陷阱是“山麓問題”。 如果您選擇上山（或沿特定方向）的任何步驟，您最終可能會爬上位於您和山峰之間的山麓，而忽略繞過它的更有效的過程。 換句話說，如果你直奔一個目標而沒有靈活性，你可能會付出高昂的代價，浪費大量的精力，或者給自己帶來更多的工作而沒有為目標做出貢獻。

在優化術語中，這個“山麓”被稱為“局部最大值”。 這是當前頁面的最佳版本，當進一步進行 A/B 測試時，收益會遞減。 這座山的頂峰被稱為“全球最高點”。 這是您點擊後登錄頁面的最佳版本。 這是一個有用的圖形來說明：

通過從單一的點擊後登錄頁面開始，並一次對一個小元素進行 A/B 測試以改進它，您會越來越接近局部最大值，但這種方法永遠不會讓您到達那座山的頂峰。 那麼你如何導航到那裡呢？

A/B測試達到全局最大值

在一篇題為“不要陷入 A/B 測試細節的陷阱”的博文中，Moz 的 Rand Fishkin 解釋了一個令人沮喪的場景，這個場景可能太離譜了：

假設您找到了一個您比較滿意的頁面/概念，並開始測試一些小東西——圍繞局部最小值進行優化。 您可能會運行 4-6 個月的測試，爭取將整體轉化率提高 5%，並且感覺非常好。 直到...

您在測試中運行另一個重要的新想法並進一步改進。 現在您知道您一直在浪費時間優化和完善一個頁面，該頁面的整體概念不如您剛剛第一次測試過的新的、粗糙的、未優化的頁面。

相反，Fishkin 與其他營銷影響者一樣，建議首先對“大修”和“大創意”進行 A/B 測試——或者，換句話說，測試完全不同的頁面。 在這些截然不同的頁面中，表現最好的頁面最接近全局最大值。 這是您應該使用多變量測試進行微調的那個：按鈕與按鈕、標題與標題等。幾個案例研究支持這種方法。

全局最大值的 A/B 測試

1.臉書

2008 年，Facebook 測試了全新的導航設計。 他們的團隊將其從頁面左側移至右側的下拉菜單。 然而，在這樣做的過程中，他們降低了導航中的應用程序對用戶的可見性，從而導致這些應用程序的流量大大減少。 由於它們是 Facebook 的寶貴收入來源，因此這是一個問題。

在嘗試使用一些參與技巧來挽救新設計後，優化團隊意識到他們已經達到了局部最大值並廢棄了整個設計。 來自 Facebook 產品開發人員 Adam Mosseri：

我們在這裡所做的是針對局部最大值進行優化。 在這個框架內，我們只能將這麼多流量匯集到應用程序中。 我們需要的是結構性變革。 我們的前提是關閉。 我們的利益把我們引向了錯誤的道路。 我們沒有意識到 [...] 我們正在本地優化某些東西，我們需要有點破壞性才能擺脫它。

2.莫茲

此變體頁面由 Conversion Rate Experts 為 Moz 創建，比原始頁面長六倍。 它包含更多信息圖表、不同的標題和視頻，以及原始頁面上沒有的其他元素。 它的表現優於對照 52%。

如果團隊只致力於改進原始頁面上的元素，他們永遠不會添加將轉化率提高一半的內容。 來自測試人員：

在我們對 Rand 有效的面對面演示的分析中，我們注意到他至少需要五分鐘來說明 Moz 的付費產品。 現有頁面更像是一分鐘的摘要。 一旦我們添加了蘭德演示文稿的關鍵元素，頁面就變得更長了。

3.服務器密度

您在網上找到的大多數 A/B 測試案例研究都與網頁的外觀有關。 它們是按鈕顏色與按鈕顏色或圖像與圖像，並且它們的數量每天都在增長。 因此，大多數從事 A/B 測試的人都認為它只能用於網頁設計。

但是，A/B 測試的概念可以應用於任何事物，包括產品設計甚至定價結構，正如您將在 Sever Density 的這個示例中看到的那樣。

該公司提供服務器和網站監控服務，允許其客戶根據他們需要監控的服務器和網站數量付費：

該結構旨在擴大客戶群，它確實做到了，但現在團隊的目標是增加收入。 因此，他們使用打包模型對定價進行了全面改革的 A/B 測試：

新結構實際上產生了更少的轉化，但每個轉化的價值都在飆升。 結果如下：

與舊訂單相比，平均訂單價值現在超過 55 美元：19.70 美元。 這些要點提醒測試人員注意兩件重要的事情：

A/B 測試不僅可用於表面設計更改。
轉換並不是全部。 有時，較少的轉化次數會為您帶來更好的結果。

你如何找到全局和局部最大值？

請記住：A/B 測試的強度是在發生重大變化時盡可能接近全局最大值。 要找到局部最大值，最好改用多變量測試。

您是否陷入了一次嚴格測試一個頁面元素的陷阱？ 您是否對每個測試進行多次更改以找到全局最大值？

了解如何通過今天的 Instapage 企業演示為您擁有的每個受眾提供 1:1 廣告個性化。