2022 年最受歡迎的多變量測試工具

因此，您當前正在運行 A/B 測試並希望擴展您的測試程序。

你有很好的流量，你看到了很好的結果，現在你想運行更多的測試並儘快獲得數據。

但是如何才能更快地開始測試呢？ 或者更好的是，您如何在同一時間段內運行更多測試並獲得更多信息？

這就是多變量測試的用武之地。它允許您同時測試多個變體，以查看哪個特定的最有效。

在本指南中，我們將分解 MVT 是什麼、它是如何工作的、使用它需要什麼，並分解一些可用的頂級多變量測試工具。

從價格和功能到他們如何開展業務的所有內容，因此您可以在決定獲得哪種多變量測試工具時做出正確的選擇。

那麼讓我們深入研究一下……

什麼是多元測試？

理解多變量測試的最佳方法是將其與其他測試方法進行比較，看看它有何不同。

因此，讓我們看一下 A/B 測試和多變量測試以及它們之間的比較。

通過 A/B 測試，我們針對原始控製版本測試單個變體。 也許我們對如何改進標題有一個想法，所以我們創建了那個變體，然後看看哪個效果最好。

您的 A/B 測試將如下所示：

標題 1（控制）與標題 2（變化的想法）

我們可以運行的另一個測試是A/B/n 測試。

在這裡，我們可以針對對照測試多種變體，以找到總體贏家。 A/B/n 測試是單變量的。

例如，我們可能有一堆標題創意，但不確定哪個會奏效。 但是因為我們有流量來運行一些測試變體並且仍然可以獲得準確的結果，所以我們決定測試多個標題創意，看看哪個表現最好。

標題 1（控制）與標題 2 與標題 3

一旦我們找到獲勝的標題變化，我們可能會測試一堆英雄鏡頭圖像，然後可能是一堆 CTA 角度。

你可以猜到，這一切都需要時間，對吧？

另一種選擇是運行一個測試，我們一次性更改一堆東西，看看這是否會改善指標。

對於大多數 A/B 測試，我們傾向於不這樣做，除非我們正在考慮做出根本性的改變，例如，因為所有其他測試想法都停滯不前或沒有產生任何影響，所以扔下冰雹來嘗試尋找新的贏家。

那麼為什麼我們不建議對正常的廣告系列進行這樣的徹底改變，它與多變量測試有什麼關係呢？

我們一次測試一個元素，因為如果我們進行了巨大的更改並且新頁面成功或失敗，我們不確定哪些更改導致了這種提升。

多變量測試或 MVT 允許我們測試多個變體，同時還跟踪每個變化以及它們如何影響結果。

我們不僅可以測試元素的多種變體，甚至可以運行它們的不同組合，直到找到最終的贏家。

假設我們想改進我們的主頁，並且我們對測試什麼以獲得最大提升有一些想法：

• 標題
• 英雄拍攝圖片
• CTA。

通過多變量測試，我們不僅可以測試每個標題創意、英雄拍攝圖像選項和 CTA 角度，還可以測試這些變體的每個組合以找到獲勝組合：

標題 1 + 英雄形象 1 + CTA 1 對比

標題 1 + 英雄形象 2 + CTA 1 vs

標題 1 + 英雄形象 1 + CTA 2 vs

標題 2 + 英雄形象 1 + CTA 1 vs

標題 2 + 英雄形象 2 + CTA 1 vs

標題 2 + 英雄形象 2 + CTA 2

多變量測試可以幫助您找出元素的最佳組合併了解導致這些變化的原因。

儘管如此，進行適當的多變量測試仍需要花費大量時間和資源。 您是否願意投入這麼多資源，不僅用於測試，還用於 QA 和分析？ 但在某些情況下，它可能是更好的選擇。 讓我們看看那些是什麼。

何時使用多元測試？

多變量測試用於什麼？ 在某些情況下，MVT 測試可能比 A/B 測試更有用。

1. 當你有高流量並想要增加你的測試程序時

流量是多變量測試的主要癥結所在。 您需要大量流量才能測試每個更改並信任您的測試結果。

但是，如果您有流量並且想要擴大測試規模以獲取更多數據並做出更多決策，那麼 MVT 將允許您同時運行多個想法。

2. 當你想提升升力並有幾個想法但又不想等待一個一個測試它們時

有些人認為，由於時間投入，您應該只使用 MVT 來優化當前網頁並進行細微的更改，但事實並非如此。 當然，您可以使用它，但您也可以將其用於更大元素的更廣泛的“假設”測試。

（也許你不確定哪個元素會提供最好的提升，所以你想嘗試在牆上拋出一些巧妙假設的想法，看看哪個有效。）

如果您有運行 MVT 的流量，那麼不嘗試更快地找到廣泛的頁面組合是不費吹灰之力的。 請務必在每個變體的測試之後測量該流量的影響，因為這將使您進一步了解您的受眾及其工作原理。

例如，在 Facebook 上，您可以通過添加縮略圖、標題和正文等變體來設置基本的多變量測試廣告。

測試將運行並告訴您該廣告的哪個變體獲得最高點擊率。

如果您的目標只是獲得點擊，那麼這個廣告會贏，對吧？

但是，如果所有這些流量都從您發送到的頁面反彈，那麼您所發現的只是一種導致該受眾點擊的變體，而不是讓他們留下並轉換的變體。

在頁面上運行 MVT 測試時也是如此，尤其是當您將其用作更廣泛的想法收集方法時。 檢查頁面上發生的情況以及點擊後發生的情況。

3. 改進以前的測試以獲得增量提升時

您還可以使用 MVT 來衡量和改進小的改進。 事實上，許多代理機構喜歡使用它們來為當前的獲勝活動爭取更多的提升並測試小的變化。

假設您已經對一個頁面進行了多次 A/B 測試以找到一個成功的變體，但您希望獲得盡可能多的提升，即使它只有 0.5%。 您可以在該頁面上運行 MVT 測試以進一步測試（因為每月有 100,000 名訪問者，每 0.5% 的幫助是顯而易見的！）

4. 當從想法組合中尋找最大可能的提升時（交互效應）

有時，連續的 A/B 測試可以在紙上為我們提供優勝者，但是當我們將它們結合起來時，它們並不總是我們頁面表現最好的選項。

這是一個例子：

• 您運行標題測試並選擇獲勝者並實施。
• 然後，您使用獲勝的標題變體在同一頁面上運行英雄鏡頭圖像測試並實施。
• 然後，您使用之前的獲勝元素在同一頁面上運行 CTA 測試並實施。

從理論上講，這應該是您頁面的最高性能版本，但由於交互或缺乏交互，可能會發生奇怪的事情。 簡而言之，當一個測試中的失敗元素與另一個元素變體結合時，有時可能會勝過您的順序 A/B 測試獲勝者。

如何？

好吧，當與圖像和 CTA 測試中的獲勝者相結合時，也許第一次測試中失敗的標題提供了更高的後端轉化率。

這可能會發生，但如果您只是運行 A/B 測試，您永遠不會知道這一點。 相反，您會在測試其他元素之前將其從選項中刪除。 這就是為什麼多變量測試如此強大的原因。 它允許您找到最高的整體頁面性能，即使這意味著它從測試的一部分中獲取了性能較差的元素。

更好的是，它甚至可以告訴你哪個元素最有幫助……

5. 在頁面上為您的受眾、未來的測試和頁面搜索最重要的元素時

MVT 不僅會展示您不同變體和元素的成功組合，還會向您展示提供最大提升的元素。

也許你的英雄鏡頭得到了更多的提升，但你也看到在你的變體頁面上的所有元素中，它對你的最終結果貢獻最大？

然後，這將使您深入了解首先要在哪裡進行測試以獲得進一步的改進，以便您可以首先專注於英雄射擊改進等。

6. 將機器學習應用到您的測試過程中

由於 MVT 需要和跟踪大量數據和交互的性質，它實際上可以用作提供機器學習測試程序的重要來源。

ML 需要大數據才能發揮最佳效果，但一旦獲得數據，它實際上可以開始看到模式並預測結果和行為，而隨著時間的推移，流量會減少。 事實上，像亞馬遜這樣的網站正在這樣做……

多變量測試示例

多變量測試示例 #1

亞馬遜使用 MVT 和機器學習來調整其著陸頁的佈局，僅 7 天就使購買率提高了 21%！

多變量測試示例 #2

Booking.com 使用多變量測試為特定受眾測試新的獨特功能，然後在將其推廣到整個網站之前衡量他們的表現。

多變量測試示例#3

在對多個頁面元素（8×4！）運行 MVT 測試後，微軟的 SMB 網站的轉化率提高了 40%

多變量測試示例 #4

不過，也不僅僅是可以使用 MVT 的主宰。 HawkHost 在主頁上進行 MVT 測試（測試標題、副標題和英雄鏡頭）時，銷售額增長了 204%。

多變量測試的優缺點

如果多變量測試如此強大，為什麼我們不都使用它呢？

你看，A/B 測試的美妙之處在於你可以用相對較小的受眾規模快速測試一個想法。 這意味著大多數企業即使流量相當低也可以運行測試，然後在 14-30 天內看到結果。

但是對於多變量測試，您需要更多的受眾來運行，因為您同時測試多個事物。 （特別是如果您正在進行多頁測試或測試多種變體組合。）

假設我們想測試主頁上的標題：

• 標題控制
• 標題變化

我們只是在測試單個變體，所以總共有 2 個選項。

現在作為一個簡單的例子，假設我們希望頁面的每個版本（變體和控件）都有 1,000 名訪問者，這樣我們就可以確保測試結果是可信的。

（所需的流量可能因頁面及其轉化率而異，但讓我們在這裡簡化一下，以便您明白這一點。）

這意味著我們需要 2,000 名訪問者來運行測試並信任結果，每個頁面有 1000 名訪問者。

如果我們想測試呢：

• 3 個頭條新聞
• 3張英雄圖片，以及
• 3個CTA？

這不是總共 9 個變體，而是9 個變體 (3x3x3) 的 27 種組合。

這意味著，如果我們希望每個變體有 1000 名訪問者，那麼我們的流量要求將是 27,000 名訪問者，而不是運行測試並信任結果（基於我們對每頁 1,000 名訪問者的過度簡化）。

實際上，每個變體可能需要大約 10,000 多個訪問者才能獲得準確的數據，因為僅靠流量是不夠的，您還需要查看轉化。

這就是為什麼很多企業不運行 MVT 測試的原因，僅僅是因為他們沒有流量來有效地運行它們。 事實上，大多數代理商建議在您開始運行 MVT 活動之前每月擁有大約 100,000 名訪問者，除非該頁面已經具有非常高的轉化率。 即便如此，他們仍然建議最多只運行 6 個變體，以便能夠更快地運行它們。

但是，如果您確實有這種流量呢？

那麼，MVT 可以讓您在幾乎完全相同的時間範圍內執行相當於更多測試......

如果我們從上面舉這個例子，我們允許每個測試運行一個完整的 30 天銷售週期，以獲得一個準確的測量窗口？

假設我們有流量，我們可以在 30 到 60 天內在一個頁面上同時運行 27 個測試組合，作為一個單一的多變量測試。 當您將其與在該頁面上運行 27 次連續 A/B 測試（在 27 個月的時間範圍內）進行比較時，這還不錯！

（再次，我在這裡簡化並假設您在每個測試中運行一個完整的銷售週期。）

但正如您所看到的，多變量測試可以讓您獲得見解和想法，更快地實施它們並減少連續失敗測試的正常運行時間。

相當不錯，對吧！？

顯然，除了流量要求之外，MVT 測試還有其他一些缺點。

由於您可以運行大量的變體和組合，它確實大大增加了您在測試前和測試後的 QA 時間。

您需要確保每個變化都有效並且有意義。 （不顯示不匹配的標題和圖像等），因此它確實會顯著增加您的設置時間和成本。

另外，一定要檢查效果。

僅僅因為您在該特定頁面上看到了轉化率的提升，就將其跟踪到您的最終目標。 您最不想要的是更多的點擊但糟糕的用戶體驗或高跳出率（或更多的點擊但沒有銷售）。

多元測試的優點

• 假設您有流量，多變量測試允許您快速測試很多變體。
• MVT 可以幫助您擴展您的測試程序，以找到更多關於哪些有效和哪些無效的數據。
• 它可以幫助您比連續的 A/B 測試更快地找到獲勝組合。
• 它可以幫助您找到在運行連續測試時可能錯過的獲勝組合。 （想像一下，如果一個標題是第 2 次執行並且您將其刪除，但與第 3 次圖像變體配對，它以某種方式使提升倍增？通過連續測試，您會錯過這一點。多變量測試需要更高程度的交互效果）。
• 一些 A/B 測試軟件可以讓您查看哪個特定元素有助於提供最大的提升（讓您更深入地了解您的受眾）。
• 它還可以用於幫助在高性能頁面上找到較小的提升。 （想像一下，您已經有一個高性能的頁面，並且您正在構思新的想法以查看細微的提升，例如顏色變化。）

多元測試的缺點

• 需要大量流量才能運行，特別是如果您需要 stat sig 以便您可以信任您的結果並且不會看到誤報或誤報（類型 1 和類型 2 錯誤），並且需要 stat power 來測量較小的提升百分比。
• 您測試的變體和組合越多，流量需求就會快速增長，因此請記住這一點。 如果它們可能無法提供很大的提升，請考慮移除其他元素。 （即在擔心測試頁腳顏色等之前測試標題。如果你真的想的話，你可以隨時測試這些。）
• 影響樣本大小的不僅僅是流量。 當前頁面的轉化率和變量，都影響達到統計顯著性所需的樣本量。 更好的轉化可以降低所需的流量，較低的轉化會增加該要求。
• 測試更多變量時的誤差幅度也會增加您信任結果之前所需的流量。
• 需要運行密集的 QA 測試以確保它們都提前工作。
• 還需要運行 QA 以確保變體一起有意義，並且沒有對立或衝突的組合。 （與優惠不匹配的 CTA、海灘度假的頭條新聞同時宣傳滑雪旅行，甚至字體和背景顏色衝突或混合。）
• 如果您沒有高流量源，您仍然可以運行 MVT 測試，只是可能需要更長的時間才能點擊 stat sig 並結束測試。 （有時幾個月或更長時間）。 事實上，有時只運行連續的 A/B 測試會更快、更有效。
• 僅僅通過一次測試多個事物，您可能會失去一些受眾洞察力。 （測試單個元素或角度有時可以幫助您更好地了解您的受眾。）

多元測試統計：MVT 背後的數學

所以讓我們有點書呆子......

對於多變量測試，我們使用與標準 A/B 測試或拆分測試不同的統計分析方法。

我不想過多地研究它的數學，但這裡有一個簡化：

• 對於 A/B 測試，我們使用 t 檢驗（或 z 檢驗）來衡量 2 組或更多組結果之間的差異。
• 對於多變量測試，另一種方法用於查找稱為 ANOVA 或“方差分析”的測試結果。 你不需要知道所有的細節，但這是核心。 主要區別在於方差分析還測量變量之間的聯繫和影響。 這是 MVT 的主要優勢之一，因為它使我們能夠看到元素組合如何相互影響。

根據您使用的工具，運行 MVT 活動時可以提供 3 種類型的多變量測試方法。 它們中的每一個都會影響您的測試如何進行的數學計算。

我們稱之為：

• 全階乘，
• 分數階乘，和
• 田口。

那麼它們是什麼意思呢？

全階乘

幾乎每個 MVT 工具都將提供全因子測試作為其主要測試模型的基礎，這幾乎是您一直想要使用的。

此方法指的是測試中流量的“完整”分佈。

簡而言之，它是您一次測試每個組合的地方，在每個變體之間平均分配測試流量。

通過 A/B 測試，您可以 50:50 拆分流量。 但是對於 MVT，如果您有 10 個變體，那麼這意味著只有 10% 的流量流向每個變體。

由於變體的數量和每個變體達到統計顯著性所需的流量，全因子確實需要非常大的流量源，但它是最準確的方法。

但是，一些 A/B 測試平台也會提供一種稱為“分數階乘”測試的替代方案。

分數階乘

這種方法試圖繞過一些較大的流量需求，只測試較小的變化樣本，然後根據當前的測試結果估算最終轉化率。

它的目標不在於預測可信賴的結果以像正常一樣進行擴展，即如果我們將其擴展到 X 觀眾，它的​​表現是否相同。

相反，它旨在幫助您了解早期牽引力開始發生的位置，以便您在進行更深入的測試或使用其他方法之前獲得洞察力。

假設您要測試 10 個變體。

Fractional factorial 實際上會測試其中的 5 個，然後根據目前的結果嘗試推斷其他 5 個測試的轉化率。

您可以猜到，這並不准確，可能會導致錯誤和誤報，實際上是優化人員和營銷人員之間爭論的一個來源。 （幾乎所有推薦全因子作為主要測試方法。）

田口

最後，您有了多變量測試的田口方法。 最初設計為一種根據產品製造研發中可接受的損失假設來衡量質量控制的方法。

大多數工具不會提供此功能，因為它使用起來很複雜。

何時停止多變量測試？

在停止任何測試之前，我們需要考慮 3 個主要事項：

• 為了讓測試運行足夠長的時間來為每個變體收集足夠大的樣本量，並且為了讓測試收集到足夠多的相關轉化。
• 讓測試運行 1 個甚至 2 個完整的銷售週期（以平衡 30-60 天的流量和購物週期。）
• 最後，為了使結果具有統計學意義，即如果我們在野外進行此測試並擴大規模，那麼我們可以 95% 確定它將繼續以相同的方式執行。

我們建議您在此之前不要停止任何測試。 否則，數據將不足以處理。 但是，如果出現性能問題（例如某個變體的付款方式無法正常工作等），我們可能會停止然後重新開始測試，但理想情況下，我們甚至在它運行時都盡量不偷看。

（如果有明顯的贏家，一些機構確實建議儘早停止，甚至在轉化率低於 10% 時停止特定的變體，然後讓測試繼續運行，同時過濾更多的流量給表現更好的人。顯然，這可能會影響測試結果很大。）

如何設置和執行多變量測試？

設置多變量測試的過程與 A/B 測試非常相似。

步驟#1：決定你的最終目標

首先，你需要為你的頁面、它的目標、它的當前結果以及你認為它可以如何改進形成一個假設。

您可以使用我們的假設生成器來幫助您闡明想要實現的目標，並設定一些具體目標。

第 2 步：弄清楚要測試的內容

然後，決定要測試的元素以及您認為可以改善當前結果的變化。

例如，您可能認為測試首屏的“核心元素”會增加轉化率，因此您想測試標題、英雄鏡頭和 CTA 按鈕文本。

第 3 步：計算測試時間範圍

在運行測試或創建任何資產之前，我們建議您執行測試前樣本大小計算，以便您可以估計運行此測試的時間範圍和流量要求。 這將幫助您深入了解您可以通過經常性流量運行多少種變化，並且仍然可以獲得快速的結果。 （或者甚至讓您知道是否需要測試更少的選項）。

在上面的示例中，您有 3 個元素：標題、英雄鏡頭和 CTA 按鈕文本。

如果您想測試每個變體的單個變體，則將是 2x2x2=8 組合。 知道了這一點，您就可以開始計算出您需要多少流量。

將您當前的每週頁面流量和轉換率輸入計算器（以及任何功率和置信度設置）。

然後，設置要測試的頁數。 （本例中為 8 個）

然後，這將為您提供一個時間範圍，說明您需要運行多長時間才能檢測到最小升力。

第 4 步：構建測試

接下來，轉到您的工具並為您的多變量測試設置不同的版本和組合。

首先選擇多變量測試選項。

給它一個名字，然後添加你想要測試的頁面的 URL（這樣工具就可以把它拉進來進行所見即所得的編輯。）

在這個例子中，我們將努力提高我們的主頁轉化率。

在工具中加載頁面後，您需要設置測試元素。

在 Convert 中，我們對要在多變量測試中編輯的部件使用 2 種命名轉換：

• 部分，指的是頁面上您要測試的元素，例如標題或 CTA，以及
• 變體，這是您對該特定元素的編輯。

我建議您一次選擇一個部分來編輯和添加每個變體。

為該部分命名，例如“標題”，然後繼續編輯並添加該部分的變體。 （確保在處理每個變體時保存它。）

然後轉到您要測試的下一個“部分”或元素。 在此示例中，將設置另一個背景英雄鏡頭，然後設置 CTA 按鈕文本變體。

第 5 步：確保一切正常

設置好每個變體後，對每個新處理進行 QA 測試，以確保它們都能正常工作，並且每個元素都能合理地組合在一起。 （沒有競爭的 CTA 或不匹配的信息/圖像，或者字體顏色和按鈕加倍。）

單擊“保存並繼續”，將加載一個新頁面。 然後，繼續並單擊“報告”選項卡。

從這裡您將看到頁面變體和有關它們的信息。 單擊每個頁面旁邊的“眼睛圖標”以查看它的預覽並測試鏈接是否有效。

從這裡您可以運行 QA 測試並將相同的 URL 用於移動測試。

第 6 步：實時推送

只要每個變體都正常工作，您現在就可以開始測試並讓它運行，直到您有足夠的數據。

（請注意，有一個選項可以直接從您打開 QA 測試的報告頁面推送測試。）

使您的優化程序成熟的最佳多變量測試工具

現在您了解了多變量測試的工作原理，讓我們分解市場上提供多變量測試的網站優化平台。 如果他們提供免費試用和其他一些細節，我們將介紹他們的功能及其定價。

在我們這樣做之前有一件快速的事情。

請記住，您使用的工具與設置它的人一樣好。 如果現金流緊張，那麼先投資人在內部提供幫助（或聯繫外部機構），然後暫時使用更便宜的工具。

擁有一個令人驚嘆的 MVT 測試工具固然很好，但如果人們無法正確設置它、不夠快或無法理解數據，那將毫無意義！

#teamovertools

1. 轉換經驗

G2 評分：4.7/5.0（46 條評論）

定價：每月低至 699 美元，之後每 10 萬訪問者 199 美元。

他們提供免費計劃或試用嗎？ 是的，無需信用卡即可免費試用 14 天。

每 100,000 名訪客的費用：199 美元。

優點

• 完全符合隱私要求：不會存儲任何個人數據
• 由於使用了第一方 cookie，因此報告準確
• 快速且無閃爍
• 運行無限測試
• 使用 40 多個過濾器進行條件疊加，以針對細粒度的細分受眾群
• 在項目、實驗和變體級別靈活插入 JavaScript
• 自定義JS條件目標觸發
• 與 100 多個第三方工具（例如 Shopify、WordPress、Mixpanel、Hotjar）集成
• 通過電話、電子郵件和聊天提供 4 倍速度的人工客戶支持。

缺點

• Kickstart 計劃中的基本帖子細分

多元測試特點：全因子。 在運行這些測試時，我們還提供直接支持和建議

客戶端、服務器端還是兩者兼而有之？ Convert 作為客戶端的所見即所得編輯器工作，但也可以在服務器端設置並運行自定義 JS。

他們為企業服務嗎？ 是的。 我們是 Sony、Jabra、Unicef 等公司的首選工具。

他們提供客戶支持嗎？ 是的，從試用開始。 哪種類型？ 實時聊天、博客和知識庫，還有更多內容。

他們關心隱私嗎？ 我們完全符合 GDPR。 我們甚至停止使用其他不符合 GDPR 的公司的工具進行內部工作，這對我們來說意義重大。

他們關心世界嗎？ 是的。 它在我們的 DNA 中。 我們種樹、開展社區計劃、從最初的申請開始支持多樣性、向慈善機構捐款等等。 哎呀，我們是 15 倍碳負。

信任半徑評論：

2. AB 美味

G2 評級： 4.5/5.0（76 條評論）

定價：對於 Essentials 計劃的 40 萬月度測試訪問者，起價為 1900 美元/月。 增長計劃的費用為 3800 美元/月，而精英計劃的起價為 5700 美元/月。

他們提供免費計劃或試用嗎？ 不可以。您可以請求演示電話以查看他們的新功能。

每 100,000 名訪客的成本：約 475 美元。

優點：

• 優化中內置了 AI 和 ML
• 運行無限的實驗
• 乾淨且易於使用的用戶界面
• 易於設置和預覽測試
• 動態小部件
• 多重集成
• 廣泛的分析報告
• 提供廣泛的定位選項以及個性化
• 可靠的客戶支持
• 定價是中檔

缺點：

• 沒有營銷自動化可以提供有關受眾表現的見解（尤其是對於積極的實驗），並且有時需要客戶支持才能看到。
• 統計顯著性計算器的用戶體驗有點基礎
• Google Analytics 集成很複雜，需要編碼
• 沒有免費試用

多變量測試特徵：全因子

客戶端、服務器端還是兩者兼而有之？ 兩個都

頻率論者還是貝葉斯論者？ 貝葉斯。

是否支持全棧？ 是的。

Core Web Vitals 準備好了嗎？ 是的。 該工具加載速度快。

有機器學習或人工智能嗎？ 是的。

他們為企業服務嗎？ 是的。 它們是迪士尼、歐萊雅、Kalviyo 等公司的首選工具。

他們提供客戶支持嗎？ 是的。 他們有知識庫和實時聊天。

他們關心隱私嗎？ 是的。 用戶 IP 地址用於創建 ID 代碼，然後在進入工具之前立即刪除。 ID 代碼被匿名化，然後在 13 個月後被刪除。

他們關心世界嗎？ 他們直接向非政府組織捐款，與社會行動團體合作，回收並贊助蜂箱。

信任半徑評論：

這個多變量測試工具的實際效果：

3.谷歌優化和優化360

G2 評級： 4.3/5.0（27 條評論）

定價：此工具有 2 個版本。 優化是免費的，但要獲得高級功能，您必須選擇 Google Optimize 360​​。

Optimize 360​​ 的定價是定制的（儘管據傳約為每年 150,000 美元）。 要獲得每月價格，您必須填寫表格以聯繫他們的銷售團隊。

他們提供免費計劃嗎？ 是的。

每 100,000 名訪客的成本：不適用

優點：

• 用戶友好——只需要很少的技術知識
• 非常適合初次使用 A/B 測試人員
• 與穀歌分析快速集成
• 擁有超詳細的受眾細分，得益於谷歌龐大的數據資源

缺點：

• 免費套餐一次只能進行 5 次測試
• 沒有拖放編輯器功能
• 不能直接上傳圖片
• 無法測試應用，只能測試瀏覽器
• 不適合複雜的測試
• UI/UX 和報告不像市場上大多數其他工具那樣具有視覺吸引力
• 閃爍有時會發生。

多變量測試功能：顯然 Optimize 使用了一種既不是全因子也不是分數的混合方法。 根據他們的支持基礎

“我們的模型允許我們使用混合方法，因此您不必做出這種權衡。 我們提供測試的所有組合，因此您可以了解交互和最佳組合。 但是，我們還模擬了一些變體出現在組合中的事實——因此我們可以了解一個因素中的變體，而不僅僅是組合”

客戶端、服務器端還是兩者兼而有之？ 兩個都。

頻率論者還是貝葉斯論者？ Google Optimize 使用貝葉斯方法而不是頻率方法，也稱為空假設顯著性檢驗 (NHST)。

是否支持全棧？ 是的。

Core Web Vitals 準備好了嗎？ 是的。 此工具加載速度很快，儘管它可能會閃爍，這可能會導致 CLS 問題。

有機器學習或人工智能嗎？ 不。

他們為企業服務嗎？ 可以，但只能通過 Optimize 360​​。

他們提供客戶支持嗎？ 他們有一個資源中心，其中包含提示、視頻教程、幫助社區等。

他們關心隱私嗎？ 他們遵守使用其產品的國家/地區適用的數據保護法律。

他們還與第三方和數據保護機構合作，以確保用戶數據的安全。

他們關心世界嗎？ 谷歌自 2007 年以來一直保持碳中和，併計劃到 2030 年實現無碳排放。除此之外，他們還以承諾 10 億美元的眾多慈善姿態而聞名。

信任半徑評論：

這個 MVT 測試工具在運行中的樣子：

4. Adob​​e 目標

G2 評級： 4.0/5.0（29 條評論）

定價：僅在 11 部分錶格、電子郵件和電話後可用。 起步價為每月 10,000 美元。

他們提供免費計劃或試用嗎？ 不。

每 100,000 名訪客的成本：不適用

優點

• 界面易於使用
• 提供準確的實時數據報告
• 與 Adob​​e Analytics 完美集成，設計為追加銷售產品
• 適合初學者和專家的網站個性化工具
• 引導您完成設置和測試過程
• 擁有先進的人工智能來不斷測試和改進活動和個性化

缺點

• 大規模優化可能很慢
• 需要非常大的流量才能發揮最佳效果
• 基於表單的編輯器需要學習曲線
• 高價位
• 沒有試用選項
• 已在使用 Adob​​e Analytics 時效果最佳
• 連接到其他付費 Adob​​e Marketing Cloud 工具時可以獲得深刻的見解

多元測試特點：全因子和田口（作為部分因子的一種方法）。

客戶端、服務器端還是兩者兼而有之？ 兩個都。

他們為企業服務嗎？ 是的。 幾乎完全是由於成本。

他們提供客戶支持嗎？ 是的，以知識庫和視頻培訓計劃的形式。

他們關心隱私嗎？ 是的，但具有諷刺意味的是，他們需要您的電子郵件和電話號碼才能了解更多信息。 然而，他們在第一方數據方面做了大量工作以進行非侵入式跟踪。

他們關心世界嗎？ 非常如此。 他們倡導多樣性，致力於 100% 可再生能源建築，降低排放，開展社區行動計劃等等。

信任半徑評論：

這個多變量測試工具的實際效果：

5. 喀麥隆

G2 評分： 4.7/5.0（24 條評論）

定價：根據您的要求定制。 您可以通過聯繫銷售團隊獲得獨特的價格。

他們提供免費計劃嗎？ 是的。

每 100,000 名訪客的成本：不適用

優點

• 易於設置點擊跟踪
• 與許多其他工具的平滑集成
• 為非開發人員提供易於使用的所見即所得編輯器
• 先進的防閃爍技術
• 知識淵博且樂於助人的支持團隊
• 準確和詳細的測試計劃和執行

缺點

• 所見即所得編輯器加載緩慢
• 報告儀表板可以使用更多的個性化
• 需要開發人員級別的技能來實現一些複雜的場景
• 無法存檔測試
• IE7 等舊瀏覽器被排除在測試之外

多變量測試功能：全因子和部分因子（通過測試設置中的分配）。

客戶端、服務器端還是兩者兼而有之？ 兩個都。 您可以在所見即所得編輯器上進行編輯，也可以使用 Kameleoon 的內置代碼編輯器來編輯 CSS 和 JS。

他們為企業服務嗎？ 是的。 雷克薩斯、Unity、Providence、豐田和樂天使用 Kameleoon。

他們提供客戶支持嗎？ 是的。 您甚至可以聘請專門的客戶經理來協助您處理複雜的項目。

他們關心隱私嗎？ 它們符合 HIPAA、GDPR 和 CCPA。 他們還具有靈活的同意管理功能，可以針對每個 A/B 測試調整您的隱私政策。

他們關心世界嗎？ 我找不到他們贊助的任何慈善機構或他們支持的環境事業的證據。 不過，有趣的是，他們在德國和法國的辦公室裡有兩隻活的變色龍。

信任半徑評論：

這個 MVT 測試工具在運行中的樣子：

6.優化

G2 評級： 4.3/5.0（109 條評論）

定價：他們使用自定義定價模型。 但Splitbase 預測它們每年至少要花費 36,000 美元。

他們提供免費計劃嗎？ 不，他們在 2018 年停止了免費計劃。

每 100,000 名訪客的成本：不適用

優點：

• 運行無限的實驗
• 乾淨且易於使用的用戶界面
• 小部件功能使用起來很有趣
• 提供廣泛的高級定位選項
• 可靠的客戶支持

缺點：

• 不會自動提供有關受眾表現的見解（尤其是對於活躍的實驗）
• Google Analytics 集成很複雜，需要編碼
• 優化片段通常會增加頁面加載時間

多變量測試特徵：全因子、部分和田口。

客戶端、服務器端還是兩者兼而有之？ 兩個都。 Optimizely 通過 Javascript 片段提供客戶端實驗，並通過開發人員 SDK 提供服務器端實驗。

頻率論者還是貝葉斯論者？ Optimizely 的 Stats Engine 使用順序實驗，而不是您在其他平台上看到的固定範圍實驗。

是否支持全棧？ 是的。

Core Web Vitals 準備好了嗎？ 是的，這個工具加載速度很快。

有機器學習或人工智能嗎？ 是的。

他們為企業服務嗎？ 由於定價，它主要迎合企業級別。 微軟、IBM、惠普、eBay、雅馬哈、必勝客和 Atlassian 等品牌都在使用它。

他們提供客戶支持嗎？ 是的。 他們擁有大量資源來幫助用戶擺脫困境，並提供電話號碼以 24/7 全天候尋求幫助。

他們關心隱私嗎？ 他們考慮到新舊隱私法並將其集成到他們的產品中，這樣您（用戶）就不必擔心合規性。

他們關心世界嗎？ 大多數新員工在第二天就被派往社區做志願者。

信任半徑評論：

這個多變量測試工具的實際效果：

7. 現場觀察

G2 評級： 4.4/5.0（50 條評論）

定價：您必須聯繫 SiteSpect 以根據您的需要定制價格。

他們提供免費計劃嗎？ 是的，他們提供免費試用。

每 100,000 名訪客的成本：不適用

優點：

• 支持所有標記語言（HTML、WML、XML 和 JSON）、樣式表和腳本語言
• 沒有 javascript 標籤意味著沒有內容刷新或閃爍
• 用途廣泛，幾乎可以測試任何場景
• 非侵入式測試
• 與分析工具集成
• 無需修改代碼的生產版本

缺點：

• 實施測試所需的技術知識
• 添加一個額外的躍點，可能會降低您的網站速度
• 報告界面可能會更好

多變量測試功能：全因子和分數因子（如果測試超過 128 個組合，該工具建議移動到分數）。

客戶端、服務器端還是兩者兼而有之？ 兩個都。

頻率論者還是貝葉斯論者？ SiteSpect 在比較變量與對照時使用雙尾 t 檢驗來確定置信區間不重疊並因此指示顯著性的點。 SiteSpect 還計算 z 分數並在報告中使用它。

是否支持全棧？ 是的。

Core Web Vitals 準備好了嗎？ 是的。 這個工具非常快。

有機器學習或人工智能嗎？ 是的。

他們為企業服務嗎？ 是的。 Staples、PetSmart、AmericanGirl 和 Urban Outfitters 使用 SiteSpect。

他們提供客戶支持嗎？ 可以通過電話和電子郵件獲得免費和付費版本​​的客戶支持。 他們的知識庫中還提供了預先錄製的網絡研討會。

他們關心隱私嗎？ 他們是這樣。 它們通過了 PCI DSS 3.2 認證； 符合 GDPR、CCPA 和隱私盾，並準備好 HIPAA。

他們關心世界嗎？ 自 2014 年以來，SiteSpect 就贊助了一些慈善項目。

信任半徑評論：

這個多變量測試工具的實際效果：

8. VWO 測試

G2 評分： 4.2/5.0（239 條評論）

定價：起價 99 美元/月。 更多需要根據您的需求定制定價。 您必須聯繫 VWO 銷售團隊。

他們提供免費計劃嗎？ 是的，您可以開始 30 天免費試用。

每 100,000 名訪客的成本： ~500 美元

優點：

• 靈活的自定義選項，使您的測試適應許多場景
• 只需很少的編碼知識即可輕鬆計劃和執行測試
• 專門的支持團隊指導您應對任何挑戰
• 有能力追踪長期目標
• 能夠將測試組合在一起
• 用於觀察用戶和故障排除的有用記錄

缺點：

• 有一個學習曲線來了解 VWO 的全部功能
• 定價計劃經常變化
• 他們只測試客戶端

多變量測試功能：全因子（儘管您可以設置每個頁面變化的流量百分比）。

客戶端、服務器端還是兩者兼而有之？ 只有客戶端。

他們為企業服務嗎？ 是的。 他們的企業客戶包括 Ubisoft、AMD、Penn Foster、Optimeria 和 IMB Bank。

他們提供客戶支持嗎？ 是的，您可以在需要幫助時給他們打電話。 或查閱他們的資源頁面。

他們關心隱私嗎？ 是的。 他們遵守主要的隱私法律和法規，但他們將一些訪問者數據存儲在其服務器上。

他們關心世界嗎？ 最近，Wingify（VWO 背後的品牌）的董事長 Paras Chopra 在推特上發布了他們對幾項 COVID 救援計劃的支持，包括在德里建立一個 10 床位的 COVID 護理設施。

信任半徑評論：

這個 MVT 測試工具在運行中的樣子：

9：網絡趨勢優化

G2 評分： 4.9/5.0（107 條評論）

定價：起價為每月 212 美元，但根據您的需要可以更低或更高。 他們的定價結構非常靈活，但您必須與銷售團隊交談以確認您的價格。

他們提供免費計劃嗎？ 是的，每月少於 1,500 次。

每 100,000 名訪客的成本：不適用

優點：

• 用戶友好，適合非技術用戶使用所見即所得的編輯器
• 支持團隊協作
• 提供數據驅動的見解
• 支持團隊對您的成功表現出真正的興趣
• 與您的網站和現有工具順利集成
• 清晰明了的報告

缺點：

• 新用戶可能難以使用 UI
• 即使是簡單的測試也需要時間來設置
• 全套服務的成本偏高

多變量測試功能：全因子和部分因子。

客戶端、服務器端還是兩者兼而有之？ 兩個都。 他們也有用於客戶端渲染和服務器端測試功能的無代理可視化編輯器。

他們為企業服務嗎？ Microsoft、London North Eastern Railway、Marks and Spencer 和 Virgin Wines 使用 Optimize。

他們提供客戶支持嗎？ 是的。 您可以獲得技術支持、培訓和您自己的專屬轉換優化顧問。

他們關心隱私嗎？ 它們完全符合 GDPR。

他們關心世界嗎？ 2021 年 4 月，Webtrends Optimize 在 GoFundMe 活動中挑戰自己每天做 100 個俯臥撑，為英國癌症研究中心籌集資金。 他們在 2020 年做了類似的事情，稱為聖誕慈善捐贈。 所以，他們在乎。

信任半徑評論：

儘管有關於此工具的 Trust Radius 評論，但最新的是 2019 年 12 月，在此之前是 2018 年。因為工具可以更改，服務也可以更改，所以我從 G2 中刪除了他們的最新評論。

這個多變量測試工具的實際效果：

結論

所以你有它。

我們列出了 2021 年提供多變量測試的最佳 A/B 測試工具。我們還展示了他們使用的測試方法、功能、定價和評論。

現在，您可以比較這些不同參數的最佳多變量工具，並選擇最適合您的測試需求的工具。