A/B 測試 vs 多變量測試 vs 多頁測試

在運行 CRO 實驗時，您可以在四種類型的測試中進行選擇：A/B 測試、拆分測試、多變量測試和多頁測試。

這些測試中的每一個都有其自身的優勢和局限性。

除非您為實驗選擇正確的測試，否則做出以數據為依據的 CRO 決策可能會變得很困難。

因此，讓我們了解這些不同的優化測試技術是什麼以及它們如何相互比較……以及每次運行實驗時如何確保選擇正確的測試。

開始。

什麼是 A/B 測試

A/B 測試是一種測試頁面上一個或多個元素的更改的方法。

通過 A/B 測試，您可以向頁面添加元素或刪除或更改元素，並查看添加、刪除或更改如何影響頁面的轉化率。

這些元素可以是頁面中的任何圖形或文本項目——例如，它的 CTA 或標題副本或主圖。

在 A/B 測試中，您創建原始頁面的一個或多個精確副本，其中唯一不同的元素是要測試的元素。

當您針對原始副本（稱為控制）測試這些副本（稱為挑戰者）時，您可以看到更改如何影響轉換率。

拆分 URL 測試

還有另一種形式的測試通常與 A/B 測試混為一談，但與 A/B 測試有著根本的不同。

它們被稱為拆分 URL 測試或拆分測試。

在拆分測試中，頁面接收的流量被拆分到中間並定向到同一頁面的兩個完全不同的版本，以便識別對指定目標執行更好的版本。

通常，這些版本託管在不同的 URL 上，但最終目標是提高特定操​​作的轉化率，例如填寫表單或添加到購物車。

拆分 URL 測試用於測試完全不同的頁面設計或版本。

這裡的目標是找到表現最好的那個。

因此，如果您想測試兩個完全不同的想法，那麼您應該使用拆分 URL 測試。 例如，如果您要測試兩個主頁設計，那麼這將是正確的技術。

A/B 測試示例

生產力工具的領先銷售商 BestSelf Co 意識到可以通過 CRO 提高其旗艦產品的銷售額。 因此，它聘請了一家 CRO 機構 (SplitBase) 來研究這種情況是如何發生的。

SplitBase 進行了研究，並假設在著陸頁（最初沒有標題）中添加以利益為導向的標題可以幫助獲得更多銷售額。

SplitBase 決定運行 A/B 測試，並針對原始頁面測試帶有標題的頁面。 SplitBase 還決定測試兩個版本的標題。

因此，它使用簡單的 A/B 測試的實驗最終得到了三個版本：

• 版本 A（沒有標題的控件）
• 版本 B（帶標題的挑戰者）
• 版本 C（標題變體的挑戰者）

三個版本的流量平均分配（每個約 33%），以查看哪個版本的銷量最高。

如您所見，A/B 測試實驗很可能成為 A/B/C/D…n 測試實驗。

A/B 測試用例

A/B 測試有一個非常具體的用例：

測試非常相似的設計（測試元素的變化除外）。

這是 A/B 測試最常見的用例，您只需對一個元素進行試驗，看看更改如何影響轉化率。

如果您假設某個元素可以對轉化率產生積極影響，那麼您應該採用這種測試技術。 例如，您可以使用這種優化測試技術來查看更改對主頁 CTA 的影響。

A/B 測試的優點

• A/B 測試易於實施：無論您是測試兩個非常相似的體驗還是兩個完全不同的體驗，設置 A/B 測試都非常簡單。 它們通常不會佔用太多時間或資源。
• A/B 測試需要較少的流量（與多變量相比）測試才能產生明確的結果：如果您的網站獲得足夠的流量以向每個變體發送大約 10k 訪問者，您應該能夠使用 A/B 測試來查找對您的網站進行設計、用戶界面或複制更改的具有統計意義的結果。 當您僅使用控件和挑戰者（或者說，兩個挑戰者）運行 A/B 測試時尤其如此，因為您仍然可以向每個挑戰者發送大量的測試流量。
• A/B 測試不需要太長時間來運行。 通常，A/B 測試可以在 2-3 週內產生具有統計意義的結果，並且不需要連續運行數月。

A/B 測試的局限性

• A/B 測試通常提供有限的見解：類似體驗的 A/B 測試（其中只有一個元素是不同的）通常運行兩個版本。 這意味著，營銷人員可以從實驗中學到的最多的是三個版本（1 個原始版本 + 2 個挑戰者）中哪一個做得最好。 這就是全部——關於三種可能性的見解。 如果您想測試更多變體（例如，如果您想測試 CTA 按鈕的 5 個版本），您將需要足夠的流量來生成具有統計意義的決策，即使在為這麼多變體拆分流量之後也是如此。
• A/B 測試大多只適用於做出高層次的網站決策：因為 A/B 測試非常擅長客觀地回答哪個版本是最好的，所以它們非常適合做出高層次的決策。 因此，您可以決定要對您的網站或著陸頁的設計或 UI 採取的方法，或通過 A/B 測試進行複制。 但是，如果您想對設計、UI 或文案等更精細的元素進行微調，那麼您可能需要運行多個 A/B 測試，這可能既費時又費力。

A/B 測試工具

Convert Experiences 是一個強大的 CRO 解決方案，您可以使用它來支持您的所有 A/B 測試實驗，並發現最有效的 CTA 按鈕、標題副本、主圖、配色方案、徽標放置等，以便在您的網站上使用。

Convert 允許通過其可視化編輯器和更強大的代碼編輯器進行常規 A/B/n 測試和拆分 URL 測試。

什麼是多元測試 (MVT)

多變量測試或 MVT 是一種針對對照測試多個變體的方法。

在多變量測試中，您可以添加、刪除或更改頁面上的一組元素，從而創建具有多個調整的多個版本，並查看對一組元素的添加、刪除或更改如何影響轉化率。

多元測試中的一組元素必須至少包含兩個元素。 並且每個元素必須有兩個變體。 這意味著在多變量測試中，您至少要測試四個版本。

這是一個簡單的多變量測試的細分：

要測試的元素組：元素 1、元素 2。

元素 1 的變體：

元素 1 變體 A

元素 1 變體 B

元素 2 的變體

元素 2 變體 A

元素 2 變體 B

多元測試的數學：

要測試的版本數 = 組中的元素數 * 每個元素的變體數

多變量測試用例

公司通常使用多變量測試作為一種優化技術，以使他們的測試更加精細。 讓我們馬上弄清楚。 這就是延長實驗週期的原因。

但是由於您可以對每個變體的元素集群進行更改，您可以從識別更大的問題/轉換障礙（通過 A/B 測試進行）到微調特定頁面的訪問者體驗。

多變量測試示例/案例研究

讓我們從上面的案例研究示例創建一個假設的多變量測試擴展。

現在，由於這家電子商務商店已經使用 A/B 測試來找到其旗艦產品頁面的獲勝版本，它現在可以跟進一輪多變量測試，以試驗獲勝設計上元素的不同組合，以進一步提高其轉化率。

因此，例如，在其多變量測試中，它可以通過更改 CTA 按鈕、英雄圖像和 CTA 按鈕副本的顏色來創建多種變體，並針對原始版本運行它以找到“更多”的獲勝組合。

多變量測試的優點

• 多變量測試非常適合做出微轉換決策：通過多變量測試，您可以嘗試設計、UI 和文本更改的多種組合。 這意味著您可以從“調整”網站的過程中排除所有猜測，以獲得更好的轉化率。 實際上，您甚至可以驗證您最細微的選擇。
• 多變量測試可以更深入地了解元素如何協同工作：因為多變量測試可以讓您測試元素的組合，所以您可以看到不同的組合如何影響用戶的選擇（而不是像 A/ 那樣只測試獨立的元素） B 測試）。 對於多變量測試，當對一個變體應用多個更改而不是僅一個更改時，觀察到的效果總是更大。 這稱為交互效應。

多變量測試的局限性

• 多變量測試需要大量流量：如果您查看多變量測試的數學運算，您會發現要測試的版本數量非常龐大，具體取決於要測試的元素數量及其變化。 例如，如果您想使用多變量測試並測試 CTA 按鈕的不同組合（三種顏色：一個控件和兩個挑戰者以及三個副本：一個控件和兩個挑戰者），那麼您需要創建3*3，即九個版本。 即使對於高流量的網站來說，擁有足夠的流量來分配這麼多版本也是一個挑戰。
• 多變量測試可能難以計劃：計劃一個有意義的多變量測試很棘手，因為您可以測試的組合（頁面上不同元素的）數量之多。 在標題、英雄圖片和英雄區域 CTA 或標題、USP 和標題等組合之間進行選擇可能需要付出很多努力。 此外，在多變量測試中測試太多元素可能會扭曲結果。
• 多變量測試不適合做出明確的高級決策：因為多變量測試測試元素的組合，所以您不能總是最終確定為什麼某個組合會獲勝。 這意味著通過多變量測試並不總是可以做出激進的 CRO 決定。 這減少了多變量測試，以支持更精細的 CRO 決策，例如測試您已經知道運行良好的版本中元素的放置/圖形/副本。

多變量測試工具

使用轉換體驗，您可以輕鬆地在您的網站上設置多變量測試，並查看元素的不同組合如何影響您的轉換率。

仍然不確定選擇什麼多元測試工具？ 檢查最佳多變量測試工具的完整細分。

多變量測試與拆分測試：您應該使用哪個？

查看下面的多變量測試與拆分基礎測試（或 A/B 測試）比較表，了解何時應該使用這兩種技術中的任何一種。

什麼是多頁測試和漏斗測試

多頁測試是一種實驗形式，您可以在其中測試跨多個頁面對特定元素的更改。

有兩種方法可以解決這個問題。

您可以獲取銷售漏斗的所有頁面並為每個頁面創建新版本。 這組新頁面構成了您的“挑戰者”銷售漏斗，然後您針對原始銷售漏斗（或“控制”）運行它。 這稱為“漏斗測試”。

或者，您可以測試重複元素（如安全徽章）的存在/不存在如何影響整個渠道的轉化。 這是經典或傳統的多頁測試。

多頁測試和漏斗測試用例

通過多頁測試，您可以自由評估對整個買家旅程中的元素所做的更改的影響。

選擇投資於漏斗測試的企業會產生大量高級見解。

例如，您可以使用漏斗測試來找到最有效的：

• 您可以運行漏斗測試來測試頁面上的不同聲音和音調——例如，如果你是反病毒服務提供商，你可以在銷售漏斗中測試一個令人恐懼的副本和你的中立或信任的副本——看看哪些消息最能引起您的訪問者的共鳴並獲得最多的銷售額。
• 設計理念。 您可以嘗試不同的設計理論，看看哪一種效果最好。
• 銷售/支持策略。 您可以設計一個挑戰者銷售渠道版本，您可以在渠道的幾個選定頁面上提供實時聊天支持，並查看啟用實時聊天的渠道與常規銷售渠道（沒有實時聊天支持）的比較。 同樣，您可以測試大量銷售/支持策略，並了解如何在銷售渠道中幫助更多轉化。

多頁測試示例/案例研究

同樣，讓我們對上面的同一個案例研究示例進行假設擴展。

現在，因為這個特定的網站是一個在線商店，它最基本的銷售渠道是：

產品頁面 > 添加到購物車頁面 > 結帳頁面

因此，要運行多頁測試，這家商店需要為每個頁面創建一個變體，並創建一個挑戰者漏斗，例如：

產品頁面版本 A > 添加到購物車頁面版本 A > 結帳頁面版本 A

在其挑戰者漏斗中，這家電子零售商可能會決定測試添加“10,000 名專業人士信任”的傳說如何轉化為買家旅程每個階段的轉化。 或者，它可能會選擇顯示非常不同的頁面（類似於使用兩個完全不同的頁面進行拆分測試）。

如果他們覺得雄心勃勃，他們可以進行漏斗測試並實際玩弄副本，放棄購物車策略等等。

你明白了，對吧？

多頁測試的優點

• 多頁漏斗測試有助於堵住銷售漏斗中的漏洞：如果您的 Google Analytics（分析）數據顯示銷售漏斗的某些頁面出現重大下降，您可以設置多頁測試以找出可以減少它們並獲得更多轉化的方法。
• 多頁測試可以更深入地了解用戶行為：通過多頁測試，您可以確定用戶最常參與的控制和挑戰者渠道的不同元素。 您可以利用這些見解做出更明智的設計、複製和用戶體驗決策。

多頁測試的缺點

• 多頁實驗可持續數月。 由於 B2B 的購買過程很長（通常長達數月），因此 B2B 多頁測試可以連續運行數月。
• 從多頁測試的結果中獲得洞察力可能很棘手：如果您的挑戰者版本試驗了太多變量（例如，如果您在挑戰者中同時試驗設計和副本），您可能無法判斷設計是否導致更多轉換或副本。 創建一堆挑戰者（例如，一個用於測試設計，一個用於測試副本）將需要您將流量分成三部分。 除非您的網站有成千上萬的訪問者，否則當您運行太多此類變體時，您可能沒有足夠的流量來獲得具有統計意義的結果。

多頁測試工具

借助 Convert，您可以輕鬆設置多頁測試或漏斗實驗，並查看不同的更改如何影響跨頁面的轉化。

A/B 測試 vs. 多變量測試 vs. 多頁測試

A/B 測試

這是什麼：

在 A/B 測試中，您測試同一頁面/廣告/資產的兩個非常相似的版本，以找到表現最佳的變體。

何時使用：

從本質上講，A/B 測試是優化人員用來識別轉化的最大障礙的方法。 您必須創建一個假設來確定低轉化率的（據稱）原因，並測試更改/調整元素如何緩解問題。

通過 A/B 測試，您可以做出高級設計和復制決策。

例如，主頁的高跳出率通常表明訪問者沒有獲得產品或解決方案提供的“價值”。 具有不同版本的價值主張標題的 A/B 測試很常見。

易於獲得洞察力：

A/B 測試需要每個變體大約 10K 訪問者和大約 1000 次轉化才能產生洞察力。 但與多變量測試相比，它們的執行速度相對較快。

多變量測試

這是什麼：

在多變量測試中，您針對控制（您已經知道執行良好）測試多個變體。

何時使用：

多變量測試可用於做出更精細的決策。 例如，如果您有一個想要進一步優化的高性能主頁，您可以使用多變量測試來試驗主頁上一組元素的更根本不同的變體。

可以將其視為在 A/B 測試阻止洪水氾濫之後堵塞較小的洩漏。

易於獲得洞察力：

由於在多個變體中包含多個元素，多變量測試非常複雜。 因此，交通需求和達成最終結果的時間都變得複雜起來。

多頁測試

這是什麼：

在多頁測試中，您測試不同的購買旅程以找到最佳的購買旅程。 多頁測試類似於在銷售漏斗的多個頁面上同時運行一堆 A/B/N 和多變量測試。

何時使用：

多頁測試或漏斗測試可用於在整個銷售過程中做出高級決策。

例如，您可以針對常規銷售旅程測試個性化銷售旅程。

易於獲得洞察力：

具有有限版本（例如 2）的多頁測試可以相對較快地產生顯著的結果。

比較 A/B 測試、多變量和多頁測試

只有使用正確的測試格式，實驗才能給出確定的結果。

作為一個概要，這是你應該記住的：

• A/B 測試——您通常在另一個版本（變體）中測試至少一個在假設中被確定為轉換障礙的重要元素。
• 拆分測試——拆分測試側重於在兩個單獨的 URL 上為訪問者託管兩個完全不同的頁面和體驗，同時針對相同的轉換目標評估它們。 通過拆分測試，您可以測試兩種完全不同的設置——例如託管平台和主題。
• 多變量測試或A/B/N 測試– MVT 通常針對 A/B 測試的獲勝者進行。 在多變量測試中，您對頁面元素的集群進行更改，每個獨特的或經過調整的集群成為其自己的變體或版本。 很難將 MVT 變體的更高轉化歸因於特定元素，但優化器可以測試複製和設計的精細修改。
• 多頁測試——運行多頁測試類似於在銷售漏斗的一堆頁面上同時運行多個 A/B/N 測試。 或者，您可以測試完全不同的銷售漏斗體驗（例如，將一半流量發送到控製版本第 1 頁>第 2 頁>第 3 頁，將另一半發送到挑戰者版本第 1 頁變體>第 2 頁變體>第 3 頁挑戰者與控制者完全不同的變體。）

為實驗選擇正確的檢驗很大程度上取決於假設正確。 這裡有一些 CRO 工具可幫助您在每次運行實驗時編寫清晰的假設。

此外，當您準備好開始為您的實驗進行 A/B、多變量或多頁測試時，請查看轉換。 Convert Experiences 可以輕鬆處理所有您能想到的針對高流量網站的優化實驗，即使在數據隱私敏感的行業也是如此。

為 Convert Experiences 提供為期 15 天的無義務免費試用，並重新思考測試如何提高您的 KPI。