什麼是 A/B 測試中的後分段？ 以及使用高級後分割從實驗報告中獲取更多信息的 5 個技巧

細分超出了傳統 A/B 測試的範圍，通過將他們細分為特定的目標群體，您可以更好地了解您的受眾。

尤其是後細分，您可以在測試完成後定義受眾細分，從而為您在測試過程中對受眾做出有用的發現留出空間。

Convert 為細分前和細分後提供了一些出色的工具，因此您可以優化價格，更好地了解您的受眾，獲得更高的投資回報率，甚至可以識別可能導致您的網站出現問題的最細微的問題，並吸引更多信息總體結論。

最近，我為一家大型跨國零售連鎖店的 Convert 客戶打了一個故障排除電話。 我問：

“您如何判斷產品的促銷是否對該產品或其他類似產品的未來銷售產生了積極影響？”

他們回應：

“只需為所有網站訪問者提供 A/B 體驗，並比較促銷前後的銷售情況。”

儘管這個答案可能會從許多組織中獲得高分，但任何分析進化的組織都認為它效率低下或不正確。

這種簡化的分析工作在穩定狀態下，不受外部因素或無法控制的因素變化的影響。

然而，在大多數實際應用中並非如此。

在當今世界，外部因素可能在一夜之間發生變化，得出錯誤結論的成本可能很高。

那麼，如何確定促銷的效果呢？

一個簡單的解決方案是針對目標受眾進行 A/B 測試或體驗。

A/B 測試或拆分測試的目標是提高您的轉化率或客戶採取的操作數量，例如點擊號召性用語按鈕、文本鏈接或導航鏈接。

為了有效，您必須首先將您的受眾視為一個整體。 這種觀點始於以下問題：

• 誰是我的潛在客戶？
• 是什麼把他們帶到這裡來的？
• 他們想從我們的品牌中得到什麼？

一旦您回答了這三個關鍵問題，您就可以開始測試細分受眾群或簡單地使用細分。

讓我們從一些定義開始：什麼是分割？

您網站的訪問者並不完全相同。 他們可能來自不同的國家，說不同的語言，使用不同的瀏覽器，通過不同的網站訪問網站，使用不同的設備，還有其他各種細微而顯著的差異。

那麼，一次對所有訪問者進行 A/B 測試有什麼意義呢？ 非分段的 A/B 測試結果可能是虛幻的，導致有偏見的行為。

但是，您可以通過細分來細化您想要了解的受眾。

當您只希望一部分訪問者參與 A/B 測試時，這尤其有用，這樣您就可以了解更改如何影響該特定目標。 您可能有興趣在您的網站上運行 A/B 測試，只有來自特定地區、使用特定瀏覽器或在周末訪問您的網站的訪問者。

通過細分，您將能夠回答以下問題：

• 這種體驗對新客戶和常客的工作方式有什麼不同嗎？
• 是否有一種變體對某種類型的流量特別有效？
• 是否存在在某個瀏覽器或操作系統上表現特別差的變體？ 有沒有可能有缺陷？
• 在每個變體中轉換的用戶和未轉換的用戶之間是否存在趨勢？

分割前還是分割後？

細分時的另一個考慮因素是是在設計體驗時考慮到細分，還是在體驗激活/完成後定義細分。

如果在設計體驗時考慮了特定的細分，那麼樣本量和統計顯著性通常足以做出決定。

另一方面，如果您通過切片和切割隨機片段發現了一些模式，那麼確保有足夠的樣本量是至關重要的。 如果不是這種情況，您必須延長體驗時間或重新測試。

從一開始就分割經驗並不總是有助於研究/假設過程。 體驗的目標是確定哪些部分響應哪些變化，如果在測試開始之前將它們分開，這可能很難做到。 如果您事先不知道要對結果進行細分，請針對特定的高性能細分進行後續測試，直到您有足夠的樣本量可供使用。

測試後分割可以幫助識別這些模式和信號，然後可以將其用於測試前計劃，以及使用適當的上下文和样本計劃潛在地測試特定區域。 然後，您可以使用特定於設備的假設創建和執行完全獨立的測試。

如果您從一開始就考慮到細分進行實驗，您也可以生成報告（後續實驗中經常出現這種情況）。

為什麼細分 A/B 測試結果很重要？

傳統的 A/B 測試工具允許您向盡可能廣泛的受眾提供體驗，針對新的變體測試您網站的原始版本或基線版本。

另一方面，細分允許您在測試過程中將每個客戶的期望歸零。

更好地了解您的客戶

細分您的訪問者需要徹底檢查誰構成了該受眾以及您在他們中註意到哪些特徵。 它還允許您確定諸如哪些群體對公司最忠誠或哪些群體花費最多等因素。

該信息將使您能夠更好地匹配您未來的營銷工作，並為您的訪問者提供更高質量、更具吸引力的客戶體驗。

更好的價格優化

有必要進行研究以了解您的客戶和您的組織。 而且，雖然這並不總是那麼容易，但確定您的產品或服務的理想價格並非不可能——尤其是如果您擁有必要的工具並牢牢掌握基本定價理念。 在測試新價格時，您可以通過對您的 A/B 體驗使用細分策略​​來確定願意為您的產品或服務的某種增強而多花一點錢的人群。

更大的價值創造

當您使用訪問者細分策略而不是一般方法時，您會注意到營銷活動和計劃的投資回報率更高。

面向整個訪問者群體的非針對性體驗的平均成功率將低於針對各個細分市場的適當針對性和差異化體驗的平均成功率。

從本質上講，逐段優化比針對總訪問者進行優化更有效。

不確定的經歷

假設您已經進行了很長時間的測試或體驗，結果顯示出小幅提升，但無法得出結論。 現在會發生什麼？

不用擔心。 雖然感覺測試似乎是在浪費時間和資源，但您收集的信息實際上仍然非常有用！

對收集到的數據進行分段是剖析它的第一步。

根據不同的細分檢查您的數據將提供更多信息以幫助生成迭代。

如果您執行的測試更改了產品詳細信息頁面的顯示方式，請嘗試按設備對數據進行分段。 通過這樣做，您可能會找到具有統計顯著性結果的明顯贏家。

識別錯誤和損壞的元素

即使您已盡可能全面地測試您的代碼，您也可能忽略了某些設備上的關鍵響應問題（由於操作系統版本、特定位置的 Internet 連接或設備本身）。

智能手機業務目前的碎片化狀態可能是開發人員最頭疼的問題。 由於加載時間、響應能力和崩潰（而不是原始概念的實用性），客戶經常對他們本來會喜歡的設計和功能給出負面反饋。

假設您正在為您的主頁或登錄頁面嘗試一個新的橫幅，並且您發現它與原始版本相比表現不佳。 這可能是因為原始版本更加用戶友好。 但是，根據您的直覺和客戶輸入，也許您仍然認為新版本會更好。 這將是使用分段數據的好時機，看看是否還有其他事情發生。

分段數據表明，不利評級與 Android 移動應用程序版本子集的性能問題有關。 不需要拒絕新流程的設計； 但是，必須更新代碼以進行進一步測試。

您可以在 A/B 體驗中使用的常見細分

以下是運行實驗時要考慮的一些常見細分示例：

地理分割

地理位置是確定市場定位和產品銷售的重要組成部分，因為人們將有不同的需求和需求，並根據他們居住的地方表現出不同的特徵。

這是運行 A/B 體驗時需要考慮的事情。 這就是為什麼您應該在廣告和營銷活動中包含地理細分。

天氣分割

天氣還可用於細分受眾，幫助具有季節性產品目錄的電子商務公司銷售相關服裝和其他商品。

天氣對客戶行為有巨大影響，它為企業影響決策和提高轉化率提供了寶貴的機會。

天氣定位使網站能夠更好地了解客戶的需求，以及滿足這些需求的記錄。

天氣營銷可讓您隨心所欲地發揮創意，各種規模的企業都應將其作為整體營銷策略的一部分。

一旦您認識到溫度變化如何影響您的公司，您就可以調整和優化您的公司程序。

• 廣告定位：在您的廣告邏輯中使用天氣數據作為定位信號（例如，如果下雨則顯示一個廣告變體，如果條件晴朗則顯示另一個廣告變體）。
• 廣告內容：使用天氣數據作為廣告內容（例如顯示當前條件/溫度值）。
• 廣告定位和內容：結合天氣定位和內容以獲得強大的用戶體驗。

天氣細分應與客戶的地理位置結合起來才有意義。 例如，意大利北部 20°C 的溫度會促使人們購買新的 T 卹，而南部相同的溫度可能會促使人們購買薄毛衣或長袖襯衫。

行為細分

營銷人員需要行為細分來了解和響應現場行為，例如受眾對您的內容的興趣或他們與您網站的某些方面進行交互的頻率。

行為細分對於識別和吸引每個用戶產生最多收入的用戶也很重要，這通常是網站總訪問量的一小部分。 這在 A/B 測試中尤為重要，因為分段測試可以讓您了解高價值客戶對您在網站上創建的體驗的反應。

下面列出的細分將幫助您了解如何處理一組客戶的特定要求或願望，找到改善客戶旅程的方法並評估他們對貴公司的潛在價值。

• 最近購買
• 新訪客與回訪訪客
• 新購買與重複購買
• 已登錄與已註銷的訪問者
• 計劃類型或忠誠度計劃級別

技術分割

根據他們用於在線購買的應用程序和設備，在技術細分中，客戶在很大程度上被分類。

這些可以包括：

• 消費者用於訪問公司網站的互聯網瀏覽器
• 用於打開營銷通信的電子郵件應用程序
• 用於完成購買的設備
• 操作系統
• 用戶代理

應該使用技術細分來更好地理解和優化客戶在所有平台和設備上的體驗。 這種類型的細分將允許您回答以下問題：

移動應用用戶與我的內容互動的時間更長或更短？

即使在使用響應式設計時，網站的移動和桌面體驗通常也會有很大不同。 這可能會影響您的內容的外觀，以及它收到的參與度。

我的移動應用訪問者的轉化率是否與我的桌面訪問者（銷售或潛在客戶）相同？

雖然您的業務目標可能保持不變，但您可能會發現移動訪問者比其他目標更容易轉換某些目標。 這可能會影響您的跨平台策略和漏斗設計。

是否所有瀏覽器都為我的訪問者提供相同的 UX 體驗？

如果您發現某個瀏覽器（例如​​ Safari）的轉化率異常低，您可以嘗試進一步調查。 您可能會發現在 Safari 上查看時購物車頁面上的結帳按鈕顯示不正確，並且一些簡單的調整可以顯著提高該平台上的轉化率。

使您的細分無效的前 3 個問題

因此，您定義了您的細分市場，提出了強有力的假設，一切似乎都井然有序……直到您檢查了體驗報告。 你的結果不是你所期望的，你想知道......為什麼？

讓我們來了解一下！

1. 樣本量較小的細分市場

您用來優化體驗結果的細分最終可能會非常小。 您可能正在比較您測試的變體的不同部分，卻發現您的業務洞察力幾乎沒有統計意義。

不應使用統計顯著性來確定何時應完成體驗。 它只通知您原始版本和變體之間是否存在區別。 這就是為什麼您不應該等待測試變得重要（這可能永遠不會發生）或在它變得重要時立即停止體驗。

相反，在停止體驗之前，您必須等到達到計算的樣本量。 為了更好地了解何時停止體驗，請使用測試時間計算器，例如 Convert 的 A/B 測試顯著性計算器。

在對報告數據進行分段時，說明樣本量減少的最佳方法之一是運行原始 A/B 測試的時間是平時的兩倍。 如果您事先知道您將對結果進行分段，這將特別有用。

2. 多段比較問題

請始終牢記，如果您對大量片段進行假設檢驗，則可能會出現 I 類錯誤（稱為誤報）。

如果您在實驗技術中選擇了 95% 的置信水平，那麼您已經接受了單個指標的 5% 誤報率。 但是，當您查看多個指標時，發現誤報的機會就會增加。 因此，比較次數越多，誤報的次數就越多。

這種增加假陽性率的概念也可以在多變量測試 (MVT) 中看到，其中測試了許多條件。 後期細分還會增加您的誤報率，並將報告結果劃分為設備、平台、區域和/或人口統計部門。

幸運的是，有許多統計方法可以緩解多段比較的問題。 這些方法通常涉及在進行分析之前調整您選擇使用的顯著性閾值，以便 p 值（用於確定測試結果是否為陽性）是實驗考慮的比較次數的函數。

3.專注於錯誤的部分

在細分受眾時，很容易忽略某些可能有利可圖的類別。 例如，您可能會發現自己不成比例地專注於訪問者的一個類別（例如您的新客戶），即使另一個子集可能更適合您的產品。

請記住，細分的優點是可以讓您的方法非常具體和個性化。 這意味著，即使您針對占市場比例較小的細分市場，您也可以期望獲得巨大的成果。

花時間確保您確定正確的客戶群至關重要，否則您將面臨錯失增長機會的風險。

Convert 如何處理預分割和後分割？

Convert 中的分段可以在激活體驗之前或之後進行：

• 之前可以通過定義受眾來完成，
• 之後可以通過根據體驗期間獲得的指標對報告統計信息進行分段來完成。

在轉換體驗工具中應用測試前或測試後的細分就像使用過濾器或在報告中包含/省略特定受眾一樣簡單。

細分的力量對於開發 A/B 測試體驗特別有用。

在最基本的情況下，它可以讓公司更好地了解客戶的各種品味和行為。

在更複雜的場景中，公司可以創建全新的在線體驗，以響應客戶登錄、地區或一天中的時間等觸發器。 這些修改的複雜程度不一，可以像改變行動號召一樣簡單，也可以像更新網站組件一樣複雜。

預先細分受眾

您希望作為體驗的一部分的一群人被稱為受眾。 在激活體驗之前，必須添加受眾，以便 Convert 收集的數據僅影響這些個人。

只有符合這些條件的遊客才有資格進入。 您可以建立一個受眾來捕獲有關訪問者的信息並將其應用到體驗中。 您還可以使用 AND/OR 條件混合不同的受眾，以在特定體驗中獲得更精確的定位參數。

不符合您的觀眾條件的訪客不包括在體驗中。 它們被排除在您的體驗之外，只能查看您網站的原始版本。 它們也不包括在“報告”頁面上的體驗的唯一訪問者計數中。

您可以通過轉到“體驗摘要”並找到“受眾”部分來為您的體驗創建受眾。 單擊“新受眾”下拉菜單將為您提供以下選項：

1. 預設將允許您從 111 個預建受眾中進行選擇，並有助於加快體驗受眾的配置。
   

   

2. Saved Audiences是您可以找到您之前創建的受眾群體的地方，這些受眾群體並未用於當前體驗。
3. 如果沒有任何預設符合您的要求，您可以在新受眾中創建自己的受眾。

創建新受眾時，您必須從三種不同類型的受眾中進行選擇：永久受眾、細分受眾和臨時受眾。

永久觀眾

僅在訪問者分桶時間（第一頁查看）檢查此類受眾，並且不會再次檢查。

如果訪問者滿足受眾條件，則體驗將運行。

如果訪問者在後續訪問中未滿足受眾條件，則體驗將繼續為該訪問者運行。

分割

細分是一組符合特定受眾條件（例如位置、用於訪問網站的設備、一天中的時間以及任何其他用戶行為）的訪問者，並且可以在以後用於定位。

特定細分市場的訪問者可能會以相同的方式行事或購買。

您可以通過定義受眾條件來創建細分，這些條件允許 Convert Experiences 確定訪問者有資格獲得哪個細分並運行適當的變體。

選擇此選項後，與內容相關的條件在條件構建器中可用，允許您基於 URL 創建細分（例如，到達定價頁面的用戶細分）。

臨時觀眾

對於瞬態受眾，只有當訪問者滿足受眾條件時，體驗才會運行。 但是，如果訪問者不滿足受眾條件，則訪問者將不再看到該體驗。 每次頁面查看時都會檢查受眾條件，而不僅僅是第一次查看。

選擇受眾類型後，您將看到受眾條件，這些條件可能會因您的需要而異。 我們在另一篇文章中分享瞭如何根據訪問者來源、目標和地理位置等詳細信息來定位受眾，僅舉幾例。

使用基本過濾器進行後分割

如果您在激活時沒有將受眾添加到您的體驗中，您仍然可以選擇在體驗運行時或完成後對數據進行分段。

只需轉到您的體驗報告並從頂部菜單中選擇“細分”選項：

默認情況下，Convert 將顯示所有進入您體驗的訪問者的結果。 轉換後，您可以過濾結果以查看某些訪問者組的行為是否與您的整體訪問者不同。 這稱為測試後分割。

在 Convert 中，您始終可以使用默認細分過濾結果，這些默認細分會自動捕獲並包含在所有定價計劃中：

• 按瀏覽器細分
• 按設備類型細分
• 按用戶類型細分
• 按國家/地區細分

讓我們看看它在您的報告中的外觀示例。 這是未啟用測試後分段的報告：

這是啟用了測試後分段的同一報告：

使用高級過濾器進行後分割

您還可以將高級自定義細分添加到您的體驗中。 以下屬性僅包含在特定定價計劃中：

• 按流量來源細分
• 按大洲劃分
• 按 10 個自定義細分（受眾）細分

對於最後一個選項，您必須首先創建具有“細分”受眾類型的受眾（如前所述）。

在報告的後面部分，您可以使用該受眾來細分您的數據，如下所示：

您可以使用這些屬性進行自定義細分，從而更詳細地了解對您的業務很重要的訪問者。

例如，假設您運行一個測試彈出式促銷優惠的體驗，從而產生整體積極的提升。 但是，當您在移動設備上對訪問者進行細分時，您會看到統計上的顯著損失。 可能是彈出窗口在移動設備上具有破壞性，或者很難關閉。 根據您了解到的情況，您可能會考慮在將來執行更改或執行類似體驗時排除移動訪問者。

細分您的結果是獲取深入知識（超出普通訪問者的活動）以及促進您的實驗工作的最有效方法之一。

以下是您可以使用這些高級細分執行的操作：

提示 1：根據 Hubspot 列表創建高級細分

您可以使用 Hubspot 網頁上的轉換體驗來定位和後期細分屬於 Hubspot 列表或 Hubspot 營銷活動的訪問者。

這使您可以利用組織對給定 Hubspot 列表的投資。

為此，通過將 Hubspot 模板變量列表分配給自定義轉換頁面標記來修改 Hubspot 模板。 這將允許您使用自定義頁面標籤來定位體驗或創建細分後細分。

首先修改 Hubspot 模板，並在 HEAD 標記的開頭和內部插入以下代碼：

 <!--開始轉換體驗代碼-->
<script type="text/javascript">
// 以下行將轉換頁面標記變量分配給 Hubspot 模板變量
讓 _conv_custom_v1 = {request_contact.list_memberships};
讓_conv_custom_v2 = {content.campaign_name}；
</腳本>
<script type="text/javascript" src="//cdn-3.convertexperiments.com/js/123456789-123456789.js"></script>
<!-- 結束轉換體驗代碼 →

在高級受眾編輯器中創建一個細分。 選擇自定義頁面標記條件並將其與您要定位的 Hubspot 列表或 Hubspot 活動進行比較。

提示 2：根據目標完成情況創建高級細分（“觸發目標”）

您知道您可以使用目標完成來設置您的高級自定義細分嗎？

這個強大的功能提供了過濾訪問者的新方法。 基於“已確認訂單”目標的完成創建體驗可以提高重複購買者的轉化率（通過為他們未來的購買創造新體驗）。

轉到受眾並將“觸發目標”條件從左側列表拖放到右側。 建立受眾以識別已完成目標的用戶：

稍後，您可以使用此自定義細分來過濾體驗報告中的訪問者。

提示 3：根據訪客 Cookie 創建高級細分

您可以僅針對訪問過您網站特定頁面的訪問者細分您的體驗，方法是在訪問該頁面時編寫一個 cookie，並設置受眾以針對具有該值的訪問者。

提示 4：根據您的數據層創建高級細分

這是一個非常常見的網絡分析跟踪示例。 您可能有一個數據層，它將有關每個訪問者的數據提供給您的分析工具，例如登錄狀態、用戶 ID、地理位置或有關頁面的元數據（最佳分辨率、圖像版權）。 通常，此數據在表示層或標記中不可用。

您可以使用此數據層來存儲會話訪問者數據，然後將特定體驗呈現給某個訪問者組。

為此，您需要創建要向該受眾群體展示的體驗，並通過高級受眾編輯器配置細分。

輸入以下JS代碼：

 “醫療” == dataLayer[0].industry;

現在，您可以僅針對數據層的行業價值為“醫療”的訪問者細分您的體驗結果。

技巧 5：使用 6Sense API 創建高級細分

預測性前景分析和潛在客戶評分平台 6sense 可以識別和分析潛在客戶的需求，並預測他們在買家旅程各個階段的行為。

使用Convert Experiences，您可以查詢6sense聚合的數據，並以此為基礎進行細分。

例如，如果您想僅針對“意識”購買階段的訪問者細分您的體驗結果，則需要創建一個稱為“意識階段”的受眾。

您將通過使用以下代碼添加 JS 條件來做到這一點：

 （功能（） {
var visitorData = JSON.parse(localStorage._6senseCompanyDetails);
if(typeof(visitorData)=="undefined") {
convert_recheck_experiment(); 返回錯誤；}
否則返回 (visitorData.scores[0].buying_stage == "Awareness");
})()

觀眾應該這樣配置：

帶有 GA 自定義細分的外部細分

除了內置的分段前後，Convert 還提供了一種將數據發送到 Google Analytics 並在那里分段您的訪問者的方法。

谷歌分析允許您根據他們的共同特徵和需求對您的網站訪問者進行細分。 默認情況下，Google 搜索引擎會收集廣泛的用戶詳細信息，包括屏幕尺寸、互聯網瀏覽器、引用站點和訪問的頁麵類型。 然後可以使用這些屬性對訪問者進行分類。

要開始在 Google Analytics 中進行細分，請轉到“自定義”選項卡並選擇您創建的自定義報告以將您的轉換數據發送到。 您現在可以查看符合細分過濾器的用戶和會話的百分比。

當您點擊“新細分”時，您將能夠使用您選擇的過濾器設計您自己的細分。 Google Analytics 現在允許您每個帳戶最多有 1,000 個細分，但每個視圖只有 100 個細分。

下圖顯示了為每個段配置過濾器的各種可能性。

完成創建新細分後，單擊“預覽”以查看它將如何改變現有報告。

結論

細分將 A/B 測試提升到一個全新的水平，從而在您的受眾中實現更大的轉化率優化 (CRO)。 In a world of haphazard A/B testing, segmenting your testing efforts adds a layer of accuracy and completeness that is simply not otherwise achievable.

When testing new features, segmentation ensures that your experiences will have a better probability of declaring a winner.

You'll have a good knowledge of where the visitor comes from, what their intentions are, and how to test their behavior.

Your A/B testing will become exponentially more beneficial, thanks to the wide range of secondary insights created by every experience, which can be used for follow-up tests, identifying pain points, and gaining a deeper understanding of how customers interact with your products.