如何準確閱讀和解讀轉換體驗報告

如果您是 Convert 用戶，那麼您就會知道您的報告中包含有價值的數據。 但是所有這些數字和圖表代表什麼？ 你怎麼知道你可以從中得出什麼結論並使用這些信息來改進你的測試？

是否像使用統計顯著性計算器來驗證體驗一樣簡單？

如果 A/B 測試在實驗報告中顯示為綠色就足夠了——或者我們也應該考慮其他因素？

雖然統計顯著性計算器對於準確測試至關重要，但它們並不能說明全部情況。 為了充分利用您的轉換報告，您需要對 A/B 測試統計數據有深入的了解。

為什麼是這樣？

因為 A/B 測試從根本上說是一種統計分析方法。 你不能沒有另一個。

A/B 測試或體驗是統計假設測試的一個示例，其中開發了關於兩個數據集之間關係的假設並進行比較，以查看是否發現了統計顯著性。

因此，無論您是新手還是經驗豐富的用戶，請繼續閱讀以了解報告中可用的全部測試統計數據，並從 A/B 測試中獲得更好的結果！

那麼你可以用 A/B 測試報告做什麼呢？ 讓我們看兩個實際的例子。

示例 1

一家電子商務企業正計劃優化產品頁面以提高轉化率。

在這種特殊情況下，

產品頁面轉化率=訂單數/產品頁面訪問量

營銷團隊正在評估三個新的產品頁面設計。 他們想從四種可能性中選擇最有效的一種：現有設計和三種新設計。 考慮到轉化率是一個因素，他們如何使用“轉化體驗”報告及其統計方法來發現表現最好的企業？

示例 2

通過更改其定價頁面，SaaS 網站希望擴大其會員群。

對他們來說，

定價頁面轉化率=訂閱數量/定價頁面訪問者數量

營銷部門正在評估三種不同的設計，看看它們中的任何一種是否可以吸引比當前更多的訂戶。

使用轉換體驗報告及其統計方法，他們如何使用轉換率作為選擇標准進行這樣的比較？

本文將解釋轉換體驗報告包含的內容、如何使用它來改進您的網站，以及如何解釋對訪問者體驗的詳細分析，以便您採取行動。

請繼續閱讀以獲取易於理解的指南，以幫助您了解轉換 A/B 測試報告背後的統計數據。

轉換體驗報告每個部分的詳細地圖

作為 Convert 用戶，您可以通過報告訪問有關網站性能的詳細信息。 讓我們全面了解轉換報告的所有元素，以便您準確了解所呈現的信息，以及如何最好地使用它來提高您網站的性能。

您可以通過選擇要查看的體驗並單擊“報告”選項卡來訪問報告。

在本節中，您將看到四個不同的部分：

• 頂部菜單
• 概括
• 變化
• 目標

➢ 頂部菜單

頂部菜單提供對以下信息的快速訪問：

• 開始日期：體驗開始的日期
• 運行天數：體驗運行的時間長度
• 報告範圍：日期過濾器允許您過濾特定時間段的數據
• 細分：按訪問者細分過濾報告
• All Tested Users ：參與測試的用戶數
• 總轉化次數：目標轉化總數。 轉換僅跟踪每個唯一訪問者的單一目標轉換。 查看此頁面以了解多目標轉化。
• 目標：給定體驗的目標數量

過濾特定日期範圍

可以使用報告範圍過濾特定日期範圍的數據。 可以使用現有選項或日曆控件指定自定義日期範圍。

過濾特定段

您可以通過從“所有用戶”下拉框中選擇訪問者細分來過濾報告。 您可以使用它來回答諸如

• 來自不同來源的流量在體驗中表現如何？
• 移動設備與桌面設備的製勝法寶是什麼？
• 哪種變體吸引了最多的新用戶？

您應該針對對您的組織很重要並且可能表現出各種用戶行為和意圖信號的受眾/細分市場。

檢查每個受眾的改進和信心得分，以了解每個變體的表現。 根據您的分析結果，您可以決定是對所有流量啟動獲勝變體還是調整分配。

轉換體驗報告包括以下部分：

• 使用的瀏覽器，
• 使用的設備，
• 新老遊客，
• 用戶國家，
• 流量來源，
• 大陸，和
• 10 個自定義細分。

您還可以使用三點菜單並應用一些進一步的操作：

分享報告

單擊共享報告將打開一個彈出窗口，其中包含以下用於下載體驗數據的選項：

查看代碼

查看代碼是第二個選項，它使您可以訪問您的轉換跟踪代碼：

統計設置

第三個選項“統計設置”允許您配置以下內容：

• 置信水平（統計顯著性）——在此處描述
• 交易異常值——在此處描述
• 自動化——在此處描述
• 重置統計按鈕可重置體驗數據

暫停體驗

第四個選項允許您暫停體驗。

➢ 總結

在轉換體驗報告的摘要部分，您將找到適用於您的體驗的站點區域和受眾條件的摘要。 它還提供了一些明智的建議：

啟用智能推薦

轉到您的項目配置，更多設置，以啟用智能推薦：

查看智能推薦

您可以在兩個地方查看這些智能推薦。

1. 在報告摘要中：

根據您的結果，可能會出現以下消息：

• 顯著且負提升：我們觀察到變體 ${variant_name} 是表現最好的變體，負提升為 ${lift}%。 目標 ${primary_goal_name} 的實驗意義重大。 我們建議提取學習並設計一個新假設。
• 顯著和積極的提升：恭喜！ 對於 ${primary_goal_name}，${variant_name} 目前以 ${lift}% 的提升獲勝。 實驗意義重大。”
• 微不足道的積極提升：需要更多的訪問者才能得出 ${primary_goal_name} 的有效結論。 我們只看到 ${variant_name} 是表現最好的，提升了 ${lift}%，但需要更多的訪問者才能給出明確的結論。
• 微不足道的負提升：需要更多的訪問者才能得出 ${primary_goal_name} 的有效結論。 在得出結論之前，請保持測試運行。

2. 在目標擴展框中：

以下是根據您的結果您可能會看到的一些消息：

• 恭喜 {variation.name} 獲勝，我們有 00% 的統計置信度。
• 不幸的是，{variation.name} 的表現比 {baselineText} 差，我們確信統計置信度為 00%。
• {variation.name} 似乎比 {baselineText} 表現更好，但我們還不能確定
• 現在判斷 {variation.name} 還為時過早

基線截圖

如果您將鼠標懸停在基線屏幕截圖上，您將看到一些附加選項：

• 查看真實大小的快照
• 預覽變體
• 重新拍攝變體快照

實時預覽和強制變化鏈接

預覽變體將打開一個彈出窗口，您可以在其中獲取實時預覽和強制變體 URL。

➢ 變化

名為“變化”的部分提供了有關您的體驗變化的詳細信息。 狀態列之後的每一列代表您的體驗目標：

您可以通過單擊三點菜單啟用/禁用列或重新排列它們：

啟用狀態按鈕後，您將能夠暫停變化：

當您單擊其中一個變體行上的三點菜單時，有一些額外的選項可用：

• 打開強制變體 URL
• 停止變化
• 轉換為新的部署
• 在新實驗中轉換為原件
• 編輯變體
• 實時預覽

➢ 目標

在本節中可以找到每個體驗目標的簡要描述，以及我們將在下一節中分析的一些有趣的統計數據和圖表。 在我們繼續之前，讓我們解釋一些您可能不熟悉的術語。

• 默認目標：如果您在其中一個目標旁邊看到“默認目標”一詞，這意味著它是我們添加到每個體驗中的 2 個默認目標之一。
• 主要目標：只能有一個主要目標，必須由您決定。 這是您體驗的最重要目標。 這將首先顯示在目標列表中，並且經驗狀態​​將基於此更改。
• SRM ：在您的測試中檢測到的潛在樣本比率不匹配。 檢查體驗設置或聯繫 [email protected] 如果您發現此問題。
• 基線：這是您的默認體驗基線。

現在，讓我們來看看這份報告中的每個元素。

變體名稱

這是您的變體的名稱。 它旁邊有一個複選框，您可以啟用/禁用它以顯示和隱藏變體統計信息。

改進

您可以在此處查看網頁的原始版本和變體在轉化率方面的表現。 百分比差異可以是正數或負數。 當計算出的置信度大於統計設置中設置的置信度時，顏色會發生如下變化：

• 紅色代表 –
• 綠色為 +
• 其他灰色

訪客

這是體驗的總人數。 此處列出了唯一身份訪問者。

轉換

這表示每個目標/變體的總轉化次數。 您希望用戶採取的任何所需操作都稱為轉化。 根據您的網站，這可能包括從單擊按鈕到購買的所有內容。

兌換率

此列顯示轉化為轉化的訪問者的百分比。

置信水平（統計顯著性）

在解釋 A/B 結果時，統計顯著性是最重要的概念。

此列指示實驗變體的轉化率的置信區間與原始置信區間的差異程度。 如果置信度未顯示任何數字，這是因為（默認情況下）每個變體至少需要 5 次目標轉換才能計算它。 它還必須滿足為每個變體設置的最低訪問量。 如果您更改了最低轉化率，則必須滿足您選擇的最低轉化率。

此列包含灰色/綠色點，表示：

• 1 個綠點表示 75%-85% 的置信度
• 2 個綠點表示 85%-95% 的置信度
• 3 個綠點表示 95%-96% 的置信度
• 4 個綠點代表 96%-97% 的置信度
• 5 個綠點代表 97% 及以上

箱線圖（置信區間）

箱線圖或置信區間表示真實轉化率下降的值範圍。

在討論結果時，最好顯示觀察到的原始頁面和變體頁面的轉化率值差異，以及轉化率實際可以落入的範圍。 差值區間是在數軸刻度上繪製的值的可能範圍。

轉換率的最高可能範圍以數字刻度的上限為標誌，轉換率的最小可能範圍以數字刻度的下限為標誌。

在刻度上，您可以看到以下顏色：

• 灰色區域：表示實驗仍無定論或需要更多人來聲明有效結果。
• 綠色表示獲勝的變化。
• 紅色表示失敗的方差。

在箱線圖中，請注意原始轉化率和變體轉化率之間的重疊。

假設 Original 的轉化率具有 10-20% 的置信區間，而 Variation 1 的轉化率具有 15-25% 的置信區間。 值得注意的是，兩個置信區間的重疊率為 5%，介於 15-20% 之間。 在這種情況下，無法判斷 B 的變化是否實際上是一個重大改進。 這就是為什麼如果箱形圖重疊，Convert 不會宣布獲勝者。

地位

這將向您顯示有關變體的狀態報告。

圖表

從這裡，您可以訪問三種不同類型的圖表。

下面是對每一個的解釋：

轉換

• 隨時間變化的轉化率：Y 軸顯示轉化率，X 軸顯示時間。 每條線代表一個變體（累計轉化率）+ 一個代表整個實驗的轉化率（所有變體的平均值）+ 右側的第二個 Y 軸，代表整個實驗內的累計訪問者數量
• 隨時間的轉換：Y 軸顯示轉換，X 軸顯示時間。 每條線代表一個變體（轉化）+ 一個用於整個實驗的轉化（所有變體的平均轉化）+ 右側的第二個 Y 軸，它代表整個實驗內的累計轉化次數。
• 隨時間變化的每日轉化率：非累積轉化率 - 類似於隨時間變化的圖表轉化率，不同之處在於 Y 軸不顯示累計訪問者並且非累計用於 API。
• 隨著時間的推移改進：在 X 軸和每個變化線（但不是原始）上的轉化率逐日提高。
• 隨時間變化的每日訪客

產品

• 每位訪客的產品：每位訪客的累計平均訂購產品 - Y 軸顯示每位訪客的平均訂購產品，X 軸顯示時間。 每條線代表一個變體（每個訪問者的累積平均訂購產品）+ 一個表示整個實驗的每個訪問者的平均訂購產品（所有變體的平均值）+ 右側的第二個 Y 軸，表示整個實驗中的累計訪問者數量.
• 每位訪客的每日產品：每位訪客的非累積平均訂購產品
• 隨著時間的推移改進：產品在 X 軸上的改進以及每個變化的線（但不是原始的）
• 隨時間變化的每日訪客

收入

• 隨時間變化的收入：每位訪客的累計平均收入 - Y 軸顯示每位訪客的平均收入，X 軸顯示時間。 每條線代表一個變體（每位訪問者的平均收入）+ 一個代表整個實驗的每位訪問者的平均收入（所有變體的平均值）+ 右側的第二個 Y 軸，表示整個實驗中的累計訪問者數量
• 每位訪客的每日收入：每位訪客的非累積平均收入
• 隨著時間的推移改進：X 軸上每天的收入改進和每個變化的線（但不是原始的）
• 隨時間推移的訪客

將鼠標懸停在圖表上

將鼠標懸停在圖表上將顯示當天每個變體的轉化率以及與原始變體相比的變體轉化率：

顯示標準偏差

您還可以選中該框以顯示標準偏差（也稱為標準誤差）：

統計公式轉換用途

注意：統計術語在另一個博客中介紹，因此我們不會在這裡重複它們。 我們在這裡的目的是提及 Convert 使用的數學公式。

Convert 使用 0.05 置信水平 (95%) 的常客雙尾 Z 檢驗。 這是 0.025，因為每個尾部是正態對稱分佈，可以選擇在 80%-99% 之間進行更改。

我們將很快將貝葉斯統計數據添加到轉換報告中。 敬請期待更多的信息。

當我們想在任何方向（上升或下降）找到統計上的顯著差異時，應該使用雙尾檢驗。 此處的目標是確定變化是否導致轉化次數在統計上顯著增加或減少。

兌換率

此公式用於計算每個變體的轉化率：

（目標轉化總數/唯一身份訪問者數量）* 100

變化的轉化率變化

體驗變異與原始轉換率的百分比變化計算如下：

置信區間

用於計算圍繞轉換率的置信區間的統計方法用於每個變體。

使用 Wald 方法計算二項分佈的標準誤差（對於 1 個標準差）。 因此，對於給定的轉化率 ( p ) 和样本量（獨立訪客的數量），標準誤差計算為

標準誤差是使用這個公式計算的，它假設二項分佈可以近似為正態分佈（因為中心極限定理）。 當特定目標的轉化次數超過 10 次時，樣本分佈可以近似為正態分佈。

要確定轉換率的置信區間，請將標準誤差與標準正態分佈的第 95 個百分位相乘（常數值等於 1.65）。

換句話說，您可以有 90% 的把握確信您的真實轉化率 p 在此範圍內：

Z分數

使用 Z 分數，我們可以確定結果是否顯著（轉化率不會因隨機變化而不同）：

Z分數是原始平均值和變異平均值之間的標準偏差數。 使用標準正態分佈，當查看事件計數大於 1000 並且滿足以下條件之一時，確定 95% 的顯著性：

• 概率(ZScore) > 95%
• 概率(ZScore) < 5%

改進

不同的機會（顯示在報告上）來自概率（Z 分數）值，其中：

• 如果
  
  概率（ZScore）<= 0.5
  
  然後
  改進 = 1- 概率（ZScore）
  

• 如果
  
  概率(ZScore) > 0.5
  
  然後
  改進 = 概率（ZScore）

解讀經驗報告時要注意什麼

現在您已經熟悉了轉換體驗報告的所有部分及其統計公式，讓我們嘗試解釋一些不同的體驗報告，看看您能從這些報告中得到什麼。

體驗數據重要嗎？

在評估結果並判斷下一步要做什麼之前，請確保經驗數據是重要的。 使用轉換體驗報告中的“置信度”，您可以確定這些發現是偶然的，還是用戶行為的真實反映。

95% 的顯著性水平意味著您有 95% 的把握觀察到的結論不是偶然的結果。 這也意味著你有 5% 的可能性是錯誤的。

或者，您可以將置信水平視為重複實驗獲得不同結果的可能性。

如果您獲得 90% 的置信度，那麼如果您重複測試，就有十分之一的可能性會得到不同的答案。 在 95% 的置信度下，有 20 分之一的機會，而在 99% 的置信度下，有 100 分之一的機會。

獲勝變化：積極影響

這是一個顯著變化的示例，它優於原始版本並帶來了積極的改進。

對於“自定義訂閱 - 步驟 1 頁面視圖”目標，變體 1 在此體驗中擊敗變體 0（原始）的機率為 98.7%。 箱線圖顯示，選擇 Variation 1 可以導致比 Original 提高 13.73% +- 0.6%

在本次體驗中，可以肯定地說改進是 +7.20%，但轉化率介於 13.73% +- 0.6% 之間的可能性相同。 無論情況如何，Variation 1 都會比 Original 有所改進，因此這是實施它的有力跡象！

為什麼？

如果相同的體驗在相同條件下重複 10,000 次，則變體 1 仍將贏得 10,000 次中的 9,870 次。

失去變化：負面影響

讓我們仔細看看一個重要經驗的結果，其中變體 1 沒有帶來積極的改進，而是對變體 0（原始）轉化率產生了負面影響。

在此體驗中，變體 1 在轉換率上比變體 0 失敗的可能性為 98.87%。變體 1 對原始轉換率的負面影響預計在 4.5% +- 1% 之間。

不確定的結果：中性影響

現在讓我們看一個不重要的經驗。 在下面的經驗中，沒有一個變體有足夠高的獲勝機會或大於 95% 的概率。

在本次體驗中，變體 1 勝過變體 0 的概率僅為 84.58%。

您可以採取的下一步是什麼？

有多種選擇可供選擇，所有這些都取決於假設和體驗的最終目標。 不管是什麼情況，桌面上總是有幾個選項：

• 擴大你的聽眾。 如果您的訪問者細分太有限，請嘗試關注具有更多受眾的細分。
• 刪除一些變化。 例如，如果您開發了四種變體，請嘗試使用兩種或三種變體來運行相同的體驗。
• 讓它運行更長的時間。
• 跟隨你的直覺，選擇最符合你的品牌的東西。 如果兩種變體的結果相似，並且您的同事認為其中一種比另一種更符合您的品牌要求，您可以選擇其中一種作為獲勝者。
• 重新啟動體驗。 運行相同的測試兩次以驗證或使初始結果無效是一種明智的做法。 因為情況不太可能相同（不同的時間段，流量波動等），結果可能會有所不同！
• 讓它成為。 您的原件可能已經過優化。

流量分佈是否均勻？

當您設置 A/B 體驗時，您會為每個變體分配一定百分比的流量（默認情況下為 50/50）。

訪問者計數應代表預測的流量拆分。

在顯著差異的情況下，幾乎可以肯定存在樣本比率不匹配（SRM）

在 50/50 的拆分中，如果一側有 400 個訪問者，另一側有 600 個訪問者，則結果不可靠。 發生這種情況時，是時候檢查您的 A/B 體驗設置了。 結果可能會受到內部 IP 地址或外部機器人等異常值的影響。

請記住，數據僅與您使用它進行的分析一樣好。 利用您可以使用的所有工具，包括 Convert Experiences 的深入報告，以獲得準確和可操作的見解。

如果您還沒有帳戶，請註冊免費試用並試用 15 天。 您將可以訪問我們在這篇文章中討論的所有很酷的功能，以及更多其他功能。 如果您有任何問題或需要幫助入門，我們的團隊隨時為您提供幫助。