（徹底）理解 A/B 測試指標的無行話分步指南

偉大的內容不是由個人創造的。 向使本指南成為可能的專家打個招呼。 超過 80 年的實驗和 A/B 測試經驗——在分鐘閱讀。

亞歷克斯·伯克特

本·拉貝

柯蒂斯斯坦尼爾

黛博拉·奧馬利

埃里克·伯恩哈德森

賈斯汀·克里斯蒂安森

馬克斯·布拉德利

蘇曼莎·尚卡拉那拉那亞那

蒂姆·梅塔

試圖理解 A/B 測試指標就像在過於復雜的定義、技術術語和永無止境的專家“意見”中陷入困境。

如果您為了在網上找到有價值的東西而發出不止一次惱怒的嘆息，我們不會責怪您。

即使您確信自己想要進行實驗，也可能會覺得那些知情者是把關信息。

但我們決心改變這一點。 實驗適用於每個人，到此結束時，您也會相信這一點。

關於開始實驗的硬道理

我們將深入探討如何通過不同的視角看待指標，但首先，我們需要弄清楚。

你可能以前聽過這樣的說法：“A/B 測試沒有損失——只有學習。”

這是部分正確的。

不確定的（平坦的）測試甚至損失可以幫助您清楚地了解哪些內容不適合您的目標受眾。 但是，如果您正在構建實驗計劃並且還沒有獲得最高管理層的支持，請準備好在一些棘手的水域中航行。 明白那些拿著錢包的人不會特別高興在沒有受過大量教育的情況下就“學習”進行深奧的討論。

要獲得他們的認可，您首先需要展示快速而切實的勝利。 您的經理可以向領導層報告 A/B 測試結果，以便他們對以下事實表現出一定的信心：主要是學術性的科學實驗方法確實可以推動像業務一樣實用的事情向前發展。

最簡單的方法是什麼？

追求最容易實現的目標：提高相當接近影響交易或購買的用戶體驗的轉化率。 比如說，直接增加 1000 件訂單（如您的測試結果所示）很容易轉化為美元和利潤。

將該報告帶入董事會會議，您會在房間裡興奮地嗡嗡作響——這種興奮來自於發現另一個“收購渠道”，即 CRO。

但是這個季度會來去匆匆，而您卻從未看到承諾的飆升。 那些稱讚你是企業未來的高管們將大失所望。 預算削減將隨之而來。 並且某個高層（*咳嗽* 不可救藥的 HiPPO *咳嗽*）會吐出一些關於實驗如何永遠無法勝過傳統渠道（如經受住時間考驗的廣告和活動）的胡說八道。

[HiPPO = 有意見的最高薪人]

看看剛剛發生了什麼？ 通過激活你的隧道視野，你將實驗降級為僅僅是 CRO——這被視為（幾乎）被視為一種新奇的收購渠道，以收回留在桌面上的資金。 以及隨之而來的？ 隨之而來的所有重大索賠、騙局和陷阱。

查看 A/B 測試指標的不同方法

實驗是一台機器。 但大多數人對其工作原理的理解存在缺陷。

他們認為輸入是業務問題，輸出是具有統計意義的有效業務解決方案。 這可能是理想的大圖景。

放大後，實驗機器接受在科學過程中的學習和努力作為輸入，並產生程序指標作為輸出。

但是這裡有一個很大的 IF：對於最終產生預期和期望結果的輸出，實驗計劃的質量是最重要的。

只有當您執著於實驗質量時，您才有更高的機會看到能夠推動所有企業都希望解決的大增長和效率問題的結果。

實現這一目標的方法是製定一個不將結果放在基座上的指標策略。

相反，它幫助團隊測量和跟踪輸入和輸出（輸入是唯一完全控制優化器的因素）並將它們用作進度的衡量標準。 通往結果的旅程不是衝刺，而是在後台運行的馬拉松，作為良好實驗的副產品。

不要誤會我們的意思。 這說起來容易做起來難。

通常實驗會表明不應該進行某些更改。 特定功能不應發貨！ 實驗本身是經過深思熟慮的……將重點從運輸第一戰略轉移到洞察力和學習第一戰略（由正確的指標支持）。

對實驗猶豫不決在高管中非常普遍。 大多數創始人在沒有實驗的情況下建立公司多年，感覺實驗是一種保守的力量，阻礙了公司的速度、產品營銷和登月創新。

Erik Bernhardsson，模態實驗室創始人

切換到洞察第一策略的案例（使用正確的指標）

為了取得實際進展，我們必須從追逐運輸策略轉向度量策略。 這分散了產品策略，即把想法推到底部，這是理想的。 採用度量策略本質上意味著實驗。 您不能迴避測試新產品更改如何影響您的業務。

你的實驗計劃的“為什麼”被編碼在你的指標策略中。

• 你所有的努力都集中在速贏和收入上嗎？
• 實驗是了解您的客戶並在他們的整個生命週期中為他們提供價值的方式嗎？
• 或者實驗本身就是目標，你測試得越好，你產生的洞察力就越可靠，你的責任是保持這個輪子運轉，而不會對現有的體驗產生負面影響？

稍後與 Speero 的 Ben Labay 進行更多討論。

在實驗到實驗的基礎上，指標鞏固了你的（真正的）關注點。 您可以有一個 10 頁的宣言，談論在您的業務 DNA 中嵌入實驗以加速創新，但如果您的主要目標始終是轉換，那麼您的測試計劃本質上是一個 CRO 計劃。 這可能是您想要實現的目標，但請注意將來會出現的限制，包括將 A/B 測試視為獲取/收入的奴才——坦率地說，它們不是。

不同類別的指標可以跟踪對最高管理層重要的指標，同時優化程序以獲得更高質量的測試、因果洞察力，並通過不同的迭代來改進機器的內部運作，以便輸出可以開始驅動結果從長遠來看。

這段與 Tim Mehta 合作的視頻坦率地揭示了為什麼僅圍繞學習的實驗敘述不是一個實際的立場。

我認為在參與方面獲得所有這些知識真的很酷，但是對於您的企業主來說，您能夠知道繼續為該計劃建立資源並獲得預算，基本上您知道您確實需要確保您是至少能夠從商業角度表明，實驗程序為您帶來的美元價值。

所以我認為對於很多實驗來說，更多的是圍繞你想要做的所有一般科學方法學習有這是你知道它不像假設證明那樣多贏/輸你知道證明或拒絕嗯而我們大多數人都做得很好，我們在營銷方面，所以自然我們需要能夠傳達某種類型的勝利或收入價值才能繼續。

Lucid Software 增長營銷總監 Tim Mehta

在更實際的層面上，指標持有學習。 背靠背運行平面測試？ 這可能是您收集數據的方式（以儀器為中心的問題）或您設計實驗的方式的問題。 指標可幫助您在大海撈針中找到目標並做得更好。

TL&DR; 指標幫助測試人員捕捉實驗的各個方面，並以利益相關者理解、重視和欣賞的語言將其影響分配給他們。 度量策略遠遠超出了“目標”和評估獲勝變化和損失的基礎。

通過指標，實驗計劃得以生存、成熟、發展和成功（或失敗）。

輸入、輸出和結果指標：Ben Labay 和 Alex Birkett 解構實驗計劃

關於主要、次要和護欄指標有很多定義。 但是任何運行過實驗程序的人都知道，必須有一個框架來定義不同級別的目標。

所以我們問了 Speero 的董事總經理 Ben Labay 和 Omniscient 的聯合創始人 Alex Birkett，這個問題：

您將測量的變量映射到多層實驗影響的首選指標框架是什麼？

本的框架

1.程序指標類別

這種“分階段”是輕描淡寫的。 您想一直監控所有這些，但根據程序的階段，FOCUS 會有所不同。

2. 從頂級度量分類開始，這是我的：

然後，對於每個，

3. 目標度量示例：

然後

4. 驅動指標示例

然後

5.程序護欄指標

所以…。 那麼你有一個指標策略的成分：

注意：早期實驗應關注輸入指標，但如果您沒有正確的教育、人員和流程，您必須應對產生無法實現的結果的壓力。

這是一個自我毀滅的循環。 此外，不應立即慶祝結果指標，尤其是在您預測“收入”時。

理解這一點的最好方法是看看 Airbnb 如何轉向度量策略：

“客人必須先徵得房東同意才能留在他們的Airbnb，然後房東才能決定他們是否喜歡預訂請求。 這造成了大量的摩擦，對客人來說是一種糟糕的體驗，並為不正當的偏見進入了這個過程。

產品交付策略將規定要交付的一系列功能。 但 Airbnb 建立了一個強大的團隊，制定了衡量策略：讓 Airbnb 達到 100% 即時預訂。

結果是一個以實驗為主的策略，累積地改變了市場。 該產品改變了搜索排名、房東入職和核心房東功能（例如，客人控制、房屋規則、交貨時間設置等），使房東能夠在客人即時預訂房屋的世界中取得成功。

埃里克·伯恩哈德森

Alex 的首選框架

我繪製實驗指標的首選框架是一個簡單的框架：輸入和輸出指標。

利益相關者關心輸出指標。 這些用於投資回報率計算並證明程序的價值——例如網站轉化率、渠道轉化率、高質量的潛在客戶等。

就個人而言，我認為這些在程序級別上被高估了，而在每個實驗級別上被低估了。 我的意思是，如果您按季度跟踪網頁的轉化率，那麼實驗不會是這段時間唯一發生的事情。 籌資、宏觀經濟趨勢、收購渠道的轉變——所有這些都可能是巨大的混雜因素。 您可以通過設置保留集或重新測試您的數字體驗的基線版本來解決其中的一些問題。

他們在每個實驗的基礎上都被低估了，因為人們傾向於不考慮他們的核心實驗 KPI，而是選擇包含各種目標並挑選適合他們敘述的目標。 很難想出一個綜合目標，一個總體評估標準來定義你的實驗。 輸入指標對我來說是衡量我們程序的更好方法。 我看的主要三個是
a) 實驗速度
b) 實驗勝率和
c) 每個實驗的平均勝利。

如果我在其中任何一個上移動指針，我可能會在輸出指標上移動指針

目標、驅動因素和護欄：按範圍衡量的指標

Ben Labay 使用汽車的類比來解釋這些指標：

關鍵是你有長期的指標，比如目標指標，這是你的 GPS 或導航系統，即北極星指標 (NSM)。

這與駕駛員指標形成對比，後者是短期指標，也就是您的車速表。 例如，平均訂單價值 (AOV) 的轉化率優化。

將此與您的警報和校準指標（如轉速表或熱量表）進一步對比； 這些是您的護欄指標。

PS觀看 Ben 的這段視頻，以更好地了解這些類別：

目標或北極星指標

Ben 定義的北極星指標或滯後或範圍廣泛的指標在本質上更具戰略性而非戰術性。

例如，Netflix 的 A/B 測試並不是為了提高參與度而設計的——它們旨在提高留存率。 如果他們留住客戶，則意味著訂閱者參與並發現產品的價值。 因此，留存率包含了幾個戰術指標，例如付費或觀看超過 3 條內容的用戶百分比。

驅動程序指標

這些領先指標是您在短期內關注的，即您的跳出率和轉化率。 有時，只有一個指標不足以評估結果。 這就是總體評估標准或 OEC發揮作用的地方。

OEC 也稱為響應或因變量、結果變量或績效指標，本質上是不同加權 KPI 的組合，作為單個主要 KPI。

一個單一的指標迫使對多個實驗進行一次權衡，並使組織與一個明確的目標保持一致。 一個好的 OEC 不應該是短期的（例如，點擊）； 相反，它應該包括預測長期目標的因素，例如預測的終身價值和重複訪問。

羅尼·科哈維

護欄指標

根據 Ronny Kohavi 的說法，

Guardrail 指標是關鍵指標，旨在提醒實驗者違反假設。 Guardrail 指標提供了 Spitzer (2007) 所稱的“發起知情行動的能力”。 當處理效果意外移動護欄指標時，您可能希望降低對結果的信任，或者在可能對用戶或組織造成傷害的情況下停止實驗。

護欄指標有兩種類型：信任相關護欄指標和組織護欄指標。 我們從我們認為每個實驗都應該具備的最重要的護欄指標開始：樣本比率，然後是其他護欄指標和組織護欄指標。

樣本比率 = 在受控實驗中，樣本比率等於不同測試組之間的樣本量分配比率：對照和變體

衡量指標的哲學觀點：5 W

EndlessROI 的創始人 Sumantha Shankaranarayana 以不同的方式看待指標。

另一個指標來自谷歌數字營銷傳播者 Avinash Kaushik。

在他最近一期的時事通訊 The Marketing <> Analytics Intersect 中，他建議忽略喜歡和關注者等虛榮指標以及頁面瀏覽量和“參與度”等虛假指標。

相反，應關注諸如簡報註冊和任務完成率等微觀結果、轉化收入和收入等數字宏觀結果，以及利潤和生命週期價值等影響底線的指標。

Conversion Advocates 的 Simon Girardin 對指標的另一種看法：

選擇對驅動程序樹產生影響的指標

制定可靠的指標策略歸結為了解驅動樹是什麼。

驅動樹是組織中不同指標和槓桿如何組合在一起的地圖。 在最左側，您有一個要推動的總體指標。 這是您希望所有團隊努力實現的最終目標。

當您向右移動時，您在如何實現該目標方面變得更加細化。 每個分支都為您提供了構成其上方“內容”的組成部分的指示符。

Curtis Stanier，Delivery Hero 產品總監

驅動因素樹與指標結合使用時，可以幫助識別潛在的機會領域並引導您找到解決方案。

柯蒂斯用一個例子解釋了這一點。 例如，如果您的目標是增加電子郵件註冊的數量。 假設只有一半的客戶成功點擊了您發送給他們的電子郵件確認鏈接。 這裡有兩種可能的情況——客戶沒有收到電子郵件，或者他們沒有點擊它。 這些驅動因素可能有不同的影響因素。

當您將流程流映射到驅動程序樹時，您可以找到根本原因。 也許您使用的電子郵件提供商有 10% 的錯誤率，這意味著該電子郵件從未發送過。 這個特定問題成為您的團隊修復的機會。

這是由 Hopin 產品分析主管 Bhavik Patel 提供的一個具體示例，用於說明如何將測試速度等目標（即運行的測試數量）映射到驅動程序和護欄指標。

按照以下 3 個步驟啟動您的實驗計劃

1.選擇實驗計劃的目標

讓 HiPPO 也就是您的 C-Suite 參與進來，這樣您就不會追逐領導層不感興趣的北極星指標。否則，您的實驗計劃將永遠不會出現。 圈進那些明白大問題需要創新解決方案的人，而不是安全行事。

根據經驗，Ben Labay 說您的實驗計劃的滯後的長期目標可以是三件事之一——收入、客戶或實驗過程。

例如，Booking.com 將實驗質量作為其北極星指標。 原因如下：

對我們來說真正重要的不是做出了多少產品決策，也不是做出決策的速度有多快，而是這些決策有多好。

雖然將實驗作為產品開發和決策的一部分是當今的普遍做法，但它本身並不能保證做出好的決策。 正確地執行實驗可能很困難，從實驗中獲得的數據僅與實驗本身的執行一樣可靠。 進行糟糕的實驗只是做出不可靠決策的一種非常昂貴且令人費解的方式。

Booking.com 集團產品經理 Christophe Perrin

2. 建立可接受的 Guardrail Metrics 日誌

Tim Mehta 建議將測試速度作為護欄指標，但需要注意的是，僅當您的測試完整性良好或符合標準時。 如果您沒有進行質量測試，那麼您選擇的任何指標最終都會成為虛榮指標。

與 Tim 一樣，Ben Labay 也建議將測試速度與這些其他指標一起作為一組防護指標：

3.根據具體情況選擇您的驅動程序指標

並非所有指標都是好的指標。 在運行了數千次 A/B 測試後，Microsoft 確定了良好 A/B 指標的六個關鍵屬性：

1. 靈敏度
2. 可信度
3. 效率
4. 可調試性
5. 可解釋性和可操作性
6. 包容性和公平性

您可以使用 STEDII 來細化要跟踪和衡量更改的指標。

Zendesk 的高級 Web 優化經理 Max Bradley 認為，您應該對驅動程序指標保持靈活，這樣您就可以在框內或框外思考：

我們注意到，到目前為止，子域創建字段（如下所示）是我們為訪問者提供的試用註冊流程中最具挑戰性的表單字段。 該領域的流失率遠高於任何其他領域。

至關重要的是，我們進行了跟踪，使我們能夠首先詳細研究表單的性能。 如果您剛開始，短期內不太可能達到這種水平的跟踪，但我會鼓勵您隨著時間的推移“進入雜草”。

確定問題後，我們採取了各種步驟來確定我們希望測試的方法。 我們研究了其他公司在涉及子域的情況下做了什麼，我建議您在這裡超越競爭對手。 我們認為用戶不需要關心創建子域，它為用戶引入了另一個暫停和思考的區域，增加了他們的認知負荷。 我們可以根據他們已經提供的公司名稱創建他們的子域，並對用戶隱藏子域字段。

我們自然預計此更改會增加成功註冊試用的用戶數量，由於提到的跟踪，我們能夠估計預期的增加。

但是，我們此時不知道這將對業務產生的整體影響。 我們預計試用轉化率會增加，但這會一直轉化為贏嗎？

此外，通過隱藏子域字段並為用戶自動生成子域，我們希望確保我們不會簡單地將這個問題轉移到業務的另一個領域。 這涉及從一開始就參與客戶宣傳和客戶支持。

我們認為在確定該實驗的影響方面很重要的主要領域如下：

• 表格訪問者的試用註冊率
• 潛在客戶、MQL、機會和勝利
• 用戶在產品註冊後對子域名所做的更改
• 客戶倡導的子域名更改收到的票數。”

根據您選擇的目標以及您始終如一地接近您的驅動程序，您的實驗角色和程序軌跡可以採用幾種不同的方式。 看看 Ben Labay 的這張圖表：

心理模型：專業人士如何在現實世界的實驗中選擇他們的指標

我們請專家通過一個示例向我們介紹他們看到了問題、設計了假設，然後選擇了衡量成功和鞏固學習的指標。

他們是這樣說的：

Ben Labay 和目標映射

弄清楚業務的發展方向以及原因。

什麼是業務增長策略？ 他們明年是否會通過獲得更多用戶而增長 20%？ 他們是否會專注於新產品或現有用戶群的貨幣化？ 有了這些信息，您就知道優化程序的定位，您應該知道漏斗中的哪個位置或要關注的主要渠道。

對於 2021 年的許多電子商務公司來說，這是獲取和轉換新用戶。 2022 年末，它以 AOV 為中心，專注於盈利能力和收購效率。

• 在過去的幾年裡，SaaS 出現了一種專注於以產品為主導的增長的模式，因此專注於試驗，尤其是針對低端細分市場的入職培訓。

清楚地了解客戶行為（下車、導航模式等）和感知（動機與 FUD、恐懼、不確定性和懷疑）。

我們在這方面有一個很棒的數據模型，ResearchXL，它不僅收集有關行為和感知的數據，而且通過信息將數據轉化為構建優先路線圖的洞察力。

結合步驟 2 和 3，將您從客戶研究中創建的問題/機會主題與目標樹圖中的業務目標聯繫起來。

這是該目標樹圖的特寫，您可以在其中看到與結帳頁面進度指標相關的實驗，這是該電子商務客戶的重點：

當我在 Workato 時，我們想盡可能多地學習如何構建交互式產品之旅。 鑑於我們沒有免費增值版本，許多潛在客戶希望了解產品的實際運作方式。

我們希望學習的內容決定了這裡每個實驗的 KPI。

在一項實驗中，我們只是想看看，與“請求演示”等其他核心網站 CTA 按鈕相比，人們是否甚至對產品遊覽的概念感興趣。 這是一種“彩繪門”測試，儘管我們實際上已經建立了一個最小可行的產品之旅。 在這個實驗中，我們只是跟踪了產品導覽的點擊比例，並對潛在客戶進行了非劣效實驗（我們只是不希望他們下降）。

然後，在優化導覽本身時，我們使用網站轉化率（leads）的主要宏觀KPI，將點擊進入產品導覽的人進行細分，看看是否也有高相關性以及我們核心KPI的宏觀改進。”

Deborah O' Malley 如何幫助提高點擊率

指標通常是客戶驅動的。 通常，它們與收入掛鉤。 然而，有時客戶只是想增加參與度。

在此示例中，教育部門的客戶希望將點擊率 (CTR) 從解釋教育計劃的頁面提高到潛在學生可以了解有關該計劃的更多信息併申請該計劃的頁面。

基於數據驅動的分析，假設頁面上有太多競爭信息，用戶不清楚如何繼續或點擊何處了解更多信息。

在應用上述 5 步框架時，我們決定以最佳格式和定時彈出或滑入式通知最有效地告知訪問者單擊何處以了解更多信息。

因此，進行了一系列實驗以確定通知彈出窗口的最佳格式和時間。 測量點擊率。

正如這些案例研究結果所示（測試 1、測試 2）優化彈出窗口的位置和時間對點擊率轉換產生了巨大的積極影響。

然而，雖然結果證明是積極的，但最終，提交的申請才是真正推動學校發展的指標。 因此，需要進行額外的測試以確定增加申請提交的最佳方式。

從這個例子中學到的關鍵點是客戶通常知道他們想要改進什麼。 作為一名實驗者​​，你的工作是滿足他們的期望，但要更進一步。 增加的點擊率很好。 但旨在增加漏斗中更深層次的轉化。 盡可能深入了解最終渠道的賺錢指標，例如完成的應用程序或結帳完成情況。 衡量完成情況並量化您的成功。

為什麼 Justin Christianson 添加輔助數據點

我們以目標為基礎。 你不能只考慮銷售額和收入。 通常，我們的主要指標將是銷售轉化率和 RPV，但這並不總是描繪訪問者互動方式的最大圖景。

為此，我們喜歡設置輔助數據點，例如添加到購物車、元素點擊、對某些頁面（例如購物車或結帳）的訪問。 次要目標會根據頁面或測試類型略有變化。 有時，就結果而言，銷售和收入並不是你想要追求的。

我們使用我們的實驗來真正幫助了解訪問者關心什麼，哪些元素在整體 UX 中佔有重要地位，然後根據這些結果制定策略。 我們的假設通常總是在問問題，為什麼或什麼情況。 它可以像在主頁上移動一個部分一樣簡單，然後我們的目標將是該部分的點擊量、銷售額、收入、產品頁面上的訪問量。 那麼如何解釋數據將是，如果訪問者通過移動該部分錶現出更高的參與度，則該部分具有權重，因此訪問者更喜歡該整體路徑。 這方面的一個例子是在電子商務商店的頁面上顯示集合細分與顯示實際產品塊。

CXO：學習第一實驗的巔峰之作？

轉化率不是虛榮指標。 雖然它已經成為一個狹義的術語。

Speero 客戶服務總監 Annika Thompson

Annika 解釋說，問題不是 CRO 不重要，而是它帶來了大量的包袱。 它只是時間上的快照，沒有上下文，它可能是無關緊要的，而且非常危險。

另一方面，CXO 或客戶體驗優化側重於挖掘關於客戶偏好和行為的質量洞察——從轉化塊粉碎實驗到穩健的業務戰略，提供一切。 這對您的測試費用來說更划算。