如何與 A/B 測試機構合作（並實現您的所有增長目標）

硬道理：外包 A/B 測試並不能保證增長。

我們希望它是那麼簡單。 即使是世界級的專家，錯誤的期望和錯誤的方嚮往往會導致合作毫無結果。

另一方面，有一種更智能、更高效的方式與您的 A/B 測試機構合作。 這是成功故事背後的秘訣，吸引您與 CRO 專家合作。

在本文中，我們將向您展示秘訣——與最佳 CRO 或 A/B 測試機構合作和合作的清晰分步藍圖。 到最後，您將知道如何與 CRO 機構合作以實現您的所有增長目標。

讓我們深入研究……

加入 A/B 測試機構的四大理由

當您深入了解這四個原因時，您會發現合作的星級。 我們稱之為協作指數。

為此，我們制定了成功入職 CRO 機構所必需的協作水平，它們與這四個原因（或好處）中的每一個相關聯。

為了獲得這些好處，您將不得不在您的合作夥伴關係中承諾一定程度的協作。 這就是這些星星所代表的。

例如，如果您只是在尋求 A/B 測試構建方面的幫助，那麼協作不一定要詳盡無遺，但仍然必須存在。 這就是它獲得兩顆星的原因。

現在已經解決了，讓我們繼續吧。

1. 協助 A/B 測試構建

合作：

如果您的優化程序已經成熟到一定程度，那麼您絕對不是從頭到尾運行整個操作的孤狼。 您需要工程師和開發人員。

但是這裡的問題是大多數優化部門沒有專門的工程師和開發人員。

當你遇到一個你對測試有信心的假設時，如果你不得不乞求並從開發團隊借用資源來實施它們，這會損害你的效率。

此外，儘管“編碼”的基本方面保持不變，但開發產品和構建測試是兩個非常不同的環境，需要轉變思維方式。

因此，除了成功設置測試來擴展您的程序之外，不要依賴於優先考慮其他事情的內部代理。 有一個更好的策略也可以為您的實驗計劃注入敏捷性……

外包。

在這種情況下，這不僅是可取的，而且是合乎邏輯的。 代理商不僅擁有專門的開發團隊，而且還專注於構建——包括轉換合作夥伴 BrillMark 和 EchoLogyx，有效地將您的內部工作提高 10 倍。

想要將測試計劃增加多倍的客戶應該尋求讓外部機構參與進來。 根據我的經驗，他們可以在內部團隊中增加多少測試計劃是有限度的。 例如，如果內部團隊設法根據可用於支持 A/B 測試開發和 QA 的資源每月開發兩個測試，並且他們希望將其增加到每月 10 個測試，那麼他們最好使用代理誰可以提供專門的支持。

Tasin Reza，Echologyx

2. 遙測協助

合作：

我們已經談了很多關於建立正確的數據收集渠道和處理定性和定量數據以消除偏見的重要性。

A/B 測試機構了解為什麼不同的平台會為同一事件或操作報告不同的數字。 他們可以評估這種差異的有害程度，並幫助內部團隊將其轉化為對最終測試結果的影響。

如果沒有這種寶貴的洞察力，當數據源經常在關鍵指標上存在分歧時，您如何相信您的結果？

正如 Chad Sanderson 所提到的，相信不同的數據輸入會在結果輸出中相互協調是很幼稚的。 A/B 測試機構將這種急需的數據素養融入其中。

這也是 Alex Birkett（以下引述）與代理機構合作的部分原因——為 A/B 測試結果添加所需的完整性。 正如您可以想像的那樣，它需要更多的協作輸入，而不僅僅是獲得測試構建的幫助。

在我與 A/B 測試機構合作的絕大多數情況下，我聘請他們專門幫助進行實驗開發和質量保證。 這是由於大多數組織的有限資源是工程師這一共同事實。 使用外包的 A/B 測試開發機構使我能夠提高質量體驗的吞吐量，並且我可以相信實驗設計得很好，因為它們習慣於在我使用的平台上工作。

最近，我考慮找一家提供全方位服務的公司來幫助 A/B 測試開發以及另外兩個瓶頸：遙測和客戶研究。 建立正確的數據管道是很棘手的，讓您的 A/B 測試公司這樣做可以很好地調整激勵措施（他們顯然希望適當地歸因於他們的價值，因此他們希望建立正確的分析）。 並且總是缺乏客戶研究，即使我自己做了很多。 越多越好，而且專家有時擁有難以訪問的工具。

Omniscient Digital 的聯合創始人 Alex Birkett

下一個原因需要與外包遙測援助一樣多的合作才能取得成功。

3. 協助客戶研究

合作：

毫無疑問，客戶研究是構思可信假設最昂貴、最耗時和最乏味的方面。 但是，正如證據層次所表明的那樣，它是受控在線實驗（A/B 測試）的基礎。

這裡有一些可能出錯的地方：

• 內部團隊不具備構建適當客戶研究問題的專業知識。
  
  它們可能具有誤導性、偏見，並最終尋求驗證現有觀點，而不是探究定量數據揭示的問題。
  
  外部研究人員將為挖掘這個金礦帶來更中立的視角。

• 內部團隊沒有足夠的能力讓自己沉浸在只有真正的專家才能擁有的令人難以置信的一系列觀點中。
  
  有哪些值得探索的角度？ 在不從豐富多樣的經驗中汲取經驗的情況下，如何以這種視角提出更好的假設？

4. 協助宣傳實驗

合作：

是的，實驗支持應該來自最高管理層。

Manuel Da Costa 所說的“職權範圍”在這里至關重要。 嵌入到企業 DNA 中的實驗是

• 部分熱情圍繞著“更多”獲勝測試帶來的承諾。
• 對 CRO 計劃早期這些不同的成功如何從優化指標到成為公司決策支持的部分理解。
• 來自領導層的“實驗是不可協商的”部分任務，主動選擇科學可行性而不是直覺。

以下是代理機構如何為每個部分做出貢獻：

• 這些測試受益於他們在流程和質量保證方面的豐富經驗。 Convert 的內部數據表明，代理商進行了更重要的測試。
• 他們負責部署測試的技術方面，讓 Changemakers 有信心對公司範圍內的實驗的影響發表意見。 他們協助組織範圍內的教育並沒有什麼壞處。
• 他們可以在高管支持的初始階段幫助實驗領導者，因為他們在證明跨行業和垂直領域的實驗能力方面擁有良好的記錄。 最終可能需要的遊說受益於他們成熟的 POV。

我們已經介紹了加入 A/B 測試機構的重要原因。 現在，我們將向您展示將 A/B 測試外包的錯誤原因。

外包的三個非常糟糕的理由

1. 你想看到你的實驗贏得所有時間。

你得到你應得的實驗結果。

這篇文章及其評論就是證明：

如果你帶一個機構來尋找獲勝者，他們會尋找獲勝者。 並且有一百種微妙且不那麼微妙的方式來影響從數據查詢到結果解釋的所有內容，以便擁有一系列不會推動學習或底線影響的獲勝測試。

結果：您可能會聲明與代理機構進行 A/B 測試不是您的事。 但是你會得到你正在尋找的東西——獲勝的測試。

機構應該是合作夥伴。 他們應該有自由調查實際上阻礙收入和業績的問題。 特別是如果您與他們簽訂合同，不僅要建造，還要研究和設計實驗。

2. 你想利用機構的“直覺”在嚴謹性測試中偷工減料

實驗遵循科學過程。 因此，沒有準確的方法可以利用科學家（閱讀：您的 A/B 測試機構）的經驗來找到最快的獲勝途徑。

入職代理機構時，您向他們提出了獨特的挑戰； 不是他們可以說，“你知道，我們以前見過這種情況。 這通常是有效的。 讓我們這樣做吧。”

當潛在客戶向我們詢問與他們合作進行 CRO/實驗時，他們通常會詢問我們過去在該領域或領域的經驗。 例如，您在與奢侈旅遊品牌/高價家具/金融服務/等合作方面有哪些經驗？

這非常嚴重地誤解了實驗是什麼。

如果您聘請品牌或創意機構，他們將利用他們的直覺和創造力來設計您可能不會測試的東西。 因此，您需要知道您購買的是哪種直覺和創造力，以及它們是否“吸引”了您的觀眾。 您信任某人與您的客戶進行未經測試的溝通。

相反，實驗的全部目的——最終是在商業中復制科學方法——是通過以下方式消除意見、偏見和直覺：

a) 使用研究和數據來製定想法

b) 與您的真實客戶一起測試這些想法，並且

c）建立在學習的基礎上，這樣你所做的更大的事情在你做之前就已經被證明是有效的

您購買的流程和方法需要大量專業知識才能正確執行，而不是過去的“經驗”。

我們以數據為指導，而不是任何人對您所在行業或客戶的意見。

Jonny Longden （通過測試一切通訊）

如果您計劃利用 A/B 測試機構的直覺，並且在嘗試診斷問題或為 CRO 成功提供更綜合的路線圖時不會感到完全一頭霧水，那麼您需要通過清晰的溝通和一個流動系統。

3.您無意點燃內部測試的熱情，並希望代理機構成為永遠的拐杖

您不認為將代理機構加入公司是一個跳板進入內部更大領域的機會。 您可能會在一些成功的測試中得分——它們可能會或可能不會轉化為真正的商業利益——但有一件事是肯定的：一致的實驗永遠不會成功。

實驗不能成為一種策略。 像 PPC 一樣，它可能會與其他部門分離並（仍然）生存。

運行測試的真正力量在於重新定義每個團隊成員如何在工作中做出關鍵決策。 這是要意識到我們無論如何都要進行實驗並將其歸檔為“冒險”。 在這些風險和賭博背後擁有健全的科學結構是推動公司走向遠見、更清楚地了解正在運作的東西以及最重要的是持續成功的動力。

確保您和您的 CRO 機構在短期和長期內都能很好地適應，這是建立成功滿足指標和超出預期的協同關係的關鍵。

與 A/B 測試機構合作的簡單藍圖

1. 搞清楚

您想知道為什麼要讓該機構加入。 選擇您將努力改進的 KPI（包括項目和業務）。

應該始終有宏觀層面的業務目標和微觀層面的目標來實現那些更高的目標。 測試團隊需要通過研究和創新來關注那些總體目標，而這些目標反過來可以被測試出來。

這裡的關鍵是與業務利益相關者進行溝通——實驗將如何幫助企業做出正確的決策——以實現預期的 KPI。 應基於此創建實驗路線圖； 但是，與此同時，路線圖應該足夠靈活，以支持緊急的業務需求。 最後，需要有一個專門的人在專門團隊的支持下推動這項工作。

塔辛禮薩

這裡要小心。 僅與程序相關的 KPI 將導致更多的測試（更高的測試速度），可能更少的帶有錯誤的測試，以及更短的部署時間。 這些都是健康計劃的重要標誌。

但是除非明確實驗機器應該解決什麼問題——也就是它應該解決的問題——你會在優化方面茁壯成長，但你不會推動你的公司向前發展。

如果不明確，產品/站點策略（推動影響業務的 KPI）和實驗策略（推動促進充滿活力的 CRO 計劃的 KPI）之間就會存在差距。

為了彌合這一差距，請繼續專注於學習和改善用戶體驗。 當您密切關注收入指標時，請確保您不會產生狹隘的眼光並忽視實驗的真正意義。

對於依賴於預算的計劃，您還必鬚根據投資回報率進行報告。

Microsoft Store 的實驗項目經理 Tim Mehta 在接受 Speero 的採訪中表示，如果領導力以創新為重點，這會有所幫助，因為這樣您就可以從實驗中獲得的洞察力來展示投資回報率，同時說出潛在收入和潛在的收入損失避免了指標。

然後，不要只分享“勝利”和“失敗”。 這些術語在 CRO 領域之外並不意味著同樣的事情。 如果以建議的形式呈現，它將被更好地解釋並轉化為有價值的業務決策。

2. 確定利益相關者

如果完全清楚實驗計劃的運行方式，則更容易引入代理機構。 您不必等待開始並在錯誤發生時糾正錯誤。 這是無效且昂貴的。

相反，使用 RACI 分配矩陣從一開始就簡化流程。 此圖表可幫助您為所涉及的每個利益相關者繪製項目中的關鍵目標、里程碑、任務和職責。

這也是您確定誰是您的主要利益相關者（即，那些需要隨時了解情況的人）的方式。

RACI 是一個首字母縮寫詞，說明了您如何構建項目：

• 負責——誰負責完成任務或做出決定？ 這通常是一群人。

• 負責——誰將簽署任務並確保完成里程碑？ 誰將分配任務給負責完成任務的人？ 這通常是項目負責人，並且是一個單一的角色，因此他們可以做出最終決定。

• 諮詢——項目任務需要諮詢誰？ 誰需要對一項任務提供意見以幫助其完成？

• 知情——誰需要了解項目的狀態？ 誰需要進度更新但不需要日常輸入？

我們已經討論瞭如何為您的實驗項目構建和使用 RACI 圖表。 這是一個如何使用它來組織通信的示例：

關注利益相關者，他們必須了解機構正在做什麼，以及他們的工作將直接受到影響。 因為入職代理機構不必中斷常規業務運營。

當您聘請經驗豐富的 CRO 機構時，請務必使用 RACI 矩陣來發現具有專業知識的人員，以交付成果並為未來的任何問題提供各種解決方案。

3. 船上井

考慮入職代理機構，就像入職新團隊成員一樣。 您知道您必須為他們準備必要的資源才能輕鬆開始。

如果你們以前沒有合作過，他們不會知道很多事情。 例如：您網站的內部運作和各種用例、您的優先級矩陣等。那麼，您如何傳遞這些知識？

他們（機構）必須知道如何在我們計劃的參數範圍內工作，包括我們的優先級矩陣、我們的衝刺計劃、我們用於發布的 QA 清單以及我們的設計團隊。 幸運的是，其中大部分在很大程度上是自動化的，並佈置在任何人都可以訪問的 Airtable 上。

亞歷克斯·伯克特

我注意到客戶忘記了外界對他們需要優化的內部網站或應用程序的了解。 內部團隊與網站本身非常接近。 他們了解網站呈現的所有不同場景、用例和異常情況的來龍去脈。 他們有時會忘記，來自外部機構的人不一定對他們的網站有同樣的了解。 這可能會給該機構在初始階段帶來一些挑戰。 在開始時分享幫助企業實施 CRO 計劃所需的內部知識非常重要。 這樣，當他們提出測試想法或開發和 QA 測試時，這些機構將知道會發生什麼以及需要考慮什麼。

塔辛禮薩

如果您從頭開始，請給您的代理機構了解您的業務所需的時間並創建以下內容：

• 客戶研究手冊
  
  這是一個內部文檔/數據庫，可為代理機構提供有關客戶身份的寶貴見解。 它將包含從焦點小組、訪談、電子郵件調查、分析分析以及數據支持的理想客戶資料和人口統計信息中收集的數據。

• 優先矩陣
  
  你不能測試一切。 根據 David Mannheim 在他的文章中的說法，大多數程序都受到以下限制：
  
  • 在組織中進行測試的目的
  • 流量的可用性
  • 期望的改變
  • 可用時間

在測試想法的海洋中，您需要一個系統來決定要實施什麼測試以及以後要留下什麼。 如果你已經弄清楚了，你的代理機構也需要知道。

• 問答清單
  
  測試完成後，如何驗證結果的準確性？ 執行測試需要很多步驟，這意味著可能出現問題的多個接觸點。
  
  您需要分享您採取的步驟，以反映為驗證結果所做的工作。 我們有一個您可以使用的問答清單，因此您不必從頭開始。

• 基本學習資料庫
  
  這是您保存過去測試的數據和文檔的地方。 此處的信息可以將您未來測試的有效性和質量提高到出色的水平。
  
  如果您沒有學習資料庫，那麼您將失去可以促進實驗計劃成功的見解。

那麼，為什麼您需要給您的代理機構時間來了解您的業務並從這些資源中吸收信息？ 因為過程是實驗成熟度的支柱。 創建一些基本規則是嚴格入職的一個關鍵方面。 不要錯過。

4. 建立信任

給他們自由報告平坦和失敗的測試。 了解您運行的大多數測試都會失敗。 這很棒，為什麼？ 因為您正在積極消除可能不起作用的東西，並朝著更有可能產生重大積極影響的變化、特性和決策邁進。

如果您只聽說勝利，那麼您將失去 90% 的洞察力。 因為 10 次測試中有 9 次通常是失敗的。

此外，如果您的代理機構必須在每次看到平面測試時解釋自己，他們會覺得他們的服務在其他地方會更有價值——至少，了解實驗及其潛力的代理機構會這樣做。

你不想要那個。 相反，您希望將您的溝通帶到 A-game 並建立信任。 就是這樣：

• 與您的機構開誠佈公地溝通

說和聽。 談論您組織的目標以及您對與代理機構的關係的期望。 然後傾聽他們對您和您的團隊的期望。

確保您承認這些要求和意見。 即使在隨後的會議期間，隨著項目的進展，也要讓他們知道他們的反饋和想法對您的團隊很有價值。

如果您有疑慮，請誠實地表達出來。 通常情況下，您的 CRO 機構熟悉這些問題，並且知道如何以健康的方式解決這些問題。 它們還可以幫助您為實現目標制定一條安全的路徑。

當事情變得模糊並知道您走在正確的道路上時，您總是可以回顧這一點。

• 設定互利的溝通目標

每當您與代理機構合作時，您都必須設定明確的溝通期望。 這將包括溝通媒介、會議時間和頻率、談話要點等。

從長遠來看，預先定義這些事情不僅可以使工作過程順利進行，而且這種確定性可以促進信任。 雙方都知道會發生什麼，因此您可以放鬆並履行其他義務。

但還有一件事：你不只是設置它並堅持到最後。 您必須不時檢查以確保它按預期工作。 例如，詢問您的代理機構是否按時獲得關鍵信息。

PS：如果您要更改任何內容，請讓其他利益相關者知道。

• 像冠軍一樣處理衝突

我們喜歡一帆風順，但事實是，衝突會發生。 如果您進行微觀管理，那麼您就是在為衝突增加賠率。 請不要微操。

但是，如果您與您的 CRO 機構在某些事情上存在分歧，您會怎麼做？

引導您的內部人力資源經理並像專業人士一樣處理那些艱難的對話。 要明白，這些時刻並不是一場讓你獲勝的“你對代理”的競賽。 相反，那是您的合作夥伴，您有一個共同的目標——通過優化（或其他方式）實現增長。

向他們保證目標，一起重新審視它，然後從那裡開始。

你需要改變什麼嗎？ 這種變化是否使您更接近項目的原始目標？ 你有什麼誤解嗎？ 或者有什麼可以更好地解釋的嗎？

在這樣的時刻出現更多問題可以節省解決問題的時間。

最後，你給予信任以獲得信任。 相信您的代理機構會盡力做好工作並取得成果，他們更有可能將這種信任延伸回給您。

如果您以這種方式與您的 CRO 合作夥伴建立聯繫，您將培養一種優質的關係，讓他們為您的組織超越和超越感到興奮。

5.提取學習

建立您的學習資料庫。 您不能放棄以前測試的見解，並拒絕讓您的 QA 團隊有機會更快地診斷任何損壞的廣告系列。

它還將幫助您順利向老闆報告過程和結果的過程，並提高您的測試速度（因為您的想法遍布您的實驗歷史）。

但這只有在可訪問且結構合理的情況下才有價值。 一個富有成效的學習回購始於您以這種方式記錄每一次學習：

1. 記錄測試中的所有元數據

突出顯示測試類型、您運行測試的頁面、接觸點、受眾和增長表面區域。 將此信息以及假設、指標和結果壓縮到元數據記分卡中。

將其保存在實驗存儲庫工具中。 開始時，您可以使用 Google 幻燈片、Notion 或 Airtable 來保存和共享此信息。

2. 記錄不同的學習方式

不是每個人都會喜歡您喜歡保存信息的方式。 有些人喜歡文字，有些人喜歡圖像和視頻等視覺效果。 在記錄您從以前的測試中學到的東西時，盡可能添加屏幕截圖和屏幕錄像。

3. 標記你的測試

通過存儲庫的任何人都應該能夠立即識別測試的目的。 它是迭代還是破壞？ 還是為了優化或創新？ 開發適合您的實驗程序的標籤並使用它們對測試進行排序。

這個學習資料庫對您和您的 CRO 機構來說將是無價之寶。 他們可以在不問太多問題的情況下探索您的實驗計劃的歷史。

他們可以快速診斷問題，或者更好的是，設計一個不會在您已經完成的測試上浪費時間的計劃。

此外，不要將您的實驗計劃視為與您組織中的其他流程分開的實體。 其他團隊成員需要加入您的代理機構正在做的事情。 那時你組織一對一，這樣他們就可以模仿和吸收機構專家如何思考和處理測試。

雖然這些 1:1 是促進實驗文化不可或缺的一部分，但您還應該將其與對匯總數據和報告的訪問相匹配。

這是利用 CRO 代理專家經驗的一種方式。 另一種方法是詢問他們關於構建優化團隊（集中式或分散式 CoE）的意見。 由於專家有遠見和先例，他們可以根據您的實驗路線圖將您推向正確的方向。

結論

既然您知道如何與 CRO 機構合作以獲得最大的生產力，您就可以開始以盡可能少的摩擦實現您的增長目標。 在某些情況下，您可能會懷疑自己的進步，但只要您提供足夠的合作並有正確的期望，您的合作夥伴關係就會富有成效。