與 A/B 測試工具供應商合作以運行更多（更好）實驗的指南

你可能聽說過這個神話：我們使用了 10% 的大腦。

當大多數人認為這是真的時，我們幻想著使用更多的可能性。 甚至有一整部電影都是由斯嘉麗約翰遜主演的——露西。

通過 GIPHY

但是使用 A/B 測試工具，許多優化團隊的使用率肯定低於 100%。 是的，您不時運行測試並部署獲勝者，但您與您的 A/B 測試工具供應商有密切的聯繫嗎？

除了入職和提供支持之外，您的工具供應商還可以成為您的實驗合作夥伴。 您可以受益於他們與跨行業和垂直領域的客戶合作的專業知識和經驗，以運行更強大的實驗。

鑑於削減預算是常態，優化項目負責人必須優化他們的實驗資金，這一點現在尤其重要。

在本指南中，我們將向您展示如何更有效地與供應商合作，以便您從測試投資中獲得最大回報。

我們走吧！

經濟放緩對您的優化計劃意味著什麼？ （以及為什麼您的供應商是未充分利用的資源）

“這是又一次科技泡沫破滅了嗎？”

自五月以來，這一直是頭條新聞。 但事實是，投資者不再有信心從科技行業賺到的錢和他們投入的錢一樣多。

現金投資不會像過去那樣出現，因此初創公司現在必須適應新的估值並相應地規劃預算。

這不僅影響初創公司； 它是全行業的。 甚至谷歌也在調整。

谷歌首席執行官桑達爾·皮查伊在向員工發表講話時說：“我們需要更有創業精神，比我們在陽光明媚的日子裡表現出的更加緊迫、更加專注和更加渴望工作”。

各部門將修改他們的增長計劃，以適應削減的預算——“更加緊迫”和“更加專注”。 預算削減可能會影響您的優化計劃，但這對您的下一步意味著什麼？

在實驗上花更少的錢？ 當然。 但是，您如何做到這一點並仍能獲得最大的投資回報率？

測試更多。 提高您的測試速度，以更好地了解不斷變化的消費者行為。 現在是停止進行隨機更改並利用測試作為使體驗與潛在買家想要的一致的有效方法的時候了。

現在，您比以往任何時候都更需要更清楚地了解什麼是有效的——這樣您就可以更快、更頻繁地發布利潤驅動的變更。

稀缺孕育清晰。

谷歌首席執行官桑達爾·皮查伊

運行更多測試只是一方面。 以較低的成本運行這些測試是另一回事。 除了獲得更實惠的 A/B 測試工具之外，它還有更多意義。

讓我用 A/B 測試飛輪來說明：

您可以通過改進第 1 步和第 5 步來加速飛輪並降低 A/B 測試的成本。也就是說，運行更多的 A/B 測試以支持更多的決策並降低 A/B 測試的人力成本。

一個真正的數據驅動型組織使用測試來支持決策，對於初學者來說，這是啟動飛輪的第一個測試。 每次返回第 1 步時，您都在積累上一輪已經學到的知識。 我們一圈又一圈地走。

當您通過投資改進您的實驗基礎設施（第 4 步）來簡化測試過程時，第 5 步是可能的。 測試應該易於設置，需要更少的人工干預，並且成本更低。 結果對於非統計學家來說應該易於理解和實用。

這樣一來，使用 A/B 測試來支持決策的興趣自然會增長，更多的人使用 A/B 測試工具來發現您的組織中的改進。 現在，您正在測試更多，並從各個部門的實驗中獲得更高的投資回報率。 不僅僅是營銷。

你看，第 4 步的影響——投資於 A/B 測試工具——使這是雙贏的。 本指南是關於這種類型的投資：與您的 A/B 測試工具供應商建立合作關係，以便您在優化之旅中擁有合作夥伴。

您的優化合作夥伴對您負責，與您的內部團隊或機構合作，提供出色的工具特定培訓，並通過與其他成功用戶分享工作成果來提高您的流程效率。 這意味著您可以縮短測試的交付時間，並進一步降低測試的人力成本。

飛輪以這種方式運行，就不需要復制測試了。 這甚至都不是一回事。 相反，您可以根據之前的 A/B 測試知識進行迭代，並通過與您的 A/B 測試工具供應商的無縫協作，利用其他人的知識來推進您的實驗計劃。

你甚至可能對元分析嗤之以鼻，但你不能否認這樣一個事實，即在實驗團隊管理和結構方面，站在比你先行者的肩膀上是有道理的。 無需重新發​​明輪子； 我們從 Positive John 的 Positive Experiments 通訊中藉來的一個想法。

5 種改善供應商團隊協作以實現更多測試和更多勝利的方法

現在是多汁的部分。

這裡有 5 種方法可以讓您不僅僅是另一個 A/B 測試工具用戶，並與您的供應商建立關係，從而將您的優化計劃提升到一個新的水平：

1. 將您的工具（和供應商）視為一項投資

與其將您的 A/B 測試工具視為成本中心，不如考慮它將為您的程序增加的價值。 僅僅獲得一個沒有錯誤的、功能強大的工具是不夠的。 您需要知道如何充分利用它。

這並不意味著深入研究您永遠不需要的大量功能。 取而代之的是，您的工具是否可以提高您提取的、您可能不知道的促進增長的見解的質量？

如果你尋找這個值，你會找到它——這可能意味著從你的 A/B 測試工具中獲得任何回報與產生讓你的 A/B 測試飛輪旋轉得更快的影響之間的區別。

此外，這也將有助於進一步消除幻想的低谷（更多內容見下文），並幫助您在聽取供應商的反饋和建議時保持開放的心態。

必須對供應商的反饋持開放態度。 他們的見解和觀察對於幫助您微調優化工作非常有價值。

此外，在與供應商合作時保持開放的心態至關重要。 他們的做事方式可能與您習慣的不同，但如果您對他們的建議持開放態度，您可能會對結果感到驚訝。

Neutypechic 首席執行官 David Scott

找出聯繫支持團隊的方式：電子郵件、聊天和電話支持。 哪些適用於您當前的計劃。

當然，請確保您選擇的供應商團隊真正關心您的成功，而不僅僅是做出營銷承諾。 他們應該擁有一流的支持、協作和合作。

像這樣：

和這個：

無論您是擁有內部團隊還是與 A/B 測試機構合作，與可靠、知識淵博的供應商支持團隊的這種關係都會在關鍵時刻出現——尤其是在經濟放緩期間。

如果您是實驗項目經理或領導者，那麼這其中的大部分工作確實是您的工作。 但這並不意味著您不能依靠工具供應商的專業知識來獲得一些支持。 通常，他們會擁有出色的客戶成功團隊，不僅可以幫助培訓您的團隊，還可以在他們的特定平台上培訓您的團隊，還可以培訓他們最成功的客戶用來獲得成果的最佳實踐。 為什麼要重新發明輪子？ 使用他們的經驗和模式匹配來告知您的程序。

這不僅僅是為了討好 Convert，而且他們幫助教育團隊並幫助集成、測試想法和流程改進的能力是我不斷選擇該平台而不是各個公司的其他競爭對手的一個重要原因。

Omniscient Digital 聯合創始人 Alex Birkett

2. 在你的溝通中保持戰略性

並非所有的溝通都是有效的。 只有當溝通與特定目標一致、允許思想的雙向順暢流動並通過正確的渠道完成時，您才會從任何協作中看到價值。

因此，在您使用 A/B 測試工具之前，請制定明確的行動計劃。 您的戰略溝通應遵循以下提示：

分享勝利

您是否體驗過使用 A/B 測試工具獲得“價值”的第一刻？ 是的？ 那太棒了。 分享它並尋求反饋。 有什麼更好的方法，下一步有哪些有價值的想法？

讓人們知道擔憂

如果您還沒有獲得第一次勝利，請與您的供應商交談。 表達您的關注並與他們合作，將您和您的團隊帶到第一個價值時刻。 或者，如果您已經過時了，它們如何幫助您找到一致的價值？

另一種選擇是放棄並找到一個新的 A/B 測試工具，你認為這會讓你更快地獲得勝利。

但是切換工具是一個昂貴且繁瑣的過程。 避免使用它，直到您別無選擇，因為您已經用盡了所有選擇，並且該工具沒有涵蓋您最常見和最重要的用例。 或者，如果工具供應商不關心您的業務並將您視為儀表板上的收入數字。

將其分解為 6 週的 Sprint

將您的大 A/B 測試目標分解成小塊，在一個半月內完成。

專注於讓每個人都與這些目標保持一致——您的團隊和您的工具供應商的客戶成功團隊。 確保每個人都了解您的組織如何衡量成功。

安排你的會議

有一個堅持基本要素的議程​​。 準備好充分利用有限的時間。

通過錄製記錄來跟踪您的會議（如果您在 Zoom 上，請使用像 Fathom 這樣的自動記筆記應用程序）。

將您的實驗記錄在學習存儲庫中，這樣您就可以有一個結構化的演示文稿，讓您的供應商快速了解您的團隊正在做的事情。

Andra Baragan 談到了 Ontrack Digital 內部會議的類似結構：

確保團隊中的每個人都非常熟悉這種結構。 您將花費更少的時間來弄清楚發生了什麼，而將更多的時間從與工具供應商的合作中獲取價值。

此外，請確保您在團隊中激發熱情。 您的 A/B 測試計劃中的某個人應該出席所有會議——根據需要進行調查、提問和回答。

設置會議節奏

當我們說您的 A/B 測試工具供應商了解您通過他們的應用程序體驗持續價值的重要性時，請相信我們。 因為如果你不這樣做，你可能會認為你有一個糟糕的工具。

這很可能在他們減少客戶流失的議程上。 那麼，你為什麼不利用這個呢？

所以，伸出援手。 安排一個例行會議（因為一次會議並沒有減少它）。 這應該是一種持續的關係，您可以克服挑戰並帶著新的挑戰回來。

建立例行會議。 為參與優化過程的所有人員安排時間來定期開會並討論接下來需要發生的事情至關重要。 這將使您能夠跟踪您的統計數據，並讓每個人都了解您的團隊的工作進展情況。

WCAG Pros 聯合創始人 Matthew Post

您應該多久與您的 A/B 測試工具供應商舉行一次這些會議？ 雙周刊？ 每月？

與您的供應商建立定期的溝通節奏。 這可以是每週一次、每兩週一次或每月一次，但請確保定期與基地聯繫，以便您能夠及時了解新特性和功能，並提供有關該工具如何為您執行的反饋。

StreamSEO 首席執行官 Mushfiq Sarker

找到一個與您的實驗計劃保持同步的例程。

與您的供應商建立單點聯繫

此人負責處理您的請求並代表您的供應商團隊處理與您有關的所有事項。

這比手把手地傳遞要好，感覺更個性化，從長遠來看實際上更有效率。

考慮與供應商協商或確保單點聯繫。 這可確保隨著您使用 A/B 測試的時間延長或您的優先級發生變化，您將有一個徹底了解您的需求的人。 與單點聯繫的穩固工作關係使優化節省和避免成本變得更加容易。

DoorLoop 首席營銷官 David Bitton

3. 定義職責範圍

定義您和供應商的責任。 從一開始就概述期望可以為成功建立關係並加快您的優化進度。

雖然看起來很明顯，但我們使用的影響最大的策略是從一開始就建立責任領域，並在整個參與過程中始終如一地傳達這種期望。 這使各方清楚地了解了預期的結果以及實現這些結果所需的資源。

查明資源和預期結果可確保適當分配預算。 我們還定期評估協作流程以發現任何問題並加以解決。

大衛比頓

現在，僅僅說誰在什麼時候做什麼是不夠的。 將此編入您的法律協議中。 這就是為什麼一些用戶更喜歡年度合同的原因。 參考協議並確定誰丟球更容易。

但是，即使您沒有具有法律約束力的協議，在您的入職培訓電話中提出這一點也會讓前進的道路變得輕鬆。

因此，請保留協議記錄。 我們是人類； 我們忘了。 如果其他人加入（在您的團隊或您的供應商的團隊中），則此協議會讓每個人都步調一致。

在您的內部團隊中，您可以使用 RACI 矩陣跟踪您的實驗計劃中的職責。

RACI 矩陣是一個圖表，它為參與的每個人繪製出項目中的關鍵目標、里程碑、任務和職責。

RACI 意味著負責、負責、諮詢和知情：

• 責任人：誰負責完成決策、執行測試、記錄測試等任務？
• 負責：誰委派任務並確保按時完成？
• 已諮詢：在任務中需要諮詢誰的意見？ 誰參與提供反饋以完成項目？
• 知情：誰需要了解最新進展？

我們已經討論瞭如何為您的實驗項目構建和使用 RACI 圖表。 這是它的外觀：

與您的供應商共享您的實驗程序的 RACI 矩陣。 他們會欣賞這種透明度，並將更好地處理您團隊的請求。

您可以通過設置您使用測試工具的體驗的實時跟踪器並與您的供應商共享來增加額外的透明度。

當您一起使用此工具時，建立一個過程來監控進度並相互溝通甚麼有效和無效也很重要。 如果有多個人同時使用此工具（例如，如果您的營銷團隊使用它，而您的工程團隊也使用它），這一點尤其重要。

The Blueprint Training 執行合夥人 Ryan Stewart

這可以是 Notion、Confluence 或 Google Doc 上的文檔，包括您的體驗的屏幕截圖或短視頻記錄。 您的 A/B 測試工具供應商會喜歡它！ 而且，如果您在進行實驗項目時遇到障礙，您會更快地暢通無阻。

在這方面，我們真誠地希望您與您的供應商保持溝通。 他們為您提供了一個定向會議！

歡迎您參加培訓會，讓您熟悉供應商的團隊，設定對旅程的期望，並繼續您的入職培訓。 介於 6 到 12 個月之間。

請記住，來自支持團隊的腳本響應並不構成您的介紹會。

4. 為幻滅的低谷做準備

你要么在裡面，要么朝著它前進。

如果你還沒有幻想破滅的低谷，它是 Gartner 炒作週期第三階段的一個花哨的名稱； 對一個想法或產品的期望和炒作之後的失望已經達到了頂峰。

這就像對現實的嚴厲呼喚，伴隨著謙遜和對工具的信心不足。 但從好的方面來說，它使您的團隊對新想法和調整更加開放。

如果你不是唯一一個處於幻滅低谷的人，你就必須向其他利益相關者保證，你可以從目前所花的錢中賺錢。

如果您在組織中啟動了 A/B 測試，但其他所有人都沒有得到正確的定位，而是抱有不切實際的期望，那麼您可能會發現自己處於壓力之下。 因為 A/B 測試只會增加想法和決策的確定性。

如果你已經走出幻滅的低谷，那麼本節不適用。

對於那些在其中的人，這是一個出局：

首先從工具中繪製出您的需求。

• 你為什麼投資這個技術/品牌？
• 您的優化計劃在哪個階段促使您需要 A/B 測試工具？
• 你試圖滿足什麼需求？
• 對您和您的團隊印象深刻的營銷信息是什麼？

這些是你的期望，而你正處於低谷，因為它們與你目前的現實不符。 我很快就會告訴你該怎麼做。

在我看來，測試領導者最重要的職責之一是確保組織的期望得到適當的管理。 對於該計劃，審查程度將與技術預算的規模成正比。 支出的大小對低谷的深度有很大的影響。

在對技術進行重大投資之前開發價值證明是管理期望的最有效策略。 在你出去買一輛法拉利之前，你應該使用一種便宜或免費的解決方案來啟動你的計劃，這樣可以創造一些早期價值。

Gerrid Smith，電子商務總監，Fortis Medical Billing

幻滅的低谷是為什麼大量的工具預算對於實驗計劃來說不是好兆頭，除非價格標籤可以明確證明是合理的。 例如，

• 邊緣或高級用例不是獲得企業 A/B 測試應用程序的正確理由。
• 邊緣或高級用例不會帶來可觀的回報，因為解決的問題可以改善極少數用戶或測試的情況。
• 但預算越大，審查和期望就越大。 你無法逃避這一點。

TL;DR：不要不必要地增加壓力。

如果您無法度過幻滅的低谷，您將不會與您的供應商建立相互尊重的合作關係。 您的團隊成員會將其視為徒勞的練習。

低谷已經損害了你的士氣嗎？ 不算太晚。 與您的供應商通電話，列出您在上面概述的期望，表達您的擔憂，並決定接下來的步驟。

當某些事情不像你想像的那樣有效時，不要害怕提出問題！ 您的供應商隨時為您提供幫助，他們想要您的業務，因此他們會盡其所能確保您對他們出售給您的產品感到滿意和滿意！

瑞恩斯圖爾特

當您與您的工具供應商通電話討論這些問題時，這裡有一些談話要點：

• 幻滅的根源是什麼？
• 明確定義使果汁值得擠壓的“價值”或“輸出”（即證明價格標籤的合理性）
• 有沒有可能用工具來實現這個價值？
• 如果是，這個時間線會是什麼樣子？
• 誰將負責什麼？
• 你會多久聯繫一次基地討論進展？
• 你的團隊有什麼不滿？ 讓您的供應商解決這些問題。

如果您有一個優秀的供應商，這將是一次富有成果的對話，為您帶來全新的視角，並為您指明成功的優化計劃。

我們的用戶喜歡讓 Dennis（我們的 CEO）和 Claudiu（我們的 CTO）隨叫隨到的事實。 因此，如果出現這種情況，只需打個電話就可以與我們的高管進行對話。

5. 利用教育和賦能

成功的 A/B 測試需要一些技術知識。 這就是為什麼對於不精通統計的人來說，像統計顯著性這樣的術語乍一看似乎很陌生。

要充分利用 A/B 測試，您需要清楚地了解

• 隨機在線實驗（如拆分測試和 A/B 測試）的工作原理
• 如何使用您的工具來計劃、設置和執行測試； 和
• 如何解釋測試結果、提取見解並實施它們以鞏固您的勝利。

教育絕對至關重要。

獲取其中一些知識完全取決於您和您的團隊。 但是，如果您有一個 A/B 測試供應商很樂意在這方面為您提供幫助，該怎麼辦？ 甚至更好！

在選擇 A/B 測試工具時，它應該是一個標準。

在選擇 A/B 測試工具供應商時，您應該將其視為一種集成且互補的合作夥伴關係。 雖然這聽起來很平庸，但大多數買家只是想檢查幾個框。 它是否支持個性化？ 它是否與穀歌分析集成？ 它要多少錢？

這些事情很重要，但它們是賭注。 我參與過幾個 A/B 測試程序，我可以告訴你，限製程序的很少是技術方面。 相反，限制功能往往是文化方面：教育、支持、流程優化和可訪問性。

因此，在與供應商合作時，我喜歡審核我當前的程序，看看最大的限制維度是什麼。 在大多數情況下，這是教育和賦能。 簡而言之，團隊中沒有足夠多的人在實驗平台上接受過良好的培訓，也沒有足夠的人在構思、運行和分析實驗的過程中接受過良好的培訓。

亞歷克斯·伯克特

要概述您的供應商在教育和支持資源方面的需求，確定您已經擁有的（經驗和才能）並與他們分享您的優化目標，以便他們推薦資源來填補空白。

實驗供應商應該為您提供

1. 入職

獲得針對您的特定用例定制的入職培訓（這樣您就不會花時間學習不需要的內容），並讓他們將您指向相關的支持文檔以幫助您入門。

通常，入職成本會計入第一年的成本或單獨收費。

2. 工具培訓

這很簡單，但有時會被忽視。 在開始使用該工具之前，請確保您接受過有關如何使用該工具的培訓。

3. 訪問專家網絡

這是擴展支持的另一個想法：利用供應商的網絡來尋找 CRO 機構/專家進行擴展。 即使只是在 LinkedIn 上關注他們，也會讓您進入一個可以將您帶回家進行優化計劃的見解世界。

4. 暴露

您還希望在他們的案例研究和營銷活動中脫穎而出——畢竟這是免費宣傳。 您對 CRO 計劃為您的品牌所做的事情所激發的熱情越多，您獲得的買入貨幣就越多。

5. 學習資源

探索免費資源，如支持文章、網絡研討會錄音、教育博客文章等。

利用供應商提供的所有資源。 除了實際的 A/B 測試工具外，大多數供應商還提供諮詢、培訓和支持等服務。 利用這些資源可以幫助您充分利用您的投資並優化您的測試計劃以獲得最大的影響。

穆什菲克·薩克

然後，還有更好的方法：了解他們是否提供特殊的外部培訓訪問權限。

Convert 以較低的成本提供 CXL 的 CRO 迷你學位（免費）和 GoodUI 訪問。

關鍵要點

您的優化程序的真正亮點可能在於與您的 A/B 測試工具供應商建立有利可圖的關係。

當您利用他們與來自不同行業的其他團隊合作的專業知識來發展您的計劃時，這是一個成功的驅動力。 但這種合作關係必須結構化。

你必須

• 了解您的 A/B 測試工具是一項投資的心態
• 使用有效的溝通來促進思想的交叉傳播
• 定義責任範圍
• 為幻滅的低谷做好準備，以及
• 利用“教育和支持”資源來提升您的遊戲水平。

優化計劃負責人不僅可以通過這種方式優化他們的實驗預算，而且還可以創建有價值的見解，從而避免當前經濟中發生的預算削減。

仍然不確定適合貴公司的 A/B 測試軟件是什麼？

查看我們對頂級 A/B 測試工具的公正比較——適合各種需求。

下載免費比較