您應該將大部分測試預算投資在哪裡？

因此，您剛剛獲得了 A/B 測試計劃的預算，並且不確定首先要投資什麼。

是工具嗎？ 一個機構？ 或者可能是整個測試團隊？

我們建議您首先投資於您的團隊以獲得長期利益。 因為如果沒有才華橫溢的司機，任何工具都不會產生有利可圖的結果。 代理機構只會花費更多。

但是，如果您想探索所有選項，則必須權衡您的策略和目標，看看哪一個最適合它們。

讓我們探索……

您應該聘請代理機構還是在內部運行 CRO？

老實說，這取決於。

代理商很棒，因為他們有經驗，您幾乎可以將整個測試過程交給他們。

如果您每月有大約 10,000 多名訪問者，並且只想盡快開始看到當前廣告系列的提升，那麼如果您有足夠的預算，與代理商合作是最佳選擇。

對 A/B 測試團隊投資多少？

您可能會在 Fiverr 上找到聲稱擁有 CRO 知識的人，但我會避開。

平均成本從自由職業者每月 2ka 美元到小型機構每月 8k 美元，或者對於擁有專門團隊的頂級機構每月高達 25k 美元不等。

我們實際上在這裡有推薦機構的完整列表。

當然，代理商並不便宜，但請記住：CRO 是一個高需求、高技能的角色，隨著時間的推移幾乎可以保証投資回報率。

事實上，我們的數據顯示，與內部團隊相比，代理機構在運行相同數量的活動時，平均傾向於獲得更多的成功測試。 這是因為他們遵循“最大贏家優先”的流程，並且對於他們可以在哪些方面對您產生最大影響有更多的經驗。

這種經驗加起來可以幫助您快速獲得結果。

相比之下，初學者測試人員可能會因為專注於小動作和改進而苦苦掙扎。

這並不是說代理總是最好的選擇。 一旦團隊“成熟”，內部結果就可以真正領先。 然後，您更有可能從內部測試中看到更高的投資回報率，這僅僅是因為您正在處理更多數據並成為一家了解其受眾和產品的數據驅動型公司。

你只需要看看像 Booking.com 這樣在整個業務範圍內都專注於 CRO 的公司，看看它會對你的增長產生多大的影響。

哈佛商業評論寫了一篇關於Booking.com如何成為世界上最大的旅遊住宿平台的案例研究，所有這些都來自測試。

如果你沒有 2k-25k 來聘請代理怎麼辦？ 如果您不希望只是提升今天，還希望成為“數據驅動”，一家根據受眾信息採取所有行動的公司怎麼辦？

然後，您將要開始在內部運行 CRO。

在以下情況下，內部測試是一個很好的起點：

• 您希望以比代理機構更低的成本獲得更多的當前測試提升。
• 是可能不符合機構標準的中小型企業。 （交通/預算等）
• 如果您希望能夠隨著時間的推移擴展和發展並建立公司範圍的測試文化。

如果您剛剛開始，可能會有些困惑，因此在本指南中，我將引導您了解應該將 A/B 測試預算用於何處。

如果您想經營自己的 CRO 怎麼辦？ 您應該在哪裡投資您的 A/B 測試預算？

請記住，這都是主觀的，但如果我有 A/B 測試預算並想為一家公司啟動 CRO，然後使用從中獲得的投資回報率和洞察力進行進一步投資，這就是我將遵循的確切過程。

我根據以下幾個標準制定了這份清單：

• 執行測試的主要需求或優先級是什麼？
• 在進行下一步之前，您需要準備什麼？
• 基於最“成熟”的公司，你應該投資哪些習慣、工具和程序來成熟你的測試團隊？ （那些領先遊戲並每年運行 5 億美元的人，主要是由於數據驅動的）。

如果您不知道成熟度在 CRO 方面意味著什麼，我們談論的是您的公司對 CRO 的複雜程度或投入程度。 從開始並運行基本測試的人到根據結果做出每一個選擇的公司。

我將引導您完成每個部分，為什麼它很重要以及何時投資它。

所以讓我們把它分解……

1. 首先獲取您的 A/B 測試工具

您可以投資的最重要的事情就是您的員工。 但是，您不能在沒有工具的情況下運行測試，對吧？

理想情況下，您正在查看 3 種類型的工具：

• 在您的網站上進行分析以跟踪您當前的數據。 這可以是谷歌分析或任何其他。 （注意：您還應該跟踪當前的轉化率，並能夠在開始測試之前查看銷售來源。）
• 一種可以測量人們正在採取的確切行動的定量測試工具，例如我們的 Convert 應用程序。 它將為您提供有關誰採取了哪些行動的數字，以及它是如何改進或減少的，或者根本沒有改變。 沒有這個，你就無法測試任何東西。 有了它，您就可以開始做出明智的選擇。
• 一個定性工具，因此您可以嘗試理解該數據，例如 Hotjar 或其他。 它將允許您調查您的受眾，查看他們將鼠標移動到哪裡，查看他們是否有點擊問題等。最好的情況是獲得一個 QA 工具，將其信息直接與您的量化工具集成。

CRO 就是衡量結果，找出問題，然後嘗試修復和改進它們。 如果您無法跟踪和測量數據，您就無法做到這一點。

現在，您仍然需要為工具付費，而且它們的成本和附加功能範圍都不同。 我們在這里分解如何購買 A/B 測試工具，以及 A/B 測試工具的成本。

（我們甚至會向您展示如何分析您是否為當前工具支付了太多費用，以及如何在合同中期切換到新的供應商。）

所以，首先是工具，但請記住，任何工具都取決於使用它的人......

2.聘請並投資專門的測試人員

您運行的大多數測試都會失敗。

這不是一件壞事，因為您正在證明什麼有效，什麼無效，並在避免損失的同時獲得增量勝利。

有一個專門的員工來運行你的測試，讓你有機會跑得更多、學得更多、成長得更快。 哎呀，您甚至可以使用這些知識來幫助改進產品和體驗。

但問題是，許多剛剛進入測試的公司試圖將其添加到當前員工的角色中。 不要讓你的營銷人員離開項目，把他們變成 1% 的測試人員。

這就是為什麼大多數人認為 CRO 對他們不起作用的原因。 他們進行了一些測試並專注於錯誤的事情，甚至錯誤地讀取了數據。

不要在這裡吝嗇。 如果您可以在內部獲得一名測試儀，這將是您可以做出的最佳長期投資之一，如果沒有他們，您將無法走得更遠。

3. 然後訓練他們！

#teamovertools

有了測試人員後，請花時間培訓他們！ 您可以運行的測試和您可以獲得的洞察力都取決於測試人員的經驗。

沒有它，他們可能會：

• 設置不正確，
• 努力尋找測試思路，
• 提出一個無法檢驗的假設，
• 測試的時間不夠長，
• 讀錯數據，錯過中獎，
• 讀錯並實施失敗者，
• 測試錯誤的東西，或者更糟，
• 不測試他們應該是的東西……

並非一切都像我們認為的那樣有效。 網站設計的最佳實踐可以奏效，但並非總是如此……

初學者測試人員可能沒有測試過這個，或者甚至沒有想過已經測試過它。 他們可能只是在特定頁面上運行廣告系列而不檢查這些數據。 這就是為什麼訓練他們學習測試的所有細節如此重要的原因。

那麼在哪裡可以訓練他們呢？

CXL Institute 有一個很棒的項目，完全專注於 CRO 和 A/B 測試。

旁注：當您成為 Convert 客戶時，我們會為您提供 CXL 培訓。

它非常深入，由一些最聰明的測試人員製作。 我強烈推薦它。

它不僅可以讓您的測試人員了解測試的所有要素，還可以幫助他們優先處理那些影響較大的領域，以及將產生影響的測試類型。

一旦您的測試人員了解了所有這些，它將幫助他們建立可靠的 A/B 測試策略。

4. 創建學習庫和測試文化

如果您想擴大規模、變得有條理、獲得經理的認可、快速解決錯誤並在公司內部建立測試文化，這一點很重要。

我們在另一篇文章中談到了這一點，但請允許我在這裡快速回顧一下。 學習資料庫是您過去所有測試的數據庫。

表明：

• 你曾經運行過的每一個測試，
• 您正在測試的頁面，
• 你的假設是什麼，
• 測試和您更改的內容（包括控制和變化）
• 由此產生的升力、下降或保持不變的變化，
• 平均訂單價值的變化。 （無論是積極的獲得，如果是消極的，顯示通過不推動它節省的錢。）
• 你對這些結果的看法。 （它是否導致了新的見解等）

您的網站有問題嗎？

擁有一個包含過去問題的存儲庫將幫助您的團隊更快地發現和修復問題。

想培訓新人？

將所有知識集中在一個地方可以讓您的測試人員從過去的測試中學習。

獲得更好的買入！

提供這樣的信息可以很容易地將您的測試帶給您的老闆並證明 CRO 的價值。

建立測試文化

說到認可，你甚至可以使用這些測試來建立公司的測試文化。 與您的團隊分享並排的鏡頭和假設，看看他們是否能猜出哪一個表現最好。 之後分享結果。

這讓人們對 CRO 感到興奮。 尤其是如果大多數人認為測試失敗了，那麼他們只會看到它贏了。 這有助於他們看到並非一切都與意見有關。

您還可以幫助他們改進他們可能從未想過的領域！ （想像一下，如果您發現某些詞語和角度可以更好地與您的受眾建立聯繫，然後您的客戶支持、文案和廣告團隊都發現了這一點，以及它可能產生的影響。）

但興奮並不足以完全消除偏見並在您的公司中建立持久的測試文化。

它不如讓 C 級主管——最終的決策者——參與推廣實驗文化那樣有效。

您會看到，去孤島測試效果不佳，因為它需要一套截然不同的技能。 但是，如果您與管理層密切合作，找出可靠的測試理由，他們會逐漸採用持續測試和數據驅動的決策實踐。

您如何展示這些測試並贏得管理層的支持？

有一個很棒的網站可以建模，叫做 GuessTheTest。

它旨在幫助測試人員獲得想法，同時也幫助他們提高假設技能。 該網站通過顯示多個 A/B 測試來工作，讀者可以猜測哪個變體獲勝。

它們定期提供不同的 A/B 測試，您可以單擊然後查看有多少人猜對或錯的結果，以及測試背後的數據、運行的內容以及它如何與獲勝者進行轉換。

它對測試人員非常有幫助，因為它還可以幫助我們挑戰自己的觀點。

這與您在自己的公司中建立測試文化可以做的事情相同，而且不會花費您任何費用。 你不需要像 GuessTheTest 那樣建立一個網站。 相反，您可以簡單地共享您已經對放入存儲庫的圖像和信息所做的事情。

向公司發送一封包含控件和變體的電子郵件，並要求人們投票決定他們認為獲勝的人。 然後發送一封包含測試結果、假設和任何見解的後續電子郵件。

確保您的管理團隊參與此練習。 或者至少告訴他們故事，從開始到結果。 讓他們看看有多麼錯誤的意見。 你會驚訝於它如何開始幫助建立這種測試文化，以及它對完全不同領域的團隊有多大幫助。

那麼如何構建存儲庫呢？

它可以像您計算機上的文件夾一樣簡單，或者您可以查看諸如 GrowthHackers 的“實驗”之類的平台。 它是一個學習存儲庫和項目管理工具。

5.簡化您的流程

您可以做的最有價值的事情之一是：

• 改進你的測試，
• 增加他們的頻率和數量，
• 刪除錯誤，
• 並降低每次測試的成本……

… 是建立系統和流程以簡化整個測試系統。

從您想要測試的假設和組織，到預測試設置，如何將其推送到現場，測試期間要做什麼，以及之後要做什麼。

如果您為重複的每個元素建立系統和 SOP（標準操作程序），那麼您的整個測試程序不僅會改進，而且會增加成功的機會。

為什麼？

每個測試都將運行得更順暢，人為錯誤的機會更少，同時實施速度也更快。 這是一個雙贏的局面。

當然，問題是幾乎沒有任何公司這樣做。 事實上，它在 CXL 的行業狀況報告中一次又一次地出現。

但是整天運行它們的機構呢？

還是擴展測試文化的內部團隊？

這些人總是專注於盡快構建系統……

製作這些也很容易。

為每個測試制定計劃，然後為每個新測試創建要遵循的文檔。 您只需勾選方框以確保一切都已完成。

例如，這是一個簡單的實驗測試過程（基於 Ben Labay 的 Phase-Gate 測試框架），您可以從……

階段 1：收集初步見解（以發現問題或機會）

從了解您的客戶和您在市場中的地位開始。 要收集這些見解，請通過進行調查和民意調查、利益相關者訪談、用戶測試等來研究您的客戶和市場。

您希望得到答案的主要問題是：

• 我們是否滿足客戶/用戶的需求？
• 我們的目標受眾如何看待我們？
• 我們的品牌在市場上的地位如何？
• 我們已經收集了哪些關於這些問題/機會的數據？
• 我們需要在產品、營銷或服務方面做出哪些改變？

這些將引導你提出一個簡明的問題陳述。 您將清楚要衡量哪些指標以及如何實現這些指標。 此外，您將能夠評估所討論的問題或機會是否值得追求或可以推遲到以後。

您從該初步評估中獲得的見解將幫助您準備一份包含您提出的假設的研究摘要。

使用它來獲得執行利益相關者的支持，因為他們必須參與測試與業務目標的一致性。

這將我們帶到了下一個階段……

第 2 階段：準備測試計劃並證明可行性

在這個階段，你要證明測試的可行性，以獲得高管的支持。

他們會想看看潛在結果的價值如何證明實現它所需的資源是合理的。

這些是您在此階段要回答的問題：

• 運行測試需要哪些資源？
• 需要做出哪些關鍵改變？
• 這對其他項目/測試有影響嗎？
• 什麼是 KPI，它們如何表明成功？
• 可能的結果是什麼？

在描述測試的基本範圍的文檔中總結這些問題的答案。 確保它易於理解，可能在電子表格上，以便您可以使用它來獲得管理層的批准。

獲得批准後，您可以繼續進行計劃……

第 3 階段：準備更詳細的項目計劃

在這裡，您可以讓每個人都參與該項目。 執行人員應同意成本影響和預期結果之間的平衡。 跨職能的利益相關者應該準備好參與其中。

為此，請為回答以下問題的項目準備一個更詳細的計劃：

• 我們需要什麼數據/信息來完成測試？
• 我們在哪里以及如何進行測試？
• 哪些指標表明成功，我們如何衡量它們？
• 我們是否準備了一個概述可能結果的決策樹？

將這些都結合在一個計劃中，以使參與該項目的每個人都完全一致。 這也將是您學習庫的寶貴補充。

當所有利益相關者都參與整個計劃時，您可以啟動測試。

第 4 階段：啟動並運行測試

您將在此階段啟動測試，同時執行檢查以確保一切正常。 執行單個或多個 QA 和 QC 檢查以及每週績效檢查。

你在這個階段想要的清晰應該回答：

• 測試是否按照之前階段的計劃構建和運行？
• 我們是否按照預期的方式收集數據和報告？
• 我們是否在測試項目時間表上步入正軌？
• 我們是否解決了此測試可能對其他項目/測試產生的影響？
• 是否每個人都參與其中？

如果有任何問題突出或需要進行任何必要的更改，請將它們記錄在事件日誌中。

向執行利益相關者報告，讓他們知道測試是如何運行的。 事情是否按計劃進行？ 您是否準確地收集數據並準備報告？

這將迎來下一階段……

第 5 階段：準備測試報告

在最後階段，您需要準備完整的測試文檔，詳細說明測試結果的分析、結果、見解和決策。 這將成為您的測試存檔和學習存儲庫的一部分。

您希望在此測試報告中包含以下內容：

• 測試是否達到目標
• 由於您獲得的見解，立即進行了哪些修復
• 如果您發現測試範圍之外的任何新內容，並且
• 受測試結果啟發的關鍵決策

除了測試的詳細文檔之外，創建一個可以一目了然地提供重要信息的測試記分卡將是有益的。

現在，您所要做的就是為下一次測試重複 5 個階段。

6. 提高您的數據質量

一旦您開始獲得更多流量和結果，最好切換您的分析平台以獲得更詳細的報告。

一旦每月訪問量達到 1000 萬，您就可以升級到 Google Analytics 360（我知道，對吧？......哇）

或者您可以開始查看實時的跨渠道工具，例如 Adob​​e Analytics 和 Heap。 （兩者都直接與 Convert 應用程序集成。）

這些工具可以為您提供更準確的數據，幫助您了解用戶行為，還可以測試和跟踪標準 GA 無法做到的事情。

不僅如此，它們還可以插入您的 CRM 和其他工具。

7. 為測試團隊增加額外的支持

到目前為止，您可能只是在使用作為測試工具一部分的 WYSIWYG 編輯器。

但是，如果您想使用更快、更簡潔的代碼開始運行更複雜的測試，那麼值得聘請 Javascript 開發人員。

這樣，您可以讓開發人員使用他們自己喜歡的工具和工作流程進行測試，然後將代碼直接上傳到您的測試工具中，而無需任何額外的代碼膨脹。

還有獎金？

因為測試仍然是通過工具實現的，這將允許您使用所有的分段和測量功能，甚至可以在找到獲勝者後自動關閉。

（我們看到使用開發人員的一個癥結是他們繞過工具或構建自己的測試平台。這可以工作，但是如果您需要開發人員來設計測試，完成後將其關閉並實施獲勝者，它可以成為一個問題。）

探索可以從 A/B 測試中收集到的知識。

嘗試轉換體驗。 開始 15 天免費試用

8. 開始在其他團隊中進行測試

現在您正在運行更多測試、跟踪數據和體驗，現在是開始嘗試跨不同團隊實施測試的好時機。

不再只是銷售，而是產品或流量等。任何可以改進的團隊。

記住：這並不總是關於巨大的勝利，而是小胜利的聚合。 100 個領域的 1% 提升可能會導致您公司的運營方式發生巨大差異。

您可以開始在每個團隊中培訓某人，也可以將人員帶入並進行培訓以管理這些領域的測試。 通常最好慢慢開始，並以核心測試團隊為榜樣，以幫助激勵新團隊並為新團隊提供支持。

只是不要試圖一次建立每個團隊：

關鍵是幫助建立更多的團隊並使他們成功，然後進入下一個。 如果您想建立一種測試文化，您希望每個團隊都能夠獨立運行並提高效率！

9.添加客戶體驗測量工具

Speero（CXL 的代理機構）最近根據 210 家不同公司的反饋撰寫了一份關於 CRO 成熟度的報告，這些公司都在 2020-2021 年運行 CRO。

他們的目標是更詳細地了解不同的實驗計劃，以及計劃的成熟度如何影響結果。

有幾件事對我來說真的很突出：

• 最成功的公司都是數據驅動的。 他們根據測試數據而不是意見做出所有選擇。
• 他們在公司範圍內分享他們的結果，以幫助建立測試文化。
• 他們只是實施客戶體驗測量的少數公司。

並非每個人都衡量客戶體驗是有原因的。 當您談論 CRO 時，這不是您會想到的，因為我們並沒有提高轉化率。 但是，我們正在跟踪、衡量和改進所有相關的方面，這些方面會增加更高的銷售額、重複銷售和保留率，使用與我們可能用於 QA 和 Quant 類型測試相同的方法，只是更詳細。 （所有可能對轉化率有直接影響的因素）。

客戶體驗測量通常需要更具體的跟踪，但是當您這樣做時，您可以開始將貨幣價值等同於客戶體驗的改進。

不僅如此，您還可以隨著時間的推移跟踪保留率。 （向現有客戶進行更多銷售比引入新客戶更有利可圖。）

那麼你能用什麼來做這個呢？

這個過程實際上相當大，這是它並不總是被採用的另一個原因。

理想情況下，您在整個客戶旅程中創建交互和反饋系統，即使在他們離開您的站點並收到他們的產品之後也是如此。 這需要人為因素和一些額外的工具來調查等。

一些機構專門研究 CX，因此您可以通過使用它們（或堅持使用它們）開始。

或者，您可以開始研究 Qualtrics 等工具，並在內部構建您的程序。

CX 是一個具有學習曲線的新主題，但好處可能是巨大的，尤其是當您將其反饋到您的 CRO 測試中時。

10.避免將實驗與收入掛鉤的陷阱

很容易說“因為我們進行了這個測試並利用洞察力做出了這個決定，所以我們將賺到 X 數量的錢。” 這個結論無視現實。

世界並不像我們想的那麼簡單。 如此多的因素會影響事情的結果，以至於認為某個結果在推出時會不斷重複自己是不現實的。

那麼為什麼一些 A/B 測試工具、代理機構和 CRO 從業者仍然將 A/B 測試與收入預測聯繫起來？

答案很簡單：這很令人興奮，而且經常會吸引人們的支持。

但這是一種讓人們失望並讓他們對 A/B 測試失去信心的簡單方法。 這就是為什麼人們錯誤地被吸引到向報告收入的工具注入資金的原因。

這就是為什麼每年在此類工具上花費 100,000 美元是一個巨大的錯誤：

現實世界中有很多不確定性。

測試結果不能完全重複的原因有很多，您不應該忽略它們。 市場變化、客戶行為變化、競爭變化、預算和價格波動。 未來不一定與您進行測試的時間相同。

當您推斷結果以預測明年左右的收入增長時，您將過度簡化 ROI 計算並做出錯誤預測的可能性很大。

測試的真正目的應該是為前進做出決定。

測試更多地與目標和洞察力有關，而不是收入。 告知更好的決策應該是 A/B 測試的重點。 這使決策者走上了一條更自信的增長和利潤之路，而不是擁有吸引人的收入數字並冒著被辜負的風險。

但是，如果一個切實的收入目標不是在你的實驗彩虹的盡頭，通常很難讓人們感興趣。

該怎麼做？

將圍繞實驗的對話從預計收入轉向不進行實驗的成本。 如果不採取行動會有什麼損失？

此外，將測試項目的成功定義為您在針對特定目標做出某些決定時所獲得的信心水平。 這不僅會將重點從預期的收入收益轉移，而且有助於讓利益相關者與優化計劃的正確重點保持一致。

如果您仍然需要數字，請給出一個範圍。 由於實驗僅顯示獲得結果的百分比確定性，因此這是安撫那些要求數字的人的明智方法。 例如，如果結果顯示提升了 4.55%，請告訴利益相關者預期提升 3.2% 到 5.9%。

結論

所以你有它。 剛開始時我將花費和投資 A/B 測試預算的確切方式，以及隨著時間的推移我將如何擴展和進一步投資。

您可以使用本指南來幫助您確定您在測試成熟度之旅中的位置，並實施任何缺失的步驟來幫助您進一步發展，或者只是將其用作今天開始的指南。

如何通過 A/B 測試提高投資回報率？

使用 Convert 預訂演示以找出答案。

請求您的演示