讓您的實驗團隊加快速度：來自 3 位實驗專家的提示

你有沒有想過為什麼像 Netflix、谷歌、亞馬遜和 Booking.com 這樣的公司在實驗中大獲全勝，但當你在公司嘗試時，它卻像鐵砧一樣落入水中？

或者也許結果並沒有那麼糟糕。 相反，您經常會發現自己在問：“兩位數的提昇在哪裡？”尤其是當您為測試工具支付了 6 位數的費用時。 噓！

一個大工具應該意味著大結果，對吧？ 並不真地。 實驗更多的是關於你的團隊，而不是 A/B 測試工具。

#teamovertools

該工具只能與使用它的大腦一樣好。 不是說你的人不好，相反，你可以給他們更多，以充分利用你在實驗上的投資。

因此，以下是您如何始終如一地為您的團隊提供他們所需的推動力，以徹底改變您的實驗計劃 - 來自言行一致的專家的提示。

Team Over Tools——新實驗時代的時代精神

曾幾何時，公司會在一個實驗平台上投資 100,000 美元，然後將其交給營銷實習生。

你認為這種做法的結果是什麼？

那種情緒

1. A/B 測試就是擺弄網站元素——比如按鈕和表單，以（以某種方式）將更多人推下一個極其自私的“漏斗”。
2. 商品化CRO就是它！ 實驗誰？
3. 優化過於嚴格，無法做到正確，我們都應該使用經過淡化的直覺驅動決策——現在是可信的——並在上面打上“統計意義”的印記。

簡而言之，類似於每月 250 美元的保留 SEO，沒有人看到結果，並且搜索引擎優化的好名聲被眾所周知的“XYZ 已死”和“流行語”泥濘拖著。

不過值得慶幸的是，品牌開始意識到獲得工具並不是旅程的終點。 這僅僅是個開始。

一位從業者無法正確理解：

哎呀，即使是幾個自食其力的從業者也可能會掙扎。 特別是如果他們不具備我們在後面部分中提到的品質和技能。

事實上，一個實驗團隊的理想結構是一個有層次的、有負載的主題。 曼努埃爾·達·科斯塔（Manuel Da Costa）對此進行了詳細的描述：

他在帖子的第二部分更進一步：

總結聰明人的優秀作品：

• 優化/實驗——無論你怎麼稱呼這個部門，支持和推動數據驅動戰略的部門都需要高管層的支持。 它需要得到高層人士的狂熱支持。
• 實驗的“工作”不僅僅是測試。 它涉及協調、溝通、打破孤島和傳播測試。
• 當然，你不必帶著 10 人的實驗團隊來參加聚會。 但是您必須了解，決定 A/B 測試成功的是您的團隊。 不是工具。

如果您剛剛開始，Alex Birkett 建議使用一種平滑的方式滑入凹槽：

當您開始您的實驗計劃時，請與代理機構或顧問合作。 我知道您認為您可以在內部完成，而且您可能可以。 但有些技術、文化和流程問題通常最好由外部專家解決。

我建議讓像您的增長主管這樣的人，或者兼具技術知識和戰略知識的人來管理該機構。

隨著您的擴展，您最終會希望建立一個“卓越中心”來教授、支持和支持組織的其他成員運行他們自己的實驗。 否則，實驗專家會通過他們自己的團隊運行一切，成為瓶頸。 這個卓越中心通常會建立或管理實驗技術堆棧，提供資源和時間來幫助團隊啟動和運行，主持辦公時間和培訓課程，並回答問題和排除故障。

Alex Birkett，全知數字

無論項目或業務的規模如何，跨職能小隊都很難被擊敗。 權衡或危險信號是，如果團隊有責任但沒有權力，那麼無論如何都會有繁文縟節並且不起作用。 但是一組專注於旅程或增長槓桿（而不是渠道）的“聯合”小隊是我最喜歡的設置。 例如，一支球隊專注於圍繞收購的目標樹，而一支球隊專注於貨幣化。

本·拉貝，斯佩羅

總而言之，每個 CRO 項目都面臨著一些關鍵挑戰：

而且這些問題都不會通過專注於您購買的工具來解決。

如何訓練你的實驗團隊？

培訓您的實驗團隊從招聘開始。 雖然你不能培訓不是員工的人，但你必須確保你找到了態度正確的人。

但這只是一步。 這個過程延伸到入職階段及以後，在您的組織中應該是一種重視持續改進的文化。 讓我們更深入地了解實驗團隊的培訓。

聘請合適的從業者，首先

很像你訓練龍的方式。

從正確的氣質開始！

以下是 Jeremy Epperson 對高功能從業者的 6 個特徵的看法：

一條龍可以燒死你。 頑固的 CRO 從業者也可以。

他們可能不遵循既定的流程，從而使溝通脫軌。

他們可能不勤於記錄（新）過程、實驗結果和學習。 洞察力是遊戲的名稱。 如果你不學習，你為什麼還要測試？ 一些最有價值的假設是值得迭代的假設。

他們可能不會為數據分析帶來批判性思維。 他們可能不知道該怎麼做。 或者他們可能只是更喜歡讓他們的大腦根據先入為主的觀念來想出模式和聯繫，因為違背主觀講故事的原則是很困難的！

我們詢問了 21 位專家，這是他們看重其他從業者的技能（和心態）的細分：

• 以實驗和統計基礎為基礎：了解並理解如何進行實驗，並在解釋結果和從每次測試中提取見解時應用基本統計數據。
• 領導能力和溝通技巧：擅長與利益相關者合作； 相信實驗，傳播它，並設定正確的期望； 對測試和結果保持冷靜； 並能講述數字背後的故事。
• 研究技能：可以像冠軍一樣處理定量和定性研究，提出正確的問題，並為正確的問題使用正確的研究方法。
• 數據驅動：有直覺和創意，但總能用數據驗證它們。
• 善解人意：努力了解客戶和用戶，並經常站在他們的立場上。 還可以將這項工作引導給利益相關者，例如，以最有效、影響業務的方式傳達數據。
• 彈性：如果測試失敗，不會對實驗失去信心。 這本身並不是失敗。 通過正確進行測試，他們可以驗證某些東西不起作用。
• 面向流程：系統、流程、工作流——一個好的從業者必須著迷於它們。 為了取得長期成功，您需要可靠的系統。
• 好奇：保持開放的心態，渴望發現新事物和學習。 不斷地提問是檢驗想法和假設的基礎。
• 可以產生假設和想法：除了提出問題之外，他們能否定義目標受眾、陳述問題、提出解決方案、陳述結果並定義實驗目標？
• 注重細節：你會在幾乎每一份簡歷上發現這一點，但在 CRO 中非常特別，如果他們不注意並失去優化的機會，很多東西可能會漏掉。
• 開發人員技能：他們不需要具備專業水平的技能。 一些基本知識很重要，因此他們可以進行比可視化編輯器允許的更深入的測試。 並且不會有太多的問題等待開發團隊提供幫助。
• Creative & Entrepreneurial : 有這麼多最佳實踐和“久經考驗”的方法，您需要一個喜歡做新事物並以合理判斷嘗試完全不同的想法的人。
• 對實驗感興趣：如果他們對實驗不感興趣（或者至少不關心它），那麼沒有什麼能讓他們堅持很長時間。 你需要長期參與其中。
• 批判性思考者/分析者：批判性地思考數據…… “數據說明了這一點。 為什麼？ 讓我們來看看” “它是這樣工作的，但是為什麼呢？ 讓我們來了解一下” 。 那是一個天生的測試者。

僱用勾選這些複選框的人。

（注意：所有這些可能不在一個人身上，但它們應該在你的團隊中。）

然後授權您的 CRO 團隊挑戰您。 因為實驗的 DNA 就是挑戰假設和馴服猖獗的 HiPPos。

對合適的人的這種影響有助於在您的組織中傳播實驗文化。

慈善和以數據為導向的穩健思維都始於家庭。 Jeremy Epperson 明白這一點——從不質疑現狀會導致停滯不前。

採取投資他們的心態

當你在做的時候，投資於有助於所說的人更多的流程：

• 專注
• 富有成效的
• 在您定義明確的實驗框架的範圍內自由地沉思、思考和製造混亂。

這對實驗非常重要，以至於四分之三的實驗成熟度與人員和流程有關：

• 流程和問責制
• 文化
• 專業知識

Sina Fak 將人員和流程分解為對成功的實驗計劃最有幫助的 10 個特徵。 去看一下：

這 10 個特徵可以很好地作為運行實驗程序的指南，該程序可以生成 Netflix、Google、Microsoft 和其他公司所看到的結果（當然，除了使用正確的工具和技術堆棧之外）。

密切注意 1 到 5，您會在上面的餅圖中看到相同的品質。

當您擁有這一點以及幫助他們成長的心態時，唯一的出路就是向上。 畢竟，用 How to SaaS 的 Shiv Narayan 的話來說，一個優秀團隊的基石可以歸結為

1. 尋找、說服和僱用有才華的人加入團隊
2. 圍繞鼓舞人心的願景調整團隊以進行協作
3. 為團隊提供成功所需的所有支持和資源
4. 幫助提升團隊成員的技能、心態和能力
5. 指導團隊成員度過挑戰和成長停滯期
6. 建立正確的環境和文化以幫助團隊成員茁壯成長
7. 移除那些讓 1-6 處於危險中並且無法被指導的人

入職不僅僅是一份清單

你如何在船上留下持久的印象。 事實上，大多數團隊成員的流失都是從入職開始的。

雖然有不同風格的入職——SOP 與更實際的學習方法——但我們採訪的三位專家都強調了前 90 天的重要性。 在這裡細化……這是您應該關注的特定存儲桶

• 總結關鍵上下文
• 授予對資源（SoP、視頻、培訓）的訪問權限
• 從團隊成員那裡汲取新的想法
• 授權探索（知道團隊的其他成員有他們的支持）

以下是 Alex Birkett 關於利用新團隊成員的新觀點的建議：

每個公司的實驗都是不同的，所以讓他們感到舒服的主要事情是以最容易理解的形式給他們所有必要的背景。 有哪些關鍵的戰略舉措？ 遇到了哪些挑戰，以及希望此人幫助克服這些挑戰的方式是什麼？ 這個人應該認識和了解哪些關鍵團隊成員？ 您必須在哪些嚴格的護欄內操作？ 這個人的 30-60-90 天計劃和期望是什麼？ 應該透明和預先完成。

然後，當然，讓他們訪問他們需要的一切——測試工具、定性研究工具、分析、Slack 頻道、內部電子郵件通訊、會議等。一開始總是會從消防水管中喝水，但更好的是得到他們儘早參與，以促進組織理解。

最後，我被低估的提示：盡可能多地從這個新員工那裡獲得新的想法。 他們以全新的眼光進來，因此他們可以比您更好地診斷您的流程和程序的問題。 盡快得到這個反饋！ 他們最終會喝掉你公司的飲料。 引入實驗想法，以及如何更好地運營和擴展的想法。

亞歷克斯·伯克特

Ben Labay 的建議是立即讓新的團隊成員參與進來：

SOP 很無聊。 最好的辦法是讓他們開始自己的英雄之旅。 讓他們上飛輪的意義：給他們一項研究任務或一組現有研究，以幫助提出有關客戶問題和機會的問題。 這有助於揭示旅程的第一部分，即問題/激動。

好的，現在我們有一個很好的質量問題，所以讓他們想出並列出解決方案。

繁榮，現在說明它。 使用您可能擁有的所有有趣的測試文檔/SOP 講述干預的故事。

然後是測試和學習部分，他們看到它在運行，分析結果等。然後是它的決策和溝通，讓他們也擁有最後的階段。

所以最後，作為入職培訓的一部分，他們“擁有”自己的飛輪。 邊做邊學。

本·拉貝

代理機構 ConversionAdvocates 的典型 90 天入職培訓怎麼樣？

最好的人選是 Jeremy Epperson。 他花費了 70 個小時的個人時間來創建、改進和標準化團隊培訓。 為什麼？

因為人是關鍵！

我們有一個高度結構化的 90 天入職培訓。 以下是它的流動方式：

1. 第一天按小時列出：
    
   1. 所有的會議都列出來了
   2. 培訓材料每週都被解析出來
2. 每週 1 小時專門用於直屬經理和新入職的團隊成員之間的富有成效的會議。 這通常涵蓋以下問題：
   
   
   1. 你被困在哪裡了？
   2. 你有什麼需要幫助的？
   3. 您需要哪些培訓方面的幫助？
3. 每週我們都會針對 CRO 的各個方面進行培訓——深入了解技術雜草。 例如，如果測試假設在實施過程中被證明是一個挑戰，那麼開發人員如何將這一挑戰傳達給他們的直接經理，以便為客戶設定正確的期望？
4. SoP 在那裡指導、通知和授權新入職的團隊成員。

傑里米·埃普森

將培訓擴展到入職之外。 呸！

在經過嚴格的入職流程後，將新員工派往他們的第一個項目是一種常見的做法。 你甚至可能會很好，將他們引入你的學習與發展。

但是對於您表現最好的實驗團隊，您可以在做最少的事情（“嘿！我們讓您獲得您可能會或可能不會使用的 CXL 迷你學位” ）和為團隊培訓設定黃金標準之間做出選擇。 這看起來像這樣：

是的，Jeremy 的入職流程和提供持續的支持和培訓非常棒。 對於您的公司（在這種情況下是大多數公司）而言，持續的教育將處於中間位置。

你的中間可能包括：

• 入職後 6 個月的一對一會議
• 根據他們的獨特需求、技能和熟練程度定制的個人發展計劃
• 用於實驗任務的 SOP
• 直接訪問 CRO 團隊中可以提供指導和解鎖的任何人，以及
• 報銷可以幫助他們改進的工具、書籍和培訓

我們採訪了 3 位（其他）專家——除了 Alex、Ben 和 Jeremy——並彙總了他們對團隊教育的看法。 他們的見解構成了您可以採取的 6 個步驟的基礎，以將您的實驗團隊培訓擴展到通常的入職流程之外。

1. 為組織價值觀添加“持續學習”

聽起來像是“很高興擁有”。

但是 Ben 和 Jeremy 在他們的回答中都提到了這個核心原則。 巡航文化不能與卓越文化共存。

當一個團隊只做需要做的事情時，因為它總是以零好奇心和改進的方式完成，他們不會產生任何出色的東西。 它通常反映了組織中做事的方式。 文化比你想像的更重要！

在 Speero，我們有類似的機制

• 讀書俱樂部——專注於 CRO 行業或與之相關的精彩閱讀
• 'Learning Fridays' 每月一次的研討會，我們都在其中觀看 CXL 課程並在 miro 板上做互動筆記
• 每週由不同的人進行“展示和講述”課程，旨在向團隊教授測試、SOP、新框架等方面的知識。
• 關於“提升和教育”的特定值，我們通過為每個值設置專用的鬆弛通道來加強這一點，並且每當有人在每個值的鬆弛中看到任何證據時，都會添加一個值表情符號，自動將消息發送到相應的值渠道。
• 這讓團隊通過有機地認識到我們何時踐行我們的價值觀來強化價值。我們還有一個“每天踐行我們的價值觀（LOVE）”獎，我們每月提名一名隊友，他們可以選擇我們給予的慈善機構名義上的$ 50捐贈給。 這是一個像徵性的姿態，但這部分機制“系統”有助於推動我們的價值觀，“教育”就是其中之一。

本·拉貝

對於 Jeremy 來說並沒有太大的不同：

• 我們的團隊成員可以訪問 ClickUp 上的實驗學習存儲庫。
• 每週，我們會留出 2 小時用於個人學習和發展。 這是建立在我們從業者的合同中的。
• 此外，我們還記錄了業務的各個方面，並將其轉化為 SoP — 以清單格式提供視頻和書面文檔。
• 對於不同的主題，我們有不同的渠道，人們可以提出問題並獲得答案。 然後，這些頻道中的消息被抓取並放入 ClickUp 上的存儲庫中。
• 我們邀請業務教練審核我們的流程和文化是否存在差距。
• 我們的核心公司價值觀和 12 條團隊啟發式方法嵌入到我們的日常運營中。
• “看東西，說東西”——無論是 QA 問題還是客戶的挫敗感——如果團隊中的任何人感覺到有什麼不對勁，他們就必須進行溝通。

Jeremy Epperson，ConversionAdvocates 首席增長官

這裡的模式是共同成長，不斷分享，並經常強化卓越文化。

2. 展示與講述

請記住，我們之前列出的有價值的 CRO 的品質之一是“對實驗感興趣”。 有時，這是在團隊中點燃和培養的。

你如何讓人們對實驗感興趣，以便他們擁有自己的內在動力來為他們的訓練提供動力？ 像亞歷克斯一樣展示和講述：

如果人們對它不感興趣，你不能真正強迫他們學習，所以我的第一項工作是讓人們對實驗感興趣。 最簡單的方法是讓他們參與實驗。 如果您有時間和空閒時間，從字面上幫助某人進行自己的實驗是做到這一點的最佳方式。 還記得你第一次進行測試時得到的多巴胺嗎？ 當你第一次獲得勝利者？ 給某人同樣的感覺，他們很快就會自己參加 CXL 學院的課程。

如果您無法幫助某人運行他們自己的測試，請發布徵集實驗想法的電話。 手動詢問 Slack 中的人員他們有什麼想法。 然後把這些放在路線圖中，把所有的功勞都歸功於提出這個想法的人。

當人們感興趣後，您可以將他們連接到您的教育系統中，其中可能包括：每週新聞通訊和每週實驗會議讀數、辦公時間課程、課程和培訓材料、會議和活動以及文檔。

亞歷克斯·伯克特

然後，你還可以推廣下一個……

3. 教與學

還記得持續教育的“展示和講述”方面嗎？

好吧，對於那些“展示”的人，應該有激勵措施。 輕推。 Rishi Rawat 稱之為“教與學”：

我們有一個相當簡單的程序。 這叫學與教。 隨著工作的進行，我們不斷地學習新事物。 其中一些見解需要與團隊分享。 我們每兩週召開一次團隊會議，每位成員都會分享他們從自己的工作生活中學到的重要知識。

Rishi Rawat，無摩擦商業（取自測試思維導圖系列）

回到學校，這是鞏固考試前所學內容的技巧。 如果你能向同事解釋一個概念，讓他們理解，你會更好地理解它，並且很難忘記。

4. 將第 3 方學習的選項放在桌面上

雖然迄今為止的大多數建議都依賴於組織流程和學習存儲庫來加深知識，但對於可能不擁有詳盡的內部資源的公司（尚未），讓從業者能夠訪問像 Reforge 這樣的東西是他們欣賞的安全網和動力.

我們的實驗章節是由 10 名具有成長意識的人組成的小組，他們是喜歡被數據證明是錯誤的終身學生。

七十年的優化經驗相結合，都來自多個背景。

除了您對分會儀式和同行評審的期望之外，我們的團隊還擁有 Reforge。

我們要求所有人都參加實驗深度潛水和成長系列。

對於高績效團隊來說，擁有共同語言是一種被低估的超能力。

John Ostrowski，首席增長實驗， iTech Media

5. 積極管理學習之旅

所以被低估了。

這就是為什麼我們慶祝 Manuel Da Costa 在他的實驗團隊結構中加入了“協調者”。 我們知道，Orchestrator 不應該“管理”個人的成長軌跡，但它確實承認這樣一個事實，即從業者在追逐下一個大創意時需要組織起來並跟踪平凡的事物。

工具幫助！

我們有圍繞基本測試領域的 SOP。 最終，隨著歲月的流逝，我們可能會擁有某種我們自己的“測試聖經”。 我目前使用 Roam Research 和 Obsidian 等工具將我在空間中閱讀的文章的想法聯繫在一起，然後在我圍繞某個主題形成自己的想法和論點後與團隊分享。

我們為所有客戶使用 Airtable，但也在內部構建不同的滑動文件類型。

對我和我的小團隊來說，學習一直是最重要的事情之一。 自然地，我希望團隊成員具備正確的性格品質，比如對知識的渴望和變得更好。 這也是一個人對測試應該有的態度——一種“持續改進”的心態。

Ryan Levander, Rednavel 諮詢公司

6. 尋求專家幫助

最後但並非最不重要的一點是，CRO 機構與實驗息息相關。 利用他們的專業知識。

這可以是他們快速啟動然後潤滑您的飛輪的合作，幫助您構建和維護世界級的實驗計劃。 或者這是一個更具體的案例，他們專注於需要改進的領域和必須提高技能的團隊成員。 盡快。

我自己是代理創始人，我經常告訴客戶的一件事是，他們應該使用我們的工具、模板和訓練輪。 我們是一本打開的書。 詢問我們如何優先考慮關鍵字，我們如何決定一段內容的角度，在您遇到性能問題之前需要多少次 301 重定向，為什麼選擇此 CTA 用於這篇博文……等等。

代理商日復一日地做這些事情，他們應該對這些事情有驚人的答案。 如果他們不這樣做，請加倍努力或找一個不同的機構。 許多機構，比如我的，主動做這件事。 但即使是這樣，你在品牌方面也應該推動更多的知識和框架。 這就是從代理機構中獲得最大價值的方法：嘗試竊取他們所有的秘密。

亞歷克斯·伯克特

來自 Speero 的 Ben 也加入了進來。

我們訓練了大量的團隊。 我們舉辦研討會，我們有 CXL，我們做諮詢等。我們將我們自己學到的東西應用到客戶的組織中。 這是一個反饋系統。

本·拉貝

我們編寫了一份指南，介紹如何在內部計劃中充分利用 CRO 和 A/B 測試機構。

結論

實驗工具的輸出受限於您提供的輸入。 誰負責輸入？ 你的人。 與項目的任何其他方面相比，投資於培訓和教育您的團隊對您的實驗計劃和旅程的作用更大。

他們將處於更有利的位置，可以使用您的工具完成偉大的事情，而不是從岩石中汲水（選擇正確的 A/B 測試工具仍然很重要）。

您可以通過轉向卓越和不斷改進的文化來啟動增長。 請遵循我們在本文中為您整理的專家提示。