你需要一個 A/B 測試學習庫來運行基於經驗的實驗（專家說）

您的測試程序是否感覺缺乏結構或影響？

您是否在沒有攻擊計劃的情況下運行測試，並且不確定要優先考慮什麼或下一步該在哪里工作？

也許你會迷失在試圖記住你之前嘗試過哪些測試、哪些測試有效、哪些失敗？

或者，也許您剛剛加入了一個現有的程序，但不知道他們已經運行了什麼、它是如何執行的，或者從哪裡開始？

在進行 A/B 測試時很容易迷失方向，但幸運的是，有一種簡單的方法可以解決所有這些問題。

我們最近採訪了 5 位專業的 CRO，一件事很清楚：如果您想運行以經驗為依據的實驗並發展您的測試文化，您需要有一個集中的洞察存儲庫。

什麼是學習資料庫？

簡而言之，它是存儲有關您運行的過去測試的所有信息的單一位置。

• 目標頁面，
• 假設和你實施的，
• 測試元素和變體，
• 結果，
• 它對重要指標等的影響。

它可以像筆記本電腦上的文件夾或 Asana 項目一樣基本，但學習存儲庫不僅僅是一個美化的文件系統……

“實驗學習資料庫”允許更廣泛的企業和利益相關者了解迄今為止進行了哪些實驗以及獲得了哪些經驗。 存儲庫為讀者提供了以自己的時間和速度消費內容的能力，這在全球業務中很重要。

– Max Bradley，Zendesk 管理 Web 實驗

這意味著您可以輕鬆訪問整個團隊的所有過去測試，這實際上可以幫助您建立測試文化。

如何？

參與測試並看到測試運行的人越多，他們採用這種思維方式的速度就越快。

通過查看已經運行的測試及其結果，它可以為任何有權訪問此信息的人激發新的想法和角度。 這可能會導致一個啊哈！ 測試團隊之外的公司不同領域的時刻，然後他們可以自己測試或提交給測試團隊。

例如，如果付費廣告部門確定了在頁面測試中得到提升的最有效的語言，那麼他們可能希望在他們的廣告文案、付費搜索或社交媒體中嘗試這一點，因為它顯然能引起觀眾的共鳴。

訪問過去的測試不僅可以為外部團隊成員帶來新的想法，而且還可以減少嘗試查找重要信息所花費的時間。

但是，學習存儲庫不僅僅是公司範圍內的訪問和節省時間：

學習是構建有意義和有效產品的核心原則，收集有意義和經過驗證的學習的唯一方法是運行實驗並將所有這些學習收集到一個中央存儲庫中。 此存儲庫中的學習可用於許多練習，例如：機會/解決方案樹，您可以在其中使用幾種不同的解決方案方法來實現某個用戶目標。

運行基於經驗的實驗的關鍵是擁有一個可訪問、結構化、可搜索和適當更新/管理的中央存儲庫。 以成功的方式做到這一點可以對整個實驗程序輸出的生產力和質量產生指數影響。

– Matthias Mandiau， H&M 集團的實驗和數據分析專家

正如馬蒂亞斯所說，我們越了解我們的受眾，我們就能更好地為他們提供產品和服務。

我們可能無法立即獲得洞察力，但它可以讓我們走上正確的道路，從那裡我們可以進一步改進並提供最好的產品和用戶體驗。

更好的是？

繼續學習和管理我們的測試結果可以幫助我們避免代價高昂的錯誤……

您已經進行了實驗，現在避免這些錯誤

有一個地方來存儲和訪問過去的數據是很棒的，但這並不是唯一的好處。

事實上，在我們的採訪中，我們發現一些常見的測試程序錯誤被反复討論——幾乎所有這些錯誤都通過建立一個學習庫得到了糾正。

不尊重“昂貴”的公司數據

學習存儲庫最有說服力的論點之一是一個簡單的事實，即來自測試的所有數據都是公司財產。

您正在花費寶貴的時間和金錢來收集這些數據。 您要做的最後一件事是不要存儲或使用它，或者更糟的是，永遠不要回到它來幫助您計劃新的測試並從過去的測試中學習：

當它的主要產出（學習）沒有得到照顧時，為什麼要在一個實驗項目上投入這麼多錢呢？

一個好的概述是關鍵，以便了解已經開展了哪些工作、現在應該關注什麼以及應該很快開展哪些工作。 也這樣，知識不依賴於人，因為人們在公司裡來來去去。

最重要的是，它允許更好的知識共享、更好的入職培訓、準備更好的商業案例、更好的研究……

——馬蒂亞斯·曼迪奧

全面了解您的測試計劃不僅可以幫助您更好地測試，還可以培訓新員工甚至團隊領導。 （並繞過 CRO 經理離開公司時失去所有洞察力的問題）。

如何？

好吧，現在新成員可以看到以前嘗試過的方法，有效的方法，以及可能有效但未正確實施或可以進一步迭代的方法……

錯過了發展全公司範圍內的經驗（和數據）知情的“直覺”

用你的直覺提出測試想法並沒有錯。 有時，您只是從數據或經驗中獲得直覺，可以幫助您形成假設並完成初始測試。

但是，您需要注意始終依賴這種直覺，而不是關注研究和數據。

我告訴我的團隊（在 Bouqs）的一件事是……當你沒有數據（記錄的學習/測試中的工件）時，你必鬚根據你的直覺或利益相關者的直覺做出決定。 學習數據庫創建了一個
我們所有人的直覺，我們可以用作直覺檢查，但不僅僅是我們自己的或有偏見的。

– The Bouqs 產品管理副總裁 Natalia Contreras-Brown

擁有最成熟 CRO 計劃的最大公司幾乎都是數據驅動的。 他們根據數據告訴他們最重要的內容做出選擇，這通常是他們成為市場領導者的原因。

不要因為只測試直覺選擇和意見而感到內疚，也不要只關注指標。 花時間從每個測試結果中找到上下文洞察力。 遵循信息，最重要的是，跟踪並保存發生的事情以及您認為發生的原因，這樣您就不會忘記您嘗試過的事情以及為什麼會發生這種錯誤。

重複之前運行過的測試

我們已經暗示過這一點，但是如果不跟踪你在做什麼，很容易重新運行你已經嘗試過的測試想法，或者因為你認為它已經運行而錯過了一個測試想法。

學習存儲庫有助於避免再次運行以前進行過的實驗。 它還減少了為實驗團隊回答利益相關者對結果和學習的查詢所花費的時間。

——馬克斯·布拉德利

善待你自己和你未來的團隊，並記錄你一直在運行的內容以及每個測試的所有細節。

可能是您想要運行類似的東西，但沒有您之前嘗試過的細節，很容易錯過或再花 30 天時間獲取您應該保存的數據。

溝通不暢或無法獲取信息

成熟的 CRO 團隊最大的區別之一是他們能夠快速輕鬆地溝通或訪問信息。 不僅在於易於訪問，而且在於它們提供正確信息的效率。

擁有一個有據可查且有條理的學習資料庫可以減少溝通障礙，甚至有助於在您搜索信息和暫停工作的同時避免測試工作流程的邊緣化。

（一個實驗存儲庫）是一個知識管理系統，它詳細地保存所有數據，並且團隊通常可以訪問，但最重要的是促進以正確的格式為正確的人在適當的時候。

它是測試工作流程中的“數據層”，如下所示：

– Ben Labay，董事總經理 / CRO & Experimentation @ Speero by CXL

將學習（和金錢）留在桌面上

不要忘記大多數測試都失敗了。 只有通過迭代和從過去的測試中學習，您才能改進並獲得那些影響 ROI 的勝利。

如果不跟踪您的運行情況和去過的地方，就很難繼續前進並看到進展，甚至對您的測試過程充滿信心。

Stefan Thomke 表示“儘管充斥著來自各個方向的信息，但今天的經理們在一個不確定的世界中運作，他們缺乏正確的數據來為戰略和戰術決策提供信息”。 實驗驗證和驗證幫助我們學習。 將這些知識整理到一個易於訪問的存儲庫中以查看這些學習以供未來決策是至關重要的。

– David Mannheim，CRO 副總裁，BrainLabs

以下是 Ruben de Boer 對理想過程的直觀表示：

從你運行的每一個測試中學習和改進是非常重要的。 它不僅與您未來測試的成功直接相關，而且甚至可以幫助您將當前的勝利擴展到其他領域甚至其他站點。

我們在 H&M 的產品團隊中進行的幾乎所有其他實驗都得到了對先前實驗或其他研究方法的記錄學習的支持。

——馬蒂亞斯·曼迪奧

這種學習和重複的習慣幾乎在我們採訪的每個人身上都一次又一次地出現。

在 Brainlabs，我們為著名男裝店 Flannels 所做的實驗中，大約 40-50% 是相互迭代的。 這證明了在單個實驗中學習的力量，以及它如何演變成其他東西； 因為我們總是從實際刺激如何影響變量中學習。

——大衛·曼海姆

讓我們再舉一個例子。

假設您有一個潛在客戶捕獲頁面，並且您使用的佈局適用於一頁。 然後，您可以將其調整到您網站上的其他人，看看它是否也增加了那裡的提升。

如果您是一家在類似領域擁有多個客戶的代理機構怎麼辦？

一家公司的見解和勝利可能會帶來可能對您的其他客戶也有用的想法和設計……

曾經有效的方法很有可能尚未被充分利用：

• 它可能會以更大的強度再次工作（對於同一客戶）
• 它可能會在其他地方再次起作用（對於同一客戶）
• 它可能會再次適用於完全不同的人

換句話說，過去的勝利具有預測潛力，可以加速優化（更多的勝利，更大的成功概率，更大的影響幅度）。

– Jakub Linowski，GOODUI.org

Drip Agency 與他們的 2 個客戶正是這樣做的。

他們從一個客戶那裡獲得了成功的頁面佈局設計，然後在另一個客戶上進行了測試，以立即提高轉化率。

GoodUI 做了類似的事情。 他們從一位客戶那裡獲得了成功的測試想法和信息，並以此為基礎來測試網站上的其他頁面。

這使他們的轉化率提高了 42%！

然後他們更進一步。

他們不只是為一個客戶實施成功的設計，而是進行了一個案例研究，看看您是否可以根據之前跨多個網站的活動預測獲勝測試。

理論是某些用戶體驗設計可能適用於其他行業。

因此，他們使用以前的獲獎設計佈局進行了 51 次測試，並在使用以前的獲獎者幫助在其他網站上設計新測試時取得了 71% 的成功率。

很酷，對吧？

好吧，這是學習存儲庫如此有用的另一個原因，也是優秀測試人員關注過去的贏家的原因。

如果你仔細想想，GoodUI 基本上是一種學習資料庫，因為它是跨多個站點和行業的過去測試和獲勝者的數據庫。

問題是，他們經常會看到在其他網站上重複使用的設計，並註意到特定的模式會提供提升。 也許其他人進行了測試，但它有效，等等。

作為它們的智能 cookie，GoodUI 使用這些特定模式作為為新客戶運行測試的靈感……

這是有道理的，對吧？ 一旦您解決了技術問題並決定了要測試的頁面，查看類似頁面上過去的測試元素以及哪些有效的方法並沒有什麼壞處。

您可以在開始時使用其他網站來獲取靈感，但所有專家都同意。 您需要盡快開始構建自己的存儲庫。

投資實驗存儲庫

Jakub Linowski 在 LinkedIn 上說，如果你看看醫生、工程師、運動員和軍隊等職業，你會發現他們的大部分成功和成長都建立在他們從過去的實驗中獲得的經驗之上。

有了這種心理形象，您可以想像當實驗不必總是從 0 級開始時，CRO 領域整體發展的速度有多快。但如果沒有學習資料庫，情況就是如此。

許多內部 CRO 團隊對此感到內疚。

如果你把這個想法帶到更近的地方，很明顯，在你已經知道的基礎上構建是一種加強你的實驗計劃努力的可靠方法。

存儲庫 = 更高的實驗成功機會

只有當你有學習測試（和過去的測試）的心態時，你才會真正重視實驗提供的東西，即在給定上下文和環境的情況下了解什麼有效，什麼無效。

UX、UI、產品、營銷中的 20 個“好決策”（多虧了實驗）可以幫助鍛煉決策肌肉並增強直覺。 你看到你的觀點被否決或驗證的次數越多，你就越需要找出什麼是有效的，以及你的聽眾需要什麼。

那些為了轉化率而進行測試的人錯過了這張大圖。 這是關於了解你的觀眾需要什麼，而不是關於正確。

讓我們向您展示如何：

如何構建你的學習資料庫

學習資料庫旨在消除數據孤島、促進協作和加強溝通。

如果您的結構不正確，那麼滿足這些基本要求將非常困難。 但是關於構建你的學習資料庫的事情是有一些選擇。 對於不同的組織，它們的工作方式不同。

這不是問題，因為我們將向您描述這 3 個模型，然後您可以想像出哪個模型與您的團隊、部門或組織完美契合。 更好的是，專家推荐一種特定型號。

在實驗團隊結構方面似乎有一個贏家：卓越中心。

1. 卓越中心 (CoE) 為特定部門的實驗團隊提供支持和裝備

在此模型中，實驗團隊是整個組織的實驗計劃的 CoE。

因此，對於其他部門中想要進行實驗的任何人來說，他們都是一種看門人。 你通過他們，他們幫助建立它。

然後他們監督這些實驗的完整性，並使一切與組織的廣泛實驗目標保持一致。

今天以這種方式構建將在明天消除下線問題。 因為一切都保持在同一軌道上，易於監控，並且以這種方式構建學習存儲庫很容易協調。

這裡的主要挑戰是它不像分散模型那樣易於訪問。

2. 分散的單位跨部門，讓每個人都參與進來

下放單位在各個部門進行實際測試。 這是一個很好的策略，因為他們最了解自己的增長循環和指標，因此他們處於設計和執行高影響實驗的最佳位置。

在這個模型中，每個人都可以運行測試——無論他們的部門和實驗經驗水平如何。 與 CoE 結合使用時，它會吸引一些仰慕者……

我是去中心化實驗的忠實擁護者，與卓越中心一起工作以進行質量控制和宣傳 AB 測試。 根據我的經驗，這些結構最適合那些真正擁抱實驗力量的文化。 就學習資料庫而言，這應該效仿； 應該授權團隊成員進行實驗並突出從他們的勞動成果中學到的東西。

——大衛·曼海姆

因此，維護學習存儲庫的責任也隨之而來。

3. 由一人管理以收集和維護實驗學習

然而，與 CoE 單獨模型不同，分散模型的學習存儲庫更難協調。

指定一個負責記錄和維護學習內容的角色會有所幫助。 這有一些好處：

由程序/項目經理（跟踪）和主要測試策略師（輸入“故事”）管理，但如果做得好，它可以在所有階段都有輸入，因為輸入是通過表單條目（如問題表單、新活動跟踪器、新的測試解決方案創意等。

– Ben Labay ，常務董事 / CRO & Experimentation @ Speero by CXL

馬蒂亞斯·曼迪奧同意本的觀點。

我更喜歡集中/分散之間的混合：

存儲庫始終需要可訪問（雲）。

需要能夠結合不同的研究方法來創建強有力的假設。

存儲庫和所有權的設置和管理應由 1 個團隊/經理（集中式）進行。 很好地跟進中央級別的高級宏觀實驗績效 KPI​​。

每個從事實驗工作的產品團隊都應該有一個利益相關者（數據分析師/CRO），他有責任妥善處理以正確格式上傳到中央存儲庫的所有收集到的學習。 在分散的團隊中跟進產品團隊級別的微實驗績效 KPI​​ 也很好。 例如，可以是鏈接到 GA 或存儲庫的儀表板。

在 Zendesk，一位經理負責維護存儲庫，但輸入來自“測試所有者”：

目前，我們的存儲庫由企業內的一個團隊管理，一個人擁有它的全部所有權。 要求測試“所有者”將測試完成後的學習添加到存儲庫的相應區域中。

——馬克斯·布拉德利

這就是管理分散型模型的一個人（或一個小團隊）如何保持實驗學習庫的效率和質量保證。

它類似於 GoodUI 正在做的事情——利用來自垂直行業和客戶的學習成果，創建一個極好的實驗見解資源。

因此，即使您還沒有學習資料庫，您也可以從中汲取豐富的知識。 Convert 的計劃附帶 GoodUI 折扣訂閱。

如何記錄你的學習

就像任何有組織的文件系統一樣，您的學習存儲庫不能成為轉儲數據的地方。 需要有一種明確和適當的記錄學習的方式，以便對每個人都有用。

這將意味著直觀的數據可視化表示、無行話的數據故事，以及在需要時定位特定測試的簡單方法。

就是這樣。

捕獲並記錄測試中的所有元數據

顯而易見的第一步是從測試中收​​集數據。 但是你收集什麼數據？ 說收集所有東西很容易，但這很容易讓人不知所措——而且令人沮喪。

那麼，您的實驗存儲庫中要包含哪些數據？

它是測試概念的完整元數據。 它應該主要根據需要提出的問題來跟踪輸入，這些問題在類別中是標準的：

• 測試類型
• 頁面
• 接觸點
• 觀眾
• 生長表面積

但在這些類別中不是標準的，例如，受眾會因公司而異，但所有公司都會針對不同的受眾群體進行測試。

——本·拉貝

這看起來像什麼？

讓我們探索每個類別，以便您獲得更清晰的圖片：

• 測試類型

是什麼樣的測試？ A/B 測試？ MVT？ A/B/n 測試？

• 頁面

您可以在此處指定進行測試的站點上的一個或多個頁面。 是主頁嗎？ 特定的產品頁面？ 您的 SaaS 品牌的定價頁面？

• 接觸點

接觸點是客戶旅程中與您的品牌互動的區域。 這可能是廣告、產品目錄、博客文章、營銷電子郵件、您的應用程序等。

• 觀眾

誰是您的測試目標受眾？ 您是否根據任何標准定位特定細分市場？ 行為數據？ 目標？ 訪客來源？ 地理位置？ 還是他們都是隨機選擇的？

• 生長表面積

這是指鼓勵用戶留在您的網站或深入挖掘他們與您的品牌的關係的互動或功能。 所以，這是一種提升每個訪問者價值的鉤子。 這可以是免費試用優惠或演示。

為了豐富您的元數據，您還需要包括：

• 日期
• 網址/正則表達式
• 先前測試的迭代——鏈接到作為您報告的測試基礎的先前測試。

你用更有影響力的信息把它封起來。 包括…

• A和B的截圖
• 隔離與否（更改次數）
• 具有置信區間的影響百分比
• 指標類型

——雅庫布·林諾夫斯基

越多越好。 但要保持相關和有用。

這是 Zendesk 的 Max Bradley 的另一個例子：

對於基本的跟踪報告或存儲庫，Convert 的報告還將向您顯示獲勝者以及您測試的內容。

在保留信息的同時尊重不同的學習方式

在存儲實驗數據時，您必須訴諸人們喜歡使用信息的各種方式。

執行此操作時需要記住某些事項……

我們嘗試了很多不同的方法。 作為一家代理機構，我們在任何特定時間都與來自不同企業的多個不同利益相關者打交道。 這就是挑戰——人們吸收知識並以不同的方式學習。 他們是視覺、聽覺還是動覺學習者？ 它們在 Myers-Briggs 鑰匙上的什麼位置？ 如何與您的利益相關者交流幾乎與您交流的內容一樣重要。 根據我的經驗，我了解到學習存儲庫應該是成功的兩件事：

• 可主題化和備忘，因此很容易過濾
• 簡潔的可掃描學習。

——大衛·曼海姆

您可以提供盡可能多的有關報告的實驗的信息。 並以各種格式這樣做。 這就是為什麼您需要屏幕截圖、視頻記錄和故事來為所有數字提供背景信息。

請記住保持相關性、簡潔性和可掃描性。

標記您的測試以最大化學習

標記您的測試可讓您輕鬆訪問所有內容。

它還可以幫助您一目了然地了解測試的目的。

如果您的存儲庫持續增長，那麼有一天，您將記錄數千個測試，並有數百人使用它來獲取想法、提取見解並為決策提供信息。

如果人們能夠了解每個測試在您組織的解決方案範圍內的位置，那麼這些學習將更加有用。

如何溝通你的學習以獲得最大效果

只有當人們實際使用它時，您的學習存儲庫才會使您的實驗程序受益。

因此，除了使其易於訪問之外，還要以一種有意義並激發對實驗的興趣的方式將其呈現給您的團隊和組織的其他成員。

但是，你是怎麼做的？ 這些是數字和一些可能被誤解的行業特定術語。 你如何讓來自不同學科的人們欣賞你收集到的知識？

交流 A/B 測試可能很棘手，但如果您遵循這些步驟，您將消除這些障礙並充分利用您的學習資料庫。

讓它成為一種習慣

首先，如果實驗是一個陌生的概念，那麼從學習中養成習慣可能需要一些時間。 所以，在這段旅程中耐心等待。

你在這裡的任務是讓這部分成為你平時每週活動的一部分。 它可能是頭腦風暴的靈感部分，也可能是你為結束會議而玩的遊戲。 例如，你自己版本的“什麼測試贏了？”

這是建立以實驗為常態的文化的宏偉藍圖的一部分……

養成以一致、有趣和鼓舞人心的方式與團隊一起學習的習慣。 它需要像往常一樣成為業務的一部分。 每周至少應該召開一次會議，討論假設和實驗結果。 每個 sprint 都應該包含至少 1 或 2 個實驗，讓實驗成為一種習慣會創造一種積極的文化。

——馬蒂亞斯·曼迪奧

除了在團隊會議中展示它之外，存儲庫測試也很容易在學習通訊中分享。 習慣在此處添加它們也可以更容易地在站點範圍內採用實驗。

謙虛透明以建立信任

讓人們相信實驗可以解決所有問題似乎很酷，但這會產生誤導。 幫助您的同事了解這一切是如何運作的，這些數字代表什麼，以及您可以對您得出的某個見解有多大的信心。

不要像 100% 確定的那樣呈現見解。 相反，向他們展示這是您做出決定的最佳方式之一，而不是“直覺”和最佳實踐。

反其道而行之會使他們對您建立的學習資料庫失去信任，並可能將其丟棄以塵埃落定。

以下是 Speero 的 Ben Labay 關於如何傳達結果的更多提示：

不要隱藏丟失的測試。 取而代之的是，以此為契機來展示測試的雙重好處。

如果你贏了，你就知道什麼是有效的。 如果它丟失了，您已經了解了哪些方法不起作用，因此您可以避免做出損害關鍵指標的更改。

在這兩種情況下，您都了解了可以改進的東西。

當您展示時，將其構建在一個故事中，展示洞察力在現實世界中的應用，並邀請利益相關者參與撰寫故事，就像 Max 所做的那樣：

我們每兩周向更廣泛的團隊展示最新的學習成果，每月向更廣泛的企業展示最新的學習成果。 我們試圖通過展示輸與贏的測試來盡可能透明。 除此之外，我們要求所有審閱者在我們的專用 Slack 頻道中提交他們的想法或提出任何問題。 在可能的情況下，除了百分比提升之外，我們還希望以實際方式展示收益，這使其對讀者更具影響力。

——馬克斯·布拉德利

學習不門，人人參與

實驗不僅適用於營銷、優化、生產和/或增長團隊。 作為一個數據驅動的組織，意味著用從完善的測試中提取的見解來飽和大量的決策過程。

你的學習資料庫就在整個任務的中間。

所以，讓每個人都上船。

是的，人們在該領域會有不同程度的經驗，但不要讓這對項目造成傷害。 只要每個團隊都有一個或多個在實驗方面有更深經驗的人，你就有了一些進展。

團隊中有些人更熟悉實驗，有些人經驗較少，這也是令人鼓舞的。 團隊中至少有 2 或 3 名經驗豐富的實驗人員會有很大的不同。

——馬蒂亞斯·曼迪奧

影響就這樣自然蔓延開來。

投資新的眼睛和思想的交叉授粉

有時，不同的視角會給你帶來你沒有想到的想法。 所以，不要讓你的實驗學習停留在泡沫中。

願意與您所在領域的其他專家分享，看看您可以從他們的反饋中學到什麼。

也許有些東西不適用於一個客戶群，但有一個稍微不同的版本可以適用於另一個客戶群？

或者，也許您偶然發現了每個人都在爭論的事情，現在您可以加入對話以了解更多信息？

當您與其他 CRO 專家合作時，您會為所發現的內容而激動不已。 即使是輔導電話也可以成為您獲得不同觀點的策略的一部分。

輔導 – www.goodui.org/coaching – 每月與實驗團隊進行一到兩次電話會議，以：審查測試計劃，提供有關測試設計的反饋，並展示對其他人有效的方法。
——雅庫布·林諾夫斯基

讓學習共享

有些人用 Notion，有些人用 Google Slides，還有一些 CRO 專家建議用 Miro 板，但目的是一樣的……

與團隊其他成員（或任何其他利益相關者）交流測試數據和見解，以確保學習得到足夠的影響。

當您使用 Notion、Google Slides、Miro 以及您認為對您的團隊有吸引力的任何其他在線工具時，您可以輕鬆地從任何設備和任何地方訪問存儲庫。

這對於遠程團隊和獲得我們之前談到的新眼睛非常有用。

它是便攜式的，可以輕鬆共享。 現在你真的在給你的實驗學習翅膀以產生全面的影響。

使用 Insights 計劃測試

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

所以讓我們把它分解……

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

其特點包括：

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• 進度報告
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

為什麼？

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

從第一天開始存儲庫。開始教育利益相關者，實驗是關於驗證和學習的，而不一定是金錢。 你越多地展示“我們從這個測試中學到了 X”或“從那個測試中學到了 Y”，你和你的利益相關者就會越一致。

——大衛·曼海姆

3.用證明建立買入

如果沒有人或只有少數人記錄他們的測試並跨部門分享見解，那麼您需要說明為什麼其他人都需要加入這項工作。

成功展示學習存儲庫對高管支持的好處只是第一步。 您接下來要做的是將這些好處也傳達給其他利益相關者。

Matthias 分享了一個絕妙的方法來解決這個問題：

從小處著手，精益和敏捷。 讓實驗運行起來，收集經驗教訓，並努力記錄它們。 在每次實驗後做一份體面的報告，並且經常發送（每月、每季度、每年）。 首先專注於具有積極影響和強大學習能力的大魚實驗。 積極的結果會激勵人們開始使用。

一旦你收集了一些有影響力的知識，展示負面結果並解釋如果我們在沒有實驗的情況下實施會有什麼負面影響也會很有用。 然後解釋這些學習對於企業和做出更好的產品決策的重要性。

4.一旦開始工作，就開始研究特定的工具（先學習並採取行動，然後再購買）

當您在 Google 幻燈片或您選擇的任何免費平台上設置了一個簡單的存儲庫並完成了第 2 步和第 3 步時，您就可以在工具上投資。

在您確定實現令人鼓舞的投資回報率之前，不要急於求成，將資金投入學習資源庫。

結論

如果您從本文中得到的一個重要結論是，您應該開始將實驗學習視為公司資產。 這項資產將為您節省時間和金錢。 它將為您的組織中更多數據驅動的優化計劃提供動力。

不要只是運行測試，獲得勝利或失敗，然後急於實現下一個想法。 花時間交流和組織您在學習資料庫中發現的內容，將為您的實驗之旅提供結構。

最重要的是，這是傳遞接力棒、評估測試影響和促進令人興奮的實驗文化的最順暢方式。

你如何開始獲得所有這些？

像專家說的那樣做：從簡單開始。