你需要一个 A/B 测试学习库来运行基于经验的实验（专家说）

您的测试程序是否感觉缺乏结构或影响？

您是否在没有攻击计划的情况下运行测试，并且不确定要优先考虑什么或下一步该在哪里工作？

也许你会迷失在试图记住你之前尝试过哪些测试、哪些测试有效、哪些失败？

或者，也许您刚刚加入了一个现有的程序，但不知道他们已经运行了什么、它是如何执行的，或者从哪里开始？

在进行 A/B 测试时很容易迷失方向，但幸运的是，有一种简单的方法可以解决所有这些问题。

我们最近采访了 5 位专业的 CRO，一件事立刻就清楚了：如果您想运行以经验为依据的实验并发展您的测试文化，您需要有一个集中的洞察存储库。

什么是学习资料库？

简而言之，它是存储有关您运行的过去测试的所有信息的单一位置。

• 目标页面，
• 假设和你实施的，
• 测试元素和变体，
• 结果，
• 它对重要指标等的影响。

它可以像笔记本电脑上的文件夹或 Asana 项目一样基本，但学习存储库不仅仅是一个美化的文件系统……

“实验学习资料库”允许更广泛的企业和利益相关者了解迄今为止进行了哪些实验以及获得了哪些经验。 存储库为读者提供了以自己的时间和速度消费内容的能力，这在全球业务中很重要。

– Max Bradley，Zendesk 管理 Web 实验

这意味着您可以轻松访问整个团队的所有过去测试，这实际上可以帮助您建立测试文化。

如何？

参与测试并看到测试运行的人越多，他们采用这种思维方式的速度就越快。

通过查看已经运行的测试及其结果，它可以为任何有权访问此信息的人激发新的想法和角度。 这可能会导致一个啊哈！ 测试团队之外的公司不同领域的时刻，然后他们可以自己测试或提交给测试团队。

例如，如果付费广告部门确定了在页面测试中得到提升的最有效的语言，那么他们可能希望在他们的广告文案、付费搜索或社交媒体中尝试这一点，因为它显然能引起观众的共鸣。

访问过去的测试不仅可以为外部团队成员带来新的想法，而且还可以减少尝试查找重要信息所花费的时间。

但是，学习存储库不仅仅是公司范围内的访问和节省时间：

学习是构建有意义和有效产品的核心原则，收集有意义和经过验证的学习的唯一方法是运行实验并将所有这些学习收集到一个中央存储库中。 此存储库中的学习可用于许多练习，例如：机会/解决方案树，您可以在其中使用几种不同的解决方案方法来实现某个用户目标。

运行基于经验的实验的关键是拥有一个可访问、结构化、可搜索和适当更新/管理的中央存储库。 以成功的方式做到这一点可以对整个实验程序输出的生产力和质量产生指数影响。

– Matthias Mandiau， H&M 集团的实验和数据分析专家

正如马蒂亚斯所说，我们越了解我们的受众，我们就能更好地为他们提供产品和服务。

我们可能无法立即获得洞察力，但它可以让我们走上正确的道路，从那里我们可以进一步改进并提供最好的产品和用户体验。

更好的是？

继续学习和管理我们的测试结果可以帮助我们避免代价高昂的错误……

您已经进行了实验，现在避免这些错误

有一个地方来存储和访问过去的数据是很棒的，但这并不是唯一的好处。

事实上，在我们的采访中，我们发现一些常见的测试程序错误被反复讨论——几乎所有这些错误都通过建立一个学习库得到了纠正。

不尊重“昂贵”的公司数据

学习存储库最有说服力的论点之一是一个简单的事实，即来自测试的所有数据都是公司财产。

您正在花费宝贵的时间和金钱来收集这些数据。 您要做的最后一件事是不要存储或使用它，或者更糟的是，永远不要回到它来帮助您计划新的测试并从过去的测试中学习：

当它的主要产出（学习）没有得到照顾时，为什么要在一个实验项目上投入这么多钱呢？

一个好的概述是关键，以便了解已经开展了哪些工作、现在应该关注什么以及应该很快开展哪些工作。 也这样，知识不依赖于人，因为人们在公司里来来去去。

最重要的是，它允许更好的知识共享、更好的入职培训、准备更好的商业案例、更好的研究……

——马蒂亚斯·曼迪奥

全面了解您的测试计划不仅可以帮助您更好地测试，还可以培训新员工甚至团队领导。 （并绕过 CRO 经理离开公司时失去所有洞察力的问题）。

如何？

好吧，现在新成员可以看到以前尝试过的方法，有效的方法，以及可能有效但未正确实施或可以进一步迭代的方法……

错过了发展全公司范围内的经验（和数据）知情的“直觉”

用你的直觉提出测试想法并没有错。 有时，您只是从数据或经验中获得直觉，可以帮助您形成假设并完成初始测试。

但是，您需要注意始终依赖这种直觉，而不是关注研究和数据。

我告诉我的团队（在 Bouqs）的一件事是……当你没有数据（记录的学习/测试中的工件）时，你必须根据你的直觉或利益相关者的直觉做出决定。 学习数据库创建了一个
我们所有人的直觉，我们可以用作直觉检查，但不仅仅是我们自己的或有偏见的。

– The Bouqs 产品管理副总裁 Natalia Contreras-Brown

拥有最成熟 CRO 计划的最大公司几乎都是数据驱动的。 他们根据数据告诉他们最重要的内容做出选择，这通常是他们成为市场领导者的原因。

不要因为只测试直觉选择和意见而感到内疚，也不要只关注指标。 花时间从每个测试结果中找到上下文洞察力。 遵循信息，最重要的是，跟踪并保存发生的事情以及您认为发生的原因，这样您就不会忘记您尝试过的事情以及为什么会发生这种错误。

重复之前运行过的测试

我们已经暗示过这一点，但是如果不跟踪你在做什么，很容易重新运行你已经尝试过的测试想法，或者因为你认为它已经运行而错过了一个测试想法。

学习存储库有助于避免再次运行以前进行过的实验。 它还减少了为实验团队回答利益相关者对结果和学习的查询所花费的时间。

——马克斯·布拉德利

善待你自己和你未来的团队，并记录你一直在运行的内容以及每个测试的所有细节。

可能是您想要运行类似的东西，但没有您之前尝试过的细节，很容易错过或再花 30 天时间获取您应该保存的数据。

沟通不畅或无法获取信息

成熟的 CRO 团队最大的区别之一是他们能够快速轻松地沟通或访问信息。 不仅在于易于访问，而且在于它们提供正确信息的效率。

拥有一个文档齐全且有条理的学习资料库可以减少沟通障碍，甚至有助于在您搜索信息和暂停工作时不让测试工作流程边缘化。

（一个实验存储库）是一个知识管理系统，它详细地保存所有数据，并且团队通常可以访问，但最重要的是促进以正确的格式为正确的人员生成通信工件（通信层）。适当的时候。

它是测试工作流程中的“数据层”，如下所示：

– Ben Labay，董事总经理 / CRO & Experimentation @ Speero by CXL

将学习（和金钱）留在桌面上

不要忘记大多数测试都失败了。 只有通过迭代和从过去的测试中学习，您才能改进并获得那些影响 ROI 的胜利。

如果不跟踪您的运行情况和去过的地方，就很难继续前进并看到进展，甚至对您的测试过程充满信心。

Stefan Thomke 表示“尽管充斥着来自各个方向的信息，但今天的经理们在一个不确定的世界中运作，他们缺乏正确的数据来为战略和战术决策提供信息”。 实验验证和验证帮助我们学习。 将这些知识整理到一个易于访问的存储库中以查看这些学习以供未来决策是至关重要的。

– David Mannheim，CRO 副总裁，BrainLabs

以下是 Ruben de Boer 对理想过程的直观表示：

从你运行的每一个测试中学习和改进是非常重要的。 它不仅与您未来测试的成功直接相关，而且甚至可以帮助您将当前的胜利扩展到其他领域甚至其他站点。

我们在 H&M 的产品团队中进行的几乎所有其他实验都得到了对先前实验或其他研究方法的记录学习的支持。

——马蒂亚斯·曼迪奥

这种学习和重复的习惯几乎在我们采访的每个人身上都一次又一次地出现。

在 Brainlabs，我们为著名男装店 Flannels 所做的实验中，大约 40-50% 是相互迭代的。 这证明了在单个实验中学习的力量，以及它如何演变成其他东西； 因为我们总是从实际刺激如何影响变量中学习。

——大卫·曼海姆

让我们再举一个例子。

假设您有一个潜在客户捕获页面，并且您使用的布局适用于一页。 然后，您可以将其调整到您网站上的其他人，看看它是否也增加了那里的提升。

如果您是一家在类似领域拥有多个客户的代理机构怎么办？

一家公司的见解和胜利可能会带来可能对您的其他客户也有用的想法和设计……

曾经有效的方法很有可能尚未被充分利用：

• 它可能会以更大的强度再次工作（对于同一客户）
• 它可能会在其他地方再次起作用（对于同一客户）
• 它可能会再次适用于完全不同的人

换句话说，过去的胜利具有预测潜力，可以加速优化（更多的胜利，更大的成功概率，更大的影响幅度）。

– Jakub Linowski，GOODUI.org

Drip Agency 与他们的 2 个客户正是这样做的。

他们从一个客户那里获得了成功的页面布局设计，然后在另一个客户上进行了测试，以立即提高转化率。

GoodUI 做了类似的事情。 他们从一位客户那里获得了成功的测试想法和信息，并以此为基础来测试网站上的其他页面。

这使他们的转化率提高了 42%！

然后他们更进一步。

他们不只是为一个客户实施成功的设计，而是进行了一个案例研究，看看您是否可以根据之前跨多个网站的活动预测获胜测试。

理论是某些用户体验设计可能适用于其他行业。

因此，他们使用以前的获奖设计布局进行了 51 次测试，并在使用以前的获奖者帮助在其他网站上设计新测试时取得了 71% 的成功率。

很酷，对吧？

好吧，这是学习存储库如此有用的另一个原因，也是优秀测试人员关注过去的赢家的原因。

如果你仔细想想，GoodUI 基本上是一种学习资料库，因为它是跨多个站点和行业的过去测试和获胜者的数据库。

问题是，他们经常会看到在其他网站上重复使用的设计，并注意到特定的模式会提供提升。 也许其他人进行了测试，但它有效，等等。

作为它们的智能 cookie，GoodUI 使用这些特定模式作为为新客户运行测试的灵感……

这是有道理的，对吧？ 一旦您解决了技术问题并决定了要测试的页面，查看类似页面上过去的测试元素以及哪些有效的方法并没有什么坏处。

您可以在开始时使用其他网站来获取灵感，但所有专家都同意。 您需要尽快开始构建自己的存储库。

投资实验存储库

Jakub Linowski 在 LinkedIn 上说，如果你看看医生、工程师、运动员和军队等职业，你会发现他们的大部分成功和成长都建立在他们从过去的实验中获得的经验之上。

有了这种心理形象，您可以想象当实验不必总是从 0 级开始时，CRO 领域整体发展的速度有多快。但如果没有学习资料库，情况就是如此。

许多内部 CRO 团队对此感到内疚。

如果你把这个想法带到更近的地方，很明显，在你已经知道的基础上构建是一种加强你的实验计划努力的可靠方法。

存储库 = 更高的实验成功机会

只有当你有学习测试（和过去的测试）的心态时，你才会真正重视实验提供的东西，即在给定上下文和环境的情况下了解什么有效，什么无效。

UX、UI、产品、营销中的 20 个“好决策”（多亏了实验）可以帮助锻炼决策肌肉并增强直觉。 你看到你的观点被否决或验证的次数越多，你就越需要找出什么是有效的，以及你的听众需要什么。

那些为了转化率而进行测试的人错过了这张大图。 这是关于了解你的观众需要什么，而不是关于正确。

让我们向您展示如何：

如何构建你的学习资料库

学习资料库旨在消除数据孤岛、促进协作和加强沟通。

如果您的结构不正确，那么满足这些基本要求将非常困难。 但是关于构建你的学习资料库的事情是有一些选择。 对于不同的组织，它们的工作方式不同。

这不是问题，因为我们将向您描述这 3 个模型，然后您可以想象出哪个模型与您的团队、部门或组织完美契合。 更好的是，专家推荐一种特定型号。

在实验团队结构方面似乎有一个赢家：卓越中心。

1. 卓越中心 (CoE) 为特定部门的实验团队提供支持和装备

在此模型中，实验团队是整个组织的实验计划的 CoE。

因此，对于其他部门中想要进行实验的任何人来说，他们都是一种看门人。 你通过他们，他们帮助建立它。

然后他们监督这些实验的完整性，并使一切与组织的广泛实验目标保持一致。

今天以这种方式构建将在明天消除下线问题。 因为一切都保持在同一轨道上，易于监控，并且以这种方式构建学习存储库很容易协调。

这里的主要挑战是它不像分散模型那样易于访问。

2. 分散的单位跨部门，让每个人都参与进来

下放单位在各个部门进行实际测试。 这是一个很好的策略，因为他们最了解自己的增长循环和指标，因此他们处于设计和执行高影响实验的最佳位置。

在这个模型中，每个人都可以运行测试——无论他们的部门和实验经验水平如何。 与 CoE 结合使用时，它会吸引一些仰慕者……

我是去中心化实验的忠实拥护者，与卓越中心一起工作以进行质量控制和宣传 AB 测试。 根据我的经验，这些结构最适合那些真正拥抱实验力量的文化。 就学习资料库而言，这应该效仿； 应该授权团队成员进行实验并突出从他们的劳动成果中学到的东西。

——大卫·曼海姆

因此，维护学习存储库的责任也随之而来。

3. 由一人管理以收集和维护实验学习

然而，与 CoE 单独模型不同，分散模型的学习存储库更难协调。

指定一个负责记录和维护学习内容的角色会有所帮助。 这有一些好处：

由程序/项目经理（跟踪）和主要测试策略师（输入“故事”）管理，但如果做得好，它可以在所有阶段都有输入，因为输入是通过表单条目（如问题表单、新活动跟踪器、新的测试解决方案创意等。

– Ben Labay ，常务董事 / CRO & Experimentation @ Speero by CXL

马蒂亚斯·曼迪奥同意本的观点。

我更喜欢集中/分散之间的混合：

存储库始终需要可访问（云）。

需要能够结合不同的研究方法来创建强有力的假设。

存储库和所有权的设置和管理应由 1 个团队/经理（集中式）进行。 很好地跟进中央级别的高级宏观实验绩效 KPI​​。

每个进行实验的产品团队都应该有一个利益相关者（数据分析师/CRO），他有责任妥善处理以正确格式上传到中央存储库的所有收集到的学习。 在分散的团队中跟进产品团队级别的微实验绩效 KPI​​ 也很好。 例如，可以是链接到 GA 或存储库的仪表板。

在 Zendesk，一位经理负责维护存储库，但输入来自“测试所有者”：

目前，我们的存储库由企业内的一个团队管理，一个人拥有它的全部所有权。 要求测试“所有者”将测试完成后的学习添加到存储库的相应区域中。

——马克斯·布拉德利

这就是管理分散型模型的一个人（或一个小团队）如何保持实验学习库的效率和质量保证。

它类似于 GoodUI 正在做的事情——利用来自垂直行业和客户的学习成果，创建一个极好的实验见解资源。

因此，即使您还没有学习资料库，您也可以从中汲取丰富的知识。 Convert 的计划附带 GoodUI 折扣订阅。

如何记录你的学习

就像任何有组织的文件系统一样，您的学习存储库不能成为转储数据的地方。 需要有一种明确和适当的记录学习的方式，以便对每个人都有用。

这将意味着直观的数据可视化表示、无行话的数据故事，以及在需要时定位特定测试的简单方法。

就是这样。

捕获并记录测试中的所有元数据

显而易见的第一步是从测试中收集数据。 但是你收集什么数据？ 说收集所有东西很容易，但这很容易让人不知所措——而且令人沮丧。

那么，您的实验存储库中要包含哪些数据？

它是测试概念的完整元数据。 它应该主要根据需要提出的问题来跟踪输入，这些问题在类别中是标准的：

• 测试类型
• 页面
• 接触点
• 观众
• 生长表面积

但在这些类别中不是标准的，例如，受众会因公司而异，但所有公司都会针对不同的受众群体进行测试。

——本·拉贝

这看起来像什么？

让我们探索每个类别，以便您获得更清晰的图片：

• 测试类型

是什么样的测试？ A/B 测试？ MVT？ A/B/n 测试？

• 页面

您可以在此处指定进行测试的站点上的一个或多个页面。 是主页吗？ 特定的产品页面？ 您的 SaaS 品牌的定价页面？

• 接触点

接触点是客户旅程中与您的品牌互动的区域。 这可能是广告、产品目录、博客文章、营销电子邮件、您的应用程序等。

• 观众

谁是您的测试目标受众？ 您是否根据任何标准定位特定细分市场？ 行为数据？ 目标？ 访客来源？ 地理位置？ 还是他们都是随机选择的？

• 生长表面积

这是指鼓励用户留在您的网站或深入挖掘他们与您的品牌的关系的互动或功能。 所以，这是一种提升每个访问者价值的钩子。 这可以是免费试用优惠或演示。

为了丰富您的元数据，您还需要包括：

• 日期
• 网址/正则表达式
• 先前测试的迭代——链接到作为您报告的测试基础的先前测试。

你用更有影响力的信息把它封起来。 包括…

• A和B的截图
• 隔离与否（更改次数）
• 具有置信区间的影响百分比
• 指标类型

——雅库布·林诺夫斯基

越多越好。 但要保持相关和有用。

这是 Zendesk 的 Max Bradley 的另一个例子：

对于基本的跟踪报告或存储库，Convert 的报告还将向您显示获胜者以及您测试的内容。

在保留信息的同时尊重不同的学习方式

在存储实验数据时，您必须诉诸人们喜欢使用信息的各种方式。

执行此操作时需要记住某些事项……

我们尝试了很多不同的方法。 作为一家代理机构，我们在任何特定时间都与来自不同企业的多个不同利益相关者打交道。 这就是挑战——人们吸收知识并以不同的方式学习。 他们是视觉、听觉还是动觉学习者？ 它们在 Myers-Briggs 钥匙上的什么位置？ 如何与您的利益相关者交流几乎与您交流的内容一样重要。 根据我的经验，我了解到学习存储库应该是成功的两件事：

• 可主题化和备忘，因此很容易过滤
• 简洁的可扫描学习。

——大卫·曼海姆

您可以提供尽可能多的有关报告的实验的信息。 并以各种格式这样做。 这就是为什么您需要屏幕截图、视频记录和故事来为所有数字提供背景信息。

请记住保持相关性、简洁性和可扫描性。

标记您的测试以最大化学习

标记您的测试可让您轻松访问所有内容。

它还可以帮助您一目了然地了解测试的目的。

如果您的存储库持续增长，那么有一天，您将记录数千个测试，并有数百人使用它来获取想法、提取见解并为决策提供信息。

如果人们能够了解每个测试在您组织的解决方案范围内的位置，那么这些学习将更加有用。

如何沟通你的学习以获得最大效果

只有当人们实际使用它时，您的学习存储库才会使您的实验程序受益。

因此，除了使其易于访问之外，还要以一种有意义并激发对实验的兴趣的方式将其呈现给您的团队和组织的其他成员。

但是，你是怎么做的？ 这些是数字和一些可能被误解的行业特定术语。 你如何让来自不同学科的人们欣赏你收集到的知识？

交流 A/B 测试可能很棘手，但如果您遵循这些步骤，您将消除这些障碍并充分利用您的学习资料库。

让它成为一种习惯

首先，如果实验是一个陌生的概念，那么从学习中养成习惯可能需要一些时间。 所以，在这段旅程中耐心等待。

你在这里的任务是让这部分成为你平时每周活动的一部分。 它可能是头脑风暴的灵感部分，也可能是你为结束会议而玩的游戏。 例如，你自己版本的“什么测试赢了？”

这是建立以实验为常态的文化的宏伟蓝图的一部分……

养成以一致、有趣和鼓舞人心的方式与团队一起学习的习惯。 它需要像往常一样成为业务的一部分。 每周至少应该召开一次会议，讨论假设和实验结果。 每个 sprint 都应该包含至少 1 或 2 个实验，让实验成为一种习惯会创造一种积极的文化。

——马蒂亚斯·曼迪奥

除了在团队会议中展示它之外，存储库测试也很容易在学习通讯中分享。 习惯在此处添加它们也可以更容易地在站点范围内采用实验。

谦虚透明以建立信任

让人们相信实验可以解决所有问题似乎很酷，但这会产生误导。 帮助您的同事了解这一切是如何运作的，这些数字代表什么，以及您可以对您得出的某个见解有多大的信心。

不要像 100% 确定的那样呈现见解。 相反，向他们展示这是您做出决定的最佳方式之一，而不是“直觉”和最佳实践。

反其道而行之会使他们对您建立的学习资料库失去信任，并可能将其丢弃以尘埃落定。

以下是 Speero 的 Ben Labay 关于如何传达结果的更多提示：

不要隐藏丢失的测试。 取而代之的是，以此为契机来展示测试的双重好处。

如果你赢了，你就知道什么是有效的。 如果它丢失了，您已经了解了哪些方法不起作用，因此您可以避免做出损害关键指标的更改。

在这两种情况下，您都了解了可以改进的东西。

当您展示时，将其构建在一个故事中，展示洞察力在现实世界中的应用，并邀请利益相关者参与撰写故事，就像 Max 所做的那样：

我们每两周向更广泛的团队展示最新的学习成果，每月向更广泛的企业展示最新的学习成果。 我们试图通过展示输与赢的测试来尽可能透明。 除此之外，我们要求所有审阅者在我们的专用 Slack 频道中提交他们的想法或提出任何问题。 在可能的情况下，除了百分比提升之外，我们还希望以实际方式展示收益，这使其对读者更具影响力。

——马克斯·布拉德利

学习不门，人人参与

实验不仅适用于营销、优化、生产和/或增长团队。 作为一个数据驱动的组织，意味着用从完善的测试中提取的见解来饱和大量的决策过程。

你的学习资料库就在整个任务的中间。

所以，让每个人都上船。

是的，人们在该领域会有不同程度的经验，但不要让这对项目造成伤害。 只要每个团队都有一个或多个在实验方面有更深经验的人，你就有了一些进展。

团队中有些人更熟悉实验，有些人经验较少，这也是令人鼓舞的。 团队中至少有 2 或 3 名经验丰富的实验人员会有很大的不同。

——马蒂亚斯·曼迪奥

影响就这样自然蔓延开来。

投资新的眼睛和思想的交叉授粉

有时，不同的视角会给你带来你没有想到的想法。 所以，不要让你的实验学习停留在泡沫中。

愿意与您所在领域的其他专家分享，看看您可以从他们的反馈中学到什么。

也许有些东西不适用于一个客户群，但有一个稍微不同的版本可以适用于另一个客户群？

或者，也许您偶然发现了每个人都在争论的事情，现在您可以加入对话以了解更多信息？

当您与其他 CRO 专家合作时，您会为所发现的内容而激动不已。 即使是辅导电话也可以成为您获得不同观点的策略的一部分。

辅导 – www.goodui.org/coaching – 每月与实验团队进行一到两次电话会议，以：审查测试计划，提供有关测试设计的反馈，并展示对其他人有效的方法。
——雅库布·林诺夫斯基

让学习共享

有些人用 Notion，有些人用 Google Slides，还有一些 CRO 专家建议用 Miro 板，但目的是一样的……

与团队其他成员（或任何其他利益相关者）交流测试数据和见解，以确保学习得到足够的影响。

当您使用 Notion、Google Slides、Miro 以及您认为对您的团队有吸引力的任何其他在线工具时，您可以轻松地从任何设备和任何地方访问存储库。

这对于远程团队和获得我们之前谈到的新眼睛非常有用。

它是便携式的，可以轻松共享。 现在你真的在给你的实验学习翅膀以产生全面的影响。

使用 Insights 计划测试

在存储库中保存测试记录的一个额外（但无价的）好处是升级。

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

所以让我们把它分解……

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

其特点包括：

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• 进度报告
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

为什么？

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

从第一天开始存储库。开始教育利益相关者，实验是关于验证和学习的，而不一定是金钱。 你越多地展示“我们从这个测试中学到了 X”或“从那个测试中学到了 Y”，你和你的利益相关者就会越一致。

——大卫·曼海姆

3.用证明建立买入

如果没有人或只有少数人记录他们的测试并跨部门分享见解，那么您需要说明为什么其他人都需要加入这项工作。

成功展示学习存储库对高管支持的好处只是第一步。 您接下来要做的是将这些好处也传达给其他利益相关者。

Matthias 分享了一个绝妙的方法来解决这个问题：

从小处着手，精益和敏捷。 让实验运行起来，收集经验教训，并努力记录它们。 在每次实验后做一份体面的报告，并且经常发送（每月、每季度、每年）。 首先专注于具有积极影响和强大学习能力的大鱼实验。 积极的结果会激励人们开始使用。

一旦你收集了一些有影响力的知识，展示负面结果并解释如果我们在没有实验的情况下实施会有什么负面影响也会很有用。 然后解释这些学习对于企业和做出更好的产品决策的重要性。

4.一旦开始工作，就开始研究特定的工具（先学习并采取行动，然后再购买）

当您在 Google 幻灯片或您选择的任何免费平台上设置了一个简单的存储库并完成了第 2 步和第 3 步时，您就可以在工具上投资。

在您确定实现令人鼓舞的投资回报率之前，不要急于求成，将资金投入学习资源库。

结论

如果您从本文中得到的一个重要结论是，您应该开始将实验学习视为公司资产。 这项资产将为您节省时间和金钱。 它将为您的组织中更多数据驱动的优化计划提供动力。

不要只是运行测试，获得胜利或失败，然后急于实现下一个想法。 花时间交流和组织您在学习资料库中发现的内容，将为您的实验之旅提供结构。

最重要的是，这是传递接力棒、评估测试影响和促进令人兴奋的实验文化的最顺畅方式。

你如何开始获得所有这些？

像专家说的那样做：从简单开始。