경험 기반 실험을 실행하려면 A/B 테스트 학습 저장소가 필요합니다(전문가의 말).

테스트 프로그램이 구조나 영향력이 부족하다고 느끼십니까?

공격 계획이 없는 상태에서 테스트를 실행하고 있으며 우선 순위를 정하거나 다음 작업을 수행할 위치가 확실하지 않습니까?

이전에 시도한 테스트, 효과가 있었던 테스트, 실패한 테스트를 기억하느라 길을 잃는 경우가 있습니까?

아니면 방금 기존 프로그램에 참여했는데 이미 실행한 내용, 수행 방법 또는 시작 위치를 모를 수도 있습니다.

A/B 테스트를 할 때 잡초 속에서 길을 잃기 쉽지만 다행히도 이 모든 것을 해결할 수 있는 간단한 방법이 있습니다.

우리는 최근 5명의 전문 CRO를 인터뷰했으며 한 가지는 즉시 분명했습니다. 경험에 기반한 실험을 실행하고 테스트 문화를 성장시키려면 중앙 집중식 통찰력 저장소가 필요합니다.

학습 저장소란 무엇입니까?

간단히 말해서, 실행한 과거 테스트에 대한 모든 정보를 저장하는 단일 위치입니다.

• 대상 페이지,
• 가설과 구현한 내용,
• 테스트 요소 및 변형,
• 결과,
• 중요한 지표 등에 미치는 영향

랩톱이나 Asana 프로젝트의 폴더처럼 기본적일 수 있지만 학습 저장소는 단순히 영광스러운 파일링 시스템 그 이상입니다…

'실험 학습 저장소'를 통해 더 많은 비즈니스와 이해 관계자가 현재까지 수행된 실험과 얻은 학습 내용을 확인할 수 있습니다. 저장소는 독자에게 글로벌 비즈니스에서 중요한 자신의 시간과 속도로 콘텐츠를 소비할 수 있는 기능을 제공합니다.

– Max Bradley, Zendesk의 웹 실험 관리

이는 과거의 모든 테스트에 대한 전체 팀에 쉽게 액세스할 수 있음을 의미하며 실제로 해당 테스트 문화를 구축하는 데 도움이 될 수 있습니다.

어떻게?

더 많은 사람들이 테스트에 참여하고 테스트가 실행되는 것을 볼수록 사고 방식을 더 빨리 채택합니다.

이미 실행된 테스트와 그 결과를 확인함으로써 이 정보에 액세스할 수 있는 모든 사람에게 새로운 아이디어와 각도를 촉발할 수 있습니다. 이것은 다음으로 이어질 수 있습니다. 테스트 팀 외부에서 회사의 다른 영역에서 순간을 포착한 다음 스스로 테스트하거나 테스트 팀에 전달할 수 있습니다.

예를 들어 유료 광고 부서에서 페이지 테스트에서 가장 효과적인 언어를 식별한 경우 광고 문구, 유료 검색 또는 소셜 미디어에서 이 언어가 청중의 공감을 불러일으키기 때문에 이를 시도할 수 있습니다.

과거 테스트에 대한 액세스는 외부 팀 구성원과 새로운 아이디어를 제시할 뿐만 아니라 중요한 정보를 찾는 데 소요되는 시간을 줄여줍니다.

하지만 학습 저장소에는 회사 전체의 액세스 및 시간 절약 이상의 것이 있습니다.

학습은 의미 있고 효과적인 제품을 구축하는 핵심 원칙이며 의미 있고 검증된 학습을 수집하는 유일한 방법은 실험을 실행하고 이러한 모든 학습을 중앙 저장소에 수집하는 것입니다. 이 리포지토리의 학습 내용은 여러 가지 다른 솔루션 접근 방식을 사용하여 특정 사용자 목표를 향해 작업하는 기회/솔루션 트리와 같은 많은 연습에서 사용할 수 있습니다.

경험에 입각한 실험을 실행하기 위한 핵심은 접근 가능하고, 구조화되고, 검색 가능하고, 적절하게 업데이트/관리되는 중앙 저장소를 갖는 것입니다. 이 작업을 성공적으로 수행하면 전체 실험 프로그램 출력의 생산성과 품질에 기하급수적인 영향을 미칠 수 있습니다 .

– Matthias Mandiau, H&M Group 의 실험 및 데이터 분석 전문가

Matthias가 말했듯이 청중을 더 많이 이해할 수 있을수록 더 나은 제품과 서비스를 제공할 수 있습니다.

통찰력을 바로 얻을 수는 없지만 올바른 길로 인도할 수 있으며 거기서부터 더 개선하고 최고의 제품과 사용자 경험을 제공할 수 있습니다.

그래도 낫다?

테스트 결과를 계속 배우고 관리하면 값비싼 실수를 피하는 데 도움이 될 수 있습니다…

실험을 진행했으므로 이제 이러한 실수를 피하십시오.

과거 데이터를 저장하고 액세스할 수 있는 장소가 있다는 것은 좋은 일이지만 이것이 유일한 이점은 아닙니다.

사실, 인터뷰하는 동안 우리는 반복해서 언급되는 많은 일반적인 테스트 프로그램 실수를 발견했습니다. 거의 모든 것이 학습 저장소를 통해 수정되었습니다.

"비싼" 회사 데이터를 존중하지 않음

학습 저장소에 대한 가장 설득력 있는 주장 중 하나는 테스트의 모든 데이터가 회사 자산이라는 단순한 사실입니다.

당신은 그 데이터를 수집하는 귀중한 시간과 돈을 소비하고 있습니다. 마지막으로 하고 싶은 일은 그것을 저장하거나 사용하지 않는 것입니다. 더 나쁜 것은 새로운 테스트를 계획하고 과거 테스트에서 배우는 데 도움을 주기 위해 다시는 사용하지 않는 것입니다.

실험 프로그램의 주요 결과(학습)가 처리되지 않는데 왜 실험 프로그램에 그렇게 많은 돈을 투자합니까?

이미 작업한 내용, 지금 초점을 맞춰야 하는 부분, 곧 작업해야 하는 부분을 이해하려면 좋은 개요가 중요합니다. 또한 사람이 회사에 드나들기 때문에 지식이 사람에 의존하지 않습니다.

게다가 더 나은 지식 공유, 더 나은 온보딩, 더 나은 비즈니스 사례 준비, 더 나은 연구…

– 마티아스 만디아우

테스트 프로그램을 1마일 높이에서 보는 것은 테스트를 더 잘할 뿐만 아니라 새로운 직원이나 팀 리더를 교육하는 데 도움이 될 수 있습니다. (그리고 CRO 관리자가 회사를 떠날 때 모든 통찰력을 잃는 문제를 우회하십시오).

어떻게?

글쎄, 이제 새 회원은 이전에 시도한 것, 효과가 있었던 것, 그리고 잠재적으로 작동했지만 올바르게 구현되지 않았거나 추가로 반복될 수 있는 것이 무엇인지 볼 수 있습니다.

경험(및 데이터)을 기반으로 하는 전사적 "직감 본능" 개발을 놓치고 있음

당신의 직감을 사용하여 테스트 아이디어를 내놓는 데는 아무런 문제가 없습니다. 때때로 당신은 가설을 세우고 초기 테스트를 완료하는 데 도움이 될 수 있는 데이터나 경험에서 직관을 가질 수 있습니다.

하지만 항상 이 직감에 의존하고 연구와 데이터에 신경을 쓰지 않도록 주의해야 합니다.

내가 내 팀(Bouqs에서)에게 말하는 한 가지는... 데이터(기록된 학습/테스트에서 얻은 인공물)가 없을 때 직감이나 이해 관계자의 직감에 따라 결정을 내려야 한다는 것입니다. 학습 데이터베이스는
내장 검사로 사용할 수 있는 우리 모두를 위한 내장이지만 우리 자신의 내장이나 편견이 아닙니다.

– Natalia Contreras-Brown, The Bouqs의 제품 관리 부사장

가장 성숙한 CRO 프로그램을 보유한 가장 큰 회사는 거의 모두 데이터 기반입니다. 그들은 데이터가 가장 중요하다고 말하는 것을 기반으로 선택을 하며, 이것이 종종 그들이 시장 리더가 되는 이유입니다.

직감적인 선택과 의견만으로 테스트하는 죄책감에 빠지지 말고 지표에만 집중하지 마십시오. 시간을 내어 각 테스트 결과에서 상황에 맞는 통찰력을 찾으십시오 . 정보를 따르고 가장 중요한 것은 발생한 일과 그 일이 발생한 이유를 추적하고 저장하여 시도한 것과 효과가 있었던 이유를 잊어버리는 실수를 하지 않도록 하십시오.

이전에 실행한 테스트 반복

우리는 이미 이것을 암시했지만, 당신이 하고 있는 것을 추적하지 않으면 당신이 이미 시도한 테스트 아이디어를 다시 실행하거나 이미 실행되었다고 생각하기 때문에 테스트 아이디어를 놓치는 것이 매우 쉬워집니다.

학습 저장소는 이전에 수행한 실험을 다시 실행하는 것을 방지하는 데 도움이 됩니다. 또한 실험 팀의 이해 관계자로부터 결과 및 학습에 대한 쿼리에 응답하는 데 소요되는 시간을 줄일 수 있습니다.

– 맥스 브래들리

자신과 미래의 팀에게 친절하게 대하고 실행한 내용과 각 테스트의 모든 세부 정보를 기록해 두십시오.

비슷한 것을 실행하고 싶지만 이전에 시도한 세부 정보가 없으면 저장했어야 할 데이터를 놓치거나 30일을 더 소비하기 쉽습니다.

의사소통이 원활하지 않거나 정보에 액세스할 수 없음

성숙한 CRO 팀의 가장 큰 차이점 중 하나는 정보를 빠르고 쉽게 전달하거나 액세스할 수 있는 능력입니다. 액세스의 용이성뿐만 아니라 올바른 정보를 얼마나 효율적으로 제공할 수 있는지도 중요합니다.

잘 문서화되고 조직화된 학습 저장소가 있으면 정보를 검색하고 작업을 일시 중지하는 동안 의사 소통 장벽을 줄이고 테스트 워크플로를 외면하지 않는 데 도움이 될 수 있습니다.

(실험 저장소)는 모든 데이터를 상세한 수준으로 보유하고 일반적으로 팀에서 액세스할 수 있는 지식 관리 시스템입니다. 그러나 가장 중요한 것은 적절한 사람들을 위해 올바른 형식으로 올바른 형식으로 생성되는 커뮤니케이션 아티팩트(통신 레이어)를 촉진하는 것입니다. 적절한 시간.

다음과 같이 테스트 워크플로의 '데이터 계층'입니다.

– Ben Labay, 전무 이사 / CRO 및 실험 @ Speero by CXL

학습(과 돈)을 탁자에 남겨두다

대부분의 테스트가 실패한다는 것을 잊지 마십시오. ROI에 영향을 미치는 성과를 개선하고 얻을 수 있는 것은 반복과 과거 테스트로부터의 학습을 통해서만 가능합니다.

무엇을 실행하고 어디에 있었는지 추적하지 않으면 앞으로 나아가고 진행 상황을 확인하거나 테스트 프로세스에 자신감을 갖기가 매우 어려워집니다.

Stefan Thomke는 "모든 방향에서 정보가 넘쳐나지만 오늘날의 관리자는 전략 및 전술적 결정에 필요한 올바른 데이터가 부족한 불확실한 세상에서 작업하고 있습니다"라고 말했습니다. 실험 검증 및 검증은 학습에 도움이 됩니다 . 향후 결정을 위해 학습 내용을 검토하기 위해 쉽게 액세스할 수 있는 저장소에 학습 내용을 대조하는 것이 중요합니다.

– David Mannheim, BrainLabs CRO 부사장

다음은 Ruben de Boer의 이상적인 프로세스를 시각적으로 표현한 것입니다.

실행하는 모든 테스트에서 배우고 개선하는 것은 매우 중요합니다. 이는 향후 테스트의 성공과 직접적인 관련이 있을 뿐만 아니라 현재 승리를 다른 영역이나 다른 사이트로 확장하는 데에도 도움이 될 수 있습니다.

H&M에서 우리 제품 팀에서 실행하는 거의 모든 다른 실험은 이전 실험 또는 기타 연구 방법론에 대한 문서화된 학습을 기반으로 합니다.

– 마티아스 만디아우

배우고 반복하는 이 습관은 우리가 인터뷰한 거의 모든 사람들에게 반복해서 나타납니다.

Brainlabs에서 유명한 남성복 매장인 Flannels에 대한 실험의 약 40-50%는 서로의 반복이었습니다. 이것은 단일 실험 내에서 학습의 힘과 그것이 어떻게 다른 것으로 진화할 수 있는지를 보여주었습니다. 우리는 실제 자극이 변수에 어떻게 영향을 미칠 수 있는지 항상 배우고 있기 때문 입니다.

– 데이비드 만하임

다른 예를 들어보겠습니다.

리드 캡처 페이지가 있고 사용하는 레이아웃이 한 페이지에서 잘 작동한다고 가정해 보겠습니다. 그런 다음 사이트의 다른 사용자에게 적용하여 리프트도 증가하는지 확인할 수 있습니다.

비슷한 틈새 시장에 여러 고객이 있는 대행사라면 어떻게 하시겠습니까?

한 회사의 통찰력과 성공은 다른 고객에게도 효과가 있을 수 있는 아이디어와 디자인으로 이어질 수 있습니다.

한 번 효과가 있었던 것은 아직 완전히 활용되지 않았을 가능성이 높습니다.

• 더 큰 강도로 다시 작동할 수 있음(동일한 고객에 대해)
• 다른 곳에서 다시 작동할 수 있음(동일한 고객의 경우)
• 완전히 다른 사람에게 다시 작동할 수 있습니다.

다시 말해, 과거의 승리는 최적화 속도를 높일 수 있는 예측 가능성을 가지고 있습니다(더 많은 승리, 더 큰 성공 확률, 더 큰 효과 규모).

– 야쿱 리노프스키, GOODUI.org

Drip Agency는 2명의 고객에게 정확히 이 작업을 수행했습니다.

그들은 한 클라이언트에서 성공적인 페이지 레이아웃 디자인을 가져온 다음 다른 클라이언트에서 테스트하여 즉각적인 전환율을 높였습니다.

GoodUI도 비슷한 일을 했습니다. 그들은 한 클라이언트로부터 성공적인 테스트 아이디어와 정보를 가져와 사이트의 다른 페이지를 테스트하는 기초로 사용했습니다.

전환율이 42% 증가했습니다!

그런 다음 그들은 한 걸음 더 나아갔습니다.

한 클라이언트에 대해 성공적인 디자인을 구현하는 대신 사례 연구를 실행하여 여러 웹사이트에 걸친 이전 캠페인을 기반으로 성공적인 테스트를 예측할 수 있는지 확인했습니다.

이론은 특정 UX 디자인이 다른 산업에서 작동할 수 있다는 것입니다.

그래서 그들은 이전에 우승한 디자인 레이아웃을 사용하여 51개의 테스트를 실행했으며 이전 우승자를 사용하여 다른 사이트에서 새 테스트를 디자인할 때 71%의 성공률을 달성했습니다.

꽤 멋지죠?

학습 저장소가 도움이 되는 또 다른 이유가 있습니다. 좋은 테스터가 과거의 승자를 찾는 이유입니다.

생각해 보면 GoodUI는 기본적으로 일종의 학습 저장소입니다. 여러 사이트와 산업 전반에 걸친 과거 테스트와 승자의 데이터베이스라는 점에서 말입니다.

문제는 다른 사이트에서 재사용된 디자인을 자주 보고 특정 패턴이 효과를 제공한다는 사실을 알게 된다는 것입니다. 다른 사람이 테스트를 실행했지만 작동했습니다.

GoodUI는 스마트 쿠키이기 때문에 이러한 특정 패턴을 새로운 고객을 위한 테스트에 영감을 주는 데 사용합니다...

그리고 그것은 말이 됩니까? 기술적인 문제를 수정하고 테스트할 페이지를 결정했다면 유사한 페이지의 과거 테스트 요소와 무엇이 효과가 있었는지 살펴보는 것은 나쁘지 않습니다.

시작할 때 영감을 얻기 위해 다른 사이트를 사용할 수 있지만 모든 전문가가 동의합니다. 가능한 한 빨리 자신의 저장소 구축을 시작해야 합니다.

실험 저장소에 투자

Jakub Linowski는 LinkedIn에서 의사, 엔지니어, 운동선수 및 군대와 같은 직업을 보면 대부분의 성공과 성장이 과거 실험에서 얻은 학습을 기반으로 한다는 것을 알 수 있다고 말했습니다.

그 마음의 이미지를 보면 실험이 항상 레벨 0에서 시작할 필요가 없을 때 CRO 필드가 전체적으로 얼마나 빨리 성장할 수 있는지 상상할 수 있습니다. 그러나 학습 저장소가 없으면 정확히 그렇습니다.

그리고 많은 사내 CRO 팀이 이에 대해 유죄입니다.

이 아이디어를 집으로 가져오면 이미 알고 있는 것을 기반으로 구축하는 것이 실험 프로그램의 노력을 강화하는 확실한 방법이라는 것이 분명합니다.

리포지토리 = 실험 성공 가능성 높음

테스트(및 과거 테스트)를 학습하려는 마음가짐이 있을 때만 실험이 제공하는 것, 즉 주어진 컨텍스트와 상황에서 작동하는 것과 작동하지 않는 것에 대한 아이디어를 실제로 가치 있게 여깁니다.

UX, UI, 제품, 마케팅의 20가지 "좋은 결정"(실험 덕분에)은 의사 결정 근육을 유연하게 하고 본능을 날카롭게 하는 데 도움이 될 수 있습니다. 귀하의 의견이 격추되거나 검증되는 것을 더 많이 볼수록 무엇이 효과가 있고 청중이 필요로 하는 것이 무엇인지 알아내야 하는 나침반이 더 많이 필요합니다.

전환율을 위해 테스트하는 사람들은 이 큰 그림을 놓치고 있습니다. 청중이 무엇을 필요로 하는지 배우는 것이지 옳다는 것은 아닙니다.

방법을 보여드리겠습니다.

학습 저장소를 구성하는 방법

학습 저장소는 데이터 사일로를 제거하고 협업을 촉진하며 커뮤니케이션을 강화하기 위한 것입니다.

귀하가 적절하게 구성되지 않으면 이러한 기본 요구 사항을 충족하기가 매우 어려울 것입니다. 그러나 학습 저장소를 구성하는 방법은 옵션이 있다는 것입니다. 그들은 조직마다 다르게 작동합니다.

3가지 모델을 설명하고 팀, 부서 또는 조직과 완벽하게 일치하는 모델을 상상할 수 있기 때문에 문제가 되지 않습니다. 더욱이 전문가들은 하나의 특정 모델을 권장합니다.

실험 팀 구성 측면에서 승자가 있는 것 같습니다: Center of Excellence.

1. CoE(Center of Excellence)는 부서별 실험 팀을 지원하고 장비합니다.

이 모델에서 실험 팀은 전체 조직의 실험 프로그램에 대한 CoE입니다.

그래서 그들은 실험을 하고 싶어하는 다른 부서의 모든 사람들을 위한 일종의 컨시어지입니다. 당신은 그들을 통과하고 그들은 그것을 설정하는 데 도움이됩니다.

그런 다음 그들은 이러한 실험의 무결성을 감독하고 모든 것이 조직의 광범위한 실험 목표와 일치하도록 유지합니다.

오늘 이러한 방식으로 구조화하면 내일 다운라인 문제가 제거됩니다. 모든 것이 동일한 트랙에 유지되고 모니터링하기 쉽고 이러한 방식으로 학습 저장소를 구축하는 것은 조정하기 쉽습니다.

여기서 가장 큰 문제는 분산형 모델만큼 액세스할 수 없다는 것입니다.

2. 분산된 유닛은 여러 부서에 배치되어 모든 사람을 참여시킵니다.

분산된 단위는 다양한 부서에 있으며 실제 테스트를 실행합니다. 자체 성장 루프 및 메트릭에 대한 가장 많은 노하우를 보유하고 있어 영향력이 큰 실험을 설계하고 실행할 수 있는 가장 좋은 위치에 있기 때문에 이는 훌륭한 전략입니다.

이 모델에서는 부서 및 실험 경험 수준에 관계없이 누구나 테스트를 실행할 수 있습니다. CoE와 결합하면 일부 추종자를 끌어들입니다...

저는 분산형 실험의 열렬한 팬이며, 품질 관리 및 AB 테스트를 전파하는 우수 센터와 함께 일하고 있습니다. 내 경험에 따르면 이러한 구조는 실험의 힘을 진정으로 수용하는 문화에서 가장 잘 작동합니다. 학습 저장소의 관점에서 이것은 따라야 합니다. 팀 구성원은 실험을 실행하고 노동의 결과에서 얻은 교훈을 강조할 수 있는 권한을 부여받아야 합니다 .

– 데이비드 만하임

따라서 학습 저장소를 유지 관리하는 책임도 그에 따릅니다.

3. 실험 학습을 수집하고 유지하기 위해 한 사람이 관리합니다.

그러나 CoE 단독 모델과 ​​달리 분산형 모델의 학습 저장소는 조정하기가 더 어렵습니다.

학습을 문서화하고 유지 관리하는 지정된 역할을 갖는 것이 도움이 됩니다. 그리고 이것에 대해 유익한 것이 있습니다.

프로그램/프로젝트 관리자(추적 추적)와 1차 테스트 전략가('스토리를 입력함)가 관리하지만 제대로 완료되면 문제 양식, 새로운 캠페인 추적기, 새로운 테스트 솔루션 아이디어 등

– Ben Labay , 전무 이사 / CRO 및 Experimentation @ Speero by CXL

Matthias Mandiau는 Ben의 의견에 동의합니다.

나는 중앙 집중식/탈중앙화 간의 하이브리드를 선호합니다.

저장소는 항상 액세스할 수 있어야 합니다(클라우드).

강력한 가설을 생성하기 위해 다양한 연구 방법론을 결합할 수 있어야 합니다.

리포지토리 및 소유권의 설정 및 관리는 1팀/관리자(중앙 집중식)여야 합니다. 중앙 수준에서 높은 수준의 거시적 실험 성과 KPI에 대한 후속 조치를 취하는 것이 좋습니다.

실험을 수행하는 모든 제품 팀에는 중앙 저장소에 올바른 형식으로 업로드되는 수집된 모든 학습을 적절하게 관리할 책임이 있는 이해 관계자(데이터 분석가/CRO)가 있어야 합니다. 또한 분산된 팀 내에서 제품 팀 수준의 미시 실험 성과 KPI에 대한 후속 조치를 취하는 것이 좋습니다. 예를 들어 GA 또는 저장소에 연결된 대시보드가 ​​될 수 있습니다 .

Zendesk에서 한 명의 관리자가 리포지토리 유지 관리를 담당하지만 입력은 "테스트 소유자"로부터 제공됩니다.

현재 우리는 비즈니스 내 한 팀이 관리하는 저장소를 가지고 있으며 한 사람이 전체 소유권을 가지고 있습니다. 테스트 "소유자"는 테스트 완료 후 학습을 저장소의 해당 영역에 추가하도록 요청됩니다.

– 맥스 브래들리

그리고 이것이 분산형 모델을 관리하는 한 사람(또는 소규모 팀)이 실험 학습 저장소를 효율적이고 품질이 보장된 상태로 유지할 수 있는 방법입니다.

GoodUI가 하는 일과 유사합니다. 버티컬 및 고객의 학습을 바탕으로 탁월한 실험 통찰력 리소스를 생성합니다.

따라서 아직 학습 저장소가 없더라도 얻을 수 있는 지식이 풍부합니다. Convert의 계획에는 GoodUI 할인 구독이 함께 제공됩니다.

학습을 문서화하는 방법

조직화된 파일링 시스템과 마찬가지로 학습 리포지토리는 데이터를 버리는 장소가 될 수 없습니다. 모든 사람에게 유용하도록 학습을 문서화하는 명확하고 적절한 방식이 필요합니다.

이는 데이터의 직관적인 시각적 표현, 전문 용어가 없는 데이터 스토리, 필요할 때 특정 테스트를 찾는 쉬운 방법을 의미합니다.

방법은 다음과 같습니다.

테스트에서 모든 메타데이터 캡처 및 기록

명백한 첫 번째 단계는 테스트에서 데이터를 수집하는 것입니다. 하지만 어떤 데이터를 수집합니까? 모든 것을 모으는 것은 쉽지만 쉽게 압도되고 낙담할 수 있습니다.

그렇다면 실험 저장소에 포함할 데이터는 무엇입니까?

테스트 개념의 전체 메타데이터입니다. 그리고 주로 다음과 같은 범주의 표준인 질문을 기반으로 입력을 추적해야 합니다.

• 테스트 유형
• 페이지
• 접점
• 청중
• 성장 표면적

그러나 이러한 범주 내에서는 표준이 아닙니다. 예를 들어 청중은 회사에 따라 다르지만 모든 회사는 청중의 다른 세그먼트에 대해 테스트합니다.

– 벤 라베이

그리고 이것은 어떻게 생겼습니까?

더 명확한 그림을 얻을 수 있도록 각 범주를 살펴보겠습니다.

• 테스트 유형

어떤 시험이었나요? A/B 테스트? MVT? A/B/n 테스트?

• 페이지

여기에서 테스트가 발생한 사이트의 페이지를 지정합니다. 홈페이지인가요? 특정 제품 페이지? SaaS 브랜드의 가격 페이지는?

• 접점

터치포인트는 고객이 브랜드와 상호작용하는 여정의 영역입니다. 광고, 제품 카탈로그, 블로그 게시물, 마케팅 이메일, 앱 등이 될 수 있습니다.

• 청중

테스트 대상은 누구입니까? 기준에 따라 특정 세그먼트를 타겟팅하고 있습니까? 행동 데이터? 목표? 방문자 소스? 지리적 위치? 아니면 모두 무작위로 선택됩니까?

• 성장 표면적

이것은 사용자가 귀하의 사이트에 머물거나 브랜드와의 관계를 더 깊이 파고들도록 권장하는 상호작용 또는 기능을 나타냅니다. 따라서 각 방문자의 가치를 높이는 일종의 후크입니다. 이것은 무료 평가판 또는 데모가 될 수 있습니다.

메타데이터를 풍부하게 하려면 다음도 포함해야 합니다.

• 날짜
• URL/정규식
• 이전 테스트의 반복 - 보고하는 테스트의 기초가 되는 이전 테스트에 대한 링크입니다.

그리고 더 영향력 있는 정보로 이것을 봉인합니다. 포함…

• A와 B의 스크린샷
• 격리 여부(변경 횟수)
• 신뢰 구간의 영향 %
• 측정항목 유형

– 야쿱 리노프스키

많을수록 좋습니다. 그러나 관련성과 유용성을 유지하십시오.

다음은 Zendesk의 Max Bradley에서 가져온 또 다른 예입니다.

기본 추적 보고서 또는 리포지토리의 경우 Convert의 보고서에는 승자와 테스트 대상도 표시됩니다.

정보를 보존하면서 다양한 학습 스타일을 존중하십시오

실험 데이터를 저장할 때 사람들이 선호하는 정보의 다양한 방식에 호소해야 합니다.

그렇게 할 때 염두에 두어야 할 특정 사항이 있습니다...

우리는 다양한 방법을 시도했습니다. 에이전시로서 우리는 주어진 시간에 다양한 비즈니스의 여러 이해 관계자를 상대하고 있습니다. 거기에 도전이 있습니다. 사람들은 지식을 받아들이고 다르게 배웁니다. 그들은 시각, 청각 또는 운동 감각 학습자입니까? Myers-Briggs 키에서 그들은 어디에 있습니까? 이해 관계자와 의사 소통하는 방법은 의사 소통하는 내용만큼 중요합니다. 내 경험을 통해 학습 저장소가 성공하려면 두 가지가 있어야 한다는 것을 배웠습니다.

• 쉽게 필터링할 수 있는 테마 및 메모
• 스캔 가능한 학습을 ​​위해 간결합니다.

– 데이비드 만하임

보고된 실험에 대해 가능한 한 많은 정보를 제공할 수 있습니다. 그리고 다양한 형식으로 그렇게 하십시오. 그렇기 때문에 모든 숫자에 대한 맥락을 제공하기 위해 스크린샷, 비디오 녹화 및 스토리가 필요합니다.

관련성 있고 간결하며 스캔 가능하도록 유지하십시오 .

학습을 극대화하기 위해 테스트에 태그 지정

테스트에 태그를 지정하면 모든 항목에 쉽게 접근할 수 있습니다.

또한 한 눈에 테스트의 목적을 이해하는 데 도움이 됩니다.

리포지토리가 지속적으로 성장하고 있다면 언젠가는 수천 개의 테스트가 기록되고 수백 명의 사람들이 이를 사용하여 아이디어를 훑어보고 통찰력을 추출하고 결정을 내리게 될 것입니다.

사람들이 조직의 솔루션 스펙트럼에서 각 테스트의 위치를 ​​파악할 수 있다면 학습 내용이 더 유용할 것입니다.

최대 효과를 위해 학습 내용을 전달하는 방법

학습 저장소는 사람들이 실제로 사용할 때만 실험 프로그램에 도움이 됩니다.

따라서 액세스 가능하게 만드는 것 외에도 의미가 있고 실험에 대한 관심을 불러일으키는 방식으로 나머지 팀 및 조직에 제시하십시오.

하지만 어떻게 합니까? 이것은 숫자와 오해의 소지가 있는 일부 산업별 용어입니다. 다양한 분야의 사람들이 당신이 수집한 학습 내용을 높이 평가하도록 하려면 어떻게 해야 합니까?

A/B 테스트를 전달하는 것은 까다로울 수 있지만 이 단계를 따르면 이러한 장벽을 허물고 학습 저장소를 최대한 활용할 수 있습니다.

습관화

첫째, 실험이 낯선 개념이라면 학습을 통해 습관을 만드는 데 시간이 걸릴 수 있습니다. 그러니 이번 여행에서 인내심을 가지고 가십시오.

여기에서 당신의 임무는 이것을 일상적인 주간 활동의 일부로 만드는 것입니다. 브레인스토밍의 영감 부분이나 회의를 마무리하기 위해 하는 게임의 일부일 수 있습니다. 예를 들어, "어떤 테스트가 이겼나요?"

실험이 표준이 되는 문화를 구축하는 거대한 그림의 일부입니다…

일관되고 재미있고 영감을 주는 방식으로 팀과 함께 학습을 진행하는 습관을 들이십시오. 평소와 같이 비즈니스의 일부여야 합니다. 적어도 일주일에 한 번은 가설과 실험 결과를 검토하는 회의가 있어야 합니다. 모든 스프린트에는 적어도 1~2개의 실험이 포함되어야 하며 실험을 습관화하면 긍정적인 문화가 형성됩니다.

– 마티아스 만디아우

팀 회의에서 이를 제공하는 것 외에도 저장소 테스트는 학습 뉴스레터에서 공유하기가 매우 쉽습니다. 여기에 추가하는 습관을 들이면 사이트 전체에서 실험을 쉽게 채택할 수 있습니다.

겸손하고 투명하게 신뢰 구축

실험에 모든 답이 있다고 사람들을 설득하는 것은 멋져 보일 수 있지만, 이는 오해의 소지가 있습니다. 동료들이 이 모든 것이 어떻게 작동하는지, 숫자가 무엇을 나타내는지, 그리고 도출한 특정 통찰력에 대해 얼마나 확신을 가질 수 있는지 이해하도록 도와주세요.

100% 확신이 있는 것처럼 통찰력을 제시하지 마십시오. 대신 "직감" 및 모범 사례와 달리 이것이 의사 결정을 내릴 수 있는 가장 좋은 방법 중 하나임을 보여주십시오.

반대로 하면 여러분이 구축한 학습 저장소에 대한 신뢰를 잃게 되고 먼지를 모으기 위해 버려진 곳이 될 수 있습니다.

다음은 결과를 전달하는 방법에 대한 Speero의 Ben Labay의 몇 가지 팁입니다.

잃어버린 테스트를 숨기지 마십시오. 대신, 그것을 테스트의 양면적인 이점을 보여줄 기회로 사용하십시오.

당신이 승리했다면, 당신은 효과가 있는 것에 대한 통찰력을 얻었습니다. 실패했다면 무엇이 작동하지 않는지 알게 된 것이므로 주요 지표를 해치는 변경을 피해야 합니다.

두 경우 모두 개선할 수 있는 사항에 대해 배웠습니다.

발표할 때 인사이트의 실제 적용을 보여주는 스토리로 구성하고 Max가 하는 것처럼 이해 관계자가 스토리 작성에 참여하도록 초대합니다.

우리는 격주로 가장 최근의 학습 내용을 더 광범위한 팀에 제공하고 월 단위로 더 광범위한 비즈니스에 제공합니다. 우리는 이기는 것만큼 지는 시험을 제시함으로써 가능한 한 투명하게 노력합니다. 이 외에도 모든 검토자가 아이디어를 제출하거나 전용 Slack 채널에 질문이 있는 경우 질문해 주시기 바랍니다. 가능한 경우 증가율 외에도 실제 측면에서 이점을 보여주므로 독자에게 더 큰 영향을 미칩니다.

– 맥스 브래들리

학습을 통제하지 말고 모두를 참여시키십시오

실험은 마케팅, 최적화, 생산 및/또는 성장 팀만을 위한 것이 아닙니다. 데이터 중심 조직이 된다는 것은 잘 수행된 테스트에서 추출한 통찰력으로 대부분의 의사 결정 프로세스를 포화시키는 것을 의미합니다.

그리고 학습 저장소는 전체 미션의 한가운데에 있습니다.

그러니 모두 탑승하세요.

예, 사람들은 현장에서 다양한 수준의 경험을 가질 것이지만 프로그램이 손상되지 않도록 하십시오. 각 팀에 실험에 대한 더 깊은 경험을 가진 사람 또는 사람들이 있는 한, 당신은 무언가를 할 수 있습니다.

또한 실험에 더 친숙한 사람과 경험이 적은 사람이 팀에 있는 것도 고무적입니다. 실험 경험이 있는 팀에 최소 2~3명의 사람이 있으면 큰 차이가 있습니다.

– 마티아스 만디아우

영향은 자연스럽게 이렇게 퍼집니다.

새로운 눈과 아이디어의 교차 수분에 투자하십시오

때로는 다른 관점에서 생각하지 못한 아이디어를 얻을 수 있습니다. 따라서 실험 학습이 거품에 빠지지 않도록 하십시오.

해당 분야의 다른 전문가와 기꺼이 공유하고 그들의 피드백에서 무엇을 배울 수 있는지 확인하십시오.

한 고객 세그먼트에서 작동하지 않는 것이 있을 수 있지만 다른 고객 세그먼트에서는 작동할 수 있는 약간 다른 버전이 있습니까?

아니면 모두가 토론하고 있는 것을 우연히 발견했고 이제 대화에 참여하여 더 많은 것을 배울 수 있습니까?

다른 CRO 전문가와 함께 하면 발견할 수 있는 내용에 감명을 받을 것입니다. 코칭 콜조차도 다른 관점을 얻기 위한 전략의 일부가 될 수 있습니다.

코칭 – www.goodui.org/coaching – 테스트 계획을 검토하고 테스트 디자인에 대한 피드백을 제공하고 다른 사람들에게 효과가 있었던 점을 밝히기 위해 실험 팀과 1~2개월에 한 번 전화합니다.
– 야쿱 리노프스키

학습을 공유 가능하게 만들기

Notion을 사용하는 사람도 있고 Google Slides를 사용하는 사람도 있고 CRO 전문가가 Miro 보드 사용을 제안하지만 목적은 같습니다.

학습 내용이 충분히 도달할 수 있도록 테스트 데이터 및 통찰력을 나머지 팀(또는 다른 이해 관계자)과 통신합니다.

Notion, Google Slides, Miro와 같은 온라인 도구를 비롯하여 팀의 관심을 끌 만한 도구를 사용하면 모든 기기와 장소에서 저장소에 쉽게 액세스할 수 있습니다.

이것은 원격 팀과 앞에서 이야기한 새로운 시각을 얻는 데 유용합니다.

휴대가 간편하고 쉽게 공유할 수 있습니다. 이제 실험 학습에 날개를 달아 완전한 영향을 미치고 있습니다.

통찰력을 사용하여 테스트 계획

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

그럼 다 파헤치자...

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

기능은 다음과 같습니다.

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• 진행 보고서
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

왜요?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

첫날부터 저장소를 시작하십시오. 실험은 반드시 돈이 아니라 검증과 학습에 관한 것임을 이해 관계자에게 교육하기 시작하십시오. "우리는 이 테스트에서 X를 배웠습니다" 또는 "그 테스트에서 Y를 배웠습니다"를 더 많이 보여줄수록 귀하와 귀하의 이해 관계자가 더 일치하게 될 것입니다.

– 데이비드 만하임

3. 증거로 바이인 구축

아무도 또는 소수의 사람들만이 테스트를 문서화하고 부서 간에 통찰력을 공유하고 있다면 다른 모든 사람들이 이러한 노력에 참여해야 하는 이유를 보여줘야 합니다.

C-suite 지원을 위한 학습 리포지토리의 이점을 성공적으로 입증하는 것은 첫 번째 단계일 뿐입니다. 다음으로 해야 할 일은 이러한 이점을 다른 이해 관계자에게도 전달하는 것입니다.

Matthias는 이에 대한 환상적인 방법을 공유했습니다.

작고 간결하며 민첩하게 시작하십시오. 실험을 실행하고, 학습 내용을 수집하고, 문서화하는 데 많은 노력을 기울이십시오. 모든 실험 후에 적절한 보고서를 작성하고 자주 발송합니다(월간, 분기별, 연간). 처음에는 긍정적인 영향과 강력한 학습으로 큰 물고기 실험에 집중합니다. 긍정적인 결과는 사람들이 시작하도록 동기를 부여합니다.

강력한 영향력 있는 몇 가지 학습 사항을 수집한 후에는 부정적인 결과를 표시하고 실험 없이 이를 구현했다면 어떤 부정적인 영향이 있었는지 설명하는 것도 유용할 수 있습니다. 그런 다음 이러한 학습이 비즈니스와 더 나은 제품 결정을 내리는 데 얼마나 중요한지 설명합니다.

4. 작동하면 특정 도구를 살펴보기 시작합니다(먼저 배우고 행동하고 나중에 구매)

Google 프레젠테이션 또는 선택한 무료 플랫폼에 간단한 저장소를 설정하고 2단계와 3단계를 완료하면 도구에 돈을 투자할 수 있습니다.

고무적인 ROI를 실현할 수 있다는 확신이 들 때까지 총을 들고 학습 저장소에 돈을 쏟아 붓지 마십시오.

결론

이 기사에서 얻을 수 있는 한 가지 큰 교훈이 있다면 실험 학습을 회사 자산으로 보기 시작해야 한다는 것입니다. 이 자산은 시간과 비용을 절약할 것입니다. 그리고 조직의 데이터 중심 최적화 프로그램을 강화할 것입니다.

테스트만 하지 말고 승패를 가리고 서둘러 다음 아이디어로 넘어가십시오. 학습 저장소에서 발견한 내용을 전달하고 구조화하는 데 시간을 할애하면 실험 여정에 구조가 제공됩니다.

게다가, 그것은 배턴을 통과하고 테스트의 영향을 평가하고 흥미진진한 실험 문화를 촉진하는 가장 부드러운 방법입니다.

그리고 이 모든 것을 어떻게 시작합니까?

전문가의 말을 따르십시오. 간단하게 시작하십시오.