테스트 속도를 어떻게 높일 수 있습니까? 고속 프로그램이 필요한 이유는 무엇입니까?

일반적으로 매월 4개의 CRO 테스트를 실행하고(즉, 매주 테스트) 테스트의 10%가 이기면 우수한 최적화 프로그램을 실행하고 있는 것입니다. 괜찮은 테스트 능력과 좋은 승률입니다.

더 좋은 점은, 테스트에서 승리하기 위해 좋은 향상을 관리하고 프로그램의 성능이 시간이 지남에 따라 계속 개선된다는 것입니다.

그러나 대부분의 최적화 프로그램은 잘 실행되지 않습니다.

실제로 기업의 22%만이 CRO 노력에 만족합니다.

즉, 무려 78%의 기업이 최적화 프로그램을 최적화할 수 있습니다.

하지만 어떻게…

대부분의 전환 최적화 프로그램을 죽이는 요인

대부분의 최적화 프로그램의 문제는 장기적인 성공을 위해 설계되지 않았다는 것입니다. 대신 테스트별로 번창합니다.

이러한 프로그램은 대부분 마지막으로 실행한 테스트만큼만 효과적입니다(또는 그렇지 않습니다).

그리고 그것을 실행하는 회사는 실험의 구현을 승리로 봅니다. 그들의 근시안적인 견해는 일관성 있는 품질 테스트 프로그램을 지원하기 위해 인프라를 개발하는 것을 막습니다.

어떤 실험이든 좋은 실행이 필수라는 것은 사실이지만, 나쁜 실험도 정말 잘 실행될 수 있습니다.

그러나 이것이 일어날 때 아무도 승리하지 못합니다.

실행에만 집중하고 실험의 품질을 실제로 결정하는 아이디어, 가설, 문서화/학습과 같은 단계에 충분한 시간과 노력을 들이지 않으면 일반적으로 단기적 ​​성공만 거두게 됩니다.

따라서 테스트 속도를 높이고 우수한 최적화 프로그램을 실행하는 방법을 살펴보겠습니다. 이미 실행 중이라면 이 팁을 사용하여 승률과 전체 프로그램 성능을 더욱 향상시킬 수 있습니다.

여기 간다.

테스트할 더 많은 아이디어를 생성하는 방법

매달 (적어도) 4개의 테스트를 실행하려면 테스트 아이디어로 가득 찬 파이프라인이 필요합니다. "아이디어 뱅크"가 없으면 우수하고 일관된 테스트 속도를 지원할 수 없습니다.

그럼에도 불구하고, 대부분의 CRO 프로그램에서 테스트는 팀의 누군가가 일종의 CRO 테스트 깨달음을 가질 때 계획됩니다.

이상적으로는 실험 프로그램에 양질의 테스트 아이디어가 지속적으로 유입되어야 합니다. 이러한 테스트 아이디어는 다음에서 얻을 수 있습니다.

• CRO 도구가 생성하는 방대한 데이터를 파헤칩니다. 테스트 아이디어를 찾는 가장 좋은 방법은 데이터를 파헤치는 것입니다. Google Analytics, Kissmetrics, Mixpanel 등과 같은 분석 솔루션은 대부분의 사람들을 잃는 페이지나 참여율이 낮은 페이지를 찾기 위한 훌륭한 소스입니다. Hotjar, Clicktale 및 Decibel과 같은 도구는 사용자가 웹사이트에서 수행하는 작업을 보여주고 실제 전환 핫스팟을 식별하는 데 도움이 될 수 있습니다. 그런 다음 UserTesting, UsabilityHub 및 Usabilla와 같은 솔루션이 있어 테스트를 위한 몇 가지 중요한 기회로 변환할 수 있는 질적 피드백을 수집할 수 있습니다. 너무 많은 데이터 사일로를 검토하는 것은 어렵지만 실제로 성공적인 테스트 아이디어가 나오는 곳입니다.

• 수동 CRO 감사 실행. CRO를 위해 웹사이트를 감사하면 테스트를 위한 가장 가치 있는 최적화 격차를 발견할 수 있습니다. CRO 감사를 실행하면 웹사이트의 모든 측면(및 그 이상)을 체계적으로 살펴보고 손실을 입을 수 있는 부분을 확인해야 합니다.

• Stuck Score와 같은 평가를 사용하여 웹사이트에서 "전환 장벽"을 찾아냅니다. 웹사이트에서 전환 문제를 발견하고 테스트할 훌륭한 아이디어를 제공하는 Stuck Score와 같은 평가를 사용할 수도 있습니다. 이러한 도구는 지능적이며 전체 웹사이트에서 테스트 기회를 정확하게 찾아낼 수 있습니다.

이러한 소스를 활용하기 시작하면 일관된 아이디어 흐름을 생성할 수 있어야 합니다.

그러나 품질 테스트 아이디어를 생성하는 것은 이 문제의 한 측면일 뿐입니다. 다른 하나는 고려 중인 아이디어에 대한 의사 소통과 협업의 부족입니다. 이것은 사소해 보일 수 있지만(결국 데이터만 있으면 되겠죠?), 이러한 문제는 직원들에게 깊은 영향을 미치고 실험 문화를 왜곡할 수 있습니다.

예를 들어 Google이 시도한 유명한 41가지 파란색 실험을 예로 들어 보겠습니다. 데이터를 기반으로 한 그대로의 Google의 실험은 여전히 ​​엔지니어가 주도하는 접근 방식을 취했다는 비판을 받았습니다. Google의 사내 디자이너로 근무한 Douglas Bowman은 Google이 실험을 처리하는 방식에 대해 다음과 같이 느꼈습니다 . 어느 것이 더 잘 수행되는지 확인합니다. 최근에 테두리 너비가 3, 4 또는 5픽셀이어야 하는지에 대한 토론이 있었고 제 경우를 증명하라는 요청을 받았습니다. 나는 그런 환경에서 일할 수 없다. 나는 그런 사소한 디자인 결정에 대해 토론하는 데 지쳤습니다.”

생각하고 있는 아이디어를 공유하고 팀을 참여시키지 않으면 모두가 참여하고 싶어하는 포괄적인 실험 문화를 구축할 수 없습니다.

Compass(Convert Suite의)와 같은 CRO 도구를 사용하면 이러한 데이터 기반 협업 아이디어를 손쉽게 촉진할 수 있습니다. Compass를 사용하면 서로 다른 데이터 소스를 결합하여 데이터 기반 테스트 아이디어를 제시하고 Stuck Score의 통찰력을 기반으로 테스트할 아이디어를 제안할 수 있습니다. Compass를 사용하면 팀 구성원을 초대하고 피드백 등을 위한 옵션을 통해 참여시킬 수도 있습니다.

데이터 기반 가설 형성 및 레이저 중심 우선 순위 지정

테스트 아이디어가 있으면 그 중 몇 가지가 그저 명백하다는 것을 알게 될 것입니다. 예를 들어, 콘텐츠를 읽을 수 없다는 사용자 피드백을 받은 경우(그리고 타겟 인구통계가 예를 들어 40세 이상인 경우) 글꼴 크기를 늘리거나 올바른 색상을 변경하는 아이디어를 구현할 수 있습니다. 떨어져 있는. 결국 CSS 코드를 약간 변경하면 1분이면 해결됩니다.

귀하의 아이디어 중 일부는 유망해 보이고 완전히 테스트할 가치가 있는 것처럼 보이지만 이를 뒷받침할 "충분한" 데이터 포인트를 찾아야 합니다.

그리고 모호하고 검증할 방법이 없기 때문에 버려야 하는 아이디어도 있습니다. 예를 들어, CRO 감사 결과 NPS 점수가 낮고 전환율이 낮은 이유가 발견되면 간단한 실험을 통해 이를 고칠 수 없습니다.

이 중 실제로 강력한 가설로 변환할 수 있는 아이디어는 실제 테스트 기회입니다.

그러나 각 가설을 뒷받침하려면 많은 데이터가 필요합니다. 예를 들어 모바일 방문 페이지 환경을 최적화하면 전환율이 높아진다고 가정할 경우 이를 뒷받침하기 위해 많은 데이터 요소가 필요합니다. 이 경우 사용할 수 있는 데이터는 다음과 같습니다.

1. 낮은 모바일 전환 - Google Analytics와 같은 웹 분석 솔루션을 통한 데이터.
2. 모바일 트래픽에 대한 비정상적으로 높은 감소 - 다시 Google Analytics와 같은 웹 분석 솔루션을 통한 데이터입니다.
3. 고객의 열악한 피드백 - 사용자 테스트 솔루션을 통한 데이터.

보시다시피, 이 가설을 형성하기 위한 데이터는 여러 데이터 소스의 입력이 있으므로 상당히 균형이 잡혀 있습니다. 또한 양적 데이터와 정성적 데이터가 모두 있습니다. 이상적으로는 "검증할 가치가 있는" 모든 아이디어를 뒷받침하는 균형 잡힌 데이터를 찾아야 합니다.

하지만 아직 끝나지 않았습니다.

좋은 가설을 모두 준비한 후에는 점수를 매기거나 우선 순위를 매길 방법이 필요하기 때문입니다. 그렇게 하면 어떤 가설을 먼저 시도할지 또는 아예 시도할지 알려줍니다. 힌트: “새로운 웹사이트 디자인을 테스트해봅시다!!! 우리의 매출이 급증할 것입니다.” 일반적으로 매우 나쁜 가설입니다.

가설을 테스트하는 것이 얼마나 실용적인지를 결정하는 데에는 많은 요인이 작용합니다. 구현 시간과 어려움, 전환에 미칠 수 있는 잠재적 영향을 여기에서 고려해야 합니다.

그러나 대부분의 회사에는 이에 대한 우선순위 지정 모델이 없습니다. 이로 인해 한 달 동안의 CRO 대역폭을 모두 사용하는 주요 설계 점검과 같은 야심찬 테스트가 시작되는 경우가 많습니다. 즉, 적어도 한 달 동안 더 이상 테스트를 계획하거나 실행할 수 없습니다. 최악의 부분은 그러한 야심 찬 테스트조차도 중요한 결과를 보장하지 않는다는 것입니다.

이를 방지하기 위해 CXL의 PXL 우선 순위 프레임워크를 사용할 수 있습니다. 이 프레임워크를 사용하면 제안된 변경 사항을 더 잘 이해하고 연구 중에 발견된 문제, 잠재적 영향 및 구현 노력을 해결하는 방법을 평가하는 등 매우 세부적인 수준에서 생각해야 합니다.

가설의 우선 순위를 정하기 위해 PIE 및 ICE 점수 프레임워크를 확인할 수도 있습니다.

가설의 우선 순위를 정하는 훨씬 더 현명한 방법은 실험이 얼마나 많은 자원과 시간 집약적일 수 있는지 알려줄 수 있는 CRO 도구를 사용하는 것입니다. 예를 들어, Compass는 모든 가설에 대해 좋은 추정치를 제공합니다.

A/B 테스트에서 배우기

테스트는 결정적이지 않을 수 있습니다.

대부분의 전환율 최적화 프로그램의 경우 통계적 유의성에 도달하는 테스트의 낮은 20%를 얻습니다.

따라서 모든 학습은 테스트 믹스로 돌아가 더 좋고 세련된 아이디어와 가설을 제시하는 데 사용해야 합니다.

그뿐만 아니라 도전자 버전이 승리하지만 수익 탱크가 될 때 승리한 실험도 실제로 패배자가 될 수 있습니다.

게다가, 가설이 정말 강력하고 데이터가 뒷받침되는 것이라면, 그것에 대한 후속 실험을 약 3-4개 만드는 것이 일반적입니다(초기 실험이 이겼더라도!).

즉, 실험 결과를 해석하고 기록하는 것만으로는 충분하지 않습니다. 의미 있는 반복 테스트를 계획하려면 테스트를 실행할 때마다 전체 실험 프로세스를 문서화해야 합니다.

LinkedIn은 관찰 및 학습 내용을 문서화하여 실패한 실험을 후속 조치할 수 있었고, 이는 실제로 테스트 중인 주요 기능에서 승자가 되었습니다. 전체 내용은 다음과 같습니다.

2013년 LinkedIn 검색은 업그레이드된 통합 검색 기능을 출시하는 주요 실험을 시작했습니다. 기본적으로 LinkedIn 검색은 "사람", "작업" 또는 "회사"와 같은 필요한 한정어 없이 쿼리 의도를 자동으로 파악할 수 있을 정도로 "스마트"합니다. 이번 릴리스에서는 검색 방문 페이지가 완전히 개편되었습니다. 탐색 표시줄에서 버튼 및 스니펫에 이르기까지 모든 것이 다시 작성되어 사용자가 많은 변경 사항을 볼 수 있었습니다.

그러나 실험은 실패했고 LinkedIn은 주요 지표 탱크를 보고 놀랐습니다.

이제 팀은 사용자가 잘 사용하지 않는 변경 사항을 식별할 수 있도록 한 번에 하나의 변경 사항을 역추적하여 원래 디자인으로 롤백하기로 결정했습니다. 시간이 많이 걸리는 이 롤백 동안 LinkedIn은 사람들이 좋아하지 않는 통합 검색이 아니라 클릭수와 수익을 떨어뜨린 몇 가지 작은 변경 그룹이라는 것을 발견했습니다. LinkedIn이 이러한 문제를 해결한 후 통합 검색은 긍정적인 사용자 경험을 제공하는 것으로 나타났고 모든 사람에게 공개되었습니다.

따라서 간단한 A/B 테스트이든 복잡한 다변수 테스트이든 간에 시작하는 모든 실험을 자세히 문서화해야 합니다. 학습 내용도 문서화해야 합니다. 그렇게 하면 미래(또는 후속) 실험이 실제로 이전 실험보다 더 나은지 확인할 수 있습니다.

Convert Compass와 같은 CRO 도구를 사용하면 아이디어, 관찰, 가설 및 학습에 대한 지식 기반을 구축하여 전체 팀이 함께 배우고 성장할 수 있습니다. 뿐만 아니라 Compass는 학습 내용을 사용하여 다음에 시도할 수 있는 가설을 제안할 수도 있습니다.

정리 중…

CRO 프로그램의 관념화, 가설화 및 학습 부분을 최적화함으로써 실험의 품질을 극적으로 향상시킬 수 있습니다. 그리고 이를 통해 모든 사람들과 협력하고 참여함으로써 포괄적인 실험 문화를 구축하고 강화할 수 있습니다.

아이디어를 낼 때 모든 데이터를 모으는 것이 어렵거나 가설을 세울 때(및 우선 순위 지정) 데이터가 너무 많아 후속 실험을 위해 학습 내용을 문서화하거나 사용하는 데 어려움을 겪을 수 있지만 이것이 테스트를 늘리는 데 도움이 될 것입니다. 속도를 높이고 장기적인 CRO 성공을 위한 토대를 마련하십시오.

이 모든 힘든 작업을 대신해 주는 CRO 도구를 사용하려면 아래에서 가입하세요.

Compass는 데이터 기반 아이디어(다양한 데이터 사일로의 모든 데이터를 통합하고 먼저 시도할 아이디어를 제안하는 Stuck Score의 입력), 의미 있는 우선 순위 지정(실험이 얼마나 어렵고, 쉽고, 영향력이 있을 수 있는지 알려줌으로써)을 돕습니다. ) 및 학습 문서(모든 아이디어, 데이터 연구, 관찰, 결과, 학습 등을 한 곳에서 모음).