2020년 및 그 이후의 A/B 테스팅: 변화하고 있는 것과 해야 할 일

A/B 테스트 환경은 빠르게 변화합니다.

테스트 믹스에 들어가는 것부터 테스트 프로세스 및 이를 지원하는 기술에 이르기까지 모든 것이 빠르게 진화하는 경향이 있습니다.

몇 년 전만 해도 개인화, 고급 서버 측 테스트, Google 태그 관리자와 같은 플랫폼을 통한 테스트 등과 같은 개념이 단지 예측에 불과했다는 것을 기억할 것입니다.

그러나 그들은 모두 여기에 있고 현상 유지를 뒤흔들고 있습니다.

언젠가는 AI도 주류가 될 수 있습니다. 이미 제작 중인 Microsoft Clarity가 있습니다.

그렇다면 이러한 변화를 추진하는 요인은 무엇일까요?

때로는 시장입니다.

때로는 실험자입니다.

때로는 CRO 기술 솔루션 제공업체이기도 합니다.

따라서 A/B 테스트 환경이 어떻게 변화하고 있으며 이에 적응하기 위해 2020년 및 그 이후에 무엇을 할 수 있는지 살펴보겠습니다!

A/B 테스팅: 앞으로의 일

A/B 테스트는 전환 최적화를 위한 방법이었습니다.

다변량 또는 깔때기 테스트와 같은 다른 CRO 기술과 비교하여 비교적 간단한 실험으로도 결정적인 결과를 제공한다는 사실이 인기를 끌 수 있습니다.

그러나 기업이 청중의 "세그먼트"를 더 많이 인식함에 따라 이는 천천히 변화하고 있습니다.

설명하자면…

이전에 마케터는 홈페이지에 대해 두 가지 가치 제안 옵션을 기꺼이 테스트했습니다.

고전적인 고유 가치 제안 A/B 테스트 실험입니다.

기간.

그러나 이제 그들은 더 많은 일을 하기를 원합니다. 훨씬 더.

그들은 우승한 버전이 모든 잠재고객 세그먼트에서 잘 수행되는지 확인하려고 합니다.

예를 들어 대학 웹사이트에서 졸업 및 대학원 학위를 모두 제공하는 경우 사내 마케팅 담당자는 각 잠재고객 세그먼트에 가장 적합한 홈페이지 헤드라인을 알고 싶어할 것입니다.

이것은 개인화에 지나지 않습니다.

그리고 데이터 기반 마케터는 개인화된 경험의 형태로 마케팅 노력의 ROI를 높일 수 있는 결과를 찾기 위해 A/B 테스트를 찾고 있습니다.

Multiplica 및 Business Angel의 CEO인 David Boronat은 개인화가 미래에 능동적인 웹 경험을 가능하게 하는 핵심 트렌드가 될 것이라고 예측합니다.

내가 예측할 수 있는 가장 중요한 추세는 개인화와 사전 예방적 웹사이트를 디자인하는 방법에 관한 것입니다. 관련성 있고 정확하며 시기 적절한 사이트. 사용자의 행동과 구매 여정의 미시적 순간에 따라 사용자를 적극적으로 검색하는 사이트입니다.

사용자의 위치를 ​​파악하고 위치에 따라 제품을 표시하려고 할 때 사전 예방적 사이트를 볼 수 있습니다. 또는 사용자를 인식하고 프로필 또는 과거 행동에 따라 필요한 것을 제공할 때.

상황화, 인식, 프로파일링, 사용자 정의, 세분화, 추천, 사전 예방, 개인화, 추론 또는 다중 채널 경험은 우리 사이트를 상업적으로 스마트하게 만드는 데 사용할 전략 중 일부입니다.

/b 테스트는 이것과 어떤 관련이 있습니까? Dynamic Yield, Monetate 또는 Evergage와 같은 플랫폼을 사용하여 우리 사이트에서 이러한 전술을 구현하는 것이 더 쉬울 것입니다. IT 또는 컨설팅 리소스.

이러한 추세는 잠재고객 생성, 비즈니스 규칙 적용 또는 캠페인 실행 및 개인화된 경험을 허용하지 않는/b 테스트 플랫폼에 영향을 미칠 것입니다.

Multiplica 및 Business Angel의 CEO인 David Boronat

Rohlik.cz.의 제품 책임자이자 전환율 최적화 성숙도 모델의 저자이자 열정적인 성장 마케터인 Michal Parizek은 A/B 테스트 실행에 자신 있는 사람들이 어떻게 고급 타겟팅 및 개인화를 구축할 수 있는지 알려줍니다.

이미 여러 A/B 테스트를 성공적으로 시작한 동료는 이를 활용하려고 시도하고 고급 타겟팅 및 개인화를 실험할 것입니다. 많은 전자 상거래 웹 사이트의 경우 개인화에 엄청난 잠재력이 있으며 많은 회사에서 이 주제에 대해 더 깊이 파고들 것입니다.

도구 시장이 어떻게 변할지 지켜보는 것도 흥미로울 것입니다. Google Optimize는 몇 년 전 Google Analytics에서 그랬던 것처럼 이를 방해하고 제어하는 ​​것을 목표로 합니다. Convert.com과 다른 많은 사람들은 어떻게 반응할까요? 한 가지 확실한 것은 치열한 경쟁을 통해 수혜를 입는 과목이 하나 있다는 것입니다. 그리고 당신은 고객입니다.

Michal Parizek, Rohlik.cz.의 제품 책임자, 전환율 최적화 성숙도 모델 저자

세계 최고 수준의 테스트 도구 제조업체인 Convert Experiences에서 우리는 이것이 몇 년 전에 오는 것을 보았습니다.

사실, 우리는 개인화가 계속되고 A/B 테스팅이 개인화와 함께 사용될 것이라는 것을 알고 있었기 때문에 단순한 A/B 테스트 도구에서 완전한 개인화된 경험 솔루션으로 옮겨갔습니다.

이것은 A/B 테스트 도구를 Experience 도구로 단순하게 리브랜딩하는 것이 아닙니다. 우리는 Audiences에서 Segments에 이르기까지 모든 요소를 ​​재구축하고 있으며 다른 마케팅 도구에 더 많은 엔터프라이즈 통합을 추가할 것입니다. 오늘 릴리스를 통해 우리는 이 흥미로운 경로와 현재 공동 작업 중인 5000개 이상의 웹 사이트에 개인화를 구현하기 위해 최선을 다하고 있습니다.

개인화된 웹 사이트 경험을 강화하는 방향으로 나아가고 있는 Convert Experiences의 Dennis van der Heijden(2016년 7월)

전환 이후로 우리는 고객이 야심찬 아이디어를 시도하기를 원했기 때문에 개인화 능력을 적극적으로 개발했습니다.

오늘날 실시간 행동 타겟팅 기반 개인화, DMP 프로파일링, 겹치는 청중을 쉽게 관리하고 우선 순위를 지정하는 조항 등을 지원함에도 불구하고 우리는 여전히 갈 길이 멀다고 느낍니다.

그러나 A/B 테스트 및 개인화와 같은 실험에는 승자와 패자가 있을 뿐만 아니라 SEO와 같은 다른 마케팅 영역에도 영향을 미칩니다.

물론 여기에는 답변보다 더 많은 질문이 있지만 이러한 성장 전략은 단독으로 작동하지 않습니다.

따라서 이러한 실험이 웹사이트의 SEO 성능 등에 어떤 영향을 미치는지 모니터링할 필요가 있습니다.

UX 및 전환율 최적화 주제에 대한 컨퍼런스 발표자, 저자, 트레이너 및 컨설턴트이자 매우 인기 있는 BrightonCRO 컨퍼런스(현재 6회째)의 주최자인 Fresh Egg의 Duncan Heath는 고객이 자신에게 자주 상담하는 방법을 설명합니다. 이러한 CRO 캠페인이 SEO에 미치는 영향:

전환 최적화 및 개인화가 SEO에 미치는 영향에 대해 고객으로부터 점점 더 많은 질문을 받고 있습니다.

이 세 가지 분야는 검색 엔진이 사용자가 웹사이트에서 경험한 경험(예: 이탈률, 사이트에 머문 시간, 세션당 페이지 수 등)에 대해 훨씬 더 많은 데이터를 캡처할 수 있게 되면서 계속 수렴됩니다. 이는 전체 수준에서뿐만 아니라 개별 수준에서도 발생합니다. 많은 사람들이 자신이 알지 못하는 경우에도 탐색할 때마다 Chrome에 로그인합니다.

검색 엔진은 오랫동안 사용자 경험이 좋은 사이트에 더 나은 순위를 부여한다고 말했으며 이미 테스트 변형과 개인화된 페이지를 색인화하고 순위를 매기는 것을 보고 있습니다.

좋은 옵티마이저는 분할 테스트 변형이 검색 가시성에 어떻게 영향을 미칠 수 있는지(긍정적이든 부정적이든) 이미 염두에 두고 있으며 사이트 변경은 두 가지 모두를 고려한 후에만 롤아웃해야 합니다. 그러나 개인화는 다양한 청중 세그먼트와 개인에 따라 상시 제공되는 경험이기 때문에 향후 몇 년 동안 옵티마이저에게 더 큰 도전 과제가 될 것입니다. 따라서 검색 엔진에 대한 질문은 다음과 같습니다.

페이지의 어떤 버전을 색인화해야 하며 다른 사람들이 검색할 때 순위를 매겨야 합니까?

뉴스 웹사이트의 '스포츠' 페이지는 사이트가 특정 사용자와 관련이 있는 것으로 알려진 스포츠 콘텐츠를 제공하여 개인화된다는 점을 고려하십시오(이전 검색 기록을 기반으로 함). 이 사용자가 Google에서 '스포츠 뉴스'를 검색하면 이 사이트의 스포츠 페이지가 웹에서 가장 관련성이 높을 수 있습니다. 그러나 이전에 해당 뉴스 사이트를 방문한 적이 없는 다른 사용자의 경우 방문 페이지가 개인화되지 않았으므로 매우 관련성이 높은 콘텐츠가 포함되어 있지 않습니다.

Google은 동일한 검색어를 가진 다른 사람들에 대해 위에서 언급한 스포츠 페이지의 순위를 다르게 지정해야 합니까? Google은 페이지의 여러 버전에 대해 색인을 생성해야 합니까? 어쨌든 Google은 특정 사용자 그룹이나 개인에게 전달된 개인화된 콘텐츠를 어떻게 볼 수 있을까요?

이러한 질문은 개인화가 사라지지 않기 때문에 대답해야 합니다. Econsultancy는 작년에 마케터에게 이것이 세 번째로 높은 우선순위임을 발견했습니다.

따라서 검색 엔진은 개인화된 페이지/콘텐츠를 인덱싱하고 이것이 다른 사용자에게 표시할 페이지와 시기에 어떤 영향을 미치는지 이해하는 데 필요한 데이터를 수집하는 데 더 능숙해야 합니다. 그 동안 옵티마이저는 테스트 변형 및 개인화가 검색 결과에 미치는 영향을 계속 면밀히 모니터링해야 합니다.

던컨 히스 오브 프레쉬 에그

테스트는 마라톤이며 CRO 성숙에도 단계가 있음을 이해합니다.

초기에 A/B 테스트를 시작한 일부 회사는 CRO 성숙도가 더 높은 수준에 있지만 대부분은 이 게임에 익숙하지 않습니다.

Shanelle Mullin(Shopify의 전환율 최적화)은 CRO가 아직 젊은 산업이라는 점을 지적하고 올해는 CRO를 시작한 대부분의 회사에서 진화보다 더 기초가 될 것이라고 강조합니다.

CRO는 아직 젊은 산업입니다. 2018년 전환 최적화 현황 보고서에 따르면 마케터의 62.4%가 CRO 업계에서 일한 지 4년 미만입니다.

A/B 테스팅에 대해 말이 많았음에도 불구하고 많은 마케터들이 여전히 잘못 알고 있습니다. 결과? 사람들은 부적절한 테스트의 부정확한 결과를 기반으로 중요한 비즈니스 결정을 내리고 있습니다.

저는 올해 대부분의 회사가 프로세스를 계속 정의(및 개선)하기 때문에 진화보다 더 기초가 될 것이라고 생각합니다.

Shanelle Mullin – Shopify의 전환율 최적화

Mullin은 또한 대부분의 기업이 필요에 따라 조정하는 일반적인 7단계 CRO 프로세스를 공유합니다.

1. 문제 영역을 식별하기 위해 고유한 사이트에 대한 정성적 및 정량적 조사를 수행합니다.
2. 연구를 통해 테스트 및 실험 아이디어를 내십시오.
3. ICE 또는 PXL과 같은 우선 순위 지정 방법을 사용하여 이러한 테스트 및 실험 아이디어의 우선 순위를 지정합니다.
4. 우선 순위가 가장 높은 테스트 또는 실험 실행을 시작합니다.
5. 테스트 또는 실험의 결과를 분석합니다.
6. 테스트 또는 실험의 결과를 기록하거나 보관합니다.
7. 가장 최근의 테스트 또는 실험에서 얻은 통찰력을 사용하여 더 스마트한 테스트 및 실험 아이디어를 생각해 냅니다.

Shanelle Mullin – Shopify의 전환율 최적화

이제 경험이 많은 실험자들로부터 Parizek은 " ... 테스트의 품질 가설에 대한 더 나은 초점을 기대합니다(그리고 어리석은 버튼 색상 테스트는 더 적게, 제발)... " 그의 CRO 성숙도 모델은 회사의 다양한 성숙도 모델을 설명하는 데 훌륭한 역할을 합니다. CRO 프로그램은 에 있을 수 있습니다.

대부분의 기업의 CRO 프로그램이 초기 단계에 있기 때문에 대부분 시행착오 캠페인만 진행합니다. 간소화된 CRO 프로세스가 없으면 이러한 회사는 종종 장기적인 최적화 전략 없이 임시로 실험을 실행하게 됩니다. 게다가, 이 실험에서 배운 것이 거의 없습니다.

실험 문화의 중요성 증가

몇 년 전, " 웹사이트에서 A/B 테스트에 가장 좋은 X "와 같은 기사가 정기적으로 게시되었습니다. 모든 곳에서 모든 사람들이 버튼 색상 변경, CTA에 "FREE"라는 단어 추가, 다른 헤더 이미지 사용에 대해 이야기하고 있었습니다.

마케팅 블로그에는 세 자릿수 "리프트"에 대한 기사도 넘쳐났습니다.

그러나 이러한 콘텐츠는 이제 빠른 승패보다는 실험 문화를 발전시키는 데 중점을 두는 형식으로 대체되고 있습니다.

이러한 변화는 이러한 전술이 장기적인 CRO 성공에 효과가 없다는 것을 이해하는 마케터의 사고방식의 큰 변화를 반영합니다. 그리고 그들은 데이터 기반 사고를 장려하기 위해 아무 일도 하지 않습니다.

이러한 깨달음의 결과로 점점 더 많은 마케터들이 실험 문화에 투자하기로 결심했습니다.

그들은 또한 CRO를 마케팅/수익 조합의 고유한 부분으로 인식하고 있습니다.

WebMechanix의 전환 최적화 이사인 Shlomo Trachtenberg는 승마 광고 비용과 경쟁을 고려할 때 전환 중심의 문화를 전환 중심 문화를 채택하는 것이 수익성 있는 전환당비용을 달성하는 확실한 방법이라고 생각하기 때문에 다음과 같이 기대합니다.

광고 비용이 증가하고 디지털 마케팅을 위한 예산을 확장하는 기업이 늘어남에 따라 온라인 경쟁이 치열해지고 있습니다. 클릭당 비용과 전환율은 그 어느 때보다 온라인 마케팅에 직접적인 영향을 미칩니다. 따라서 경쟁으로 인해 클릭당 비용이 증가하는 동안 전환 최적화는 수익성 있는 전환당 비용 및 리드당 비용을 달성할 수 있는 거대한 수단이자 기회가 됩니다. 저는 점점 더 많은 기업이 전환 중심의 문화를 채택하는 것을 보게 될 것이라고 믿습니다.

Shlomo Trachtenberg – WebMechanix의 전환 최적화 이사

EFI Optitex의 글로벌 디지털 마케팅 관리자인 Tzvi Harel은 회사가 CRO를 통해 진정으로 성공할 수 있는 것은 모든 사람을 참여시키고 실험 문화를 구축해야 한다고 지적합니다. 그는 CRO가 어떻게 "조직 간"이고 더 이상 한 사람의 일이 아니라고 설명합니다.

많은 기업에서 CRO는 조직 간 백업 노력이 아니라 여전히 한 사람의 기술 영역입니다. 예 – 일부 기업은 이미 "항상 테스트하는" 문화를 채택했지만 여전히 소수입니다.

경쟁이 치열하고 사용자의 기대치가 높으며 인간의 관심 지속 시간은 가장 낮습니다. 도전적인 기여 모델(최소한 말해서)로 그 위에 오르면 올해도 다르지 않은 이유를 알 수 있습니다.

다시 말해, 앞서 계획하는 기업은 떠돌아 뒤처져 있을 여유가 없습니다. 이제 그 어느 때보다 모든 사람이 최적화 게임에서 제품, 마케팅, 크리에이티브, R&D, 유지, 지원(이름을 정하는 것!)에서 각자의 역할을 해야 합니다. 이것은 올인(ALL IN) 태도를 가진 팀의 노력이어야 합니다. 끊임없이 증가하는 결과를 생성하기 위해 열심히 노력하고 ROI를 개선하기 위해 협력해야 합니다.

의미 있고 통찰력 있는 데이터 분석에 대한 강조는 계속해서 최전선에 있을 것입니다. 자동화, 챗봇(AI), 음성 검색을 잊지 말자. 기업은 이를 사용하기 위해 새롭고 창의적인 방법을 채택하기 시작할 것이며, 이는 업계에서 계속해서 많은 소음을 발생시킬 것입니다.

오해하지 마세요. 자동화, 개인화 및 AI는 매우 중요하며 여기에서 계속 성장하고 있습니다. 그러나 롱테일의 경우 계속해서 거래의 기본을 마스터하고 올바른 점을 연결하는 방법을 이해하는 데 초점을 맞춰야 합니다.

그 핵심에서 이것은 4가지를 수행하는 것을 의미합니다. 1. 무엇이 작동하지 않는지 알아내기 2. 예상되는 영향의 우선 순위 지정 3. 최적의 수정 사항 가설 4. 반복 테스트.

누군가에게는 이것이 사소한 일일 수 있지만 다시 말하겠습니다. "모범 사례", 새로운 '테스트해야 할 50가지 사항' 기사 또는 색상 테스트에 대한 집착은 잊어버리십시오. WHY 부분은 우리 모두가 계속 실패하고 실제로 집중해야 하는 부분입니다.

모든 기업은 청중을 알고 대담한 변화를 만들고 테스트하며 정확성을 유지하기 위해 싸워야 합니다. 이러한 마음가짐으로 대부분의 팀은 가치 있고 반복 가능한 기회를 발견하고 최종 결과에 흔적을 남길 수 있습니다.

Tzvi Harel, 글로벌 디지털 마케팅 관리자 – EFI Optitex

Parizek은 동일한 아이디어를 반영하여 혁신을 주도하는 데 도움이 되는 아웃소싱이 아닌 사내 실험에 투자하는 기업도 보고 있습니다. 혁신은 모든 성공적인 회사의 핵심 프로세스이므로 사내 실험 팀이 엄청난 가치를 제공합니다. "

(그리고) 테스트 기술 제공업체의 가격 책정 모델이 변화하고 있습니다.

테스트 기술 분야의 가장 큰 화두는 최고의 솔루션 제공업체의 가격 책정 모델이 변경되었다는 것입니다. 대부분은 엔터프라이즈 및 비엔터프라이즈의 두 대상만 보고 있습니다.

많은 공급자가 기업 고객에게 초점을 완전히 옮겼습니다.

고객:

1. 1년에 몇 천 달러 이상을 지출하는 경향이 있음
2. 연간 계약을 감당할 수 있는
3. 이미 CRO에 투자했고 장기적으로 투자했습니다.

고도로 집약적인 CRO 프로그램의 기술 및 서비스 요구는 5/6 숫자의 연간 기업 계약을 쉽게 정당화합니다.

그러나 CRO 영역에서는 기득권이 흔하지 않기 때문에 기업이 단계적으로 퇴출되는 것을 막는 경우가 많습니다. 대부분 CRO 프로그램의 첫 번째, 두 번째, 세 번째 수준에 있는 회사가 이러한 가격 인상으로 타격을 받습니다.

불행히도 "전담 기업으로 가는 것"의 추세는 여기에 머물러 있습니다. 이것이 기업이 기존 기술을 존중하고 업그레이드 압력 없이 프로그램을 계속하는 데 필요한 지원을 제공하는 기술 파트너를 선택해야 하는 이유입니다.

모든 말과 완료, 변화는 도전적입니다…

끊임없이 변화하는 이 A/B 테스트 환경의 모든 변화는 따라잡기 위해 더 열심히 더 빨리 일하게 할 것입니다.

그렇게 하지 않는 것은 선택 사항이 아닙니다.

Convert에서 우리는 항상 여러분과 같은 옵티마이저가 앞서 나갈 수 있도록 힘을 실어주기 위해 노력합니다.

우리의 투명한 가격 정책에 대한 고급 개인화 기능과 저렴한 계획(모든 종류의 최적화 프로그램에 대한)과 함께 제공되는 테스트 솔루션이 있든 상관없이 우리는 기업이 실험을 통해 큰 성공을 거두는 것을 보고 싶습니다.