A/B 테스팅 챗봇: 시작하는 방법(그리고 왜 해야 하는지)

"이봐 거기

나는 보티봇이다!

어떻게 도와 드릴까요?"

오늘 어떤 웹사이트를 방문할지 모르겠지만 ... 하지만 결국에는 *팝* 소리가 들리고 봇이 "말하기" 시작하는 웹사이트를 최소한 한 곳은 방문하게 될 것입니다.

... 사전 판매 지원을 제공합니다.

또는 판매 후 질문에 도움이 됩니다.

또는 단순히 지원을 제공합니다.

매일 챗봇은 사용자와 수백만 건의 대화를 나눕니다. 더 많은 리드, 더 많은 판매, 더 높은 고객 충성도와 같은 실제적이고 가시적인 비즈니스 결과를 가져옵니다. 그리고 2020년까지 기업의 무려 80%가 이를 사용할 것으로 예상되는 꽤 주류입니다.

챗봇은 수익을 창출하므로 다른 수익 채널과 마찬가지로 더 나은 결과를 위해 최적화할 수 있습니다.

A/B 테스팅(및 기타 실험)으로 챗봇 최적화

마케팅, 영업 및 지원 전략에서 챗봇을 사용하는 방법에 따라 실험을 실행하면 많은 이점을 얻을 수 있습니다.

예를 들어, 챗봇 실험은 다음을 식별하는 데 도움이 될 수 있습니다.

• 더 많은 더 나은 리드를 생성하는 사전 판매 시퀀스
• 더 많은 리드를 고객으로 전환하는 평가판 메시지
• 전환율을 높이는 온보딩 경험
• 고객 만족도(및 충성도)를 높이는 고객 성공 시퀀스
• …. 더 적은 수의 티켓을 생성하는 지원 시퀀스

요약: 챗봇을 사용하는 비즈니스라면 A/B 테스트를 통해 채널의 ROI를 향상시킬 수 있습니다.

상당수의 챗봇 솔루션에는 기본 A/B 테스트 기능이 포함되어 있어 기업이 실험을 실행하여 최고의 메시징, 시퀀스, 트리거 등을 찾을 수 있습니다.

그러나 챗봇에 대한 의미 있는 CRO 실험을 실행하려면 올바른 최적화 프로세스를 사용해야 합니다.

A/B 테스트 챗봇: 프로세스

챗봇 실험 생성을 시작하기 전에 먼저 개선할 측정항목을 선택하세요.

예를 들어 마케팅에 챗봇을 사용하는 경우 성공적인 챗봇 상호작용 후 옵트인한 리드 의 수가 측정항목일 수 있습니다.

또는 판매 촉진을 위해 챗봇을 사용하는 경우 측정항목 은 챗봇과의 상호 작용으로 인해 참여 점수가 향상되는 평가판 리드의 수일 수 있습니다.

마지막으로, 지원을 제공하기 위해 챗봇을 사용하는 경우 메트릭 은 인바운드 티켓 수의 감소 비율이 될 수 있습니다.

그것이 무엇이든 최적화할 메트릭(또는 메트릭)을 식별하면 챗봇 실험 작업을 시작할 준비가 된 것입니다.

다음은 성공적인 챗봇 A/B 테스트를 설정하고 실행하기 위한 세 가지 간단한 단계입니다.

1단계: 가설 작성

일반 웹사이트나 앱 실험과 마찬가지로 챗봇 실험도 명확한 가설에서 시작됩니다.

예를 들어, 온라인 테스트 준비 회사인 Magoosh는 온보딩 실험을 실행하기로 결정했을 때 다음과 같은 명확한 가설을 가지고 시작했습니다.

평가판 고객이 Magoosh 제품에 처음 로그인할 때 환영 온보딩 메시지를 보내면 향후 프리미엄 계정을 구매할 가능성이 더 높아집니다.

Magoosh는 챗봇을 정확히 테스트하지 않았지만 자동화된 환영 고객 온보딩 채팅 메시지를 보내는 것이 더 많은 전환에 도움이 될 수 있는지 테스트했습니다.

챗봇 테스트 전략에서 가설은 "새로운 평가판 등록에 자동화된 챗봇 지원을 제공하면 ..."이 될 수 있습니다.

당신은 아이디어를 이해, 그렇지?

유용한 리소스:

실험을 위한 가설 작성을 위한 도구: 챗봇의 A/B 테스트를 위한 성공적인 가설을 작성하는 데 도움이 되는 정말 멋진 5가지 CRO 도구입니다.

성공적인 A/B 테스트 가설을 만드는 방법: 이 웨비나는 성공적인 가설을 작성하는 프로세스를 5가지 간단한 단계로 분류합니다. 실험만 시작하는 경우 반드시 시청해야 합니다.

복잡한 A/B 테스트 가설 생성: 이것은 실험을 위한 가설 작성에 대한 또 다른 훌륭한 튜토리얼입니다. 이러한 가설 전략은 챗봇 실험에 원활하게 적용됩니다.

2단계: 실험 설계

일반 A/B 테스트 또는 CRO 실험에서와 마찬가지로 두 번째 단계에서 챗봇 실험을 "생성"해야 합니다.

이 단계에서는 가설을 "변경"(또는 일련의 변경)으로 변환하여 테스트해야 합니다.

예를 들어, "브랜드가 더 많은" 챗봇이 마케팅 팀에서 더 나은 결과를 얻을 수 있다고 가정했다면 이 단계에서 챗봇의 어떤 요소가 더 브랜드화될 수 있는지 확인해야 합니다. 챗봇의 목소리나 어조 또는 단순히 시각적 인터페이스일 수 있습니다.

이 단계에 있는 동안 Alma의 멋진 사람들이 제공하는 이 가이드를 확인하십시오. 실험 설계에 많은 도움이 될 것입니다. 예를 들어, 이 브랜딩 실험에서 이 챗봇 테스트 가이드의 성격 섹션을 방문하면 실제로 실험할 수 있는 브랜딩 항목을 보여주는 몇 가지 질문이 표시됩니다. 영감을 얻으려면 아래 스크린샷을 참조하세요.

어떤 요소/요소를 테스트할지 알게 되면(가정에 따라) 챗봇 실험의 길이와 샘플 크기를 결정합니다.

유용한 리소스:

실험 기간 및 샘플 크기 계산 도구: 다음은 챗봇 실험에 이상적인 샘플 크기 및 기간을 계산하는 최고의 CRO 도구입니다.

Convert의 A/B 테스트 기간 계산기: 이 계산기에 데이터를 입력하기만 하면 챗봇 테스트 또는 실험이 실행되어야 하는 기간을 알 수 있습니다. Convert의 A/B 테스트 기간 계산기: 이 계산기에 데이터를 입력하기만 하면 챗봇 테스트 또는 실험이 실행되어야 하는 기간을 알 수 있습니다.

3단계: 실험에서 배우기

실험이 끝나고 데이터가 입력되면 결과를 분석할 차례입니다.

일반적으로 최적화 실험에는 챗봇을 위해 실행할 결과를 포함하여 세 가지 결과만 있습니다. 이것들은:

• 통제력이 상실됩니다. 여기에서 가설이 검증되고 변경 사항이 수치에 긍정적인 영향을 미칩니다. 이러한 결과의 예는 챗봇의 프로필 이미지를 만화에서 마스코트로 변경하여 890개 대신 1000개의 옵트인을 얻는 것입니다.
• 컨트롤이 이깁니다. 여기서 변경 사항이 수치에 부정적인 영향을 미치므로 가설을 기각해야 합니다. 예를 들어, 새로운 마스코트 프로필 사진은 일반 만화 사진보다 훨씬 낮은 가입률을 보이고 있습니다.
• 테스트가 결정적이지 않습니다. 이러한 결과는 일반적으로 가장 일반적이고 가장 실망스러운 결과입니다. 확실한 승자를 확보하기 위한 통계적 유의성을 얻지 못하기 때문입니다.

따라서 테스트 결과가 나오면 실험의 1단계인 가설 단계로 돌아가야 합니다.

새로운 가설을 테스트하기 위해 새로운 실험을 시작하거나 반복 테스트를 진행할 수 있습니다. 즉, 검증되지 않은 가설로 돌아가서(패배 또는 결정적이지 못한 테스트로 인해) 이를 개선한 다음 다시 테스트합니다. 테스트를 실행합니다.

반복 테스트를 할 때 테스트가 처음에 실패한 이유를 이해하는 데 시간을 할애해야 합니다.

생각한다:

테스트 세그먼트를 잘못 선택했나요?

그동안 잘못된 가설이었나요?

테스트 물류가 나빴습니까? 여기에서 아이디어는 승리, 패배, 심지어 결정적이지 못한 챗봇 실험에서 할 수 있는 모든 것을 배우는 것입니다. 이것이 바로 지속적인 학습을 통해 최적화하는 방법이기 때문입니다.

정리하다…

기술에 정통한 경우 챗봇에 제공하는 콘텐츠(또는 "지식 기반")로 테스트하여 챗봇 실험을 완전히 새로운 수준으로 끌어올릴 수 있습니다.

또는 다른 학습 알고리즘을 시도할 수도 있습니다.

챗봇은 계속 존재하며 머신 러닝이 성숙해짐에 따라 가장 먼저 중심에 서서 잠재 고객의 많은 부분과 첫 번째 접점 역할을 할 것입니다.

A/B 테스트를 통해 성능을 테스트하는 것이 합리적입니다.