チャットボットのA/Bテスト：開始方法（および必要な理由）

"ちょっと、そこ

私はボッティボットです！

どんな御用でしょうか？"

今日どのWebサイトにアクセスするかはわかりませんが、少なくとも1つのWebサイトにアクセスすると、* Pop *の音が聞こえ、ボットがあなたに「話しかけ」ます。

…プリセールスサポートを提供します。

または、販売後の質問を支援します。

または単にサポートを提供します。

チャットボットは毎日、ユーザーと何百万ものそのような会話をしています。 より多くのリード、より多くの売上、より高い顧客ロイヤルティなど、実際の具体的なビジネス結果をもたらします。 そして、それらはかなり主流であり、企業のなんと80％が2020年までにそれらを使用すると予測しています。

チャットボットは収益を促進するため、他の収益チャネルと同様に、より良い結果を得るために最適化することができます。

A / Bテスト（およびその他の実験）によるチャットボットの最適化

マーケティング、販売、サポート戦略でチャットボットをどのように使用するかに応じて、チャットボットで実験を実行すると多くのメリットが得られます。

たとえば、チャットボットの実験は、以下を特定するのに役立ちます。

• より多くのより良いリードを生成するプリセールスシーケンス
• より多くのリードを顧客に変換するトライアルメッセージング
• より良いコンバージョンを実現するオンボーディングエクスペリエンス
• より高い顧客満足度（および忠誠心）をもたらす顧客成功シーケンス
• …。 そして、より少ないチケットをもたらすサポートシーケンス

つまり、チャットボットを使用しているビジネスの場合、A/Bテストを使用してチャネルからのROIを向上させることができます。

かなりの数のチャットボットソリューションにネイティブA/Bテスト機能が付属しており、企業は実験を実行して、最高のパフォーマンスを発揮するメッセージング、シーケンス、トリガーなどを見つけることができます。

ただし、チャットボットに対して意味のあるCRO実験を実行するには、適切な最適化プロセスを使用する必要があります。

チャットボットのA/Bテスト：プロセス

チャットボットの実験の作成を開始する前に、まず改善したい指標を選択してください。

たとえば、マーケティングにチャットボットを使用している場合、メトリックは、チャットボットのインタラクションが成功した後にオプトインしたリードの数である可能性があります。

または、売り上げを伸ばすためにチャットボットを使用している場合、指標は、チャットボットとのやり取りによってエンゲージメントスコアが向上したトライアルリードの数である可能性があります。

最後に、サポートを提供するためにチャットボットを使用している場合、メトリックはインバウンドチケットの数の減少率である可能性があります。

それが何であれ、最適化する1つまたは複数のメトリクスを特定したら、チャットボットの実験に取り掛かる準備が整います。

勝利したチャットボットA/Bテストを設定して実行するための3つの簡単な手順は次のとおりです。

ステップ1：仮説の作成

通常のウェブサイトやアプリの実験と同様に、チャットボットの実験も明確な仮説から始まります。

たとえば、オンラインテスト準備会社のMagooshがオンボーディング実験を実行することを決定したとき、それは明確な仮説から始まりました。

トライアルのお客様が最初にMagoosh製品にログインしたときに、ウェルカムオンボーディングメッセージを送信すると、将来的にプレミアムアカウントを購入する可能性が高くなります。

Magooshはチャットボットを正確にテストしていませんが、自動化されたウェルカムカスタマーのオンボーディングチャットメッセージを送信することで、より多くのコンバージョンに役立つかどうかをテストしました。

チャットボットのテスト戦略では、仮説は「新しいトライアルサインアップに自動チャットボット支援を提供すると… 」になる可能性があります。

わかりますよね？

役立つリソース：

実験用の仮説を作成するためのツール：これらは、チャットボットをA/Bテストするための優れた仮説を作成するのに役立つ5つの非常に優れたCROツールです。

勝利のA/Bテスト仮説を作成する方法：このウェビナーでは、勝利の仮説を作成するプロセスを5つの簡単なステップに分けています。 実験を始めたばかりの方は必見です。

複雑なA/Bテストの仮説の生成：これは、実験の仮説を作成するためのもう1つの優れたチュートリアルです。 これらの仮説の戦術は、チャットボットの実験にシームレスに適用されます。

ステップ2：実験の設計

通常のA/BテストやCRO実験の場合と同じように、2番目のステップでは、チャットボット実験を「作成」する必要があります。

このステップでは、仮説を「変更」（または一連の変更）に変換してテストする必要があります。

たとえば、「よりブランド化された」チャットボットがマーケティングチームにとってより良い結果をもたらすと仮定した場合、このステップでは、チャットボックスのどの要素がより適切にブランド化されるかを確認する必要があります。 それは、チャットボットの声やトーン、または単に視覚的なインターフェースである可能性があります。

このステップにいる間、アルマの素晴らしい人々からのこのガイドをチェックしてください。 実験の設計に非常に役立ちます。 たとえば、このブランディング実験では、このチャットボットテストガイドのパーソナリティセクションにアクセスするだけで、実際に実験できるブランディングアイテムを示すいくつかの質問が表示されます。 インスピレーションについては、以下のスクリーンショットを参照してください。

（仮説に基づいて）テストする要素がわかったら、チャットボットの実験の長さとサンプルサイズを決定します。

役立つリソース：

実験の期間とサンプルサイズを計算するためのツール：チャットボット実験の理想的なサンプルサイズと期間を計算するための最良のCROツールのいくつかを次に示します。

ConvertのA/Bテスト期間計算機：この計算機にデータを入力するだけで、チャットボットのテストまたは実験を実行する期間がわかります。 ConvertのA/Bテスト期間計算機：この計算機にデータを入力するだけで、チャットボットのテストまたは実験を実行する期間がわかります。

ステップ3：実験から学ぶ

実験が終了し、データが入ったら、調査結果を分析します。

通常、チャットボットに対して実行するものを含め、最適化実験の結果は3つだけです。 これらは：

• コントロールが失われます。 ここで、仮説が検証され、変更によって数値にプラスの影響がもたらされます。 このような結果の例は、チャットボットのプロフィール画像を漫画からマスコットに変更することで、890ではなく1000のオプトインを取得することです。
• コントロールが勝ちます。 ここでは、変更によって数値に悪影響が生じるため、仮説を棄却する必要があります。 たとえば、新しいマスコットのプロフィール写真は、通常の漫画の写真よりも登録数がはるかに少なくなっています。
• テストは決定的ではありません。 明確な勝者を得るには統計的有意性が得られないため、これらは通常、最も一般的で、多くの場合最も苛立たしい結果です。

したがって、テストの結果が得られたら、実験のステップ＃1である仮説ステップに戻る必要があります。

新しい実験を開始して新しい仮説をテストするか、反復テストを行うことができます。これは、検証されなかった仮説に戻り（テストが失われたか、テストが不確定だったため）、それを改善してから、再テストすることを意味します。テストを実行します。

反復テストを行うときは、最初にテストが失敗した理由を理解するために時間を費やすことを確認してください。

考え：

間違ったテストセグメントを選択しましたか？

それはずっと悪い仮説でしたか？

テストロジスティクスは悪かったですか？ ここでの考え方は、勝ち負け、さらには決定的でないチャットボットの実験からできることをすべて学ぶことです。これは、継続的な学習で最適化する方法だからです。

まとめ…

技術に精通している場合は、チャットボットにフィードするコンテンツ（またはその「知識ベース」）でテストすることで、チャットボットの実験をまったく新しいレベルに引き上げることができます。

または、別の学習アルゴリズムを試すこともできます。

チャットボットはここにとどまり、機械学習が成熟するにつれて、前もって中心になり、見込み客の大部分との最初のタッチポイントとして機能します。

A/Bテストに参加するのは理にかなっています。