Chatbots de prueba A/B: cómo comenzar (y por qué debe hacerlo)

"Hola

¡Soy un Bottybot!

¿Cómo puedo ayudarte?"

No sé qué sitios web visitará hoy... pero terminará visitando al menos uno donde escuchará un sonido *Pop* y un bot comenzará a "hablarle".

… Ofreciéndote soporte de preventa.

O asistirlo con sus preguntas de post-venta.

O simplemente ofreciendo apoyo.

Todos los días, los chatbots tienen millones de conversaciones de este tipo con los usuarios; brindando resultados comerciales reales y tangibles, como más clientes potenciales, más ventas y una mayor lealtad del cliente. Y son bastante convencionales con un 80% de las empresas que se prevé que los usen para 2020.

Debido a que los chatbots generan ingresos, pueden, al igual que cualquier otro canal de ingresos, optimizarse para obtener mejores resultados.

Optimización de chatbots con pruebas A/B (y otros experimentos)

Dependiendo de cómo use los chatbots en su estrategia de marketing, ventas y soporte, realizar experimentos con ellos puede ofrecer muchos beneficios.

Por ejemplo, los experimentos de chatbot pueden ayudarlo a identificar:

• Secuencias de preventa que generan más y mejores leads
• Mensajes de prueba que convierten más prospectos en clientes
• Experiencias de incorporación que convierten mejor
• Secuencias de éxito del cliente que resultan en una mayor satisfacción (y lealtad) del cliente
• …. Y admitir secuencias que resulten en menos tickets

En resumen: si tienes una empresa que usa chatbots, puedes mejorar tu ROI del canal con pruebas A/B.

Bastantes soluciones de chatbot incluso vienen con funcionalidades nativas de prueba A/B que permiten a las empresas realizar experimentos para encontrar los mensajes, las secuencias, los disparadores y más.

Pero para ejecutar experimentos CRO significativos para chatbots, debe utilizar el proceso de optimización adecuado.

Chatbots de prueba A/B: el proceso

Antes de comenzar a crear sus experimentos de chatbot, primero elija las métricas que desea mejorar.

Por ejemplo, si usa un chatbot para marketing, su métrica podría ser la cantidad de clientes potenciales que se suscriben después de una interacción exitosa con el chatbot .

Alternativamente, si está utilizando un chatbot para aumentar las ventas, su métrica podría ser la cantidad de clientes potenciales de prueba cuyo puntaje de participación mejora debido a la interacción con el chatbot .

Finalmente, si está utilizando un chatbot para ofrecer soporte, su métrica podría ser la disminución porcentual en la cantidad de tickets entrantes .

Sea lo que sea, una vez que haya identificado la métrica (o métricas) para optimizar, estará listo para comenzar a trabajar en su experimento de chatbot.

Aquí hay tres pasos simples para configurar y ejecutar pruebas A/B de chatbot ganadoras:

Paso #1: elaboración de hipótesis

Al igual que los experimentos regulares de sitios web o aplicaciones, los experimentos de chatbot también comienzan con una hipótesis clara.

Por ejemplo, cuando Magoosh, una empresa de preparación de exámenes en línea, decidió realizar un experimento de incorporación, comenzó con una hipótesis clara:

Si enviamos a los clientes de prueba un mensaje de incorporación de bienvenida cuando inician sesión por primera vez en un producto Magoosh, será más probable que compren cuentas premium en el futuro.

Si bien Magoosh no probó exactamente un chatbot, sí probó si enviar un mensaje de chat automatizado de bienvenida al cliente podría ayudar con más conversiones.

En su estrategia de prueba de chatbot, su hipótesis podría convertirse en "Ofrecer asistencia automatizada de chatbot a nuevos registros de prueba daría como resultado... "

Captas la idea ¿cierto?

Recursos útiles:

Herramientas para escribir hipótesis para sus experimentos: estas son cinco herramientas CRO realmente geniales que lo ayudarán a escribir una hipótesis ganadora para las pruebas A/B de sus chatbots.

Cómo crear una hipótesis de prueba A/B ganadora: este seminario web desglosa el proceso de escribir una hipótesis ganadora en cinco pasos simples. Una visita obligada si solo estás comenzando con experimentos.

Generación de hipótesis de pruebas A/B complejas: este es otro excelente tutorial sobre cómo escribir hipótesis para su experimento. Estas tácticas hipotéticas se aplican a la perfección a los experimentos de chatbot.

Paso #2: Diseñando los Experimentos

Tal como lo haría en una prueba A/B regular o un experimento CRO, en su segundo paso, debe "crear" sus experimentos de chatbot.

En este paso, debe traducir su hipótesis a un "cambio" (o un conjunto de cambios) para probar.

Por ejemplo, si planteó la hipótesis de que un chatbot con "más marca" obtendrá mejores resultados para su equipo de marketing, en este paso tendrá que ver qué elementos de su chatbox podrían tener una mejor marca. Podría ser la voz o el tono de su chatbot o simplemente la interfaz visual.

Mientras esté en este paso, consulte esta guía de la increíble gente de Alma. Será muy útil para diseñar sus experimentos. Por ejemplo, en este experimento de marca, simplemente visite la sección de personalidad de esta guía de prueba de chatbot y verá algunas preguntas que le mostrarán los elementos de marca con los que realmente podría experimentar. Vea la captura de pantalla a continuación para inspirarse:

Una vez que sepa qué elemento/elementos probará (según su hipótesis), determine la duración de su experimento de chatbot y el tamaño de la muestra.

Recursos útiles:

Herramientas para calcular la duración y el tamaño de la muestra de sus experimentos: estas son algunas de las mejores herramientas de CRO para calcular el tamaño y la duración de la muestra ideales para sus experimentos de chatbot.

Calculadora de duración de prueba A/B de Convert: simplemente ingrese sus datos en esta calculadora y sabrá cuánto tiempo debe ejecutarse su prueba o experimento de chatbot. Calculadora de duración de prueba A/B de Convert: simplemente ingrese sus datos en esta calculadora y sabrá cuánto tiempo debe ejecutarse su prueba o experimento de chatbot.

Paso n.º 3: aprender de los experimentos

Una vez que termine su experimento y tenga los datos, es hora de analizar sus hallazgos.

Por lo general, solo hay tres resultados para cualquier experimento de optimización, incluidos los que ejecutará para sus chatbots. Estos son:

• El control pierde. Aquí, su hipótesis se valida y su cambio trae un impacto positivo en los números. Un ejemplo de tal resultado sería obtener 1000 suscripciones en lugar de 890 al cambiar la imagen de perfil de su chatbot de una caricatura a una mascota.
• El control gana. Aquí, su hipótesis debe ser rechazada ya que su cambio tiene un impacto negativo en los números. Por ejemplo, la nueva imagen de perfil de la mascota obtiene menos suscripciones que la imagen normal de dibujos animados.
• La prueba no es concluyente. Por lo general, estos son los resultados más comunes y, a menudo, los más frustrantes porque no se obtiene una significación estadística para tener un ganador claro.

Entonces, una vez que tenga los resultados de su prueba, debe volver al paso n. ° 1 de su experimentación: el paso de hipótesis.

Puede comenzar un nuevo experimento para probar una nueva hipótesis o ir con pruebas iterativas, lo que significa volver a una hipótesis que no se validó (ya sea por una prueba fallida o no concluyente), mejorarla y luego volver. ejecutando la prueba.

Al realizar pruebas iterativas, asegúrese de dedicar tiempo a comprender por qué falló su prueba en el primer intento.

Pensar:

¿Fue elegir un segmento de prueba equivocado?

¿Fue una mala hipótesis todo el tiempo?

¿Tu logística de prueba fue mala? La idea aquí es aprender todo lo que pueda de sus experimentos de chatbot ganadores, perdedores e incluso no concluyentes porque así es como se optimiza, con aprendizaje continuo.

Envolviendolo …

Si es más experto en tecnología, puede llevar sus experimentos de chatbot a un nivel completamente nuevo probando con el contenido que alimenta a su chatbot (o su "base de conocimiento").

O bien, también puede probar un algoritmo de aprendizaje diferente.

Los chatbots están aquí para quedarse y, a medida que madure el aprendizaje automático, estarán al frente y en el centro, actuando como el primer punto de contacto con grandes segmentos de sus prospectos.

Simplemente tiene sentido subirse a bordo con pruebas A/B de su rendimiento.