Nuestro gran experimento con GPT e IA generativa

ChatGPT ha conquistado el mundo y no podríamos estar más emocionados. Hoy revelamos las funciones de servicio al cliente que hemos creado utilizando esta revolucionaria IA.

En diciembre, nuestro Director de Machine Learning, Fergal Reid, y yo nos sentamos a conversar sobre el lanzamiento de ChatGPT: lo bueno, lo malo, la promesa, la exageración. Las posibilidades de automatizar y optimizar los procesos para los representantes de soporte parecen infinitas, pero el éxito de la IA generativa en este espacio dependerá en última instancia de su capacidad para brindar valor real tanto a los equipos de servicio al cliente como a los clientes. Si no, bueno, es solo un juguete, uno divertido, pero un juguete al fin y al cabo.

Para probar esto, rápidamente nos pusimos manos a la obra. Esbozamos algunas características impulsadas por IA que pensamos que podrían ser útiles, entramos en producción y pusimos una versión beta frente a 160 clientes. Puedes leer todo sobre estas nuevas características aquí.

En el episodio de hoy, Fergal y yo compartimos lo que hemos aprendido en las últimas semanas, hacia dónde nos dirigimos y cómo ha cambiado nuestra percepción de lo que es posible en este espacio.

☞ Haga clic aquí para unirse a la lista de espera beta para nuestras funciones de IA o recibir noticias de IA de Intercom.

Estos son algunos de los puntos clave:

• La capacidad de los modelos ChatGPT para procesar el lenguaje natural en conversaciones de varias oraciones continúa mejorando y desbloqueando nuevas posibilidades.
• En el desarrollo de productos, los clientes son siempre el árbitro final: puede crear una tecnología asombrosa, pero si no les resuelve un problema, no vale la pena.
• La capacidad de GPT-3.5 para editar y cambiar texto lo hace muy valioso para el servicio al cliente, y ya puede manejar tareas como resumir texto y ajustar el tono.
• Con los avances en ChatGPT, se pueden agregar más funciones para maximizar la eficiencia y liberar a los agentes de primera línea para que se centren en los problemas más complejos que impulsan la satisfacción del cliente.
• Si bien estamos comenzando a investigar usos que pueden cambiar el juego, como las respuestas inteligentes, el modelo aún carece de una comprensión del contexto comercial para que funcione.

Asegúrese de no perderse ningún momento destacado siguiendo a Inside Intercom en Apple Podcasts, Spotify, YouTube o accediendo a la fuente RSS en el reproductor de su elección. Lo que sigue es una transcripción ligeramente editada del episodio.

Un gran avance en la comprensión del lenguaje.

Des Traynor: Hola de nuevo, Fergal. ¿Cómo estás?

Fergal Reid: Bien, gracias, Des. Han sido unas últimas seis o siete semanas ocupadas aquí en Intercom, así que estoy muy emocionado de hablar de eso hoy.

Des: Sí, hace solo seis o siete semanas nos sentamos a conversar. Ha tenido, supongo, seis o siete semanas de tiempo real de ingeniería construyendo contra la revolución de IA que se lanzó a fines de noviembre. ¿Que has aprendido? ¿Ha cambiado su percepción de lo que será posible en el mundo del servicio al cliente?

Fergal: Sí, creo que sí. La última vez que hablamos, hablamos mucho sobre ChatGPT y eso fue quizás una semana después de su lanzamiento. Puede dividirse en detalles sobre si la gran diferencia aquí es ChatGPT o la familia de modelos que OpenAI ha creado; hemos estado trabajando principalmente con GPT-3.5 o con Text-Davinci-003, para ser realmente específicos.

Des: Son nombres de este módulo específico.

Fergal: Sí, son los nombres de este modelo específico. Y, de hecho, hay mucha confusión sobre estos nombres y cuáles son las diferentes cosas. Pero básicamente, creemos que la serie de modelos GPT-3.5, Davinci-002, Davinci-003, este tipo de cosas, que salieron el año pasado, y luego Davinci-003, que cayó exactamente al mismo tiempo que ChatGPT fue un gran avance y realmente nos permitió comenzar a intentar construir una funcionalidad diferente y cualitativamente mejor.

“Eso es un gran desbloqueo porque hay tantas tareas que queremos hacer que se describen mejor en lenguaje natural”

Des: ¿Cuál es su creencia acerca de lo que es posible ahora? ¿Hacia dónde nos dirigimos en el mundo del servicio al cliente?

Fergal: Creo que en el servicio al cliente, e incluso más allá, estos modelos nos permiten manejar el lenguaje natural de una mejor manera que antes. Supongo que podría dar un poco de historia del procesamiento del lenguaje natural. Fueron cosas simples como expresiones regulares y así durante mucho tiempo. Luego tuvimos texto que se volvió realmente bueno al buscar palabras clave que estaban en muchos datos. Y luego, tal vez hace tres o cuatro años, las redes neuronales comenzaron a ser realmente buenas para comprender: "Oye, ¿cuál es el significado de esta oración?" Pero ahora, diría que están empezando a ser realmente buenos en "Oye, ¿cuál es el significado de esa oración en un más profundo ...", acercándose mucho más a cómo los humanos pueden hacerlo y a comprender lo que sucede en una conversación de múltiples oraciones . ¿De qué está hablando la persona? Unir el contenido de la oración uno con el contenido de la oración tres para descubrir que alguien acaba de decir: "Oh, tengo una pregunta sobre Salesforce". Y el compañero dice: “Bueno, ¿cuál es tu pregunta? ¿Le puedo ayudar en algo?" Y luego dice: "Sí, realmente necesito ayuda con mi integración". Y los sistemas están mejorando mucho en la comprensión de que esa integración se trata de la integración de Salesforce, y tienen una idea de hacia dónde debe ir la conversación a continuación.

“De repente, las máquinas son capaces de mirarlos y darles mucho más sentido”

Nuestro bot de resolución y la tecnología de aprendizaje automático que ya está implementada son bastante buenos en esas cosas dentro de una oración determinada. Pero ahora, la tecnología está mejorando hasta el punto en que es buena en múltiples oraciones y mucho mejor en el contexto. Como seres humanos que se comunican y quieren hablar entre sí en lenguajes naturales, es tan natural para nosotros. Eso es un gran desbloqueo porque hay tantas tareas que queremos hacer que se describen mejor en lenguaje natural. Hay tantos documentos, instrucciones y artículos sobre cómo hacer algo que escribimos y nos comunicamos entre nosotros en lenguaje natural. Y ahora, de repente, las máquinas pueden mirarlos y darles mucho más sentido. Y cada vez que esa capacidad mejora, muchos productos desbloquean muchas cosas que antes no eran posibles. Y realmente sentimos que lo que sucedió es una gran cosa. Esa es nuestra opinión hasta que construimos cosas y las ponemos frente a nuestros clientes y vemos qué piensan nuestros clientes.

Des: Y eso es lo que queremos.

Fergal: Quiero decir, eso es lo que hemos estado tratando de hacer.

Des: ¿Qué es el software sino opiniones codificadas, verdad?

Fergal: Así es.

depende de los clientes

Des: Entonces, ¿qué hemos construido? En qué has estado trabajando? Hablemos de ello.

Fergal: Entonces, en el desarrollo de productos, siempre quieres comprobar tu opinión. Sus clientes son siempre el árbitro final de si algo es bueno o no. Puede pensar que tiene la tecnología más sorprendente y la experiencia de producto más sorprendente, pero si no resuelve un problema y no se usa, está equivocado. Entonces, realmente queríamos dejar atrás la exageración aquí y convencernos a nosotros mismos: "Está bien, ¿qué podemos construir para los clientes rápidamente, qué podemos ponerles delante, trabajar con ellos para ver cuál es el valor?" Entonces, esbozamos características que podríamos construir y poner en producción rápidamente que utilizarían parte de esta nueva tecnología y nos ayudarían a determinar si era valiosa o si era un juguete.

"Simplemente puede presionar un botón o usar un atajo de teclado para decir básicamente: 'Oye, quiero un resumen de esta función, póngalo en mi editor para que pueda agregarlo ligeramente'".

Lo primero que decidimos hacer fue crear una función que esencialmente hiciera un resumen. Y hay una razón por la que decidimos hacer esto. Mi equipo, el equipo de aprendizaje automático aquí en Intercom, el equipo de Inbox, descubrió que había dos trabajos de clientes comunes que estamos viendo mucho. En muchas empresas, antes de que un representante de soporte entregue la conversación, debe escribir un resumen de esa conversación. Si no lo hacen, el usuario final tiene que repetirlo o el representante receptor tiene que desplazarse hacia arriba y leer muchas cosas. Entonces, el representante de soporte que entrega tiene que escribir un resumen y eso es un trabajo real.

Hace aproximadamente un año y medio o dos años, mi equipo trató de buscar las mejores redes neuronales en ese momento, T5 y todas estas grandes redes, y averiguar si podíamos usarlas para crear una función de resumen adecuada. Y desafortunadamente, llegamos a la conclusión de que simplemente no había manera. Las conversaciones son demasiado retorcidas. El flujo de una conversación avanza entre estas diferentes partes de una manera que fue realmente buena para los humanos: los humanos pueden buscarlo fácilmente y es rápido y pueden escanearlo, pero incluso las redes neuronales bastante grandes que tenemos en el bot de resolución tuvieron problemas. en ese tipo de tarea. Y una de las primeras cosas que vimos cuando estábamos jugando con el reciente modelo DaVinci-003, GPT-3.5, fue que de repente, parece ser excelente para resumir. Y decimos, "Wow, eso se ve increíble".

“Vamos a tratar de ser realmente reales con la gente. Vamos a ayudar a nuestros clientes a descubrir qué partes son juguetes”

Entonces, creamos una función e hicimos un par de rondas de iteración con una función de resumen en la bandeja de entrada. Simplemente puede presionar un botón o usar un atajo de teclado para decir básicamente: "Oye, quiero un resumen de esta función, ponlo en mi editor para que pueda agregarlo". no es perfecto Es posible que deba agregarle un poco, pero es un gran ahorro de tiempo. Y hemos tenido más de 160 clientes en nuestra versión beta que usan estas funciones y han considerado que los resúmenes son un verdadero ganador. Todavía no cambia completamente el juego para un representante de soporte; selecciona un trabajo central, pero cumple con ese trabajo central.

Des: Y lo reduce. ¿Cuál dirías que es la reducción? Si normalmente tomaría tres minutos escribirlo, ¿se redujeron a 10 segundos para agregar el resumen o algo así?

Fergal: Si.

Des: Es como el 90% del trabajo eliminado.

Fergal: Exacto. Y hemos tenido algunos clientes muy entusiasmados porque pueden tener un hilo de correo electrónico muy largo o un historial de conversación muy, muy largo, y simplemente ahorra un montón de tiempo. Es un poco como si estuvieras leyendo un trabajo académico o algo así. A veces, solo obtener una idea general lo ayuda a encontrar los detalles exactos que desea. Creo que hemos encontrado algo realmente bueno allí, y esa es una de las características en las que hemos trabajado.

“Es fácil salir con la máquina de publicidad; es fácil salir con comunicados de prensa: 'Hemos cambiado el mundo'. Y en la práctica, quien llega a decidir que son nuestros clientes”

Vamos a tratar de ser realmente reales con la gente. Vamos a ayudar a nuestros clientes a descubrir qué partes son juguetes. No todo lo que hemos creado y puesto en beta cambia el juego, pero el resumen es uno de los que más nos convence. Está realmente listo. Esta tecnología hace algo transformador: es nueva, emocionante y ofrece un valor real para el cliente.

Des: Una cosa que siempre hemos tratado de ser, en lo que respecta a la IA, es sobrio porque estamos tratando de hacer un favor a nuestros clientes. Es fácil salir con la máquina de publicidad; es fácil salir con comunicados de prensa: "Hemos cambiado el mundo". Y en la práctica, la persona que llega a decidir que son nuestros clientes. Por lo tanto, cuando lanzamos el resumen, confiamos en su palabra de que es realmente valioso. Eso es lo que importa, ¿no?

Fergal: Exacto. Y mira, eso es algo por lo que agonizamos. A veces pierdes ante personas que están dispuestas a promocionarse. Nos esforzamos mucho en no hacer eso porque una vez que comienzas a hacerlo, terminas creyéndote en tu propio bombo.

Des: La narrativa se adelanta al software. Eso es un riesgo real.

Fergal: Y tratas de evitar eso. Hemos sido muy conscientes de eso con este tipo de tecnología, que es que casi funciona mucho y se acerca mucho a hacer algo mágico y transformador, pero a veces falla. Entonces, estamos tratando de mantenernos honestos aquí acerca de: "Está bien, ¿esto es lo suficientemente bueno todavía?" Sabemos que no es perfecto, pero ¿ya es lo suficientemente bueno? ¿Y para qué es lo suficientemente bueno? Y resumir es algo que nos hace sentir bien. Esa es una característica que creemos que ofrece un valor real.

Puede perder presentando algo que se ve bien pero que en realidad no funciona en la producción, y también puede perder si es demasiado conservador. Y en el pasado, con Resolution Bot, tuvimos momentos en los que éramos demasiado conservadores. Pensamos, "oh, realmente no queremos que esto resulte contraproducente a menos que estemos bastante seguros de que tiene la respuesta". Y luego, algunos clientes vinieron a nosotros y nos dijeron: "Oh, el usuario no recibirá ninguna ayuda por un tiempo, bríndeles algo incluso si está equivocado". Y hacemos pruebas A/B y ajustamos ese flujo de basura, etc. Ha habido momentos de ser demasiado conservador. Por lo tanto, estamos adoptando un enfoque aquí para ofrecer rápidamente nuevas funciones beta a nuestros clientes. Nuestros clientes están muy entusiasmados con esta tecnología.

Edición de texto sin esfuerzo

Des: ¿Cuántas funciones hay en la versión beta? ¿Cinco seis?

Fergal: Entonces, lo primero que hicimos fue resumir. Hicimos eso porque era un trabajo sencillo, fácil de integrar y bien entendido. Después de eso, fuimos a mirar al compositor. Debido a que tenemos telemetría y métricas, sabemos que aproximadamente la mitad del tiempo que un agente pasa en Intercom, pasan en el redactor escribiendo texto o editándolo. También están organizando sus pensamientos, pero dedican mucho tiempo a escribir y remodelar el texto. Y cuando vimos eso, dijimos: "Está bien, esto es muy bueno para editar y cambiar texto". Comenzamos con algunas características pequeñas allí, algunas como características MVP para ponerlas en marcha y ver cómo funciona. Y así, comenzamos con las funciones de edición y remodelación de texto. Tal vez el más simple de explicar es la edición simple. Decir: "Oye, haz que este texto que acabo de escribir sea más amigable" o "más formal", porque esta tecnología ahora es buena para ajustar el tono. Anteriormente, no había realmente nada que pudieras usar para ajustar el tono de manera confiable. Hicimos muchas iteraciones en la UX y creamos una UX en la que hay una barra de herramientas y solo puedes seleccionar texto. En nuestra primera versión, no podía seleccionar el texto y lo iterábamos. El cliente nos dijo que era inútil, no querían cambiar el tono de todo en el compositor. Ahora, puedes seleccionar un poco.

"Me sorprende saber que podríamos estar viendo un mundo donde el nuevo menú contextual es como 'ampliar', 'resumir', 'hacerlo más feliz' y 'hacerlo más formal'".

Es casi como editar una imagen. Y comenzamos a pensar que hay un paradigma emergente aquí. Recuerdo que había una vez, un procesador de textos en el que podías poner texto en negrita y cursiva era como "wow". Y nos preguntamos si, en el futuro, la gente va a pensar en eso en términos de tono. Es como, "Oh, por supuesto, quiero ir y editar rápidamente el tono". Si está cansado al final del día, ha escrito un borrador y dice: "No fui lo suficientemente amable, va a afectar mi CSAT", simplemente haga clic en un botón y edite el tono y se vuelve más amigable. Y es más fácil presionar ese botón una o dos veces que ir y...

Des: Ve y reescríbelo.

Fergal: Reescribir texto es trabajo.

Des: Me sorprende saber que podríamos estar viendo un mundo donde el nuevo menú contextual es como "ampliar", "resumir", "hacerlo más feliz" y "hacerlo más formal". Esas serán las transformaciones que estás tratando de hacer. No es tanto que te centres en la óptica del texto sino en el tono.

Fergal: Totalmente. Mira, cuando avanzamos y retrocedemos en esto, decimos: “¿Esto es un juguete? ¿Hemos construido un juguete genial o es algo increíble? Y creo que va a variar según el cliente, pero el caso audaz de esa función en particular es: "Oye, estoy cansado al final del día y me preocupo mucho por el tono porque mi CSAT es una métrica importante para mí y esta es una forma de hacerlo”. Es una forma de brindar una experiencia más placentera al cliente.

Des: Tome "lo siento, aquí está su reembolso". Dirías, "por favor, haz que suene más empático", o lo que sea.

Fergal: Hemos experimentado con la empatía. En realidad, hemos cambiado a "hacer las cosas más formales, hacer las cosas más amigables". Ese es el tipo de espectro que parece funcionar realmente bien, así que nos decidimos por eso. Y supongo que se adapta a Intercom. Mucha gente está tratando de brindar una experiencia de soporte muy personal y amigable.

“Muchas veces, cuando escribes algo, sale mal. Así que solo puedes decir, 'Oye, reformula eso'”.

Para ser completamente transparente, todavía no estamos seguros de dónde se ubica exactamente en el espectro de juguete a valioso. Algunos clientes dicen que es muy valioso, por lo que continuamos evaluándolo. Pero lo tenemos en beta. Queremos decirles a nuestros clientes que este es el tipo de cosas que estamos construyendo e investigando.

Esa es una característica. Lo siguiente que comenzamos a buscar es una función de reformulación. Y nuevamente, estos modelos de lenguaje son muy buenos para tomar un fragmento de texto restringido y editarlo o cambiarlo. Empiezas a ver eso con el resumen. Muchas veces, cuando escribes algo, sale mal. Así que solo puedes decir: "Oye, reformula eso". Y nuevamente, es ese tipo de experiencia de usuario rápida en la que simplemente lo resaltas y haces clic en él. Es un poco más fácil que volver a escribirlo usted mismo. Hay un poco de latencia cuando haces eso. Entonces, todavía estamos evaluando. Pero a algunos clientes, nuevamente, realmente les gusta, realmente funciona para ellos en su negocio y esperamos que la latencia disminuya con el tiempo a medida que estos modelos mejoran y mejoran. Así que eso es reformulación de texto. Esas son una especie de las primeras características que buscamos en el compositor.

Ahora, lo más importante viene a continuación, y estamos comenzando a investigar las cosas que potencialmente cambiarán más el juego. Una cosa que estamos tratando de hacer con eso es lo que llamamos la función de expansión. Nos inspiramos en cosas como copiloto para programadores. En copiloto, puede escribir un comentario y completa la función completa y le ahorra un montón de tiempo. Y dijimos: "Oh, ¿podemos construir algo que sea un poco así para la atención al cliente?" Y la idea es que tal vez escribas un breve resumen de lo que quieres y luego lo resaltes, digamos expandir, y tu compositor lo complete. Hemos hecho esto, lo hemos enviado y los clientes ven claramente que esto es valioso y no un juguete, si funciona. Pero funciona mucho mejor en algunos dominios que en otros. Si está respondiendo preguntas que la información genérica de Internet haría un buen trabajo de-

Des: Como si tuvieras que reiniciar tu teléfono o lo que sea.

Fergal: Sí, exactamente. Funciona muy bien para eso. Sin embargo, si está tratando de hacer algo en lo que está escribiendo de forma abreviada y en realidad hay mucho contexto específico para su negocio sobre cómo responder a este tipo de pregunta, entonces puede alucinar y dirá algo que necesita editar. afuera. Aún así, a algunos clientes les gusta mucho y les funciona muy bien. Pero realmente pensamos que esa es una especie de versión uno. Si está usando esto, debe verificarlo y ver qué tan bien funciona para usted y su negocio. Sin embargo, tenemos un proyecto que evalúa constantemente cosas nuevas para eso, donde es como, "Oye, ¿podemos tomar las respuestas anteriores que has dado sobre los mismos temas?" Así que usted nos da resúmenes de tres palabras de lo que quiere hacer, como "reembolso gracias al cliente", e iremos a buscar las últimas cinco cosas que ha dicho sobre los reembolsos. También iremos a ver si tal vez tienes una macro sobre reembolsos. También veremos el contexto de la conversación de antemano.

“Con lo que estamos experimentando es: ¿podemos superar el obstáculo? ¿Podemos comenzar a hacer algo que sea realmente transformador incorporando ese contexto?”.

Des: Si hay algo en el centro de ayuda, todo ese tipo de cosas.

Fergal: No hemos ido tan lejos como para obtener artículos y otras cosas del centro de ayuda. Solo miramos lo que usted y el usuario dijeron hace dos turnos, los pusimos todos en un aviso que luego dirá: "Está bien, con toda esta información, vaya y tome esa taquigrafía de tres palabras y anti-resumen". convertirlo en algo grande”.

Des: Sí, totalmente. Entonces tomará, "Lo siento, aquí hay un reembolso, gracias", en, "Realmente nos disculpamos por las molestias. Emitimos un reembolso y debería verlo en tres o cuatro días. Y nos arrepentimos…”

Fergal: En el estilo que sueles usar, tú personalmente, el agente individual, y tomando también cualquier macro relevante que tengas. Eso es realmente donde estamos. Y esa última pieza aún no está en producción. El V1 está en producción. El V1 ha sido utilizado por cientos de clientes beta. Pero con lo que estamos experimentando es: ¿podemos superar el obstáculo? ¿Podemos empezar a hacer algo que sea realmente transformador incorporando ese contexto? Y eso todavía está en curso. Diría que somos optimistas, pero aún no estamos seguros. Esto está cambiando semana a semana para nosotros, así que estamos muy entusiasmados con eso. Y esa es la función de expansión versión uno en este momento. Pero podemos ver la versión dos y la versión tres en el futuro.

Impulsando la eficiencia del soporte

Fergal: La última característica con la que experimentamos en nuestra versión beta fue dar a nuestros clientes acceso directo a GPT. Entonces, sin indicaciones, sin decirle nada al modelo, solo diciendo: "Oye, pon lo que quieras allí". Y realmente lo hicimos como un experimento beta de rápido movimiento. No les dimos a nuestros clientes en beta mucha orientación sobre cómo usar eso. Confundimos algunos de ellos y no funcionó tan bien, pero algunos clientes encontraron casos de uso novedosos, incluida la traducción, en los que les estaba brindando un valor real. Ahora, estos modelos no son los mejores en la traducción, pero tal vez esa sea una táctica interesante de desarrollo de productos de IA, que es como, "Oye, si tienes clientes beta, tal vez dales un poco más de poder del que podrías esperar y ellos te dirán lo que necesitan”.

Des: Ver lo que está surgiendo. Ver lo que se espera incluso.

Fergal: Exacto. Y las expectativas, creo, van a cambiar rápidamente en esto. Tal vez eso nos dice que necesitamos traducción porque existen modelos de traducción muy bien entendidos.

“Tal vez tiene una fuente al lado y, de repente, esos cinco minutos de búsqueda de la respuesta se vuelven instantáneos. Y ahí es donde empieza a cambiar realmente el juego”

Des: Parece que todas estas funciones maximizan la eficiencia de los equipos de soporte. Reducen mucho de lo indiferenciado, ya sean las introducciones y los cierres o simplemente reescribir algo que quizás no tengan la energía para hacerlo para hacerlo más feliz o más formal. Todas son formas diferentes de ahorrar mucho tiempo a los agentes de soporte de primera línea. En última instancia, dándoles más tiempo para concentrarse en las partes más difíciles de la conversación, que son las búsquedas técnicas o las inmersiones profundas. ¿Es ahí donde se implementará mejor? ¿Es ese nuestro mejor pensamiento hasta ahora? Cuando piensa en dónde más podemos implementar esta tecnología de estilo GPT en la experiencia de soporte, ¿en qué más está pensando?

Fergal: Nuestros clientes más grandes tienen muchos representantes de soporte que pasan día tras día en el compositor. Entonces, si podemos hacerlos más rápidos y eficientes, una ganancia de eficiencia del 10% o 20 es absolutamente enorme.

Des: Por supuesto que sí. Tenemos clientes con miles de asientos, por lo que es realmente transformador.

Fergal: Exacto. Cambio de juego. Y esa es un área que nos ha atraído mucho. Y esta tecnología es cada vez mejor y mejor. No es el único lugar, pero somos muy optimistas al respecto. Algunos de nuestros clientes compartirán muy amablemente con nosotros videos de su día a día real. Y ves este flujo de trabajo donde es como, “Oye, estoy tratando de responder una pregunta y no sé la respuesta. Necesito ir y buscar un artículo interno de la mesa de ayuda o encontrar una conversación similar, y estoy navegando". Si podemos cortocircuitar eso hasta el punto en que es como, “Oye, aquí está la IA. Tal vez le des unas pocas palabras…” O tal vez vayamos más allá de eso. Tenemos otros prototipos de los que hablaré en unos minutos donde tal vez la respuesta esté ahí esperándote. Tal vez tiene una fuente al lado y, de repente, esos cinco minutos de búsqueda de la respuesta se vuelven instantáneos. Y ahí es donde comienza a cambiar realmente el juego. Creo que ahí es donde vamos muy pronto.

Des: Sí, eso tiene sentido. Las pequeñas ganancias en equipos grandes siguen siendo enormes y, obviamente, las grandes ganancias en cualquier flujo de trabajo en particular, el resumen, también son enormes. Creo que algunas personas tienen este extraño mundo binario en el que hasta que hayamos automatizado todo el soporte, no hemos hecho nada. Mi opinión personal es que no creo que nunca lleguemos a automatizar todo el soporte. Lo que creo que haremos es, literalmente, eliminar la parte indiferenciada del apoyo, el "clic puntiagudo", las cosas de "introducción y salida" en las que estás haciendo lo mismo todos los días.

Fergal: Y con suerte, te desharás de sus partes frustrantes. Estás navegando, estás tratando de buscar y sabes que la respuesta está aquí en alguna parte. Sabe que ha respondido esta pregunta cinco veces el mes pasado, pero no puede encontrarla.

"Honestamente, estas características están cruzando el umbral de la utilidad mucho más rápido de lo que hubiera anticipado"

La última característica que estuvo activa en la versión beta es un expansor basado en artículos. Esto es algo que estamos viendo casi convirtiéndose en una característica estándar muy rápidamente. Dondequiera que esté escribiendo un artículo de texto, se volverá estándar que desee la capacidad de llamar a un modelo de lenguaje grande y decir: “Oye, ayúdame a completar esto, expandir esto. Aquí están mis viñetas”. Y así, lo enviamos en nuestra versión beta para el producto de artículos de intercomunicación. Nuevamente, todavía es temprano. Todo esto es temprano: han pasado de seis a ocho semanas, pero a veces es mágico. A veces puede ir y escribir cuatro o cinco viñetas para describir el contenido de un artículo, y luego, en el indicador, le damos el formato estándar de un artículo de Intercom, para que sepa cómo ir y ponerlos en los encabezados y pronto. Es mágico cuando funciona y con qué frecuencia funciona y qué tan bien funciona para las personas. Todavía necesita verificar el contenido. Puede poner cosas allí, pero creemos que hay formas de reducirlo. Y, sinceramente, estas características están cruzando el umbral de la utilidad mucho más rápido de lo que hubiera anticipado. Así que sí, estamos experimentando con eso.

La última frontera

Des: Entonces, más allá, ¿cuál es tu opinión sobre la trayectoria de todo esto? ¿Hacia dónde desde aquí?

Fergal: Esas son las cosas que hemos tenido en beta. Hemos tenido cientos de clientes usándolos y tenemos una señal real sobre el valor para el cliente. Les diré exactamente dónde estamos ahora en producción con aprendizaje automático. En los últimos uno o dos días, tuvimos una función que nuestro propio equipo interno de CS está usando: en el pasado, tuvimos una función de respuestas inteligentes donde extraerá sus saludos comunes. Estas son las cosas que no tienen información, que no responden a la pregunta del usuario: simplemente están engrasando las ruedas, haciendo que sea rápido, rápido y fácil decir: “Oh, gracias. De nada. ¿Hay algo mas que pueda hacer?" Y esta tecnología es maravillosa para ese tipo de cosas. Los lingüistas las llaman expresiones fáticas.

En los últimos días, enviamos una versión de eso a nuestro equipo de Intercom CS donde ven este texto atenuado en el redactor, pero es relevante para la conversación específica. Por lo tanto, si anteriormente dijeron: "Hola, ¿puedo ayudarlos?" y el usuario dijo: "Oh, sí, quiero ayuda con el producto de los artículos", entonces sugeriría: "Oh, sí, déjame buscar los artículos". producto para ti.” Todavía no lo buscará por usted, pero lo haremos. Hace tres o cuatro días, dijimos: “Está bien, voy a enviar esto internamente. No estamos seguros de si se volverá molesto y si las personas se volverán ciegas porque lo ven a menudo y solo ayuda para un subconjunto”, y siempre somos muy cautelosos al respecto. Pero hasta ahora, la respuesta interna de nuestro equipo de CS ha sido excelente. Y entonces, tenemos la intención de seguir trabajando en eso. Tal vez necesitemos poner otro sistema que limite la frecuencia con la que se muestra. Eso es algo en lo que estamos trabajando.

Mencioné la pieza de expansión antes, y ahora estamos trabajando en, "Oye, ¿podemos hacer eso incluso sin la taquigrafía?" ¿Podemos averiguar lo que va a escribir a continuación en función de lo que acaban de decir los usuarios? E iremos y buscaremos en su base de conocimiento, trataremos de encontrar un contexto relevante y le daremos eso al modelo. El modelo en sí no es lo suficientemente bueno para hacer esto. No conoce su negocio, pero tal vez podamos aumentarlo. Tal vez podamos usar una combinación de texto de aprendizaje automático más tradicional con el modelo y obtener algo bueno. Tenemos prototipos y estamos trabajando en esto, pero aún no los hemos enviado a nuestros clientes, ni siquiera en forma beta, porque todavía estamos evaluando si eso es lo suficientemente bueno para ser transformador o si se vuelve aburrido y molesto. No está claro dónde está ese umbral. Somos un poco más optimistas sobre el tema del estilo de expansión en el que tiene que solicitarlo porque el usuario puede aprender cuándo hacerlo. Pueden aprender a consultarlo. Todos tuvimos que aprender a usar Google, y esperamos que los usuarios también mejoren mucho en el manejo de estos sistemas.

Eso es más o menos donde estamos. Nos estamos moviendo rápido y estamos enviando cosas rápidamente a los clientes para que realmente verifiquen y obtengan un valor real aquí. Estamos tratando de tener cuidado para evitar caer en la trampa de la exageración. Creemos que hay un enorme potencial aquí, pero es demasiado fácil colocar una página de destino y decir: “Consíguelo aquí. Responderá a todo. Y eso no es bueno. La gente simplemente se quedará ciega y se apagará.

“Todos han visto esto y dicen: 'ChatGPT es realmente bueno. Si pudiera obtener una tecnología como esa para ayudar con mi atención al cliente, eso sería enorme”. Pero no lo va a hacer listo para usar. No conoce tu negocio”

Des: Creo que dañas tu reputación si dices, "esta cosa hace algo", y claramente no lo hace, pero lo hiciste por clics o lo que sea. Parece que el producto real que todos esperan en este nuevo espacio es el bot orientado al usuario final que responde correctamente la mayoría de las preguntas todo el tiempo. Pensamientos sobre eso? ¿Semanas, meses, días?

Fergal: Obviamente, esa es un área enorme para todos. No subestimaría al compositor también: una parte de las preguntas siempre fluirá hacia el compositor. Y si podemos reducir ese tiempo para esos, eso es enorme. Pero absolutamente, uno de los grandes premios en esta área es si podemos tomar la experiencia de comprensión conversacional que hemos visto con ChatGPT y hacer que funcione para su negocio individual mientras evita las alucinaciones. Hay mucha gente investigando eso. Estamos investigando eso también. Tenemos prototipos que son interesantes y prometedores, pero aún no sabemos con certeza si hemos cruzado ese umbral en el que las alucinaciones son lo suficientemente raras como para que valga la pena hacerlo y sea valioso. Estamos empezando a ver algunas opiniones cristalizarse internamente, pero aún no estamos listos para compartir dónde estamos con eso.

Des: Totalmente justo. Bueno, supongo que volveremos a registrarnos en seis semanas más o así.

Fergal: Ha sido un tiempo muy rápido. Mire, este es un campo muy emocionante para trabajar. Las expectativas de los clientes son muy altas. Todos han visto esto y dicen: “ChatGPT es realmente bueno. Si pudiera obtener tecnología como esa para ayudar con mi atención al cliente, eso sería enorme”. Pero no lo va a hacer listo para usar. No conoce tu negocio. Realmente no puedes afinarlo hoy. Incluso si pudiera ajustarlo en su negocio específico, probablemente no lo haría. Necesitamos encontrar técnicas inteligentes, y creo que empresas como Intercom están bien posicionadas para intentarlo. Y sí, hay muchos modelos tecnológicos y lingüísticos interesantes por ahí. Estoy muy emocionada de ver toda la innovación en este espacio.

Des: Genial. Muchas gracias.

fergal: gracias Gracias.

☞ Haga clic aquí para unirse a la lista de espera beta para nuestras funciones de IA o recibir noticias de IA de Intercom.