El efecto GPT: una nueva era de servicio al cliente

Los avances recientes con grandes modelos de lenguaje han superado todas nuestras expectativas. Reunimos a expertos de la industria para una conversación sobre GPT y cómo dará forma al futuro del servicio al cliente.

No podemos decir que nos tomó por sorpresa. Durante años, la industria ha elogiado el potencial de la IA y el aprendizaje automático para transformar radicalmente la forma en que trabajamos, especialmente porque los avances en el poder de cómputo y el almacenamiento de datos hicieron posible entrenar modelos cada vez más grandes. Pero no esperábamos lo rápido que los avances recientes en ChatGPT de OpenAI desbloquearían nuevas posibilidades.

En Intercom, siempre nos hemos embarcado para aprender. Solo al enviar nuevas funciones rápidamente podemos obtener comentarios adecuados, aprender de ellos e iterar una y otra vez para servir mejor a nuestros clientes. Y así, naturalmente, eso es lo que hicimos con esta nueva tecnología. En los últimos meses, enviamos algunas funciones impulsadas por IA a 160 clientes. Y aunque todavía es demasiado pronto para saber cómo se desarrollarán estos modelos de lenguaje extenso (LLM) en nuestras vidas, creemos que hemos llegado a un punto de inflexión crucial, especialmente cuando se trata de servicio al cliente.

Y así, la semana pasada, organizamos un seminario web para profundizar un poco más en los casos de uso comercial de GPT. ¿Es esta ola de innovación diferente de las olas pasadas? ¿Transformará la forma en que trabajamos y la forma en que las empresas interactúan con los clientes actuales y potenciales? ¿Puede generar una nueva generación de startups? Para brindarle un poco más de información, hemos invitado a un par de peces gordos en la escena de inicio para opinar.

En el episodio de hoy, escucharás de:

• Ethan Kurzweil, miembro de la junta de Intercom y socio de Bessemer Venture Partners
• Fergal Reid, nuestro propio Director de Machine Learning
• Krystal Hu, reportera de capital de riesgo y startups en Reuters
• Talia Goldberg, socia de Bessemer Venture Partners

Hablarán sobre grandes modelos de lenguaje como ChatGPT, cómo las empresas están incorporando esta tecnología y cómo dará forma al futuro de la industria del servicio al cliente.

¿Poco de tiempo? Aquí hay algunos puntos clave:

• Estamos empezando a ver los casos de uso complicados de los grandes modelos de lenguaje: existe un gran potencial para aumentar el servicio al cliente debido a su regularidad y uso del lenguaje natural.
• Por ahora, se espera que los grandes modelos de lenguaje aumenten las capacidades humanas en lugar de reemplazarlas, ya que pueden ayudar a que los profesionales sean más productivos y eficientes en su trabajo.
• Si bien aún es demasiado pronto para medir el éxito del experimento beta de Intercom, la adopción y el uso de las últimas funciones impulsadas por IA han sido enormes y los primeros comentarios son muy prometedores.
• Los modelos de lenguaje grande pueden volverse muy costosos muy rápidamente. Aún así, con el tiempo, se volverán más baratos y más ubicuos, lo que permitirá una mayor experimentación y descubrimiento.
• Si bien todavía hay problemas con las alucinaciones, puede configurar y restringir este modelo para que sea más confiable cuando la situación requiera un mayor grado de confianza.
• Los modelos no son de talla única. Es probable que, en el futuro, las empresas ejecuten una combinación personalizada de diferentes modelos personalizables que se adapten a diferentes problemas comerciales.

Si disfruta de nuestra discusión, vea más episodios de nuestro podcast. Puede seguir en Apple Podcasts, Spotify, YouTube o tomar la fuente RSS en su reproductor de elección. Lo que sigue es una transcripción ligeramente editada del episodio.

El auge de ChatGPT

Krystal Hu: Muchas gracias por tomarse el tiempo para unirse. Soy Krystal Hu y cubro empresas y nuevas empresas para Reuters. Como muchos de ustedes saben, la IA y la ola de ChatGPT irrumpieron en escena en los últimos meses, y una gran parte de mi trabajo es descubrir la tecnología y cómo está cambiando diferentes aspectos de la vida. Para el tema de hoy, nos centraremos en cómo ChatGPT dará forma al futuro del servicio al cliente. Discutiremos qué son exactamente ChatGPT y los modelos de lenguaje extenso, cómo se usará esta tecnología, el impacto que tendrá en las tecnologías existentes y futuras, cómo las nuevas empresas están incorporando esta tecnología y cómo se están construyendo nuevas empresas.

Tenemos un gran panel hoy con nosotros. Dos increíbles inversores de Bessemer: Talia Goldberg y Ethan Kurzweil. Talia tiene su sede en San Francisco, invierte en negocios de software e Internet de consumo, y trabaja con empresas como ServiceTitan y Discord. Ethan Kurzweil también tiene su sede en San Francisco y lidera a los inversores en una variedad de verticales, incluidas las plataformas de desarrollo, la nueva infraestructura de datos, las aplicaciones de consumo digital y las criptomonedas.

Y luego, tendremos al Director de Aprendizaje Automático de Intercom, Fergal Reid, dándonos una mirada interna sobre cómo Intercom está incorporando esta tecnología en sus ofertas más recientes, incluidas algunas funciones de asistente de IA. Espero conocer sus ideas y escuchar lo que están viendo tanto en el frente de la puesta en marcha como en el de la empresa y los cambios que GPT podría traer. A lo largo del proceso, si tiene alguna pregunta, siéntase libre de hacerla en el chat y luego tendremos entre 15 y 20 minutos al final de la conversación para responder las preguntas.

Supongo que comenzaré contigo, Fergal, porque eres el tecnólogo en la sala y estás en la primera línea de la incorporación de GPT en las ofertas de Intercom. Tal vez pueda comenzar brindándonos un poco de información y explicándonos qué es GPT y ChatGPT, y cómo se le ocurrió incorporar esta tecnología.

"No voy a codificar reglas, y no voy a decir específicamente, 'Aprende a predecir X contra Y'".

Fergal Reid: Es un momento muy emocionante en tecnología. Voy a suponer que mucha gente probablemente haya visto ChatGPT en este momento porque acaba de hacer una gran ola. Pero desde la perspectiva de la tecnología, desde mi estrecha visión del mundo, he estado en Intercom durante unos cinco años y dirijo el equipo de aprendizaje automático. Y las cosas de aprendizaje automático que hemos hecho están usando algoritmos que han existido por un tiempo, usando algoritmos de aprendizaje supervisado, algoritmos que aprenden a distinguir cosas. Puedes decir: "Oye, vamos a predecir si alguien va a pedir una cosa u otra". Con estos sistemas de aprendizaje automático, les proporciona una gran cantidad de datos de capacitación: "Oye, este es un ejemplo si alguien te hiciera una pregunta, y este es un ejemplo si alguien te hiciera otra pregunta".

Y lo que es nuevo y diferente con esta última ola de IA generativa es que en lugar de simplemente enseñarle a un modelo a predecir una cosa u otra, estás diciendo: “Oye, modelo. Aprenda a generar nuevos datos de este tipo. Aprende a generar una imagen.” Le das un poco de texto y aprende a generar una imagen que se asigna a ese texto o, con ChatGPT, simplemente le hablas y le das un poco de texto, y se vuelve bastante bueno generando más texto en respuesta a eso.

"Tenemos este modelo realmente grande, le hacemos preguntas en inglés, le decimos que haga cosas en inglés y es bastante bueno simplemente haciendo lo que le decimos".

Es solo una forma diferente de hacer aprendizaje automático. No voy a codificar reglas, y no voy a decir específicamente: "Aprende a predecir X versus Y". En su lugar, voy a tomar una cantidad realmente grande de datos de entrenamiento, crear un modelo que sea muy bueno para tratar de predecir esos datos de entrenamiento y luego, con suerte, puedo hacer que haga cosas útiles al generar nuevos ejemplos.

Con ChatGPT, le preguntas algo dándole un texto y diciendo: "Generar lo que viene después". Y sorprendentemente, eso es bastante útil. Puede decir: "Oye, aquí hay una conversación de soporte al cliente, y este es el resumen de la conversación de soporte", y luego dárselo a ChatGPT, y generará lo que sucederá a continuación o lo que esperaría ver a continuación. Y tal vez, usted dice: "Este es el resumen", y luego aparece un resumen. Y eso es muy útil. Es una forma muy general de construir funciones y sistemas. En lugar de codificar un nuevo sistema de aprendizaje automático para cada pequeña cosa, tenemos este modelo realmente grande, le hacemos preguntas en inglés, le decimos que haga cosas en inglés y es bastante bueno simplemente haciendo lo que le decimos. Y entonces, en Intercom, hemos estado tratando de usar eso para crear funciones de productos.

Un cambio de juego para el servicio al cliente

Krystal Hu: Quiero traer a Talia y Ethan al escenario como inversionistas prolíficos en el espacio. Has visto un par de olas tecnológicas. ¿En qué se diferencia este sobre IA generativa y cuáles son las áreas de aplicaciones que le entusiasman?

Talia Goldberg: Claro, gracias por recibirme. Esa fue una excelente descripción general de lo que es la IA generativa. Es divertido, justo antes de esta reunión, estaba mirando un artículo que publicamos en nuestro blog el verano pasado, hace unos ocho o nueve meses, y esto fue unos meses antes de que se lanzara ChatGPT, pero comenzamos a ver mucho impulso. y motivo para estar entusiasmado con lo que estaba sucediendo con los grandes modelos de lenguaje en particular, y el potencial de la IA y la IA generativa como esta nueva ola realmente poderosa de inteligencia artificial.

Y teníamos una predicción: "Hoy, menos del 1 % del contenido en línea se genera con IA y, dentro de los próximos 10 años, predecimos que al menos el 50 % será generado o aumentado por IA". Y estábamos debatiendo eso, y pensamos que era una locura decirlo, pero, mierda, subestimamos la rapidez con la que la IA puede transformar mucha de la información que vemos. Diría que podría ser del 50 % en los próximos dos años de nuestras interacciones, contenido y medios en línea. Las implicaciones de eso, creo, son enormes en una gran cantidad de trabajo de información y conocimiento, incluida la atención al cliente.

“Ves los casos de uso difíciles de inmediato donde la tecnología está lista para interrumpir, mejorar, aumentar y hacer mejor, y la atención al cliente está en el camino correcto para eso”

Krystal Hu: Ethan, has estado trabajando con Intercom por un tiempo. ¿Es este el momento que crees que el servicio de atención al cliente ha estado esperando? Porque siento que la tecnología y la oportunidad son oro para las aplicaciones de servicio al cliente como Intercom.

Ethan Kurzweil: Sí, creo que esta es quizás la aplicación de vanguardia de modelos de lenguaje extenso y lo que pueden hacer. Si da un paso atrás y piensa en cambios tecnológicos y cambios de plataforma como el momento del teléfono inteligente, el momento del iPhone y cosas por el estilo, lo que sucede al principio es que hay toda esta emoción y muchos desarrolladores y creadores se precipitan en un espacio, y luego tiene este lavado en el que ve cuáles son las aplicaciones de última generación en las que se pega primero, y en las que no lo desilusionan un poco. Creo que probablemente todavía estamos un poco temprano en esa curva, pero se ven los casos de uso complicados de inmediato donde la tecnología está lista para interrumpir, mejorar, aumentar y hacer mejor, y la atención al cliente está directamente en camino para eso.

He trabajado con Intercom durante casi ocho años y medio, e Intercom ha sido un equipo que siempre ha estado a la vanguardia en la adopción de nuevas tecnologías cuando están listas. Y recuerdo que hace dos o tres años, la gente decía: “Automatización, automatización, automatización”. Y el liderazgo de productos en Intercom siempre decía: “Todavía no es lo suficientemente bueno. Podemos hacerlo, podemos pegarlo de tal manera que podamos marcar una casilla en algún formulario de solicitud de función, pero no conducirá a un flujo humano realmente bueno”. Intercom siempre se ha fundado en torno a esta idea de hacer que los negocios en Internet sean personales. Y si tienes un bot que no suena personal, eso es ortogonal a eso.

El hecho de que Intercom lo use con tanto éxito en su flujo muestra que la tecnología está lista y que esta es una de las muchas, muchas cosas en las que veremos su impacto. No todo a la vez de inmediato, pero con el tiempo, veremos mucho más impacto al darle a una máquina la capacidad de conversar de manera humana.

“Miras la curva y la tasa de mejora, y va a ser aún mejor dentro de unos meses, dentro de unos trimestres y dentro de unos años”

Talia Goldberg: Si puedo agregar una cosa, creo que la atención al cliente es el área inicial perfecta para que la IA comience a tener un impacto. Y una de las razones de ello es que utiliza un lenguaje natural. Puede comunicarse con la IA en inglés y le responderá en inglés. No necesita codificar: genera información. Y así es el servicio de atención al cliente y el soporte: generar excelentes experiencias similares a las humanas que se pueden personalizar, resolver quejas y mejorar cada vez más con el tiempo. Por lo tanto, también obtiene este excelente ciclo de comentarios al usarlo en la atención al cliente.

A pesar de que puede haber algunos desafíos y cosas que son difíciles hoy en día, la tecnología y el potencial ya son realmente grandes, como dijo Ethan. Observa la curva y la tasa de mejora, y va a ser aún mejor dentro de unos meses, dentro de unos trimestres y dentro de unos años. Es una de las categorías que más nos entusiasma y creemos que todas las empresas pueden aprovecharla y deben pensar en ella.

Krystal Hu: Fergal, este es el momento adecuado para que nos brindes una descripción general del reciente lanzamiento de funciones en Intercom y cómo incorporaste ChatGPT en él.

Fergal Reid: Absolutamente. Y solo para hacerme eco de los sentimientos de Talia y Ethan aquí, hay tanta estructura en el dominio, hay tantas cosas que hace un agente de atención al cliente donde están haciendo lo mismo que hicieron el último día nuevamente, o que tal vez uno de sus compañeros de equipo lo ha hecho antes, y hay tanta regularidad y estructura que se siente realmente maduro para un sistema que aprende y usa IA para hacer que las personas sean más rápidas.

“Sentimos que el mejor lugar para comenzar era con un ser humano al tanto. Alguien está envuelto en la bandeja de entrada y queremos que sea más rápido, pero aún puede verificarlo y aprobarlo".

Cuando se lanzó ChatGPT, al mismo tiempo, OpenAI lanzó este nuevo modelo para uso de los desarrolladores, text-davinci-003. Hemos tenido una relación con OpenAI durante mucho tiempo y sentimos, cuando miramos ese modelo, que realmente estaba cruzando un umbral de utilidad y que podíamos construir con él. Y así, hicimos una evaluación comparativa inicial. Las personas pasan mucho tiempo en la bandeja de entrada, y una cosa que tienen que hacer mucho es escribir resúmenes de la conversación que acaban de ver antes de entregarla. Esta tecnología parecía ser realmente excelente para hacer resúmenes conversacionales, y dijimos: "¿Podemos crear una función que haga esto y dársela a nuestros clientes beta?" Intercom tiene este principio de "enviar para aprender". Creemos en enviar nuevas funciones extremadamente rápido a los clientes, para que podamos saber si se resolvió un problema o si es más una curiosidad.

Entonces, básicamente, a principios de diciembre, comenzamos un proyecto para ver si podíamos enviar rápidamente algunas funciones que funcionarían con los representantes de atención al cliente en la Bandeja de entrada real para hacerlas más rápidas. Una era el resumen, con otras características para ayudarlos a redactar texto más rápido. Y realmente sentimos que era el lugar correcto para comenzar con esta tecnología porque la IA generativa tiene un inconveniente. No siempre es tan preciso como crees. Es fácil mirar ChatGPT, hacerle una pregunta, te da una respuesta y piensas: "Esto es increíble". Y luego lo lees con un poco más de detalle y, de hecho, a veces, se equivoca. Sentimos que el mejor lugar para comenzar era con un ser humano al tanto. Alguien está envuelto en la bandeja de entrada y queremos hacerlo más rápido, pero aún puede verificarlo y aprobarlo. Fue un gran punto de partida.

Ahora, veo personas preguntando en los comentarios: "Oye, ¿qué pasa con los bots y las cosas que pueden responder preguntas por sí mismas?" Creemos que eso está por llegar y puede que llegue pronto, pero todavía lo estamos explorando. El gran problema para nosotros es la precisión. Sentimos que está maduro en este momento para tener un ser humano en el circuito donde hace que el representante de soporte sea más rápido. Y probablemente, próximamente, sean cosas que bajen ese próximo escalón. Esa es un área muy interesante.

Ethan Kurzweil: Para hablar de eso, estamos recibiendo algunas preguntas prospectivas interesantes como: "¿Esto hará que mis días estén contados como redactor publicitario?" No lo creo en absoluto. Donde esta tecnología es y es probable que permanezca por un tiempo es en el aumento de las capacidades humanas y la inteligencia humana, haciéndolo más productivo como redactor pero no necesariamente reemplazándolo porque, en primer lugar, la tecnología aún no está allí y, en segundo lugar, el listón de lo increíble que es la atención al cliente o cualquier comunicación con una empresa va a subir y subir a medida que tengamos estos recursos. Si bien la tecnología puede manejar algunos casos de uso de redacción y respuesta de soporte por sí misma, la barra de lo que será una copia realmente buena y un soporte realmente bueno, etc., aumentará a medida que tengamos acceso a estas tecnologías. . El estado ideal es que tendrá acceso a estas tecnologías para ser más productivo, pero no lo reemplazará en el corto plazo.

Talia Goldberg: Sí. Me encanta cómo Wyatt acaba de decir que es un multiplicador de habilidades. Hablamos mucho internamente sobre el ejemplo de Copilot, que es como autocompletar para la codificación, y ya está haciendo que los ingenieros sean significativamente más eficientes. No reemplaza a los ingenieros ni a la ingeniería en absoluto, pero puede aumentarla. Un ejemplo muy básico de eso podría ser la calculadora. En el pasado, solíamos hacer matemáticas a mano. Ahora usamos calculadoras, pero las matemáticas siguen siendo muy importantes: todos debemos aprenderlas, y los matemáticos son muy importantes en este mundo. Podría decirse que su papel puede volverse aún más importante porque a medida que el costo de crear contenido se reduzca y haya una avalancha de contenido e información diferentes, la creación de contenido e información que pueda sobresalir y sobresalir será aún mayor. prima en los próximos años.

El experimento de Intercom con GPT

Krystal Hu: Han pasado algunas semanas desde que Intercom lanzó sus funciones asistidas por IA. ¿Cuáles son los primeros comentarios que has visto? ¿Cómo mide el éxito de incorporar esta tecnología?

“Estamos viendo mucha adopción, mucha emoción y mucho uso”

Fergal Reid: Seré muy transparente al respecto. Todavía no tengo una respuesta completamente satisfactoria a esa pregunta. Lo que puedo decirles es que ahora estamos en vivo, tenemos miles de clientes que lo usan regularmente, hemos tenido mucha adopción. Probablemente intentaremos medir si esto realmente hizo que las personas fueran más productivas, porque digamos, para nuestro propio equipo de CS, podemos recopilar telemetría sobre "¿Eres más rápido si usas estas funciones?" y armar alguna forma de experimento controlado para eso. Siempre nos gusta intentar obtener algún tipo de datos reales sobre esto en algún momento, pero aún no hemos llegado a ese punto. Probablemente tendremos algunos números sobre eso o más de una comprensión de esto, al menos internamente, en un mes o dos, supongo.

Lo que puedo decirles en este momento es que estamos viendo mucha adopción, mucha emoción y mucho uso. Definitivamente hay algunas características como el resumen que los clientes nos dicen que les ahorra mucho tiempo. Hemos tenido clientes que nos dicen cosas como: "Oye, para algunas conversaciones, puede llevar tanto tiempo escribir el resumen de una transferencia como resolver el problema del usuario final". Y entonces, definitivamente nos sentimos bien por eso.

En algunas de nuestras otras características, escribes de forma abreviada, un poco como GitHub Copilot. Nos inspiramos en Copilot, y en Copilot, si eres programador, puedes escribir un comentario o una taquigrafía, y luego completará el código. Una de nuestras funciones es "expandir", donde escribes una abreviatura y se convierte en un mensaje de soporte más largo. A veces, eso funciona y ahorra tiempo a las personas, pero aún no tenemos datos al respecto. Lo que tenemos en vivo en este momento es solo una versión de Generación 1 de eso. Y tenemos prototipos de una versión de Generación 2. Por el momento, usted escribe la taquigrafía y el modelo de lenguaje grande la expande. Lo que estamos tratando de hacer en su lugar es decir: “Oye, veamos la última vez que respondiste una pregunta como esa. Incluyamos macros que sean relevantes para esto”. Y tenemos algunos prototipos internos que están funcionando bastante bien. Todavía estamos innovando y haciendo cosas que realmente van a mover la aguja, pero aún no tenemos métricas. Pronto.

"Tengo un gráfico en Tableau de nuestro gasto diario con OpenAI que vigilamos con nerviosismo"

Krystal Hu: Para dar seguimiento a eso, ¿cómo mide el costo? Según tengo entendido, probablemente envía consultas a OpenAI y cobran, supongo, dos centavos por cada mil caracteres o algo así. Y supongo que, a medida que aumenta su adopción, esa factura también se acumula. ¿Tiene algún aprendizaje u observación para compartir sobre la incorporación de esta tecnología?

Fergal Reid: Tengo un gráfico en Tableau de nuestros gastos diarios con OpenAI que vigilamos con nerviosismo. Definitivamente es una consideración. Mencioné la función de resumen, y la hemos creado de una manera muy humana en el circuito en la que debe solicitar el resumen antes de entregar la pregunta. Y una cosa que nos dicen nuestros clientes es: “Oye, ¿por qué tengo que pedir este resumen? Mantenga un resumen en todo momento en la barra lateral para que nunca tenga que pedirlo”. Y eso sería muy costoso porque si tuviéramos que pagar dos centavos cada vez que alguien dice algo nuevo en la conversación y el resumen cambia, sería extremadamente costoso. Absolutamente tenemos que tener en cuenta el costo de una manera que no lo hacemos con los modelos de aprendizaje automático más tradicionales.

Dicho esto, OpenAI acaba de anunciar su API ChatGPT y creo que sorprendió a mucha gente porque era 10 veces más barata que los modelos similares anteriores de esa serie. Es posible que el costo baje bastante rápido y estas características se adopten ampliamente. ¿Qué pasa con otras nuevas empresas o empresas que construyen en esta área? El consejo que daríamos en Intercom es tratar de ingresar al mercado rápidamente porque aquí hay un valor real para sus clientes que puede construir y desbloquear. Y el costo probablemente se reducirá porque los modelos serán más baratos a medida que proveedores como OpenAI descubran cómo hacerlos más eficientes o porque descubrirá formas más eficientes de usarlos. Descubrirá formas de decir: "Oye, puedo usar un modelo generativo más barato para la primera parte de la conversación y luego, cuando tenga esta tarea mucho más difícil que requiere más precisión, usaré el modelo más costoso". .” Ethan y Talia probablemente tengan una visión mucho más amplia que la mía y me encantaría escuchar sus pensamientos.

“Nunca estás seguro de lo que los desarrolladores van a hacer con una nueva tecnología hasta que la tienen, y la tienen donde no pagan dos centavos cada vez que hacen una llamada a la API”

Ethan Kurzweil: Bueno, es un buen ejemplo de lo que a veces ves con estas tecnologías de última generación. Al principio, los casos de uso de alto valor los obtienen, y estás describiendo la actualización de ese principio. En Intercom, esa es la función de resumen cuando se solicita hoy. Pero con el tiempo, la tecnología será mucho más omnipresente y más barata. Y ahí es cuando puede proliferar en más casos de uso donde el costo marginal de hacerlo es hoy prohibitivo, y eso permite a los desarrolladores descubrir otras aplicaciones de modelos de lenguaje grandes en este tipo de IA donde realmente no estamos prediciendo.

En Bessemer, Talia y yo tratamos de idear hojas de ruta de hacia dónde creemos que irá la tecnología, pero como inversionista orientado a desarrolladores, una de las primitivas clave en las que siempre pienso es que nunca estás seguro de lo que los desarrolladores van a hacer con una nueva tecnología, una nueva plataforma, un nuevo acceso a algo hasta que lo tengan, y lo tengan donde no estén pagando dos centavos cada vez que hacen una llamada a la API, y puedan hacer riffs y hacer cosas que suenan absurdas al principio.

Estoy emocionado de que la tecnología llegue al punto en que solo hay un montón de experimentación. Estoy seguro de que en la hoja de ruta de productos de Intercom, no hoy, sino dentro de un año, habrá algunas cosas que no predijimos pero que tienen un valor muy alto para los clientes. Y habrá algunas nuevas empresas que acaban de surgir porque crearon una forma particular de usar el texto generativo, y crearon una experiencia de usuario realmente excelente para alguien.

Talia Goldberg: Hay un ejemplo divertido que creo que puede enfatizar parte del potencial humano para aumentar las experiencias que son relevantes para el soporte. Si estoy hablando, digamos, con algunos miembros del equipo de Intercom con un fuerte acento irlandés, y probablemente piensen que tengo un loco acento occidental, a veces es difícil para nosotros entendernos cuando estamos muy emocionados y hablando muy rápido. Suena como un idioma diferente a pesar de que todos hablan inglés. La IA puede, en tiempo real, cambiar un poco el acento de una persona para que sea más comprensible en ambos sentidos. Entonces, si tengo acento irlandés o británico, se traducirá en un acento de California, y eso realmente puede mejorar la experiencia de alguna manera al reducir las barreras de comunicación.

Ethan Kurzweil: Es un buen ejemplo porque la tecnología se está metiendo en medio de la comunicación directa pero haciéndola más humana, lo que suena como un oxímoron, pero si se implementa bien, podría hacerte sentir más conectado en un contexto de mensajería o comunicación.

Talia Goldberg: Esta es la promesa de Internet: unirnos a todos y romper barreras. Realmente soy un gran creyente en el potencial para potenciar eso.

el cociente de confianza

Krystal Hu: Creo que mucha gente tiene preguntas sobre cómo asegurarse de que todo sea correcto en términos del flujo de información y que sea preciso. La apuesta es diferente en diferentes casos de uso, pero, en general, no desea proporcionar información incorrecta a sus clientes. ¿Cómo te aseguras de eso?

“No es que tú, como humano, nunca puedas ver esas cosas porque eso sería imposible, es que puedes filtrar adecuadamente. Así es como pienso en los grandes modelos de lenguaje”

Talia Goldberg: Tal vez solo un comentario, y luego creo que dejaré que Fergal responda más específicamente sobre Intercom. Los modelos se entrenan con enormes cantidades de datos: muchos miles y miles de millones de puntos de datos e información. Y así, no importa cuánto intente engañar a los datos o poner datos falsos, sigue siendo una porción muy pequeña de los datos generales. Eso es algo a tener en cuenta al pensar en cómo se crean estos modelos.

La otra cosa son las entradas de datos. Sé que existe preocupación acerca de si está entrenado con datos incorrectos, y no me malinterpreten, ciertamente hay desafíos con las alucinaciones y otras áreas, por lo que hay mucho que mejorar. Pero en tu vida, no es que vas por ahí y no ves cosas que podrían estar equivocadas o sesgadas o incluso información errónea. Te encuentras con eso, pero usas tu juicio y tu mente, y hay muchos otros datos buenos. Entonces, no es que tú, como ser humano, nunca puedas ver esas cosas porque eso sería imposible, es que puedes filtrar adecuadamente. Así es como pienso en los grandes modelos de lenguaje. Habrá algunos casos en los que haya datos e información que no sea lo que desearía en el conjunto de entrenamiento, pero la capacidad de los modelos de lenguaje para filtrarlos y llegar a la respuesta correcta debería ser cada vez mejor con el tiempo.

“Ese podría ser uno de los parámetros: '¿Cuánta confianza tienes en esta respuesta?' Si no es lo suficientemente bueno, no lo des”

Ethan Kurzweil: Hay algunas preguntas interesantes tanto sobre la privacidad como sobre la precisión de los datos. La otra cosa a tener en cuenta sobre la cuestión de la precisión de los datos antes de llegar a la parte de la privacidad es que, en el futuro, y en algunos modelos de lenguaje grandes, puede establecer un cociente de precisión. Es como cuando se programó una IA para ganar Jeopardy: tenía un intervalo de confianza que sabía la respuesta a una pregunta con un 90 % o un 60 % de confianza. Y en ese contexto, donde simplemente pierdes algunos puntos con una respuesta incorrecta, establecen el intervalo bastante bajo en 40% o algo así. Si estás seguro en un 40% o más, qué diablos, ve e intenta responder la pregunta.

Puede haber algún contexto en el que desee una precisión de nivel humano, la configura allí, y muchas veces, cuando la IA no puede llegar al percentil 99, pasará a un humano o algo así. Puede haber algún contexto incluso en el ejército, incluso en industrias altamente reguladas, donde tiene más tolerancia para una conjetura asistida por IA educada. Y ese podría ser uno de los parámetros: “¿Cuánta confianza tienes en esta respuesta?” Si no es lo suficientemente bueno, no lo des.

Fergal Reid: Solo para entrar en eso, Ethan, definitivamente es una fuerte creencia de producto que tenemos internamente en Intercom, que es muy probable que haya una variedad de tolerancias aquí. Habrá algunos clientes con una tolerancia bastante alta para, “Dame la sugerencia; está bien si la sugerencia es incorrecta de vez en cuando”. Y habrá otros clientes con una tolerancia muy baja. Esperamos que necesitemos tener algún grado de configuración en torno a esto.

“Tenemos esta nueva tecnología que puede hacer predicciones mucho mejores y hacer las cosas mucho más rápido. ¿Cómo tomamos eso y lo hacemos lo suficientemente confiable, o al menos permitimos que los clientes elijan?

Solo para sumergirnos en la maleza con algunas de las cosas que estamos viendo en el futuro, supongamos que tiene algo que intenta consumir un artículo y responder una pregunta sobre ese contenido. Un ejemplo es restringirlo para que diga: "Solo se le permite responder con una cita exacta de esto". Y puede poner esa cita en contexto, pero la cita tiene que estar ahí. Esa es una forma conservadora de usar estos nuevos modelos de lenguaje grande para comprender mejor su consulta y recuperar la información, pero restringiendo lo que realmente pueden decir. Otro ejemplo es tomar un modelo generativo y permitir que sea generativo bajo el capó, pero solo puede interactuar con un usuario final a través de una serie predefinida de acciones o cosas que puede decir.

Hay muchas técnicas para tomar el poderoso motor y tratar de hacerlo más seguro, confiable y restringido. Y creo que verás a mucha gente trabajando con esa técnica. Tenemos esta nueva tecnología que puede hacer predicciones mucho mejores y hacer las cosas mucho más rápido. ¿Cómo tomamos eso y lo hacemos lo suficientemente confiable, o al menos permitimos que los clientes elijan? Creo que van a ver mucho movimiento en este espacio durante los próximos meses.

Personalización masiva en todas las industrias

Krystal Hu: En ese sentido, Ethan, Talia, además del servicio al cliente, ¿hay alguna otra aplicación que estén viendo en este espacio que les entusiasme especialmente?

Ethan Kurzweil: Puedo ir primero. En cuanto a algunas aplicaciones de consumo, los juegos son uno que nos entusiasma. Si piensas en lo que hace que los juegos sean divertidos, muchas veces, esa es la frecuencia de actualización del nuevo contenido, y eso requiere constantemente generar ideas creativas. Estamos empezando a ver personas que piensan: "¿Qué pasaría si cada experiencia para cada jugador pudiera ser nueva?" You couldn't have a personal copywriter writing that much content for each person, but an AI could do it. And it could get down to a level where each decision you make generates a new experience based on whatever temporal inputs you want to give the system.

“We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before”

Media applications as well. Earlier in my career, I used to work at the Wall Street Journal , and the parent company of the Wall Street Journal was Dow Jones. They had a sister news department called Dow Jones Newswires , which was about getting financial news mainly to traders and folks that needed to act very quickly on that information as fast as possible through terminals and things like that. I think about what an AI could do to augment news or get news to the end user more quickly. Again, I don't think it's replacing journalists at all, I think it's augmenting the amount of information and the targeting we can provide to folks much more quickly.

I think about entertainment use cases. This promise of personalized television and premium content services has always been out there, but when you get to the long tail of internet content and user-generated content, it tends to be pretty low-quality. Could you have a high-quality, personalized content delivery service? I think AI could impact that equation in the future.

Talia Goldberg: I love the concept of personalization and everyone having their own experience. We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before. This is a totally new experience for everyone, which is super cool. I'll share one of the areas that I think is going to be wildly impactful and really promising, which is in life sciences and biotech.

“The AI is seeing something that we, as humans, have never before been able to see”

Applying AI to drug discovery and development using huge amounts of data to look at molecules and protein structures and genomic data can be really transformative. I read this study that I think was in Nature a month ago, and it described how some researchers gave an AI a bunch of images of a human retina, and the AI, with 90% accuracy, said which retina belonged to either a male or a female. That seems very basic – who cares? But what's really crazy about that is that no researcher, scientist, or AI expert has ever been able to find any sign of a retina correlating to gender of any form. The AI is seeing something that we, as humans, have never before been able to see.

You think about that, and then you apply that to cancer and different cells and otherwise, and the potential is just massive and really exciting. And we're already seeing a lot of applications. AI's going to transform a whole bunch of things – health, software, business applications, logistics, consumer… We could make a long list, but there are a ton of reasons to be super optimistic.

Mix and match

Krystal Hu: When I talk to startups, when they're incorporating this kind of technology into their offerings, one choice they have to make is which model they work with. Do they only work with one type of model, or do they diversify their vendors to work with other companies besides OpenAI? I'm sure, Fergal, you've spent some time thinking about that. What was the experience like at Intercom?

Fergal Reid: With new technology, being right in the forefront, our head tends to go first to customer value. We're happy to use the most expensive or newest model to try and figure out, “Okay, can we really build a transformative experience for a customer with this that is a core part of the workflow and makes something valuable for them?” And once we do that, we're like, “Okay, now, how can we make it cost-effective?” And we're probably going to end up with a large mix of different models from, say, OpenAI, and we've also looked at other vendors like Anthropic, which are doing some really interesting work in this space too.

“It's highly likely that everyone's going to end up running a bespoke mix of many different models. It's going to get complex pretty fast”

It's an exploding space with many different people training large language models, and I think you'll have different large language models that are better and worse and have different trade-offs in terms of cost and latency and performance. Performance won't be one-size-fits-all. Some models are better at dealing with hallucinations, some are better at generating creative content, and I think we're already seeing that.

Our focus is to get whatever models we can, try them out, think if we can use these to build transformative value, get it live with our customers, and then figure out how to optimize that. Once we know it's delivering value, let's optimize it in terms of price and cost and work. It's highly likely that everyone's going to end up running a bespoke mix of many different models. You could have three different models in one customer interaction. So yeah, it's going to get complex pretty fast.

“There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem”

Ethan Kurzweil: I think that's an interesting point that actually ties the question from before: how do you measure the success of this? Because I think lots of companies will try a model or many, and the question will be, “All right, which is best?” And that's such an oversimplification because you have to figure out what you are trying to achieve. Are you trying to achieve engagement with users? Are you trying to achieve a quick resolution?

I think there'll probably be a sort of metricization of this where people come to a standard, like the way Google Search created a new industry, AdWords, and the way we measure click-through rates and conversion rates and things like that. There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem.

Fergal Reid: Yeah, even before these more recent language models, we've had bots that process natural language using pretty big neural networks, although not as big. And whenever we would do something like upgrade our bots, we would conduct a large-scale A/B test framed in terms of end-user metrics such as self-serve rate. Then, we would find edge cases for particular customers or domains where it performed less well, really dig into those, and make sure nothing was broken. I think there's probably a well-understood playbook, like Ethan's referring to, of metrics for given domains. A lot of the same things will apply to this new type of technology.

Preguntas y respuestas

Krystal Hu: I'd love to get to the Q&A. I think we were able to address some of the questions during our discussions, but there are a bunch about the potential roadmaps from, I assume, Intercom's customers or companies working with Intercom who want to know what could be the next AI-aided feature that may come out, both in the short-term and long-term, and also how that will affect the pricing strategy.

Fergal Reid: Cool. Do you want to call out one particular question?

Krystal Hu: I think there was a question about your roadmap for the features for the next six months versus 12 to 18 months, and then the other person asked about the pricing strategy.

Fergal Reid: We have some things coming up that unfortunately, I can't talk about at the moment. I would say that six months is a really long time in this space. I expect you'll see a lot of movement in this space over the next two or three months. We will continue to sweat and invest in these features in our Inbox to make support reps more efficient. I've already talked about how we've got a Generation 1 version of features here at the moment, with summarization and expansion features to help edit a text, and we're definitely working on Generation 2 versions of those features.

We've also met two other exciting features in this space that we're really excited about, but unfortunately, I can't share any details at the moment – it's just a little bit too early to announce and launch those things. I can promise you're going to see a lot of action and excitement from us, and I'm sure from other companies in this space as well, over the next six months.

“Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries”

Krystal Hu: Talia and Ethan, do you have any expectations or hopes on how fast the space could move?

Talia Goldberg: Well, it's moving a lot faster than we even anticipated. The space is moving really quickly in part because there are a whole bunch of technological advances happening at the same time as the hardware that these models are trained on gets better and improves at a Moore's Law rate, and there are new architectures and ways of scaling on that hardware. We're getting better and better at creating new experiences and models.

I don't have an exact prediction of how quickly we'll see different things, but one of the biggest areas that we're watching closely and expect to see a lot of advances in over the next six to 12 months is around personalization and being able to create far more personalized experiences. Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries of those context windows, coming up with new frameworks to create far more personalized experiences and remember each person, each user, each customer, and tons of data points about that person to create a better experience.

“I would encourage everyone that's building new products to ride the ups and the downs”

Ethan Kurzweil: I completely agree with Fergal and Talia. We're going to see predictable and unpredictable applications of this over the next six months. There'll be some unsuccessful ones too, and then the narrative will quickly shift to, “Oh, that didn't do everything we thought it was going to do as quickly as we thought.” Right now, we're into the peak of momentum and euphoria and, dare I say, a little hype in the space. But over time, it'll become as big a deal as we thought.

I would encourage everyone that's building new products to ride the ups and the downs. Don't ride the up as high as it may be feeling like you should right now, but when the narrative changes a little bit, because it will – all new technologies have that “Oh, that wasn't as impactful as quickly as we thought” moment – I would encourage everyone to keep building through that as well.

Krystal Hu: Yeah, I'll definitely take that from you as a crypto investor.

Ethan Kurzweil: It's the same thing. Right now, there's clearly a trough of disillusionment for crypto. And good builders are figuring out, “Okay, what of this technology is applicable? What makes sense?” And we'll see those things come to market over the next couple of years.

Krystal Hu: One common question I saw in the Q&A is: how will this impact human jobs like human agent jobs? I'm curious to hear your thoughts on this specific case.

Ethan Kurzweil: Ever since the advent of the computer, there's been this prediction that it would be a massive replacement for human work at all levels. It does change the nature of work, and this will certainly change in some ways, but it's not going to be a wholesale replacement for humans in any broad way.

“Guess what? Every year, we need way more engineers. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is”

Just as Talia alluded to the example of Copilot and people, I've read many articles saying this was going to put all developers out of business over the next two to three years, and that's complete BS. Everyone knows that's not true. But it may allow for more productivity and for the cycle time on software to speed up. It may allow for different skills to be more important. I think it just makes us more productive. It's not that it won't have an impact and won't shift the nature of work in some ways. I don't mean to minimize that because that's very real. But looking at the whole, you'll see we come out ahead.

Talia Goldberg: At least until we reach the singularity, I'm pretty convinced of the need for more and more engineers. You could have gone back 10 years and been like, “Ah, there are all these cool developer tools now that are coming out and making it way easier to integrate things,” or, “Oh gosh, there are these self-serve products like Zapier that make it easy for non-technical people to connect products and integrate things.” And guess what? Every year, we need way more engineers. There's a shortage. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is. And I think, in a lot of areas, that paradigm will hold true. But as Ethan said, the exact skills and the way it looks may shift.

Krystal Hu: Yeah, that makes a lot of sense. I saw some interesting observations and questions about whether you should tell people that they are talking to an AI versus a real person. It's an interesting question because it presumes we wouldn't be able to tell.

Ethan Kurzweil: It's a good existential question. If you're talking to a person assisted by an AI, who are you talking to, and what disclosure do you have to make in that case? I don't have any answers to these questions, but they're great ones for us to debate.

Talia Goldberg: I find that AI can sometimes generate responses that are so detailed and so good that there's just no way that a human did it anyway. It's like the reverse of the Turing test.

Krystal Hu: Otra pregunta sobre la funcionalidad de seguridad. Creo que también mencionamos esto anteriormente, pero hay una pregunta específica: “¿Qué tan importante es la integración vertical de la funcionalidad de seguridad con el proveedor del modelo? Por ejemplo, ¿qué tan importante es usar la API de moderación de OpenAI con la salida del modelo ChatGPT en comparación con mezclar y combinar con la API de perspectiva de Jigsaw? Fergal, es posible que tengas algunos pensamientos o experiencias para compartir al respecto.

Fergal Reid: Sí, no estoy familiarizado con la API de perspectiva de Jigsaw, así que no sé eso específicamente. Toda la gente de OpenAI y Tropic y cualquier otra persona que esté entrenando modelos de lenguaje grandes se preocupan mucho por hacerlos utilizables, seguros y alineados, y se preocupan mucho por evitar las alucinaciones. Y van a continuar trabajando en estas áreas para facilitar que compañías como Intercom las implementen de manera confiable. No estoy convencido de que necesitemos integrar eso verticalmente. No sé si Intercom necesita estar en el negocio de entrenar sus propios modelos masivos de lenguaje grande para que podamos abordar la producción y hacerlos lo suficientemente confiables. Creo que vamos a ver mucho movimiento en este espacio de todos modos.

Este tipo de IA generativa le da mucha libertad al usuario para intentar descubrir cómo implementar el modelo. Existe este campo emergente de ingeniería de indicaciones, y mi equipo está haciendo mucho de esto, editando indicaciones y tratando de averiguar: "Está bien, ¿cómo le pregunto al modelo lo que quiero de la manera correcta para lograrlo? darme el resultado que estoy buscando? Eso mejorará, al menos por un tiempo, se volverá más poderoso y los modelos serán más fáciles de controlar.

Creo que podremos ver empresas en la posición de Intercom generar mucho valor y descubrir muchas aplicaciones y diseños. Todavía estamos aprendiendo cómo diseñar productos en torno a esta nueva tecnología. Hay tantos grados de libertad para que las personas en nuestra posición usen eso.

“Siempre existe esta tensión: ¿simplemente te aprovechas de lo general? ¿Cuánto mejora el modelo general en comparación con el ajuste fino?

Krystal Hu: También hubo preguntas sobre la construcción de Intercom de su propio modelo. Como mencionó anteriormente, tal vez haya oportunidades para hacer una combinación de qué modelo funciona mejor para sus casos de uso mientras crea una API o algo así.

Fergal Reid: Sí, con la escala en la que se entrena a estos modelos en este momento, no parece tener sentido económico que todas las empresas del tamaño de Intercom entrenen a los suyos. Pero, de nuevo, hay un espectro aquí. Desarrollaremos experiencia en el diseño en torno a ellos y sabremos qué pedirle al modelo. Y probablemente veremos funcionalidades emergentes en empresas como los modelos de ajuste fino de Intercom. Muchos de estos nuevos modelos están entrenados con aprendizaje reforzado con retroalimentación humana. El costo de hacerlo probablemente se reducirá con el tiempo y podremos personalizarlos más para nuestros casos de uso específicos.

Siempre existe esta tensión: ¿simplemente te apoyas en lo general? ¿Cuánto mejora el modelo general en comparación con el ajuste fino y la realización de cosas específicas? Tendremos que ver cómo se desarrolla este espacio, pero creo que habrá muchos grados de libertad para que las empresas tomen estos modelos y los personalicen y produzcan para su área. Estamos en los primeros días de la producción de esta tecnología. Va a cambiar mucho, y será mucho más fácil priorizar.

Krystal Hu: Casi nos acercamos al final de nuestra maravillosa conversación, pero podemos responder dos preguntas más. Uno es sobre cómo las empresas adoptan y extraen valor de ChatGPT. Ha visto empresas que comienzan a integrar eso en sus ofertas y, por otro lado, creo que las empresas, especialmente los bancos altamente regulados, se preguntaban sobre el servicio de información y los problemas de privacidad y prohibían a sus empleados jugar en las computadoras portátiles de la empresa. Tengo curiosidad por escuchar los pensamientos de Talia y Ethan sobre esta pregunta.

Talia Goldberg: En nuestra cartera, muchas empresas de software que tal vez ni siquiera estén en categorías como Intercom, que están realmente a la vanguardia, piensan: "Oye, ¿cómo es esto importante para mi negocio y cuáles son las formas en que puedo ¿Podría integrar algunos de estos modelos o las API de ChatGPT en mi producto? Las tareas altamente repetitivas pueden ser realmente excelentes para que una IA ayude a automatizar o optimizar. Una de nuestras empresas obtiene mucha información contable de sus clientes, y necesita conciliar y señalar si hay un error o algo que no está bien. Y han tenido estos sistemas basados ​​en reglas en el pasado, pero puedes aplicar IA y tener una precisión mucho mayor. Otro ejemplo interesante está relacionado con la pieza de resumen. Si un cliente habla con un agente del centro de llamadas o un representante de ventas, puede resumir esa conversación y crear material de marketing personalizado solo para esa persona.

Krystal Hu: Una última pregunta para Talia y Ethan. La gente preguntaba qué estabas buscando al invertir en startups pre-semillas o, supongo, en startups en general.

"Tratamos de dividirlo en esa pregunta clave de '¿Esto realmente mueve la aguja para algún rol o tipo de persona en particular?'".

Ethan Kurzweil: Esa es una gran pregunta. Hay tantas respuestas diferentes a eso. La presemilla es un poco más temprana de lo que normalmente invertimos, para poner ese descargo de responsabilidad; por lo general, estamos invirtiendo en una semilla posterior o en una serie A o B. Pero nuestra filosofía es buscar modelos de hipercrecimiento donde podamos encontrar a ellos. Y, por lo general, la forma en que lo desglosamos es tratar de hacer un diagnóstico previo a través de mapas de ruta, y Talia ha sido la que ha impulsado gran parte de nuestro pensamiento sobre la IA y sus aplicaciones a varias cosas diferentes, y creamos estos mapas de ruta de diferentes áreas temáticas que creemos que son bastante interesantes. Podrían ser muy amplias, como la computación en la nube o la consumerización de la atención médica, o limitadas, como el impacto de la IA en el servicio al cliente.

Animo a la gente a mirar, porque publicamos mucho en nuestro blog y en las redes sociales nuestra tesis activa, para ver si lo que están construyendo está alineado con algo. Y luego, en términos generales, estamos buscando: "¿Tiene esto el tipo de impacto que cambiará la forma en que trabajamos o hacemos entretenimiento o algo que podría ser un cambio de paradigma en algún proceso comercial o necesidad del consumidor?" Eso es en lo que lo desglosamos. Nos hemos dado cuenta de que cada vez que tiene un cambio de comportamiento de base amplia, eso lleva a compañías de hipercrecimiento y oportunidades para que las nuevas empresas interrumpan la forma en que trabajan o juegan o lo que sea que se hizo antes. Entonces, tratamos de desglosarlo en esa pregunta clave de "¿Esto realmente mueve la aguja para algún rol o tipo de persona en particular?"

Krystal Hu: Ese es el final de nuestra conversación. Para aquellos que no han tenido la oportunidad de probar las nuevas funciones de Intercom, les animo a que jueguen con el resumen y algunas otras funciones. Y si está interesado en el espacio de riesgo, definitivamente eche un vistazo al sitio web de Bessemer. Como todos dijeron, dentro de seis meses, miraremos hacia atrás y algunas de las predicciones se harán realidad, y tal vez algunas sean totalmente diferentes. Espero que tengamos otro momento para regresar y cubrir más preguntas. Gracias nuevamente, Talia, Ethan y Fergal, por su tiempo hoy.

Ethan Kurzweil: Gracias por recibirnos.

Talia Goldberg: Adiós.

Fergal Reid: Muchas gracias a todos. Adiós.