El nuevo amanecer del aprendizaje automático

Hemos estado aquí antes. Entre el revuelo de los medios, las afirmaciones exageradas y el trabajo sobre el terreno, a veces es difícil distinguir la fantasía de la realidad cuando se trata de aprendizaje automático. A medida que las redes neuronales maduran y se destacan del resto, ¿puede la tecnología estar a la altura de las expectativas?

En los últimos cinco años, hemos visto cómo la tecnología de redes neuronales realmente despegaba. GPT-3 puede crear texto similar al humano a pedido, y DALL-E, un modelo de aprendizaje automático que genera imágenes a partir de indicaciones de texto, ha ganado popularidad en las redes sociales, respondiendo a las preguntas más apremiantes del mundo como, "¿qué diría Darth Vader pareces pescar en el hielo? o "¿cómo sería Walter White si estuviera en Animal Crossing?"

Queríamos saber qué pasa con este aumento, por lo que le preguntamos a nuestro director de aprendizaje automático, Fergal Reid, si podemos elegir su cerebro para el episodio de hoy. A pesar de que el trabajo sigue siendo en gran medida un acto de equilibrio entre lo que es posible y lo que es factible, parece que las cosas apenas comienzan a escalar. El panorama tecnológico está cambiando, las aplicaciones comerciales (potencialmente) están cambiando el juego y, alerta de spoiler, Fergal cree mucho en la exageración.

En el episodio de hoy de Intercom on Product, Paul Adams, nuestro Director de Producto, y yo nos sentamos con Fergal Reid para hablar sobre el reciente revuelo en torno a las redes neuronales, cómo el aprendizaje automático está impulsando las empresas y qué podemos esperar de la tecnología en el próximos años.

Estas son algunas de nuestras conclusiones favoritas de la conversación:

• Las redes neuronales han logrado avances significativos en los últimos cinco años y ahora son la mejor manera de manejar datos no estructurados como texto, imágenes o sonido a escala.
• En CX, es probable que las redes neuronales se utilicen con métodos de aprendizaje automático más tradicionales para elegir acciones que brinden la mejor interacción posible con el cliente.
• La creación de productos ML requiere equilibrio: no tiene sentido comenzar con el problema si la solución es inalcanzable, pero no debe comenzar con la tecnología si no puede satisfacer las necesidades reales del cliente.
• La IA ha sido bastante sobrevalorada en el pasado. Si bien es probable que las reclamaciones más realistas cierren menos cuentas, vale la pena en la retención de clientes.
• Los equipos de ML tienden a invertir una parte justa de los recursos en investigaciones que nunca se envían. Combínelo tanto como sea posible con proyectos que tengan un impacto real en la experiencia del cliente.
• Si desea invertir en ML, contrate a alguien con experiencia tanto en la tecnología como en el aspecto operativo para que pueda comenzar a trabajar con el equipo del producto desde el primer día.

Si disfruta de nuestra discusión, vea más episodios de nuestro podcast. Puede seguir en iTunes, Spotify, YouTube o tomar la fuente RSS en su reproductor de elección. Lo que sigue es una transcripción ligeramente editada del episodio.

El bombo contraataca

Des Traynor: Bienvenidos a Intercom On Product, episodio 18. Hoy tenemos un tema interesante para discutir. Se trata de inteligencia artificial y aprendizaje automático. Me acompaña, como siempre, el director de productos de Intercom, el Sr. Paul Adams. Pablo, ¿cómo estás?

Paul Adams: Estoy bien, Des. Gracias.

Des Traynor: Y hoy, tenemos un invitado especial, el Sr. Fergal Reid, quien es nuestro Director de Aprendizaje Automático. Fergal, ¿cómo te va?

Fergal Reid: Está bien, Des. Estoy realmente encantado de estar en el podcast de hoy. Con ganas de entrar en él.

Des Traynor: Excelente. Creo que eres nuestro primer o segundo invitado, así que deberías sentirte muy, muy agradecido.

Fergal Reid: Me siento muy privilegiado, de hecho.

"Hemos visto un progreso sostenido de algo nuevo y emocionante, la tecnología impulsada por redes neuronales, que realmente comienza a ser útil".

Des Traynor: Bueno, empecemos por el final, en cierto sentido. Se siente como si la máquina de bombo de la IA estuviera una vez más a toda marcha. Esto sucede cada pocos años desde mi punto de vista, pero lo que realmente puedo ver es que la gente crea mucho arte. La generación DALL-E ha comenzado y algunas de las imágenes creadas son impresionantes. El otro día, vi que había un mercado para avisos de DALL-E donde literalmente puedes comprar avisos que crean imágenes para ti, que es lo más meta posible. En un sentido más práctico, el copiloto de GitHub ahora puede aumentar su código mientras escribe, lo cual es bastante increíble; He jugado con GPT-3 de OpenAI, hice las preguntas y dejé que creara pequeños párrafos e historias para mí, y ha sido bastante impresionante. Si retrocedemos un poco, ¿qué está pasando realmente? ¿Ha pasado algo en el último tiempo? ¿Tiene esto que ver con alguna cadena particular de eventos? ¿Que pasa?

Fergal Reid: Es algo complejo de desempaquetar, están sucediendo muchas cosas. Hay tanta inversión en esta área de IA y aprendizaje automático en todas las empresas, por lo que es difícil desglosar exactamente lo que está sucediendo. Si miras arxiv, donde la gente pone sus documentos de aprendizaje automático, hay un torrente de cosas nuevas todos los días. Entonces, es difícil trazar una narrativa a través de eso. En mi opinión, durante los últimos cinco años, hemos visto un progreso sostenido de algo nuevo y emocionante, la tecnología impulsada por redes neuronales, que realmente comienza a cobrar fuerza y ​​ser útil. Mencionaste GPT-3, OpenAI, y eso es lo que llamamos un modelo de lenguaje grande, que es una gran red neuronal que intenta predecir la siguiente palabra y una secuencia de palabras que se ven. Y solo están ampliando eso. Simplemente le agregaron más y más cómputo, y comenzó a hacer cosas asombrosas.

Des Traynor: Entonces, tal vez solo un par de definiciones de diccionario. Entonces, agregar más cómputo, ¿es eso más potencia de CPU?

Fergal Reid: Sí, exactamente. Desde hace mucho tiempo, las CPU de nuestras computadoras, el cerebro de nuestras computadoras, eran muy, muy rápidas para hacer cosas de propósito general. Y tal vez a mediados o finales de los noventa, impulsado principalmente por los videojuegos y demás, tuvimos este mercado masivo de adopción de estas GPU o unidades de procesamiento de gráficos.

Des Traynor: ¿Como las tarjetas de video y esas cosas?

Fergal Reid: En tarjetas de video y tu tarjeta 3dfx y todo. Y eran realmente buenos creando gráficos para juegos de ordenador. Luego, a principios de la década de 2000, la gente decía: "Oh, el tipo de operaciones que hacemos para los videojuegos son realmente buenas para matrices y multiplicaciones". Y resulta que ese tipo de cosas también son muy útiles para las operaciones que necesitas hacer cuando estás entrenando una red neuronal. Y así, después de mucho tiempo, el valor de las existencias de video se dispara porque hay una IA y una revolución de criptominería.

El auge de las redes neuronales

Des Traynor: Usted hizo referencia a una nueva incorporación en el trabajo sobre redes neuronales. Siento que escuché sobre ellos cuando estaba en la universidad, en el pasado. ¿Ha habido más trabajo puesto en ellos? ¿Han surgido como una forma principal de hacer aprendizaje automático? ¿Hay alguna alternativa de la que nos hayamos alejado?

Fergal Reid: Sí, diría que hay una alternativa de la que nos hemos alejado. Ahora, no quiero exagerar las redes neuronales. Las redes neuronales están de moda, y casi todos los avances que ha visto en los últimos cinco años son redes neuronales. Sin embargo, esa es una subsección del aprendizaje automático. En el equipo de aprendizaje automático aquí en Intercom, las redes neuronales representan quizás el 30 % de lo que hacemos, y usamos el mismo material de progresión logística para predecir lo que alguien hará a continuación.

Cuando hay datos no estructurados como masas de texto, imágenes o sonidos, las redes neuronales ahora son definitivamente la mejor manera de manejar esos datos. Para los avances que está viendo (lo visual, lo sonoro, la síntesis de texto), necesita un modelo masivo que realmente pueda capturar muchas dependencias en esos datos, y las redes neuronales son la forma principal de hacerlo. La gente ha invertido mucho en hacerlos escalar, y puedes ejecutarlos mucho más grandes. Algunos de los modelos sobre los que está leyendo pueden costar $ 10 millones en computación solo para entrenar ese modelo.

"En el pasado, para cualquier texto no estructurado o datos de imagen, lo veíamos desde una perspectiva de aprendizaje automático y decíamos: 'No sé qué hacer aquí'".

Hay una serie de cosas que suceden. Estamos mejorando en el entrenamiento a escala. Estamos mejorando en la expresión del problema de una manera en la que podemos progresar y darle sentido. En video, seguimos mejorando el rendimiento. Entonces, ha habido muchas revoluciones tecnológicas. Es una confluencia de un montón de tendencias diferentes.

Des Traynor: Para hacer la transición al aspecto del producto, ¿qué es posible ahora que no era posible antes? DALL-E puede tomar un aviso y producir una imagen; GPT-3 puede producir texto generado de aspecto bastante realista. Si desea analizar una gran cantidad de texto y averiguar lo que dice, reducirlo o simplificarlo o verificar el sentimiento o lo que sea, ¿hay algún tipo de lista de capacidades que tenemos ahora? La razón por la que pregunto es que estoy tratando de acercar esto a cómo los PM deberían pensar sobre esto.

Fergal Reid: Sí, hay algunas formas diferentes de pensar en esto. En el pasado, para cualquier texto no estructurado o datos de imagen, lo veíamos desde una perspectiva de aprendizaje automático y decíamos: “No sé qué hacer aquí. El tamaño de esto, y la cantidad de posibles párrafos de texto que podría haber en mi documento es increíblemente alta. No sé cómo lidiar con eso con el aprendizaje automático tradicional”. Y puede hacer cosas como extraer funciones, decir: "Voy a dividir esto en una bolsa de palabras y extraer cosas". Pero lo que es diferente ahora es que sus métodos para trabajar con esos datos van a funcionar mucho mejor que en el pasado. Y no necesita tanta ingeniería manual de funciones. Puede utilizar una red neuronal.

Estamos empezando a ver pasos intermedios, surgiendo capas intermedias. Hay algo que llamamos incrustaciones, donde puedes tomar una de estas grandes redes neuronales que han sido entrenadas en una tonelada de datos de texto, y luego Google o uno de los grandes jugadores, que gastan esos $ 10 millones en entrenamiento, y puede usar eso para tomar cualquier texto que le dé y convertirlo en un vector de números. Luego, puedes hacer cosas con ese vector de números. Por lo tanto, ha habido una tecnología innovadora, pero ha proporcionado componentes básicos con los que las empresas emergentes pueden trabajar para fabricar productos.

"Si estás en cualquier ecosistema de inicio que maneja una gran cantidad de datos no estructurados, particularmente grandes volúmenes, donde tal vez estés tratando de tomar decisiones con ellos, definitivamente deberías estar prestando atención".

Des Traynor: Entonces, ¿el primer X por ciento lo hacen las empresas más grandes?

Fergal Reid: Exactamente. O consorcio abierto, también. Hay gente formando un consorcio que juntó mucho dinero para entrenar algo grande que luego se lanza.

Des Traynor: Entonces, si su producto involucra una gran cantidad de texto escrito por humanos, ya sea creando respuestas, escribiéndolo, analizándolo o entendiéndolo, ¿debe asumir que el suelo se ha movido bajo sus pies en los últimos dos años?

Fergal Reid: Sí, creo que es una suposición justa. Si está en cualquier ecosistema de inicio que se ocupa de una gran cantidad de datos no estructurados, particularmente grandes volúmenes, donde tal vez esté tratando de tomar decisiones con ellos, definitivamente debería prestar atención. El panorama de las capacidades ha cambiado. Hace 10 años, no había nada de lo que preocuparse, pero ahora, tal vez haya algo genial que puedas construir que antes no podías. Estamos empezando a ver un cambio en cosas tan simples como la búsqueda. Hace seis o siete años, obtendría Elasticsearch o algo así y usaría estos algoritmos probados y verdaderos para manejar su búsqueda. Ahora puedes usar la búsqueda neuronal. Y estamos empezando a ver tecnología y productos emergentes en ese espacio.

En busca de la siguiente mejor acción

Paul Adams: Me encantaría preguntarle sobre los productos que prometen la siguiente mejor acción. Creo que esto es importante para los equipos de productos por dos razones. Uno es solo productos en ese espacio: si tiene un producto de comunicación con el cliente o un producto para los equipos de ventas, es muy prometedor decirle al vendedor cuál es la siguiente mejor acción. Y los equipos de productos a menudo intentan que sus clientes y usuarios hagan más y participen más, por lo que es una herramienta para impulsar el crecimiento. ¿Cuánto de eso es exageración? ¿Cuánto es real?

Fergal Reid: Siempre hay un problema con estos productos de aprendizaje automático, y digo esto como alguien que construye productos de aprendizaje automático para ganarse la vida, que es muy difícil saber cuánto es publicidad y cuánto es real desde el exterior. No puedo hablar sobre productos específicos a menos que los haya analizado y comparado. Diría que la siguiente mejor acción en realidad es menos probable que sean las redes neuronales. O si están ahí, estarán ahí como un componente del mismo. Para ponerlo en un contexto de intercomunicador, tomaré el texto de la conversación que ha estado ocurriendo entre el representante de soporte y el usuario final y usaré incrustaciones para tratar de darle sentido. Pero luego, probablemente juntaré eso con un montón de otras señales sobre lo que está pasando, tal vez el valor de la cuenta o dónde se encuentra el cliente en su recorrido del cliente, y usaré un clasificador o regresor de aprendizaje automático más tradicional para intentar y predecir, "Está bien, ¿qué es lo siguiente mejor que podría hacer?"

“A medida que la precisión aumenta, aumenta y aumenta, cruza un umbral crítico en el que es como, 'No siempre es correcto, pero es útil y no tengo que pensar. Ayuda '”

Y esto funciona bastante bien. Tenemos funciones en nuestros productos que utilizan métodos de aprendizaje automático más tradicionales que intentan predecir, por ejemplo, lo que alguien está a punto de preguntar cuando ingresa a un sitio web y abre Messenger. Lo hacemos basándonos en todos los datos y señales que tenemos sobre ese usuario, y eso funciona bastante bien. Si puede hacer buenas predicciones con eso, es un pequeño paso desde allí hasta algo más general que es la siguiente mejor acción.

Apuesto a que eso funciona bastante bien. Tendría expectativas razonables de precisión. Todas estas cosas funcionan bien cuando aumentan y ayudan a alguien. Si la precisión es demasiado baja, es como, “Oh, esto es molesto. es horrible No vale la pena prestarle atención”. Pero luego, a medida que la precisión aumenta, aumenta y aumenta, cruza un umbral crítico en el que es como: “No siempre es correcto, pero es útil y no tengo que pensar. Puedo simplemente mirarlo y reconocer que ayuda”. Eso es lo que buscamos con estos productos, y estoy seguro de que hay gente en la industria que tiene cosas así.

Des Traynor: Sí. Siento que la función de autocompletar de Gmail ha cruzado ese precipicio de percepción en el que no desactivaría esa función. Estás escribiendo una respuesta, adivina las próximas dos cosas que vas a decir, y puedes presionar el tabulador, y tal vez cambiarías una oración o una palabra o algo así, pero es direccionalmente más valioso que no.

“Veo un futuro en el que podemos aprender qué sugerencias impulsan el comportamiento de los compañeros de equipo que brinda un mejor CSAT o un mejor valor de por vida del cliente de una manera beneficiosa para todos”

Paul Adams: Sin embargo, es gracioso. Creo que cambia el comportamiento. Miro la sugerencia y digo: "No diría exactamente eso, pero está lo suficientemente cerca". Tabulador, tabulador, tabulador. Entrar, enviar.

Fergal Reid: Me pregunto si alguna vez hacen experimentos donde miden las sugerencias y el sentimiento de las sugerencias que producen, y cómo cambiaron el mundo real. Facebook hizo infamemente algunos experimentos como este en el pasado. Si observa algo como Intercom, veo un futuro en el que comenzamos a hacer recomendaciones de respuestas inteligentes dentro de la bandeja de entrada. Veo un futuro en el que podemos aprender qué sugerencias impulsan el comportamiento de los compañeros de equipo que brinda un mejor CSAT o un mejor valor de por vida del cliente de una manera beneficiosa para todos. Esos avisos de baja fricción. Pienso en eso cada vez que le escribo “te amo” a mi esposa. A veces recibo la sugerencia de "Te amo" y digo: "Lo estoy escribiendo yo mismo".

Des Traynor: Sí. Hay algo más colonial al respecto: damos forma a nuestras herramientas y nuestras herramientas nos dan forma a nosotros. Podría imaginarse que un representante de CS recién incorporado a un equipo que usa Intercom terminará hablando y escribiendo de manera muy similar a sus colegas debido al hecho de que Intercom les dice que este es el comportamiento que parece funcionar mejor. Es casi como una escuela de atención al cliente.

Fergal Reid: Hablamos con algunos clientes a quienes les encantó la idea de una rampa de entrenamiento de baja fricción para los nuevos representantes, lo que parece ser la mejor práctica. Eso es lo que el sistema te empuja a hacer en el buen sentido.

Problema versus tecnología

Des Traynor: Si volvemos a subir un nivel, creo que gran parte de la narrativa, incluso cuando, por ejemplo, salió DALL-E, los hilos más populares fueron cosas como "¿Alguien puede nombrar un buen caso de uso para ¿este?" O, "Esta es mi mejor idea". Obviamente, la mente de todos dice: "Oh, podrías crear una empresa de camisetas", o lo que sea. Mi mejor intento de para qué podría ser útil es la capacidad de anotar un libro de cuentos para niños. Imagine una herramienta en la que hay una historia de tipo infantil y aparecen imágenes para aumentarla. También podría ver cómo podría ser un complemento para Squarespace o Mailchimp para reemplazar la fotografía de archivo. Keynote o Google Slides serían similares.

Sin embargo, siento que nos estamos acercando a esto al revés. Estamos diciendo: "Dado que ahora podemos tomar texto y producir imágenes, construyamos una empresa a partir de eso", que no es de donde provienen las mejores empresas. Por lo general, tienden a querer resolver un problema en el mundo. ¿Cuál es la mejor manera de que un fan o un PM piensen en este espacio? En términos generales, probablemente se obsesionen con un problema, no con una nueva tecnología neuronal en particular.

Fergal Reid: Esta es una pregunta muy compleja. Muchas veces, el consejo estándar es que si está creando una nueva empresa de tecnología, nunca querrá ser una solución en busca de un problema. Desea encontrar un problema concreto real y luego abordar una solución. Creo que en general es un buen consejo. En Intercom, tenemos un principio en torno a comenzar con el problema. Pero creo que hay excepciones a eso. Con tecnología genuinamente disruptiva, en la que piensas: "Algo está cambiando el mundo, está cambiando el paisaje, hay una nueva capacidad aquí y no sé para qué sirve, pero sé que será revolucionariamente bueno para algo". “Creo que está bien empezar con la solución y luego buscar los problemas.

“No tiene sentido comenzar con el problema si está tratando de crear una solución tecnológica que aún no es capaz”

Creo en la exageración sobre ML y AI en este momento. Diría que esta vez es real, por lo que es justo decir: “Mira, aquí tenemos una capacidad revolucionaria. ¿Dónde están todas las grandes oportunidades donde esto se puede aplicar?” Luego, obviamente, hay una interacción. Cuando crees que has encontrado una oportunidad, probablemente quieras ir y empezar con el problema.

El equipo de aprendizaje automático aquí en Intercom es un poco inusual en comparación con otros equipos. Nos adaptamos a los principios del producto un poco más que otros equipos porque tenemos que estar en este espacio gris entre comenzar con el problema y la tecnología. No tiene sentido comenzar con el problema si está tratando de crear una solución tecnológica que aún no es capaz. Entonces, tenemos que comenzar un poco con la tecnología, hacer algunos prototipos, tener una idea de lo que es posible, y luego ir y realmente resolver el problema y preguntar: "¿Es útil o no?"

Des Traynor: Es casi como si tuvieras que mirar tanto el lado de la demanda como el de la oferta de innovación, en cierto sentido. De todos los problemas que podemos resolver y las capacidades que tenemos, ¿dónde está una buena empresa en interconexión? Si tomamos nuestro producto Resolution Bot, ¿cómo lo articularía como un binomio problema/solución?

“Con Resolution Bot, no usamos redes neuronales ni nada para nuestra versión uno, pero teníamos la convicción de que era posible construir algo bueno aquí”

Fergal Reid: Cuando comenzamos, éramos conscientes de que había un movimiento en la tecnología y el panorama del producto donde los bots habían sido realmente deficientes, y estaban comenzando a brindar experiencias convincentes en circunstancias muy limitadas donde, "Está bien, aquí hay algo .” Y luego fue como, "Está bien, ¿podemos tomar nuestro dominio particular, podemos tomar chat y conversaciones y ver si existe ese matrimonio, esa coincidencia entre el problema y la tecnología que brindará excelentes experiencias al cliente?"

Con Resolution Bot, no usamos redes neuronales ni nada para nuestra versión uno, pero teníamos la convicción de que era posible construir algo bueno aquí. Creamos una inversión mínima en tecnología, validamos que un prototipo ensamblado de mala calidad realmente ayudaría a los clientes y que la gente realmente lo querría, eliminamos el riesgo y luego lo iteramos y lo iteramos y lo iteramos. Ahora estamos en la versión tres o la versión cuatro de nuestra tecnología, y utiliza redes neuronales muy modernas y sofisticadas, y obtiene el mejor rendimiento y precisión de su clase. Pero la primera versión fue Elasticsearch lista para usar solo para validar que esto realmente ayudaría a las personas.

Quieres guiar esa búsqueda. Quiere decir: "Sé que hay algo bueno en esta dirección general del espacio del producto". No voy a terminar con una demanda validada de un producto que es imposible de entregar. No quieres estar allí. Tampoco querrás decir: "Tengo un algoritmo increíble que definitivamente moverá la aguja hacia algo que a nadie le importa". Tienes que iterar en ambos lados de esa ecuación y encontrar alguna zona de aterrizaje en el medio.

¿Demasiado bueno para ser verdad?

Paul Adams: De hecho, hay una tercera pata del taburete. Hay un problema, hay una solución, y luego está la historia, o lo que puedes decir al respecto. Una de las cosas con las que he luchado cuando se trata de IA y aprendizaje automático es lo que te hace sentir bien al decir externamente y lo que otras personas dicen externamente. En el peor de los casos, es una tragedia de comunicaciones en la que todas las empresas salen y hacen grandes afirmaciones, y las personas que realmente saben de lo que están hablando dicen: "Son afirmaciones ridículas". “Pero existe este dilema competitivo. Si nuestro competidor dice 80%, y no hay forma de que pensemos que pueda obtener eso, pero el nuestro es 50, ¿qué piensa al respecto? ¿Qué opinas sobre las afirmaciones que puedes hacer y el equilibrio entre el problema, la solución y la historia?

“Me encuentro con productos en el mercado y evalúo sus afirmaciones, y me pregunto: '¿Realmente lo hace? ¿Cómo evalúas eso?'”

Fergal Reid: Quiero decir, es muy difícil. Creo que separaría el desarrollo interno del producto del éxito en el mercado. Con el desarrollo interno de productos, y esto es cierto en Intercom, si vengo y digo: "Hola, muchachos, estoy bastante seguro de que podemos brindar una experiencia de producto lo suficientemente buena", al menos soy responsable si resulta que eso es no es el caso en absoluto. Entonces, internamente, tienes que trabajar con la gente y explicar bien las cosas, pero al menos los incentivos están alineados.

Externamente, cuando las personas compiten en el mercado con productos de aprendizaje automático, es realmente difícil. Me encuentro con productos en el mercado y evalúo sus afirmaciones, y me pregunto: “¿Realmente lo hace? ¿Cómo evalúas eso?” Incluso si veo un nuevo trabajo de investigación que promete algo asombroso, y tiene ejemplos de "le dijimos esto a la IA, y esto es lo que dijo de vuelta", mi primera pregunta siempre es, "Bueno, ¿fue eso una elección especial?" ¿ejemplo? ¿Lo hace 9 de cada 10 veces o una vez de cada 10? Porque es muy diferente dependiendo de cada uno. Siempre está implícito, "bueno, ¿cuál es el rendimiento, en realidad?" Realmente no puedes saberlo a menos que hagas algún tipo de cara a cara donde te sientes y juegues con él. Nuestros clientes están haciendo más pruebas de concepto y evaluaciones cara a cara, y eso me encanta. Eso es maravilloso. Eso es lo que queremos ver.

"Definitivamente puedes prometer demasiado, entregar menos y luego ver cómo la cuenta se agita"

En términos del espacio en general, creo que estás viendo a la gente hacer demostraciones disponibles públicamente cada vez más. Las personas van a DALL-E 2 y obtienen acceso a investigadores independientes antes. O escriben cosas en los periódicos que dicen: "esto es lo que produce un en una ejecución en un indicador estándar". Eso ayuda a la gente a entenderlo.

Des Traynor: Hay una cuestión de qué tipo de ingresos desea porque definitivamente puede prometer demasiado, entregar menos y luego ver cómo la cuenta se agita. O puede decir: "Esto es lo que creemos que podemos hacer por usted", arriesgando perder el trato, pero sabiendo que si se convierten, obtendrán lo que se convirtieron. Creo que es un mundo peligroso en el que estar: tomar el camino alto versus el camino bajo; tomando a los clientes que van a obtener exactamente lo que pensaban que iban a obtener versus tener muchos clientes enojados en el mes 11 porque no obtuvieron ni cerca de lo que esperaban. Es un desafío.

Fergal Reid: Es un desafío, y ese desafío tiene muchas facetas. También tenemos que gestionar las expectativas. El aprendizaje automático está mejorando mucho, pero aún no es perfecto. A veces tenemos clientes que compran nuestro Resolution Bot, y es bueno, el mejor de su clase, pero aún así comete errores. Cada producto de software todavía comete errores. Así que tienes que manejar las expectativas de todos los lados para tener esa relación positiva.

Des Traynor: ¿Qué opina sobre la obtención de recursos para el aprendizaje automático? En Intercom, tenemos un equipo liderado por usted que está separado de todos los equipos y luego se asocia para brindar la funcionalidad de aprendizaje automático. ¿Crees que se mantendrá así? ¿Crees que los equipos deberían tener ingenieros de ML integrados? Cada equipo en Intercom tiene su propio diseñador; no tenemos un equipo de diseño dando vueltas buscando fragmentos de diseño para agregar. ¿Tiene sentido tal como es? Para nuestros oyentes, ¿cómo sumergirían el dedo del pie? ¿Comenzarían con un tipo de pod de ML dedicado o tendrían una persona? ¿Cómo deberían las startups comenzar a incorporar ML?

Fergal Reid: Tengo una fuerte opinión de que un equipo de aprendizaje automático centralizado es mejor para organizaciones de nuestro tamaño o más pequeñas en este punto del desarrollo tecnológico. Estamos lidiando con tecnología inmadura aquí. La tecnología es difícil de usar y es fácil equivocarse. Hay un conjunto de habilidades que se superponen con las habilidades de ingeniería de software, ciencia de datos o análisis, pero no son lo mismo. Creo que tiene mucho sentido tener un equipo centralizado que pueda trabajar y perfeccionar ese conjunto de habilidades y aprender las trampas porque los productos de aprendizaje automático tienen trampas únicas. Son probabilísticos. Como mencionamos, a veces se equivocan. Entonces, cuando estás diseñando o construyendo un producto de aprendizaje automático, realmente tienes que sudar. ¿Es la tasa de precisión lo suficientemente buena como para proporcionar una buena experiencia al cliente? Eso es difícil.

“Creo que un modelo centralizado que luego entra para ayudar proyecto por proyecto es el modelo correcto en este momento”

Cuando hablas con un diseñador, una cosa que vemos a menudo es que es difícil para ellos al principio entender la idea de que no puedes simplemente pensar en el camino dorado donde todo va bien. Tienes que considerar todos los caminos donde las cosas van mal y los errores pueden acumularse. Eso es difícil.

Estamos en esta extraña intersección de la ingeniería de software, y tenemos que poder implementar estos productos con ciencia de datos o investigación. Tenemos que dirigir un equipo de producto. Tenemos que ser esbeltos y eficientes, pero también tenemos que funcionar un poco como un equipo de investigación donde creamos espacio para la innovación. ¿Pasó dos semanas trabajando en algo y no llegó a ninguna parte? Está bien. Tenemos que estar dispuestos a invertir en eso. Entonces, creo que un modelo centralizado que luego entra para ayudar proyecto por proyecto es el modelo correcto en este momento.

Siendo realistas

Des Traynor: ¿Cómo lidia con el hecho de que alguien como Fergal dice: "Oye, Paul, vamos a probar un producto que podría transformar la naturaleza de nuestro producto de atención al cliente, pero podría no funcionar y es posible que no veas nada en el primer lado de todo esto. Al mismo tiempo, alguien como yo dice: "Oye, tenemos que llegar a las hojas de ruta, y tenemos que decirle a la empresa lo que estamos construyendo y decirle al equipo de ventas qué vender". ¿Cómo resuelves esa complejidad?

Paul Adams: Como alguien que trabajó durante años en productos que nunca se enviaron, tengo un tejido cicatricial profundo sobre cualquier olfato de algo que no se enviará lo antes posible, lo más pequeño posible.

Des Traynor: Este sería su antiguo empleador, para que quede claro, ¿verdad?

Paul Adams: Sí. En mi antiguo empleo, sí. Pero desde el primer día en Intercom, Des y yo siempre hemos estado obsesionados con los envíos y los comienzos pequeños. Nos obsesionamos con buscar y sacar algo lo más rápido posible, la solución más pequeña y rápida para el problema que hemos identificado. Así que tengo un deseo de que siempre sea así.

“Vengo de la academia, y cualquiera que haya tenido tiempo en la academia probablemente haya visto tantos proyectos que prometían la luna en un palo y luego nunca hacían nada”

Ahora, obviamente, esto es diferente. Sin embargo, me encantaría que Fergal respondiera una pregunta, una pequeña nota al margen, pero creo que es importante: cuando respondiste la pregunta de Des antes sobre cómo dotar de recursos a un equipo de aprendizaje automático, estás hablando de los ingenieros de ML. . Durante casi toda la historia de nuestro equipo de ML aquí, han sido ingenieros de ML. Pero recientemente contratamos a un diseñador de ML. ¿Puede hablarnos brevemente sobre eso también? Porque creo que esa es una parte importante de la respuesta aquí. ¿Qué hace el diseñador de ML y cuál es la diferencia?

Fergal Reid: Entonces, esa es una pregunta difícil. Este es el comienzo de su semana tres, así que no quiero hablar en el podcast sobre lo que va a hacer antes de hablar con ella...

Des Traynor: A un nivel superior. ¿Qué opinas del diseño de aprendizaje automático frente al diseño normal?

Fergal Reid: Permítanme invertir el orden nuevamente y volveré a esto. Odio trabajar en cosas que no se envían. Tengo un doctorado, vengo de la academia, y cualquiera que haya tenido tiempo en la academia probablemente haya visto tantos proyectos que prometían la luna en un palo y luego nunca hacían nada. Y parte de ello es un desecho necesario, ¿no? Tienes que probar muchas cosas porque es muy arriesgado. Pero parte de eso nunca iba a funcionar. Y entonces, separar esas dos cosas es absolutamente clave aquí. Quiero que el equipo de aprendizaje automático sea lo más exploratorio y arriesgado posible y no más exploratorio ni más arriesgado de lo necesario.

Tratamos de pisar dos mundos aquí. Tratamos de mantener estos principios extremadamente firmes de Intercom: si vas a fallar, falla rápido; empezar con el problema; Comience poco a poco, muévase en pequeños pasos. Nos esforzamos mucho por seguir esos principios. Pero hacemos la investigación y las cosas arriesgadas cuando es necesario si estamos bastante convencidos de que alguien querría esto. Queremos ser muy, muy claros sobre el riesgo que estamos tratando de eliminar en cada fase del desarrollo. Así que sí, así es como operamos. Diría que somos más investigativos que el equipo promedio de Intercom, pero probablemente más reflexivos acerca de avanzar en pequeños pasos y sobre exactamente el riesgo que estamos tratando de reducir que la gran mayoría de los equipos de ML en el mundo. Ciertamente mucho más de lo que tendería a ser un equipo de laboratorio de investigación.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. Bueno. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. Bueno. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.