Creación de una IA que funcione: cómo navegar por la frontera de la IA como líder de producto

Los líderes de productos de Intercom analizan cómo creamos Fin, nuestro nuevo chatbot de IA, y lo que aprendimos sobre la gestión de la ambigüedad, la incertidumbre y el riesgo en el vertiginoso mundo de la inteligencia artificial.

La llegada de ChatGPT ha transformado por completo la percepción de los chatbots: adiós intercambios rígidos y preestablecidos; hola conversaciones dinámicas y naturales.

Por supuesto, aprovechamos la oportunidad de crear un bot con GPT que realmente pudiera interactuar con los clientes, brindando respuestas y soluciones útiles a sus consultas con una configuración mínima. El resultado es Fin, construido sobre GPT-4 de OpenAI y nuestra propia tecnología patentada. Estamos increíblemente entusiasmados con los resultados iniciales que nuestros clientes están viendo: más de 400 clientes de Intercom se están configurando con Fin, que ya ha brindado más de 250 000 respuestas, y algunos clientes han visto tasas de resolución hasta un 50 % mejores.

Sin embargo, llegar a este punto ha requerido una forma completamente nueva de crear productos. No es fácil determinar el producto adecuado para el mercado en un panorama tecnológico donde las cosas cambian todos los días: es un acto de equilibrio evaluar constantemente cómo progresar en función de información muy limitada e incierta.

Pero esa incertidumbre es exactamente lo que hace que la creación de un producto de IA sea tan emocionante, estresante y, en última instancia, satisfactoria. En el episodio de hoy del podcast de Intercom, compartimos lo que hemos aprendido hasta ahora, cómo ejecutamos la versión beta de Fin, nuestro sentido de la dinámica actual del mercado y nuestras predicciones para el futuro, en la medida en que cualquiera puede predecir el futuro en este momento. .

En el episodio de hoy, escucharás de:

• Des Traynor, cofundador y director de estrategia de Intercom
• Rati Zvirawa, gerente sénior de productos del grupo en Intercom
• Brian Donohue, vicepresidente de producto de Intercom

¿Poco de tiempo? Aquí hay algunos puntos clave:

• Lograr un equilibrio entre velocidad, precisión y precios sigue siendo un desafío en el espacio. ¿Cuánto estarán dispuestas a pagar las empresas? ¿Qué tipo de expectativas tendrán los usuarios finales en torno a los chatbots de IA?
• Al tener un objetivo compartido, empoderar la toma de decisiones y priorizar la velocidad, pudimos llevar a Fin al mercado rápidamente, consolidando nuestra posición como líderes en IA para soporte.
• Los avances en la IA generativa han abierto un mundo completamente nuevo de posibilidades de productos. Las empresas emergentes pueden aprovechar esa oportunidad centrándose en el valor a corto plazo o eligiendo problemas existentes para construir sobre ellos.
• En el panorama de la IA en rápida evolución, se ha vuelto cada vez más difícil determinar la ventaja competitiva de un producto y qué diferenciación importará a largo plazo.
• Los clientes buscan marcas confiables que navegarán por el cambiante panorama de la IA para poder confiar en su experiencia a medida que el mercado descubre dónde reside el valor.
• La IA tiene la capacidad de democratizar el acceso a software complejo, lo que podría permitir a los usuarios utilizar el lenguaje natural para interactuar con herramientas sofisticadas, en lugar de las interfaces de usuario tradicionales.

Si disfruta de nuestra discusión, vea más episodios de nuestro podcast. Puede seguir en Apple Podcasts, Spotify, YouTube o tomar la fuente RSS en su reproductor de elección. Lo que sigue es una transcripción ligeramente editada del episodio.

Del concepto a la realidad

Des Traynor: Bienvenido al podcast de Intercom. Me acompañan dos de nuestros líderes de productos, Rati y Brian. Vamos a hablar completamente sobre la IA, nuestro nuevo producto Fin y, en general, cómo es ser un líder de producto en la era de la IA. Rati, empecemos contigo. ¿Dónde está Fin? Ha estado en vivo durante unos días.

Rati Zvirawa: Sí, es una semana emocionante para nosotros. Tenemos más de 400 clientes que ahora se están configurando con Fin. Y mirando hacia atrás en los números que tenemos con los clientes, hemos atendido más de 250.000 respuestas. Estos funcionan con inteligencia artificial y estamos muy emocionados de ver los resultados. Para los clientes que están comenzando, hemos visto una tasa de resolución hasta un 50 % mejor al instante, lo cual es impresionante.

Des: tasa de resolución, lo que significa que el cliente probablemente obtuvo lo que quería.

Ratita: Exacto. Solo ver las reacciones de los clientes y resolver esas preguntas es emocionante para nosotros.

“Para lo que optimizamos inicialmente era para construir algo que antes no era posible, pero queríamos hacerlo realmente rápido y ensuciándonos las manos”

Des: Brian, ¿podrías contarnos cómo surgió Fin?

Brian Donohue: Yo puedo. A pesar de que han sucedido tantas cosas tan rápido, la razón por la que hemos podido avanzar rápido es que en realidad hemos estado trabajando en esto durante años.

Des: Cuando dices rápido, ¿qué tan rápido?

Brian: Bueno, hemos estado trabajando en Resolution Bot, la versión anterior de Fin, en cierto modo, porque es la misma propuesta de producto central: responder automáticamente las preguntas de sus clientes. Hemos estado trabajando en eso durante años, así como en otros productos de ML. Pero luego ChatGPT abrió los ojos de todos, incluidos nuestros expertos en ML, Fergal y su equipo, a lo que la nueva tecnología era capaz de hacer. Entonces, desde el 30 de noviembre, ahí estaba el equipo, “Vamos a validar. ¿Es esto realmente tan importante como creemos que es?” En una semana, decían: "Este es un cambio radical". Y a partir de ahí, fue a toda máquina. Lo que optimizamos inicialmente fue construir algo que antes no era posible, pero queríamos hacerlo realmente rápido y ensuciándonos las manos.

Entonces, lo que optimizamos fueron las funciones de la bandeja de entrada asistida por IA. Y un montón de gente ha construido cosas similares aquí. Resumir, hacerlo más cortés, todo ese tipo de cosas. ¿Por qué? Porque es fácil de hacer, y parte es genial, y parte es bastante útil. El gran problema eran, por supuesto, las alucinaciones. ChatGPT es increíble, pero inventa cosas, lo cual es un problema si estás creando un producto de servicio al cliente, ¿verdad? Y fue un par de semanas de la convicción de formación de equipos. Desde principios de febrero, Fergal dijo: "Creo que podemos superar este problema de alucinaciones". Y luego, pusimos esas funciones de la bandeja de entrada en pausa y nos metimos de lleno en lo que se convirtió en Fin. ¿Qué fue eso de mediados de marzo?

Rati: Sí, a mediados de marzo, 14 de marzo.

Brian: El 14 de marzo, anunciamos un prototipo con el que podías jugar. Dijimos que queremos credibilidad. No somos solo productos que se mueven con la mano de los que puede ver capturas de pantalla. Puedes jugar con esto. Y a partir de ahí, pasó de un pequeño equipo trabajando en él a: "Realmente construyamos este producto que podamos vender". Eso fue lo que lo trajo a colación esta semana.

Des: ¿ Qué crees que hizo que sucediera rápido? ¿Era como los dedos en un teclado? ¿Fue la velocidad de la toma de decisiones? ¿Fue simplemente la claridad de decir que esto es una prioridad? Si tuvieras que repetir esa velocidad, ¿qué harías?

“¿Es legítimo el producto? ¿Es realmente tan bueno? Esa fue la fase uno”

Brian: Hubo dos fases. En la primera fase, Fergal realmente protegió al equipo porque este equipo trabajaba muy bien en conjunto y eran muy eficientes tanto para probar la tecnología como para probar la propuesta de producto de la misma. Fue muy protector: “Podemos movernos rápido porque tenemos este equipo compacto”. Y él dijo: “Yo soy el dictador aquí. A nadie se le permite decir nada a mi equipo”. Canalicé a Rati en Slack y dije: "Fergal probablemente te echará mañana, solo para que lo sepas".

Rati: Lo hizo.

brian: lo hizo Te invitaron de regreso pronto, y está bien, fuiste oficialmente bienvenido al redil. Probablemente me echaron en ese momento o algo así. Entonces, en realidad fue bastante protector: "Si vamos a avanzar tan rápido, debemos ser casi un muro alrededor del equipo". ¿El producto es legítimo? ¿Es realmente tan bueno? Esa fue la fase uno. Trabajar allí era simplemente desmenuzar cómo trabajabas antes y cómo iban tus planes. Cada día fue: "¿Qué ha cambiado hoy en el mundo de la IA en nuestro mundo estrecho y qué estamos aprendiendo?" Todos los días, comienzas con cuánto han cambiado las cosas desde que dejaste de trabajar en esta última noche. Y luego estaba la fase dos, que tal vez puedas articular mejor porque pasaste de un equipo pequeño a ese punto de: "Está bien, vamos a producir esto, y eso requiere que mucha más gente lo construya".

Des: El pequeño equipo estaba validando, "Oye, los LLM en realidad pueden hacer lo que creemos que pueden hacer". Y luego, la etapa dos es: "Dado que ahora se ha determinado esta parte, construyamos un producto a su alrededor".

Brian: Sí, y hay un matiz, pero es importante. No es, "¿Pueden los LLM hacer la cosa?", sino, "¿Podemos poner nuestro sistema de control alrededor de esto? ¿Y eso funcionará para resolver la desventaja fundamental, que son las alucinaciones? Aquí es donde hay tantos juicios de producto realizados por nuestros expertos técnicos. Y creo que esta es la razón por la que realmente necesita a sus ingenieros como ingenieros de producto en este espacio. Porque hay tantas decisiones críticas que deben tomarse desde el principio para descubrir dónde existe una oportunidad real frente a si el estado de la tecnología no es lo suficientemente bueno dadas esas desventajas.

Redefiniendo la experiencia del bot

Des: ¿ Cuándo pasamos a la versión beta y cómo funciona la versión beta?

Rati: Sí, una cosa que quiero enfatizar con la gente es que el producto estaba funcionando el 14 de marzo. Ya estábamos probando internamente, y si la gente visitaba nuestro sitio, podían jugar con él. Poco después, supimos que queríamos pasar a la versión beta para validar esto y asegurarnos de que no alucinara. Entonces, una semana después, comenzamos a incorporar clientes a la versión beta para validar si hacía lo que pensábamos que haría y si resolvería las conversaciones. Conseguir que esos primeros clientes se incorporaran a la versión beta mientras construíamos fue clave para este proceso.

Des: ¿ De qué manera diría que las versiones beta son más esenciales o diferentes de una función SaaS estándar de carne y dos verduras, como la carga de fotos o algo así?

“Y debe llegar al final de la versión beta con la confianza de que el producto funciona, pero con la voluntad de saber que el panorama seguirá cambiando”

Rati: En B2B, creo que hay muchas características o capacidades que traes. Por supuesto, estás comenzando por el problema que estás tratando de validar. Es posible que tenga una hipótesis sólida de cuál será el resultado cuando ingrese a la versión beta, pero cuando está construyendo y hay muchos cambios en el mercado, y es nuevo para los clientes, y están entusiasmados, tiene ni idea de cuál es su percepción. Hay diferentes formas en que los clientes perciben la calidad. Tienes que entender, desde una empresa, ¿están dispuestos a poner esto frente a los usuarios finales? ¿Cuál es la reacción de los usuarios finales? Y debe llegar al final de la versión beta con la confianza de que el producto funciona, pero con la voluntad de saber que el panorama seguirá cambiando. ¿Dónde hace la llamada de que ha encontrado el producto adecuado para el mercado para comenzar a vender? Por lo tanto, la naturaleza de esas versiones beta es bastante diferente de lo que normalmente hacemos en los productos B2B SaaS.

Des: También es interesante ver cómo los clientes están aprendiendo a evaluar si la característica funciona o no en cierto sentido. Hay compensaciones entre qué tan preciso, qué tan confiable, qué tan confiable es, qué tan rápido es y cuánto cuesta. Y es muy difícil entender las ponderaciones de los clientes de esas variables. Y luego, probablemente también cambie de un B2B a un B2C, una pequeña cantidad de clientes que son muy importantes para una gran cantidad de clientes. ¿Aprendimos algo sobre cómo piensa la gente sobre esto en general? ¿Qué se espera de un chatbot de IA?

Rati: Creo que sí. Una cosa interesante que aprendimos muy rápidamente es que en el mundo de los bots, hemos tenido muchos de estos bots basados ​​en palabras clave. Y para los clientes que ingresan, creo que la percepción inicial fue usar palabras clave que ingresan y usar este bot de IA. Pero muy rápidamente, lo que hemos estado prometiendo en la industria es esta forma conversacional de interactuar con los bots y ver ese momento en el que los clientes están emocionados de ver a sus usuarios finales ser atendidos por algo más conversacional. Creo que ese fue un aprendizaje clave que tuvimos.

“Les preguntábamos, '¿Cuál es la pregunta más común que surge en sus equipos de soporte?' Ver una respuesta con su propio contenido fue el 'momento ajá' inmediato para los clientes”

Des: ¿ Cuál fue el momento aha para los clientes? ¿Qué les hizo creer? Todos se han mostrado escépticos por buenas razones, como sí, si la oración contiene la palabra clave bla, "Oh, se respondió bla". Se siente como si hubiéramos cruzado un precipicio perceptivo con nuestros clientes donde dicen: "Oh, mierda, esto realmente funciona". ¿Qué es lo que provoca esa realización? ¿Es tu propio contenido?

Rati: Sí, diría que es nuestro propio contenido. Fue interesante, todas las llamadas beta y las interllamadas con los clientes: entramos, hay emoción. Hay muchas preguntas importantes y todos intentan hablar sobre el futuro de la IA en las llamadas. Y luego, les presentaríamos a Fin. Empezarían a hacer preguntas. Les preguntamos: "¿Cuál es la pregunta más común que surge en sus equipos de soporte?" Ver esa respuesta llegar con su propio contenido fue el 'momento ajá' inmediato para los clientes. Y eso es realmente lo que nos impulsa. Este es un momento clave para que los clientes vean que esto funciona. Usted pone su contenido y la IA realmente puede responder y resolver esas preguntas para sus clientes.

Des: Brian, ¿de qué lo hiciste?

Brian: Lo que es interesante y lo que creo que se valida a través de algunas pruebas de usuarios finales es este sentido del antes y el después del estado de los bots, o tal vez son bots antiguos y nuevos. De hecho, escuchamos, en las pruebas de usuario final que hizo nuestro equipo, que la gente decía: "Oh, espera, ¿es este un bot viejo?" Y seamos honestos. Estos son nuestros bots también, ¿verdad? Y muchos usuarios finales dicen: “No tengo un gran sentido de eso. No estoy tan emocionado de comprometerme con esto. Probablemente hay una buena cantidad de fricción y aros por los que me estás haciendo saltar. Oh, espera, ¿es este un bot de ChatGPT? Eso es diferente. Eso es algo que, como usuario final, estoy dispuesto a hacer. Así que creo que esto realmente surgirá.

Comenzó porque ChatGPT ha tenido un uso tan amplio, por lo que existe esta percepción de calidad del usuario final. No sé si la gente dirá: "Siento que estoy hablando con un humano". Pero siento que puedo tener una conversación normal en lugar de "Estoy hablando con tecnología, use palabras clave, haga clic en estos botones". En realidad, tener un diálogo natural es un gran cambio en la percepción de la calidad que tienen nuestros clientes y usuarios finales, así como la propuesta central del producto, que es responder automáticamente a su pregunta sin configuración. Está esa cualidad conversacional que da casi este brillo, todo este brillo alrededor de lo que realmente cambia el sabor de esta tecnología.

La necesidad de velocidad

Des: Es casi como si la llegada de ChatGPT hubiera vuelto a legitimar los bots por primera vez, de modo que todos están dispuestos a intentarlo de nuevo. Hablemos de la creación de productos en esta era de IA. ¿Qué está cambiando, Brian? ¿Cómo es?

Brian: Ha sido todo un viaje. Realmente desde diciembre, ha sido como, espera, esto ha vuelto al modo de inicio. Ese ha sido un estribillo que sonaba cierto para todos. ¿Y qué significa eso? Creo que lo primero es la velocidad. Nos alineamos en esto en diciembre y dijimos: "Queremos ser el líder en IA para el apoyo". Para que podamos tener legítimamente ese reclamo, además de tener el producto, necesitamos tener la velocidad de poner realmente ese producto en el mercado. Creemos que, donde está esto ahora, la velocidad es absolutamente crítica. Y eso no es una perogrullada. La velocidad siempre importa. Aquí dentro, siempre hablamos sobre cómo podemos movernos más rápido, desafiándonos a nosotros mismos para movernos más rápido. Pero apenas la semana pasada, vi a alguien tuitear: “Oye, Apple no se trata solo de velocidad. Están felices de quedar en segundo lugar en el mercado, pero vienen con el mejor producto y luego se limpian”. No es una perogrullada porque la velocidad tiene muchos riesgos en términos de calidad del producto, propuesta de producto, en términos de espacio mental y salud laboral de las personas, y cosas por el estilo. Pero todos nos hemos alineado en que se trata de velocidad, de moverse rápido para el producto aquí.

"En realidad, puede usar la velocidad como su propósito de anclaje: 'Queremos sacar lo que creemos que es un producto que cambia las reglas del juego rápidamente'".

Si todos están alineados con eso y con ser realmente ambiciosos y agresivos, y estamos dispuestos a romper la forma en que trabajamos y cómo deberíamos trabajar, las cosas serán más complicadas y el proceso se romperá. Tenemos demasiados canales de Slack, pero tenemos algunos canales de Slack increíbles que eventualmente explotaron en tamaño allí. Ahora está bien, tienes que volver y limpiarlo. Pero creo que es la optimización de la velocidad.

Otro ingrediente crítico aquí es la ausencia de política. Una ausencia de gente que diga: “Oye, necesito tener una voz fuerte aquí. Quiero tener una opinión aquí”. Las personas simplemente se alinearon detrás, "Oye, ¿qué puedo hacer para ayudar?" Y si eso significa escribir un pequeño documento de preguntas frecuentes aquí y luego quitarme de en medio, está bien, eso es lo que haré. Es difícil saber qué puede hacer para ayudar, pero si tiene ese espíritu, en realidad puede usar la velocidad como su propósito de anclaje: "Queremos sacar lo que creemos que es un producto innovador rápidamente". Eso realmente puede impulsar a las personas de una manera que es increíblemente energizante. Es una forma muy divertida de trabajar, pero para algunas personas es demasiado caótica.

Rati: Hablamos un poco antes sobre cómo comenzamos el equipo central de ML. Tenemos un equipo central de personas donde hay un decisor que valida el concepto central de Fin. Ahora hemos escalado a, “Está bien, tenemos un producto. Queremos llevarlo a beta. Queremos llevarlo al mercado. Tenemos gente de marketing que necesitamos incorporar y equipos de habilitación que necesitamos para trabajar juntos. Pero aún queremos mantener ese mismo nivel de velocidad”. Entonces, ahora pasamos de un equipo central, y ¿cómo lo escala al resto del grupo, al resto del negocio para que más personas continúen mientras mantienen la velocidad? Lo que abordamos allí fue tener el objetivo común de que todos entendieran a dónde queríamos llegar con Fin. Dar a las personas la autonomía para tomar decisiones.

“Creo que es importante cuando estás construyendo en este espacio con IA que es muy diferente de lo que hemos hecho antes: permitir el desorden y estar bien con el desorden”

Des: Cuando dices a dónde queríamos llegar con Fin, ¿era ese alcance y línea de tiempo, era como, "estas características, esta fecha"? ¿Estábamos dispuestos a ceder en cualquier cosa?

Rati: La línea de tiempo fue un buen punto de anclaje para nosotros. Puede elegir el alcance y luego dejar que el alcance dicte su línea de tiempo, o puede elegir una línea de tiempo y eso dicta su alcance. Elegimos una línea de tiempo. Una línea de tiempo era importante porque, como empresa, queríamos avanzar rápido y queríamos comercializar algo y ponerlo en manos de los clientes. Entonces, elegimos una línea de tiempo y luego validamos lo que pudimos incluir en esa línea de tiempo. Y eso fue realmente útil para mantenernos enfocados. Tenemos esta línea de tiempo. Tenemos este alcance que creemos que tendrá un gran impacto para los clientes. Correr. Dar a los equipos la autonomía para tomar decisiones y aceptar el desorden que esto genera. Creo que eso es importante cuando estás construyendo en este espacio con IA que es muy diferente de lo que hemos hecho antes: permitir el desorden y estar bien con el desorden.

Brian: Hay otro punto crítico que mencionaste, que es la velocidad de la toma de decisiones. Todo el mundo lo sabe, pero como tantas cosas, es fácil de decir y difícil de hacer. Cuando tienes a todos alineados, la velocidad de comercialización es crítica, cuando estamos alineados con lo que estamos tratando de hacer, incluso alineados con los objetivos de comercialización, lo que creo que hicimos mejor para Fin que en otros lugares, cuando puede desarrollar ese músculo de la toma de decisiones rápida, es increíble. Eoghan McCabe pudo dar claridad en la parte superior: "Esto es lo que estamos tratando de hacer". Eso también tuvo un efecto dominó.

“No sirve de nada andar dando vueltas diciéndole a la gente que la velocidad es importante si nos lleva seis meses decidir cuánto vamos a cobrar por la función”

Hay que tomar decisiones difíciles y complicadas, y la gente entra y lidia con ellas. Y en lugar de dar vueltas y más vueltas, obtener más información, obtener más gente y no llegar a un consenso, si fortaleces ese músculo, es energizante. Las personas pueden no estar contentas con la decisión, pero a menudo, simplemente están felices de que nos mudemos debido a la sensación de progreso. Cuando estás en un autobús y sientes que te mueves rápido, es un lugar muy emocionante para estar. Sabía que había una reunión el lunes y que iba a volar allí. Mi única oportunidad era redactar el documento, compartir todo lo que pudiera y adelantarme porque no puedo estar allí en la reunión y la decisión se iba a tomar allí. Lo intenté duro y fracasé. Pero de todos modos, simplemente acepta: "Este es el ritmo de toma de decisiones que debemos tomar, y el ritmo de toma de decisiones suele ser más importante que las decisiones reales en sí mismas".

Des: Estoy totalmente de acuerdo. También creo que vale la pena señalar a los oyentes que Eoghan McCabe es nuestro director ejecutivo. Los domingos por la noche, a lo largo de todo este proyecto, he tenido llamadas con Eoghan en las que hablábamos sobre lo que se sabía y lo que no se sabía, todas las preguntas de las que teníamos conocimiento. ¿Qué tan temprano debemos ir? ¿Qué modelo usaríamos? ¿Qué cobraríamos? Si somos lentos, ¿por qué diablos serías tú rápido? Si eres lento, ¿por qué diablos los diseñadores o ingenieros se moverían rápido? Es simplemente imposible. No tiene sentido tratar de trabajar lo más rápido que puedas si sabes que, "Oye, pasarán otras dos semanas antes de que tomemos la decisión". Aunque digo mucho que "la velocidad es vida" y todo eso, este proyecto ha sido una muy buena evidencia de que en realidad tiene que estar al unísono. No sirve de nada andar por ahí diciéndole a la gente que la velocidad es importante si nos lleva seis meses decidir cuánto vamos a cobrar por la función o lo que sea. Tiene que ser 100% juntos.

Un acto de equilibrio

Brian: Las variables aquí son precio, velocidad, latencia, disponibilidad y calidad. Entonces, tiene todas estas variables de los modelos LLM en la parte superior de nuestro sistema, y ​​cómo interactuamos y obtenemos la calidad del producto que queremos, y todo está cambiando muy rápido. Entonces, cuando OpenAI lanzó ChatGPT con la API, que es GPT Turbo, fue 10 veces más barato que 3.5. Entonces, de repente, toda la dinámica cambia y, de repente, las características que antes no eran factibles ahora son como "Whoa, whoa, whoa, whoa". Todo el mercado aquí ha cambiado enormemente. Luego vuelves a “Espera, ¿cuál es la calidad? ¿La calidad es lo suficientemente buena? Y en realidad es rápido. Entonces, a veces, los modelos más baratos son súper rápidos. Por lo tanto, no tiene un uno a uno claro de más caro necesariamente es igual a-

Des: Esta es una de las cosas que aprendemos en la beta. Una de las preguntas que debemos resolver, y probablemente pasaremos una eternidad resolviendo es, ¿cuál es el equilibrio entre la velocidad con la que el usuario final obtiene la respuesta y la necesidad de una precisión extrema? O incluso un hermoso texto envuelto alrededor de la respuesta en cierto sentido. La respuesta correcta mal redactada en 0,1 segundos podría superar a una respuesta muy elegante en 10 segundos en términos de lo que mantiene contento al usuario final.

“¿Cómo construyes con el producto la incertidumbre de lo que está pasando? Todos están tratando de resolver esto”

Rati: Creo que ese es un desafío que todos en este espacio deberán resolver porque es muy nuevo para las empresas y los clientes. Tampoco hay muchas opiniones fuertes porque los clientes todavía están aprendiendo lo que quieren en el mundo. Algo que fue realmente interesante a lo largo de la versión beta, e incluso ahora, es tratar de extrapolar de las personas cómo perciben y valoran la calidad. Volviendo a ese punto de precio y no tener eso separado dentro de la empresa mientras tomamos decisiones sobre Fin, estás pensando en el precio. Tienes que pensar en el producto porque decimos: “Oh, queremos aumentar la calidad. ¿Cuál es el costo de eso, y hay alguien dispuesto a pagar por ello? “Está bien, vamos a bajar la calidad, pero va a ser un poco más rápido. ¿Están dispuestos a pagar más o menos por eso? Por lo tanto, es un ciclo continuo en el que tienes que pensar y controlarte a ti mismo sobre lo que vale la pena seguir adelante. ¿Los clientes están dispuestos a pagar? ¿Lo valoran igual que nosotros?

Des: Y dada la cantidad torrencial de cambios que ocurren, parece que todas estas decisiones, principios o pautas son casi perecederos. Es posible que tengamos una opinión muy sólida sobre dónde se debe usar GPT-4 versus Turbo y, dos días después, podríamos cambiar esa opinión y volver a revisar las preguntas. ¿Cómo manejas un cambio bastante extremo?

Brian: Cuando miro hacia atrás, pienso: "Oh, me equivoqué". Tratando de optimizar para la velocidad, pero luego, cuando obtuvimos nueva información sobre la disponibilidad que vamos a tener y cómo esto iba a cambiar las cosas, porque te sientes cómodo trabajando en una unidad pequeña, efectivamente, todos pueden seguir adelante. tablero cada día. Y ahora, somos como cientos de personas, por lo que si realiza un cambio significativo basado en la información de ayer, todos deben decir: "Todo cambió, y luego cambia nuevamente la próxima semana". Es realmente difícil trabajar a escala cuando el piso debajo puede tener cambios tan dramáticos.

Estábamos hablando sobre el desorden y la incertidumbre, y usted habló sobre los modelos como una parte central de esto porque mucho está cambiando y cambiando aquí, pero el panorama general es muy incierto. Y esto también es algo de lo que hemos hablado: “¿Cómo construyes con el producto la incertidumbre de lo que está pasando?” Todo el mundo está tratando de resolver esto.

“Si quiere trabajar en la definición de la próxima versión de los productos y hacia dónde se dirige esta industria, debe estar dispuesto a saltar al caos y esperar que todas sus extremidades permanezcan unidas cuando salga”

Por ejemplo, ¿nuestro mensajero será irrelevante porque todo el mundo simplemente irá a Google y Google será su nuevo asistente para hacer todo esto? O tal vez Google va a ser irrelevante. "En realidad no, ellos son los que van a ser interrumpidos". Las posibilidades de una disrupción plausible de una empresa multimillonaria... Creo que va incluso más allá, creo, la escala de eso. Todo es razonablemente plausible para pensar. Estamos en este espacio en el que la macroincertidumbre de realidades plausibles de universos alternativos que podrían ser reales en seis meses frente a lo que podemos construir en este momento y si podemos construir eso en terreno inestable es un nuevo desafío para todos. A la mayoría de las personas les gusta un poco de estabilidad para trabajar, y creo que todos deben reconocer que la estabilidad ya no existe.

Des: No es un activo.

Brian: Si quieres trabajar en un producto estable, eso significa que estás trabajando en equipos que anteriormente manejaron la incertidumbre, y estás montando sus faldones casi como, "Está bien, tuviste éxito, y ahora tienes más espacio acolchado para hacer su trabajo iterativo”. Y ese es un lugar válido al que espera que llegue su empresa. Pero creo que la otra cara también es la innovación y la incertidumbre. No se puede extraer uno del otro. Si desea trabajar en la definición de la próxima versión de los productos y hacia dónde se dirige esta industria, debe estar dispuesto a saltar al caos y esperar que todas sus extremidades permanezcan unidas cuando salga. Pero generalmente lo hacen, ¿verdad? Es solo software.

Valor de desbloqueo en la era de la IA

Des: Brian, si estás hablando con una startup en una etapa anterior, digamos 50-100 personas, y están a punto de comenzar su primera aventura en IA, ¿qué les aconsejarías? Si tienes que darles una dirección, ¿sería aceptar la incertidumbre o sería avanzar lo más rápido que puedas? ¿Sería para sentarse y mirar y elegir su tiro?

Brian: Estuve en algunas de nuestras conferencias de clientes y hablé con algunas personas que también están buscando construir cosas, y dijeron: "¿Cómo manejas toda esta incertidumbre?" Hay tanto valor en el que estamos sentados en términos de lo que desbloquea esta tecnología que nunca antes fue posible, y ahora se puede construir. Nunca antes alguien que construye un producto ha tenido tantas opciones. Tenemos demasiado y estamos tratando de concentrarnos y descubrir cómo podemos equilibrar nuestra inversión. Hay cien cosas que queremos hacer, y estamos bastante seguros de que 50 de ellas se construirán y serán valiosas. Hay demasiado que está disponible ahora.

“Cosas que no eran posibles antes no solo son posibles ahora, muchas de ellas son razonablemente sencillas de construir”

Entonces, si eres una startup, simplemente elige el siguiente paso. Para hacer una gran apuesta sobre cómo van a cambiar los modelos de productos completos, necesita una gran inversión. Pero hay tanto que se puede construir en lo que una empresa puede hacer tracción. Siento que ahora es el mejor momento para ser una startup. Hace seis meses, recuerda que Rob estaba en un espectáculo y cuéntaselo, Rob del equipo ML, y él, con la versión anterior de Tech, investigó: "¿Podemos hacer esto?" Porque sabíamos que esto era valioso e hizo una exploración de dos semanas. Es como, “No, no hay nada aquí. Lo siento amigos. Traté de encontrar algo, pero resulta que aquí no hay nada en absoluto”. Seis meses después, realmente creo que fue en menos de un día que puso el envoltorio alrededor de esta cosa para obtener esta función. Ahí es donde estamos.

Las cosas que no eran posibles antes no solo son posibles ahora, muchas de ellas son razonablemente sencillas de construir. Entonces, creo que este es un momento increíble para que cualquier creador de productos busque un espacio. Elija un valor a corto plazo para continuar, porque lleva tiempo crear un producto y comercializarlo, encuentre ese valor a corto plazo que pueda comenzar a pensar hacia dónde irá en el futuro, pero no se paralice por el hecho de que nosotros Ahora tenemos tantos universos alternativos frente a nosotros.

Rati: También diría que no necesitas elegir algo nuevo para hacer. Incluso si miro lo que hicimos en Intercom cuando se lanzó GPT el año pasado, miramos los trabajos y los problemas que queríamos resolver, y eso es fundamental. No necesita construir algo nuevo o encontrar un nuevo nicho: puede encontrar problemas existentes y usar esta nueva tecnología para resolverlos. Y luego elige uno. No elijas un montón de cosas, elige una y ve tras ella.

“La forma en que estamos pensando es pensar a corto plazo. ¿Tenemos diferenciación? Oye, tres meses estaría bien. Tal vez seis meses serían buenos, y veremos qué nos compra eso”

Des: ¿Cómo piensan ambos sobre la idea de los fosos en los negocios? Si es una empresa emergente, tiene una lista de tareas pendientes o una gestión de proyectos y dice: "Hey, he pensado en algo genial que creo que estos elementos todavía hacen, así que voy a ir y hazlo. Si fue fácil para ti, es fácil para todos”. ¿Qué piensa sobre el grado en que está subcontratando las características geniales? Y luego, en última instancia, podría ocurrir la gran democratización de SaaS donde todos pueden construir todas las cosas geniales que tú también estás construyendo. Tal vez es una pregunta que va más allá del alcance de lo que realmente pasas el día, pero ¿cuál es tu reacción a eso? ¿La idea de que estas características en realidad las realiza otra persona, y solo estamos haciendo API en ellas?

Brian: El foso y la ventaja competitiva es una pregunta difícil por eso. We think of what Intercom as a system has and our competitive advantages within that, with data that we have, which is a huge source potentially there. We're not unique in having that, but we're, in a way, a smaller group of people who have some of those characteristics. So, how can we lean on that? It's super hard. How will it change? Will it matter or not? Will technology make that differentiation moot? Competitive differentiation is part of this as well because that will dissolve. The way we're thinking about is thinking short term. Do we have differentiation? Hey, three months would be good. Maybe six months would be good, and we'll see what that buys us. The reality is there's probably not a world where you can build something for a year and you're differentiated for a while. I don't know if that world ever really existed, but I think that's hard.

Des: There are still some types of moats, but I think, in general, simply building a lot of products might not be one, especially when you're not really building – you're just building API goals into it.

Brian: Another interesting thing, though, is that for us, as builders in this space, it's impossible to stay on top of all the stuff that's happening. It's actually incredibly hard to stay on top of all the stuff happening at the Intercom project. No one can really keep up with all this stuff that's happening. Never mind the macro industry.

“Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes?”

And what about your customers? Their job is not to stay on top of all this stuff, even though they're now being asked to do it. I think brands will increase in importance. People say, “I need someone who's going to do the work for me, and I know this company will figure out the good stuff and make that available to me so that I don't have to figure it out.” So your customers can rely on you to figure out what matters from this and make sure that's in the product. Because I would be very happy if I could just offload that whole mental, “How the hell do I think about AI?” to you.

Des: I think that's totally true. Maybe it's just our industry, because people are not free to change help desk every few months. It's very messy. But I think when people are picking a tool, whether it's like, say, project management or communications or support, they're probably making a decision that's at least one year in length, but probably more cause migration's now a joke for a lot of these things. So, what they're looking for in a brand is like, “Am I picking the right horse?” If new shit drops, will these people be able to react to it and make the most of it, or are they going to be stuck forever doing press releases that don't amount to any software whatsoever? Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes? I think the latter category will be a bad bet at a time like this.

Brian: One other thought that's circled around my head is like product builders. This is what you hope for. You say, “Oh, the world has changed, and we want it to be in this holy-changed space.” Y es. It's for real. It's a great time to be building product, and we're lucky to be working in this space. That's how I feel, even though it's head-wrecking, you can't keep up, and the ground beneath us is almost forever shaken up. But this is fun. This is why you want to build product.

“Companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams”

Des: What's it like on the ground, Rati? Do you end up having to just chase down Slack channels in the night?

Rati: Yeah, I'm in Slack a lot. Eso es verdad. But I also am okay. And I think companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams. For us, that's worked really well where the teams have clear goals they need to go after. I know 60% of the time what's going on, and any key decisions are usually surface that you'll catch. I'm sure there are things that drop, but generally, we're going in the same direction as a team. And on the AI piece, people are excited to work in this new space. It's a great opportunity for a lot of folks who you've been wanting to have this exciting new thing happen, learning how ML works, learning AI, as well as getting involved in that. So, it's quite good on the ground. Of course, there are pain points – I'm not going to paint it as a rosy thing, but it's exciting on the ground.

Des: I was talking to a friend, and we had this thought experiment. Imagine it all just went away. Imagine that, for whatever reason, someone deleted all of the LLMs, and we have to go back to the world of SaaS. It feels so much more boring looking back now. Because even the features that are pure SaaS 101 for us, even, let's say, ticketing in our help center, or whatever, we were still looking at them going, “At some point, we're going to come back to you with an AI perspective.” But if this wasn't here, in hindsight, it feels like we were getting towards the end of the SaaS cycle. We'd worked out how to build CRMs for farmers to keep track of their roosters. How many more tail-end sort of features could we build?

Philosophical musings

Des: Forgetting about Intercom, are you excited about AI in your own life as an employee of a tech company? Are there other areas or products you would like to see AI in? Are you seeing anything interesting?

Brian: I'll take this in a different direction, which you may want to shoot down. But for me, what's interesting, getting a little closer to the tech, is the language ability. There are so many philosophical questions that were good for college students to rattle on about with their professors. And you go on there, and it was all academic in that sense. And this has been going on from the '50s, actually, when it was a Touring test. What does it mean to learn? What is knowledge? What is reasoning? It's all relevant right now.

“You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built”

Here's an example of this. Ask Fergal “Does GPT understand?” Well, no, it doesn't understand. But I saw, in a Slack thread, “Comprehension is actually kind of remarkable.” Does a robot understand things? It doesn't do language like we do because it just predicts blah blah blah – everyone vaguely knows how this works –, which makes no sense in our heads. But then, how did you learn your language? You had no idea. Your brain learned your language. I find myself thinking way more. I remember hearing neural networks, like programs were getting neural networks, “Yeah, right. Come on, you're not even close.” Now I'm starting to think of my brain more like the machine and I'm like, “I have no idea how I learned language. You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built. It's all relevant now.

You could go into politics. There's all the fear of AI, which seems reasonable, but like, humans aren't so good at voting. I don't know, have we really earned the right that we think we have? Because I'd welcome a little more rational voting choices in the future. You can zoom up to that level. And actually, this AI makes you more reflective of our species. We always think we're amazing and wonderful whenever someone's competing against us. But damn, we've got to live up to the promise. My head goes a lot in those directions. And then with kids, seeing how they adapt to the technology as well. That for, me, are the juicy places to go. The academic questions are now front and center. It will be a fun time to go back to college now to be able to talk about this stuff.

“And all of a sudden, do you build relationships with machines?”

Rati: Continuing the tangent. For me, it's more the relationships. Normally, you build relationships by talking to people like this. And imagine, with the advancement of generative AI, being in conversations that you've had with a friend, a parent, or a partner, and then being able to have a conversation there. Can you have relationships with machines? That's, of course, not related to B2B SaaS, but I think it's interesting to start building the space around it.

Brian: Make the internet personal? We can productize that.

Rati: And all of a sudden, do you build relationships with machines? How does that change humans and how we interact in the world? I think that's going to be interesting to watch.

Des: I think the infinitely easier challenge, perhaps, is to build a model of yourself. Giving one of these things access to everything you've ever communicated digitally in any form, everything you've ever spoken, your voice, your look, et cetera. You can imagine having effectively a shadow bot that does your job for you 90% of the time. And that shadow bot just knows to escalate to you whenever it does not know how to do something. You know what I mean?

Rati: We're not far from that. I'm curious to see how open we are as a world to have this integrated into us. It's always been a theoretical conversation about machines and AI and what it could do. So, I'm curious to see, from a personal level and everyday life, how people will actually genuinely integrate this and how it changes how we relate to each other and create connections.

Democratizing UI

Brian: What about you, Des? What are you excited about?

Des: I believe in AI in so many ways. I'm actually not super excited by the sort of text generation features that everyone who has a text area has now got the ability to expand on. And yet, I think that's a reference to the “hello, world” of AI. You just throw this out to make sure all the endpoints are working. Where I get most excited from a future-facing point of view is that I think it'll be a great democratizer for UI. There are so many products we use on a regular basis. Workday is one of them. Kuba is another. There are plenty, honestly, where they're designed for the administrator in the company but not really for the end user who might be affected by the software.

“The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes”

So, I'm sure we employ people who think the Workday UI is great. I'm sure somebody in the world thinks it's the right UI. But I was in a tool yesterday to approve access for provisioning for something to somebody, and it's not that the UI is necessarily bad from a Jacob Nielsen one-on-one point of view – the drop-downs line up, the text areas line up, et cetera. It's more like this product is capable of so many things but my specific usage of it centers around one or two things, like requesting a day off or approving an expense or something like that, and yet it feels like I need to go on a training course to know how to do these things.

The example you'd both be familiar with is Google Analytics. You've both experienced it at some stage. You probably were once a certified GA or approved educator or something.

Brian: Yes, I was.

Des: You have a grant philosopher at Google or whatever. And the fact that you need a certification is almost part of my point. Because you get those certifications so you can answer questions, “Well, given this interface, tell me how to find the highest-performing referrals CPC ad word that worked for us in Norway between July and August or something like that.” The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes.

“The gap between being able to express what you want to do and being able to do it will narrow to zero”

What I think genuinely we'll see happen is a lot of these UIs will disappear for the regular folk, and they'll just type the thing they're trying to do. I see this all over the place today. An example is Equals, which is actually built by two former Intercomers. They're basically doing a next-generation spreadsheet with live connections to live data, et cetera. But one of the things they can do is press command+K and start typing the thing you're trying to do. And it will work out what you're trying to do and then generate the Excel commands that you needed to know that you never fucking knew because none of us know Excel codes or commands. It'll do all that for you, you hit return, and you're done.

That's an example of what I call democratization. Previously, all of this was only accessible to people who legit knew Excel or how to use Google Analytics. And now, all of a sudden, we're all going to have access to the same power. The gap between being able to express what you want to do and being able to do it will narrow to zero. Whereas before, there was a big clunky thing in the middle of becoming an expert at using blah. And that expertise is no longer needed. And now I think we can all say to the machine what we want to do, and the machine's going to do it.

Estoy bastante seguro de que sucederá porque es mucho mejor que la experiencia actual de pestañas, menús desplegables y clics del mouse. Pasará. Y cuando sucede, es un cambio de trampilla para la naturaleza misma del software. He hablado con mucha gente y no creo que ninguno de nosotros esté preparado para ello. No creo que sepamos lo que significa. Es difícil imaginar la interfaz de usuario sin la interfaz de usuario. Es difícil imaginar muchas de estas cosas. Y no creo que la interfaz de usuario desaparezca. Creo que la gente todavía quiere ver lo que está pasando. Pero la naturaleza real de la interfaz de usuario complicada se desvanecerá. Solo escribe en inglés lo que estás tratando de hacer y listo. Esa es una nueva era de software, y solo espero estar jubilado antes de que suceda.

Brian: El diseño de interacción es discutible.

Des: Sí, exactamente. ¿Y sabes quién debería estar en todo esto y de alguna manera no lo está? Diseñadores de contenido. Hay un gran mundo que viene para ellos si pueden capitalizarlo.

Rati: ¿ Qué tan rápido o quién lo adoptaría primero? Cuando suceda ese cambio, ¿sucederá con nuestra generación, o será la gente que surja ahora la que cambie la naturaleza del software que atraerá?

Des: Creo que mucho depende de qué tan accesible sea también. Si piensa en las interfaces basadas en texto, son equivalentes a las interfaces de audio debido a Whisper, la tecnología OpenAI. Y luego piensas en el futuro de Siri, piensas en los dispositivos Echo de Amazon y Cortana y todo el resto de la pandilla. De repente, alguien que ni siquiera es bueno con las computadoras sentado en una habitación ahora puede tener acceso a los comandos digitales de todo Internet. Pídeme un taxi, mándame una pizza, lo que sea. Todo eso se vuelve simplemente trivial. Y eso cambia las cosas. No quiero entenderlo, ni quiero decir que tengo ni idea de cómo, pero creo que el mundo entero va a ser diferente, y seguro que es un momento emocionante. Muchas gracias por acompañarnos y ayudarnos en Fin. Esta ha sido una buena charla, y nos veremos pronto.

Brian: Gracias, Des.

rati: gracias