El surgimiento de la IA superinteligente

Estamos empezando a construir sistemas de inteligencia artificial que puedan entender cosas. ¿Dónde se detiene?

La IA superinteligente no es un tema nuevo. Pero durante décadas, se limitó principalmente a escenarios hipotéticos en artículos académicos o páginas de ciencia ficción, con sus historias futuristas de levantamientos de robots y escenarios del fin del mundo. Y, sin embargo, a medida que avanza la tecnología de IA, este concepto que alguna vez fue divertido, según el cual un sistema de IA comienza a mejorar su propia inteligencia de forma recursiva hasta el punto de superar la inteligencia humana, se acerca cada vez más al umbral de la realidad. De repente, la conversación es mucho más seria.

Algunos investigadores de organizaciones como el Instituto Max Planck para el Desarrollo Humano, el Instituto de Investigación de Inteligencia Artificial e incluso OpenAI afirman que será extremadamente difícil –o incluso completamente imposible– contenerlos una vez que se llegue a ese punto. Y es posible que ese punto no esté tan lejos de suceder.

Cuando lleguen y en cualquier forma, los sistemas de IA superinteligentes serán verdaderamente revolucionarios y tendrán un impacto en todo, desde el mercado laboral y la economía hasta la biología y la medicina. Sin embargo, también plantean un profundo riesgo existencial para la humanidad, lo que plantea algunas preguntas serias: ¿qué tan cerca está de que suceda? ¿Estamos equipados para afrontarlo? ¿Y cómo se empieza siquiera a regularlo?

En este episodio, nuestro Director Senior de Aprendizaje Automático, Fergal Reid, se une a Emmet Connolly, nuestro Vicepresidente de Diseño de Producto, para abordar la superinteligencia de frente: lo conocido y lo desconocido, desde la ética hasta las amenazas y los desafíos de la regulación.

Estas son algunas de las conclusiones clave:

• La integración de la IA en áreas como los vehículos autónomos plantea dilemas éticos, pero es importante distinguir entre eso y la superinteligencia, que es potencialmente mucho más peligrosa.
• Es crucial equilibrar nuestro enfoque entre las preocupaciones inmediatas sobre la IA y las amenazas de la superinteligencia: los riesgos actuales no deberían eclipsar los posibles daños futuros, incluso si son más difíciles de comprender.
• Es increíblemente desafiante regular la IA. La regulación excesiva puede reducir sus beneficios, pero es importante que los laboratorios fronterizos interactúen con los reguladores para fomentar el desarrollo y la adopción responsables.
• Si bien las aplicaciones de IA no peligrosa deberían mantener el enfoque de “moverse rápido y romper cosas”, los laboratorios de investigación que entrenan modelos de frontera deben estar estrechamente regulados.
• Pasar por alto los beneficios potenciales de la IA y al mismo tiempo enfatizar demasiado los riesgos contribuye a un debate improductivo que puede obstaculizar el progreso. En general, esta tecnología tiene un peso neto positivo.

Si disfruta de nuestra discusión, vea más episodios de nuestro podcast. Puede seguirlo en Apple Podcasts, Spotify, YouTube o descargar el canal RSS en el reproductor que prefiera. Lo que sigue es una transcripción ligeramente editada del episodio.

Hacia lo desconocido

Fergal Reid: Esta es otra de nuestras conversaciones libres. Estábamos haciendo un poco de preparación y dijiste: "La superinteligencia es lo más interesante..."

Emmet Connolly: ¿Qué pasa con el planteamiento de que la superinteligencia podría cambiar nuestra sociedad por completo, tal vez de la noche a la mañana, y que no estaríamos en absoluto preparados para afrontarla? Decías que nadie lo sabe y que podría suceder en los próximos años. Eso es lo más importante de lo que podríamos elegir hablar. Pero la dificultad que tengo es que es todo opaco. Podrían faltar dos años, podrían faltar muchos años o 200 años. Es lo más importante, pero es la mayor incógnita.

Fergal: Bien, entremos en ello. Hagamos esto de la superinteligencia de frente. Intentemos hablar de lo que sabemos y de lo que no sabemos. Nos vamos a equivocar mucho. ¿Cómo lo encuadraría? Esto ha estado un poco en mi mente. Ahora es intratable. Es difícil agarrarse. ¿Qué sabemos? Hay todo este revuelo, ¿verdad? “Oh, va a ser una locura; La superinteligencia llegará pronto”. Y los llamados doomers afirman que, por defecto, nos matará a todos. Y hemos tocado esto un poco en el pasado. Y luego están otras personas que dicen: “Oh, todo eso es una tontería. Eso es como preocuparse por la superpoblación en Marte”.

“Hemos creado cosas que empiezan a comprender las cosas. ¿Dónde termina?

Andrew Ng, el famoso investigador, dijo esto, y luego, hace una semana o dos, parece haber cambiado su perspectiva. Tiene este boletín, y en él no mencionó la superinteligencia, pero dijo: "Oh, estos sistemas están empezando a comprender y razonar sobre cosas". Mencionó Othello-GPT, del que ya hemos hablado antes, donde se entrena esto con fragmentos de juegos de Othello (solo las secuencias de movimientos en un juego de mesa) y parece comenzar a aprender cosas fundamentales sobre el juego de mesa y el disposición del tablero. Eso le pareció convincente. Y eso también me parece convincente. Y así, algunas personas que decían que la superinteligencia está a un millón de kilómetros de distancia ahora están cambiando un poco de opinión. Las personas que decían que la IA no entiende nada están cambiando un poco su tono.

Hemos construido cosas que comienzan a comprender las cosas. ¿Dónde se detiene? Una cosa que creo firmemente es que no es ridículo hablar de cosas que se vuelven cada vez más inteligentes y más inteligentes que los humanos. Y eso es un cambio. Hace cuatro o cinco años... ¿hace dos años? – Estaría totalmente del lado de Andrew Ng: “Sí, es divertido pensar en esto y me gusta leer ciencia ficción, pero no hay camino. No vemos ningún camino allí. No hay evidencia de que cualquier camino que veamos funcione”. Ahora, hay mucha evidencia de que podría llegar allí. Eso es algo que hemos aprendido. Eso es algo que ha cambiado en el mundo.

Emmet: Y parece algo que podemos rastrear. Lo que entiendo de lo que estás insinuando es que el razonamiento es un paso necesario hacia la superinteligencia o la Inteligencia Artificial general (AGI) o lo que sea. Y que cuantas más capacidades de razonamiento se exhiban aquí, más probable será que lleguemos a AGI. Y entonces, en cuanto a una dimensión de mi incapacidad para aferrarme a algo tangible, ¿estás diciendo que crees que la confianza se construirá colectivamente con el tiempo?

“Por primera vez no sabemos realmente cuál es el truco. Y puede que no haya ningún truco. Puede que sea real. Esto es inteligente o, al menos, el truco es igualmente bueno para la inteligencia humana”.

Fergal: Sí, quiero decir, ves más datos y actualizas tu visión del mundo. Si vives en un mundo sin ningún sistema de inteligencia, deberías ser más escéptico a la hora de construir superinteligencia. Y a medida que aumenta el nivel de inteligencia de los sistemas en el mundo, deberíamos estar más abiertos a la idea de que llegaremos a algo superinteligente. Eso es bastante simple.

Recuerdo haber aprendido cómo funciona la IA del ajedrez. Recuerdo la partida de ajedrez de Deep Blue y Kasparov en 1997 (hay una canción de Arcade Fire sobre esto). Mi abuelo solía jugar al ajedrez y me enseñó a jugar al ajedrez cuando era niño. Estaba realmente impactado y sorprendido por Deep Blue porque Kasparov era un genio mental humano imponente, y Deep Blue lo venció. "¿Cómo podría ser esto? ¿Significa esto que las máquinas son tan inteligentes como nosotros? Y ese fue un gran logro técnico. Pero fue fundamentalmente un buen truco. Cuando aprendes cómo funciona una IA de ajedrez en el fondo, es Minimax o Negamax. Es un algoritmo de búsqueda bastante simple. Tiene que tener alguna idea de si el estado del tablero es mejor o peor: si tengo muchos peones y una reina y no estoy en jaque, es un simple cálculo del valor de las piezas de ajedrez.

Pero luego, simplemente realiza una gran cantidad de búsquedas. Si me muevo aquí y usted se mueve allí y yo me muevo allí... Hay algunas técnicas inteligentes para hacer la búsqueda más eficiente, pero es básicamente cálculo bruto. Simplemente está haciendo un montón de cálculos. Y entonces, cuando te enteras de eso, de repente, es decepcionante. De repente, es como, “Deep Blue no era una máquina pensante. Fue realmente inteligente...

Emmet: Calculadora.

Fergal: … calculadora, cierto. Un gran sistema mecánico que calculaba en masa. Con la historia de la IA, siempre quedas realmente impresionado hasta que aprendes el truco. Pero ahora, por primera vez, no sabemos realmente cuál es el truco. Y puede que no haya ningún truco. Puede que sea real. Esto es inteligente o, al menos, el truco es igualmente bueno para la inteligencia humana.

"Deep Blue no era más inteligente que Kasparov, pero de una manera bastante inteligente, desplegaron el aspecto de cálculo de fuerza bruta de su inteligencia en una tarea que la hizo mejor hasta el punto en que pudo ganar"

Emmet: O refleja alguna ley universal subyacente, casi física, de la teoría de la información o cómo funciona la información cuando se juntan grandes cantidades.

Fergal: No sé si me inclinaría por la teoría de la información, pero supongo que la idea de que tal vez un sistema simple hubiera dado poder expresivo, y cuando pones suficiente información, comienza a volverse inteligente.

Emmet: Entonces Deep Blue no era más inteligente que Kasparov, pero de una manera bastante inteligente, desplegaron el aspecto de cálculo de fuerza bruta de su inteligencia en una tarea que lo hizo mejor hasta el punto en que pudo ganar. Así que creo que ambos pueden decir: "Deep Blue no es más inteligente que Garry Kasparov", y se puede decir: "Deep Blue puede vencer a Garry Kasparov en el ajedrez" o "Es mejor que los humanos en una tarea".

La IA toma el volante

Emmet: Eso me lleva a pensar en cómo pensamos sobre esas cosas. La reacción emocional que estabas describiendo tu abuelo tuvo... Si miramos hacia adelante y vemos autos sin conductor, que han estado burbujeando en un segundo plano durante o incluso antes de que cualquiera de las cosas del LLM realmente pasara a primer plano. Existe esa cuestión emocional de "¿Qué queremos de estos sistemas?" Tal vez me esté alejando del tema AGI aquí, pero miremos los autos. ¿Qué queremos de ellos o cómo vamos a responder a la integración allí? Porque en este momento tenemos un sistema imperfecto: más de un millón de muertes en las carreteras al año causadas por errores humanos. Si reemplazamos eso con un sistema de inteligencia artificial que solo provocó medio millón de muertes en carretera por año, ¿podríamos...? Quiero decir, es muy difícil, desde un punto de vista puramente ético y de cálculo numérico, no...

Me parece que esto es como el problema del carro de IA en grandes dimensiones. El problema del carro de IA es un problema local de "¿Qué decisión tomas?" Pero tenemos esta decisión a nivel social de: "¿Vamos a aceptar la sensación de repugnancia que surge cuando los automóviles son conducidos por robots, incluso si son falibles, incluso si esa falibilidad es menos falible que la de los conductores humanos?"

“Si, y este es un gran si, conseguimos que los autos sin conductor lleguen al punto en que una máquina ahora te mate donde antes te mataba un humano, pero te mata mucho menos, creo que la mayoría de la gente estaría de acuerdo con eso. "

Fergal: Creo que probablemente lo haremos. Obviamente existe la posibilidad de que se produzca un fracaso normativo y político, pero la gente acepta esas compensaciones todo el tiempo. Simplemente no hablan mucho de ellos porque es políticamente imprudente hacerlo. Cada país desarrollado tiene un sistema médico que sopesará el costo y el beneficio de un medicamento. Y para bien o para mal, lo hacen. Y creo que es algo bueno que hacer. Y entiendo que eso es políticamente difícil de defender, pero si no lo haces, morirá más gente.

Emmet: La gente lo debate, pero muy pocas personas eligen vivir en un país donde esas regulaciones no proporcionan barandillas y barreras de seguridad para todo tipo de aspectos de sus vidas. Así que sí, estoy de acuerdo contigo.

Fergal: Sí, eso es todo. Y, con suerte, hacen un buen trabajo, pero tienen que tomar este tipo de decisiones de vida o muerte sobre qué medicamentos están disponibles. Las sociedades hacen eso. Y tengo que imaginar que, a falta de algún fracaso político, si –y este es un enorme si– conseguimos que los autos sin conductor lleguen al punto en que, sí, ahora una máquina te mata donde antes te mataba un humano, pero mata mucho menos, creo que la mayoría de la gente estaría de acuerdo con eso.

Emmet: No lo sé. Desde un punto de vista puramente lógico, si analizas los números, es difícil encontrar un defecto lógico en lo que acabas de decir. Pero creo que, a diferencia de la regulación de las drogas, que es como el zumbido de fondo de la vida, uno elige subirse a un automóvil autónomo o no autónomo. Y creo que esa decisión será mucho más personal para mucha gente que algunas de esas regulaciones que son menos tangibles en la vida cotidiana. Creo que esas serán las cosas que podrían terminar demasiado politizadas, haciendo que la regulación sea realmente difícil de lograr y obstaculizándonos más que nada.

Fergal: Quiero decir, mira, sé que esto se volverá político, pero mira la energía nuclear. La energía nuclear contamina menos carbono que otras cosas. Y es una discusión complicada sobre las desventajas. Cuando hay una fusión nuclear es extremadamente costoso. Ése es un difícil problema estadístico. Pero muchos tecnólogos sentirían que la discusión sobre la energía nuclear no fue la más racional en retrospectiva. Cuando era niño, le tenía miedo a la energía nuclear. Muchos de nosotros en los años ochenta teníamos miedo de las cosas nucleares. Pero tal vez ese sea un ejemplo de fracaso político.

Definitivamente hay un gran grupo de tecnólogos que dicen: "El debate sobre la superinteligencia provocará una regulación excesiva de la IA, y vamos a perder muchos beneficios humanos". Esa es una regulación instintiva. Tal vez suceda algo similar con los autos autónomos, donde lleguemos al punto en que sean mejores, pero luego hay un fracaso político que termina impidiendo que se utilicen hasta que sean perfectos, y nunca son perfectos. Pero supongo que soy optimista en cuanto a que la gente podrá mantener ese debate.

Emmet: Bueno, es por eso que me cuesta conectarme personal y emocionalmente con el ángulo fatalista, porque una cierta cantidad de esto sucederá sin importar lo que digas o hagas de ahora en adelante.

Fergal: ¿Para superinteligencia? Porque estoy feliz de representar el ángulo fatalista para la superinteligencia.

"No existe ningún escenario en el que los coches autónomos maten a todos"

Emmet: Oh, está bien. Así que distingamos entre los coches autónomos, que no requieren superinteligencia, y algunos momentos de ciencia ficción superinteligentes. Percibo una mentalidad fatalista incluso en el aspecto no superinteligente de esto.

Fergal: Sí. Tienes que diferenciar entre los dos. Hay mucha gente que es increíblemente escéptica, cínica y pesimista respecto, por ejemplo, de los coches autónomos. Y luego hay otras personas que se mostrarán cínicas y pesimistas acerca de la inteligencia general o la superinteligencia, pero creo que hay que separar las dos. Todo el mundo piensa que es racional, pero yo diría que existe un argumento racional para ser cautelosos con la superinteligencia. No existe ningún escenario en el que los coches autónomos maten a todos. Pero creo que hay escenarios plausibles en los que la gente inventa la superinteligencia, todo sale mal y literalmente mata a todos. No digo que eso sea probable. Hay personas que dicen que ese es el escenario predeterminado y, en mi opinión, tienen argumentos convincentes, pero no digo que sea probable. Pero no creo que se pueda decir que sea imposible. La superinteligencia es potencialmente súper peligrosa. Y entonces, creo que es un estado de locura. Incluso el último minuto de esta conversación es una locura.

Emmet: Sí, es salvaje. Y volviendo a lo que dijimos al principio, es lo más importante, pero es muy amorfo. Sólo estamos tratando de abrirnos camino hacia ello.

Fergal: Da miedo incluso pensar o hablar de ello. Creo que la gente se autocensura mucho. Los académicos se autocensuran.

Emmet: Claro, por miedo a equivocarme.

Fergal: Miedo a equivocarse y los incentivos que eso genera. Pero también, incluso a nivel humano, es como, “Mierda, ¿en serio? Estás hablando de una tecnología tan grande”. Mencionaste a Oppenheimer en tu podcast anterior. Si crees que eso sucederá, y si crees en la superinteligencia, es claramente una tecnología con un nivel de poder similar al de las armas nucleares. O, yo diría, sustancialmente por encima de ese poder. Hay un argumento desastroso sobre los coches autónomos y yo, personalmente, no me lo tomo en serio. Tal vez sea arrogante de mi parte, pero no existe ningún escenario en el que los coches autónomos maten a todo el mundo.

Desenredando la ética de la IA

Emmet: Creo que a lo que estamos llegando aquí es que toda la conversación sobre AGI o superinteligencia es muy diferente de la conversación sobre el estándar pantanoso, lo que tenemos o...

Fergal: ética de la IA.

Emmet: … lo que mejoramos un poco, pero incluso en los próximos cinco años, no llegamos a lo siguiente. Eso es más bien una ética fundamental de la IA: todo lo relacionado con la desinformación y cosas así con las que tenemos que lidiar de todos modos.

Fergal: Creo que es un accidente de la historia y tal vez un accidente peligroso de la historia que estas dos conversaciones se confundan tanto. Ahora, esa es sólo una perspectiva. Hay perspectivas alternativas. Las personas que hoy trabajan en la ética de la IA dirán: “Oh, no, esta superinteligencia está absorbiendo todo el oxígeno de la habitación. Los daños teóricos futuros distraen la atención de los daños reales actuales”. Pero si crees que los daños futuros no son teóricos y que la magnitud es mucho mayor, debería atraer mucha atención, ¿sabes?

"No estoy diciendo que no debamos intentar adelantarnos a esto de ninguna manera, pero será mucho más difícil de abordar que algunos de los problemas más tangibles e inmediatos que tenemos".

Emmet: Déjame intentar presentar un caso alternativo. Sí, por supuesto, ese es el gran premio/amenaza/peligro. Sin embargo, es tan desconocido e incognoscible para nosotros... Permítanme ser rumsfeldiano por un momento: hay cosas conocidas, cosas desconocidas y cosas desconocidas. Y cuando pienso en superinteligencia, son incógnitas desconocidas: "Déjame leer algo de ciencia ficción y soñar con lo que podría pasar". Mientras que tenemos mucho trabajo por delante que podríamos hacer, y tal vez confundir la conversación entre esos niveles de IA sea muy contraproducente. Aunque eso es lo que más asusta, es algo binario si va a suceder o no. Y no estoy diciendo que no debamos intentar adelantarnos a esto de ninguna manera, pero será mucho más difícil de abordar que algunos de los problemas más tangibles e inmediatos que tenemos.

Fergal: Sí, es intratable, pero existe una amenaza masiva mil veces mayor, y creo que la mayoría de la gente estaría de acuerdo con eso, pero con una probabilidad menor. Tal vez sea una amenaza 1000X o 10000X pero con una probabilidad 10X o 100X menor. Si estamos alineados en eso, es irresponsable no hablar de eso. Sólo porque sea intratable no significa que no vaya a venir y matarte.

Emmet: ¿O comenzamos a desarrollar un músculo para regular y discutir la regulación y promulgar la regulación para que estemos mejor preparados para lo intratable cuando llegue?

Fergal: Quizás, pero quizás sea demasiado lento. Hablamos de vehículos autónomos y de la ética de eso, y en todo hay costos y beneficios. Por eso, hay mucha gente en el mundo que diría: "Todo este asunto de la ética de la IA sobre nuestros sistemas actuales es importante, pero pequeño en comparación con la utilidad de los sistemas actuales". Pero la forma se vuelve muy diferente si hablamos de superinteligencia porque es una tecnología peligrosa de siguiente nivel.

Emmet: Te entiendo, pero sigo pensando que hay un camino que debemos evitar. Y también es un camino plausible. Seguimos por el camino que vamos y bueno, un experimento mental. Imagínese si hubiera una elección importante el próximo año y la inteligencia artificial y la desinformación se convirtieran en el hombre del saco de todo esto. La gente tiene un chatbot de Donald Trump en sus teléfonos con el que pueden hablar, y ese es un producto atractivo y entretenido. Apuesto a que veremos algo así. Y la opinión pública, la tormenta mediática y la politización sobre si esto es binariamente bueno o malo simplemente inundan todo el asunto y hacen mucho más difícil tener una conversación más importante.

"La idea es que hagamos ambas cosas y no estemos en una posición en la que digamos: 'Oye, los daños reales a corto plazo son lo único en lo que debemos centrarnos porque lo otro es nebuloso'".

Si llegamos a una etapa el próximo año en la que haya desinformación grave y cosas que tengan consecuencias reales para mucha gente (no las consecuencias de un colapso global que son posibles con el AGI, sino, para no minimizarlo, un solo accidente en algún lugar debido a un robot). coche o algo así, tenemos que prepararnos para tener conversaciones cada vez más maduras sobre este tema. Hay un camino estrecho que puedo imaginar para llegar allí, y probablemente muchos otros en los que lo arruinamos significativamente.

Fergal: Supongo que tienes que hacer ambas cosas, ¿verdad? La idea es que hagamos ambas cosas y que no estemos en una posición en la que digamos: "Oye, los daños reales a corto plazo son lo único en lo que debemos centrarnos porque lo otro es nebuloso", o que el futuro nebuloso La cosa es tan grande que no dedicamos tiempo a los daños a corto plazo. Presumiblemente, existe una cartera de esfuerzos óptimamente equilibrada.

Imagine que hay una organización en el mundo que realmente se preocupa por la ética y la seguridad de la IA. Esa organización probablemente debería dividir su enfoque en ambas cosas. ¿Pero cómo se hace esa división? Existe esta idea del atraco a Pascal en el que algo es tan grande, y yo digo: “Oye, tengo un AGI aquí. Probablemente no me creas, pero deberías darme todo tu dinero por si acaso. Porque de lo contrario, destruirá el mundo”. Es como, "Oh, vaya, esa consecuencia es tan grande que deberías hacer lo que te diga". Y esa es como la apuesta de Pascal, ¿verdad? Armado. Quiere evitar ese escenario, pero también quiere evitar un escenario en el que no observe la amenaza legítima.

Esto es algo difícil. Creo que las personas buenas y bien intencionadas que intentan mejorar el mundo, tanto a largo como a corto plazo, no estarán de acuerdo. Usted mencionó recientemente que la discusión es divisiva. A veces, la discusión más divisiva es cuando personas realmente buenas y bien intencionadas no están de acuerdo sobre las tácticas y terminan peleando entre sí. Es realmente difícil evitarlo.

Emmet: Lo obvio es que tenemos que hacer ambas cosas.

Regular el panorama de la IA

Emmet: Mencionaste las regulaciones de la UE que están entrando en vigor. ¿Estamos bien preparados para implementar regulaciones inteligentes, correctas y efectivas para las cosas de corto plazo de las que estoy hablando?

Fergal: No lo sé. No soy el experto adecuado para esto. He leído uno de los proyectos de ley de IA de la UE. Y hay muchas cosas buenas ahí y muchas cosas sensatas. Pero todavía es a nivel político, todavía se está debatiendo. Leí algunas enmiendas que parecían exageradas. No sé. Mira el RGPD. Parte del RGPD es genial, ¿verdad? Proteccion. Y luego algunas cosas son exageradas, como el consentimiento de cookies o el consentimiento del RGPD que se ve en todas partes. ¿Eso realmente ha hecho que el mundo sea mejor? Se podría decir: "Bueno, la teoría era buena, pero la implementación fue simplemente mala". Sí, pero eso importa. Parte del trabajo de una buena ley es que las consecuencias no sean malas.

“Independientemente de lo que pienses sobre esto, seguramente es mejor difundirlo al mundo mientras hay poco en juego para que podamos cometer errores y descubrir cosas”.

¿Cómo se desarrolla esto con la IA? Creo que tenemos que esperar y ver. Me alienta lo que estoy viendo en los EE. UU., donde se han comprometido con muchos de los laboratorios. Ha habido un compromiso bidireccional y una discusión real, y están comenzando a implementar una supervisión voluntaria de los entrenamientos fronterizos. Así que hasta ahora no se siente instintivo. Eso se siente bien.

Puede que sea ingenuo. Creo que la gente en los laboratorios de investigación de frontera está siendo bastante responsable con estas cosas. Les importa no caer por error en la superinteligencia. Están interactuando con los reguladores. Se puede imaginar otro mundo en el que deliberadamente contaminen el debate público y se establezcan en jurisdicciones que no pueden regularse. Creo que están sucediendo muchas cosas buenas y los cínicos dirán: "Oh, esto es solo el laboratorio de inteligencia artificial que intenta realizar una captura regulatoria". Estoy seguro de que no lo es. El beneficio de la captura regulatoria no pasa desapercibido para algunas personas en este espacio, pero creo que en su mayoría son buenos actores.

Emmet: Me imagino que una buena regulación también permite algunas escalas móviles o avances de un paso a otro. Independientemente de lo que pienses sobre estas cosas, seguramente es mejor sacarlas al mundo mientras hay poco en juego para que podamos cometer errores y descubrir cosas. Los niveles de vehículos autónomos probablemente proporcionen algo como esto en el que puedes decir: “Si estás en esta área, está bien para este nivel de autonomía. En esta zona no, o se requiere la intervención del conductor”. Aquí también estoy fuera de mi área de especialización, pero puedes imaginarlo en otras áreas. Comencemos con radiografías o escaneos de dedos rotos; la IA puede tomar eso. Pero en cualquier cosa como observar un tumor, tendremos múltiples capas, incluida la participación humana. Y tal vez vayas superando gradualmente esas etapas.

“La posición más fatalista o la posición peligrosa de la inteligencia general es que accidentalmente construyes algo mucho más poderoso antes de lo que esperas”

Fergal: Esto es lo que hacemos día a día cuando creamos productos de IA. Literalmente estamos trabajando en productos de inteligencia artificial en la bandeja de entrada en este momento tratando de hacer algo grande, y ahora estamos tratando de identificar: "No, eso fue demasiado ambicioso". Está bien. Casos más pequeños en los que definitivamente dará valor de forma segura. Este es nuestro trabajo diario. Está buscando formas de implementarlo donde definitivamente sea positivo y luego expandir ese tamaño. Y tengo que imaginar que gran parte de la buena adopción de la IA será así.

Una vez más, la posición fatalista o la posición peligrosa de la inteligencia general es que accidentalmente construyes algo mucho más poderoso antes de lo esperado. Realizas una carrera de entrenamiento más larga que es 10 veces más larga de lo que habías corrido antes y descubres que has entrenado algo que es 1000 veces más inteligente porque no se escaló de la manera que pensabas o porque obtuviste algún algoritmo nuevo o lo que sea. Ése es el escenario que realmente preocupa a la gente. Y creo que ese es un escenario del que hay que tener cuidado.

Pero, una vez más, incluso la gente está empezando a hablar de la Ley de IA de la UE: “Oh, si estás entrenando los mejores modelos, los más vanguardistas, tal vez tengas que registrarlo. Al menos hay que regularlo”. ¿Cómo se regula eso? Dios, no lo sé. Sería un trabajo duro. Pero al menos están pensando en ello.

haciendo sonar la alarma

Emmet: Imagina que estás trabajando en OpenAI o algo así, y hacemos este GPT-8 masivo entrenado en un corpus increíblemente enorme, y pasa este umbral que estás describiendo donde da miedo lo poderoso que es. ¿Qué crees que sucede en ese escenario? En primer lugar, ¿es más probable que esto suceda dentro de un laboratorio grande, del tipo que usted ya está describiendo, que quiera comportarse de manera responsable y esté comprometido con el gobierno, y en ese momento dirán: "Oye, dale". el gran botón rojo, sucedió. Hablemos sobre dónde llevar esto a continuación”. ¿Se vuelve ampliamente accesible para una amplia gama de personas de manera rápida y repentina, o podría estar contenido en un laboratorio una vez que haya sucedido, y luego podemos hablar sobre cómo manejar este material con mucho cuidado?

“Alguien ha entrenado el modelo, ¿qué pasa después? Tengo que esperar que la gente que entrena estas cosas dé la alarma”.

Fergal: Hay muchas cosas ahí, y este es definitivamente un escenario de mierda en el que terminaste entrenando algo. Ése es un escenario de ciencia ficción, pero tal vez no esté tan lejos. ¿Quién sabe? Pero es como si hubieras entrenado a algo que quizás sea mucho más inteligente que tú. Está en su laboratorio. ¿Qué pasa después? Creo que la gente quiere evitar este escenario, y supongo que el juego aquí es que a medida que la gente se acerca al entrenamiento de estas cosas, pueden verlo venir. Ven que esto se está acercando a la inteligencia humana. Con suerte, probablemente no esté consciente. Hay todo tipo de cosas éticas si pensabas que era consciente, pero supongamos que tienes una entidad inconsciente pero inteligente. ¿Qué pasa después?

Si esta es la forma en que se desarrolla la tecnología, el laboratorio privado parece un mejor lugar para encontrar esto que algún proyecto militar de operaciones encubiertas. Para las personas que dicen: "Necesitamos detener todos los entrenamientos ahora", eso significa que primero encontrarán esto en un contexto militar. Y no sé si eso sería mejor para la gente, de verdad. Quizás ese sea mi escepticismo. Pero sí, alguien entrenó al modelo, ¿qué pasa después? Tengo que esperar que la gente que entrena estas cosas dé la alarma. Y creo que lo harán. Lo bueno de que los laboratorios de investigación industrial hagan esto es que creo que filtrarán cosas. Y creo que por eso es realmente importante que no se haga en el contexto militar porque no existe una cultura del secreto. Incluso Apple, la más secreta de las grandes empresas de tecnología, sospecho que si tuvieran alguna cosa loca de IA, te enterarías, ¿verdad? Google definitivamente lo haría.

Emmet: Cuando dices filtración, ¿te refieres al estilo de denunciante, como "¿Hemos creado esto?", o te refieres al modelo.

Fergal: No, no me refiero a filtrar el modelo en sí.

“Imagínese que vive en un mundo con una peligrosa proliferación de AGI. ¿Cómo se controla la proliferación? Ese es un mundo completamente diferente”

Emmet: Eso pasó, ¿verdad? Facebook entregó su modelo de código abierto a algunos investigadores, alguien lo filtró y estuvo disponible en Internet.

Fergal: Sí. Bueno, esta es otra conversación completamente diferente. Imagine que vive en un mundo con una peligrosa proliferación de AGI. ¿Cómo se controla la proliferación? Ese es un mundo completamente diferente. De repente es como, "Hombre, desearía que fuera en un contexto militar". Pero incluso si nos fijamos en el Proyecto Manhattan, los rusos tenían espías que transfirieron tecnología del Proyecto Manhattan a su programa de armas. Seguramente los estados nacionales están pensando en este tipo de cosas en este momento.

Emmet: Absolutamente. Hay algo positivo que se puede sacar del hecho de que, contra todo pronóstico, hace casi 80 años o algo así, alguien estaba sentado teniendo una versión de la conversación que estamos teniendo ahora, y creo que probablemente se sorprendería gratamente. escuchar que si avanza rápidamente hasta 2023, no ha ido más allá del uso original.

Fergal: También hay un sesgo antrópico y una sombra antrópica. Hay todo tipo de propiedades estadísticas interesantes. Esto realmente no se aplica al intercambio nuclear, pero, hasta donde puedes ver, cosas que pueden destruir el mundo nunca suceden en tu línea de tiempo.

Emmet: Correcto. Esta es la ecuación de Drake aplicada a la vida en la Tierra. ¿Por qué el mundo nunca se ha acabado mientras yo he vivido en él?

Fergal: Sí. Y el sesgo antrópico aparece en la ecuación de Drake. Los humanos tienden a subestimar la prevalencia de los asteroides destructores de planetas porque las otras especies que fueron impactadas por asteroides destructores de planetas no están en nuestra línea de tiempo de la historia. Si quieres empezar a razonar a ese nivel…

Emmet: Y entonces, llévame eso al tema de la IA.

"Tal vez la IA sea una tecnología nueva y loca y vamos a contar con personas, personas en las políticas públicas y personas en los laboratorios de IA para que den un paso adelante para gestionar esto bien".

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Puede ser que esté equivocado. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. ¿Usted sabe lo que quiero decir?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. Es dificil. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. Eso es todo.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet: En cierto nivel, desde la primera herramienta (si miras 2001: Una odisea en el espacio , donde recoge el hueso), las herramientas han tenido el potencial de usarse para hacer algo o lastimar a alguien. Y potencialmente estamos llegando al punto en el que la herramienta es más poderosa que cualquier otra cosa antes de que aparezca. Y es simplemente la articulación más aguda de la dualidad de que cualquier cosa puede tener usos positivos o negativos. Depende de nosotros. ¿O finalmente hemos sido engañados por las herramientas hasta tal punto que no podemos mantenerlo en secreto?

Fergal: Supongo que depende de nosotros como ciudadanos y democracias. No sé si la pequeña democracia en la que estamos tendrá mucho papel aquí. Depende mucho de las personas que trabajan en los laboratorios de investigación. Creo que la sociedad civil necesita entender estas cosas. Este es un tipo diferente de herramienta. Es, al menos, la clase de herramientas más complicada y peligrosa. Y hay ciertas cosas que podrían suceder aquí y que son bastante descabelladas. Miro a los niños que comienzan la escuela y no sé en qué mundo vivirán si se desarrollan esos escenarios salvajes. Nuevamente, debemos reconocer que existen otros escenarios. Pero sí, espero pronto una gran reacción de la sociedad en general.

“Hay cuestiones éticas que deben sopesar, pero hay una posición muy coherente en la que no se puede ignorar esto. Esto viene”

Emmet: ¿ Te sentirías un poco aliviado si simplemente disminuyeras la velocidad?

Fergal: Quiero decir, me decepcionaría. Me encantaría que fuera más lejos antes de que disminuyera. Pero sí creo que nos daría a todos más tiempo para adaptarnos a las amenazas. En este punto, si alguien estuviera viendo esto, diría: "Dios mío, tenemos que prohibir todo el material de IA". Y eso es algo muy razonable. Pero sí creo que existe este tipo de beneficio estratégico teórico loco al encontrar estas cosas temprano y rápido. Esto está impulsando a mucha gente del laboratorio de investigación a trasladar la tecnología al presente para que podamos abordarla cuando sea temprano. Y creo que estas cosas son casi imposibles de prohibir. No siempre estoy de acuerdo con ellos, pero tengo mucho respeto por muchos de los actores en laboratorios de investigación como OpenAI que piensan en esto porque creo que es algo increíblemente irresponsable. Hay cuestiones éticas que deben sopesar, pero hay una posición muy coherente en la que no se puede ignorar esto. Esto viene. Tienes que elegir cuándo lidiarás con ello.

Emmet: Y ser parte de la solución del problema desde adentro en lugar de esconder la cabeza en la arena. Quiero decir, más poder para esas personas y las personas responsables de regular. Deberíamos apoyarlos y exigirles responsabilidades.

Fergal: La materia prima aquí es la computación. La computación está en todas partes. Tenemos computadoras por todas partes. No es que sea uranio y puedas controlar el uranio. Desea encontrarlo cuando necesita una gran cantidad de cálculo centralizado. Entonces, al menos será regulable durante un período de tiempo.

Emmet: Definitivamente quiero volver a comprobarlo. Gracias, Fergal.

Fergal: Buena charla. Gracias, Emmet.