O surgimento da IA ​​superinteligente

Estamos começando a construir sistemas de IA que possam compreender as coisas. Onde isso para?

A IA superinteligente não é um tópico novo. Mas durante décadas, esteve principalmente confinado a cenários hipotéticos em artigos académicos ou nas páginas de ficção científica, com os seus contos futuristas de revoltas de robôs e cenários de fim do mundo. E, no entanto, à medida que a tecnologia da IA ​​avança, este conceito outrora divertido, onde um sistema de IA começa a melhorar a sua própria inteligência recursivamente até ao ponto em que eventualmente ultrapassa a inteligência humana, está cada vez mais perto do limiar da realidade. De repente, a conversa fica muito mais séria.

Alguns pesquisadores de organizações como o Instituto Max Planck para o Desenvolvimento Humano, o Instituto de Pesquisa de Inteligência de Máquinas e até mesmo a OpenAI afirmam que será extremamente desafiador – ou até mesmo impossível – contê-los quando chegar a esse ponto. E esse ponto pode não estar tão longe de acontecer.

Sempre e sob qualquer forma que cheguem, os sistemas de IA superinteligentes serão verdadeiramente revolucionários, impactando tudo, desde o mercado de trabalho e a economia até a biologia e a medicina. No entanto, também representam um profundo risco existencial para a humanidade, o que levanta algumas questões sérias – quão perto está de acontecer? Estamos preparados para lidar com isso? E como você começa a regulá-lo?

Neste episódio, nosso Diretor Sênior de Aprendizado de Máquina, Fergal Reid, se junta a Emmet Connolly, nosso VP de Design de Produto, para enfrentar a superinteligência de frente – o conhecido e o desconhecido, da ética às ameaças e aos desafios da regulamentação.

Aqui estão algumas das principais conclusões:

• A integração da IA ​​em áreas como os carros autónomos levanta dilemas éticos, mas é importante distinguir entre isso e a superinteligência, que é potencialmente muito mais perigosa.
• Equilibrar o nosso foco entre as preocupações imediatas da IA ​​e as ameaças da superinteligência é crucial – os riscos de hoje não devem eclipsar os potenciais danos futuros, mesmo que sejam mais difíceis de compreender
• É incrivelmente desafiador regular a IA. A regulamentação excessiva pode reduzir os seus benefícios, mas é importante que os laboratórios fronteiriços se envolvam com os reguladores para promover o desenvolvimento e a adoção responsáveis.
• Embora as aplicações de IA não perigosa devam manter a abordagem “agir rapidamente e quebrar as coisas”, os laboratórios de pesquisa que treinam modelos de fronteira devem ser rigorosamente regulamentados.
• Ignorar os benefícios potenciais da IA ​​e ao mesmo tempo enfatizar excessivamente os riscos contribui para um debate improdutivo que pode impedir o progresso. No geral, esta tecnologia tem um peso líquido positivo.

Se você gostou da nossa discussão, confira mais episódios do nosso podcast. Você pode acompanhar Apple Podcasts, Spotify, YouTube ou pegar o feed RSS no player de sua preferência. O que se segue é uma transcrição levemente editada do episódio.

Para o desconhecido

Fergal Reid: Esta é outra de nossas conversas livres. Estávamos nos preparando um pouco e você disse: “Superinteligência é o mais interessante–”

Emmet Connolly: E quanto à ideia de que a superinteligência poderia mudar completamente a nossa sociedade, talvez da noite para o dia, e que estaríamos totalmente despreparados para lidar com ela? Você estava dizendo que ninguém sabe e que isso pode acontecer nos próximos anos. Essa é a maior coisa sobre a qual poderíamos escolher falar. Mas a dificuldade que tenho com isso é que é tudo opaco. Pode demorar dois anos, pode demorar alguns anos ou 200 anos. É a maior coisa, mas é a maior incógnita.

Fergal: Ok, vamos entrar nisso. Vamos fazer essa coisa de superinteligência de frente. Vamos tentar conversar sobre o que sabemos e o que não sabemos. Vamos errar muito. Como eu enquadraria isso? Isso está um pouco na minha cabeça. Agora, é intratável. É difícil agarrar. O que nós sabemos? Há todo esse hype, certo? “Oh, vai ser uma loucura; a superinteligência chegará em breve.” E os chamados destruidores afirmam que, por padrão, isso vai matar todos nós. E já tocamos nisso um pouco no passado. E então, há outras pessoas que dizem: “Oh, isso é tudo besteira. Isso é como se preocupar com a superpopulação em Marte.”

“Construímos coisas que começam a entender as coisas. Onde isso para?

Andrew Ng, o famoso pesquisador, disse isso e, há uma ou duas semanas, parece ter mudado de perspectiva. Ele tem este boletim informativo, e nele ele não tocou na superinteligência, mas disse: “Oh, esses sistemas estão começando a entender e raciocinar sobre as coisas”. Ele mencionou o Othello-GPT, do qual já falamos antes, onde você treina essa coisa em trechos de jogos Othello – apenas as sequências de movimentos em um jogo de tabuleiro – e parece começar a aprender coisas fundamentais sobre o jogo de tabuleiro e o layout do tabuleiro. Ele achou isso convincente. E também acho isso convincente. E assim, algumas pessoas que diziam que a superinteligência está a milhões de quilómetros de distância estão agora a mudar um pouco de opinião. Pessoas que diziam que a IA não entende nada estão mudando um pouco de opinião.

Construímos coisas que começam a entender as coisas. Onde isso para? Uma coisa que sinto fortemente é que não é ridículo falar sobre coisas cada vez mais inteligentes e mais espertas que os humanos. E isso é uma mudança. Quatro ou cinco anos atrás – dois anos atrás? – Eu estaria totalmente no campo de Andrew Ng: “Sim, é divertido pensar nisso e gosto de ler ficção científica, mas não há caminho. Não vemos nenhum caminho lá. Não há evidências de que qualquer caminho que vemos funcione.” Agora, há um monte de evidências de que isso pode chegar lá. Isso é algo que aprendemos. Isso é algo que mudou no mundo.

Emmet: E parece algo que podemos rastrear. O que estou entendendo do que você está insinuando é que o raciocínio é um passo necessário para a superinteligência ou inteligência artificial geral (AGI) ou qualquer outra coisa. E quanto mais capacidades de raciocínio forem exibidas aqui, maior será a probabilidade de chegarmos à AGI. E então, para uma dimensão da minha incapacidade de compreender qualquer coisa tangível, você está dizendo que acha que a confiança aumentará coletivamente com o tempo?

“Pela primeira vez, não sabemos realmente qual é o truque. E pode não haver um truque. Pode ser real. Isto é inteligente, ou, pelo menos, o truque é igualmente bom para a inteligência humana”

Fergal: Sim, quero dizer, você vê mais dados e atualiza sua visão de mundo. Se você vive em um mundo sem nenhum sistema de inteligência, deveria ser mais cético quanto à construção de superinteligência. E à medida que o nível de inteligência dos sistemas no mundo aumenta, vocês deveriam ficar mais abertos à ideia de que chegaremos a algo superinteligente. Isso é muito simples.

Lembro-me de aprender como funciona a IA do xadrez. Lembro-me da partida de xadrez entre Deep Blue e Kasparov em 1997 (há uma música do Arcade Fire sobre isso). Meu avô jogava xadrez e me ensinou a jogar xadrez quando criança. Ele ficou realmente chocado e surpreso com Deep Blue porque Kasparov era um enorme gênio mental humano, e Deep Blue o venceu. “Como isso pode ser? Isso significa que as máquinas são tão inteligentes quanto nós?” E isso foi uma grande conquista técnica. Mas foi fundamentalmente um bom truque. Quando você aprende como uma IA de xadrez funciona nos bastidores, é Minimax ou Negamax. É um algoritmo de pesquisa bastante simples. É preciso ter alguma ideia se o estado do tabuleiro é melhor ou pior – se eu tiver muitos peões e uma rainha e não estiver em xeque, é um simples cálculo do valor das peças de xadrez.

Mas então, ele simplesmente faz uma grande quantidade de pesquisas. Se eu mudar para cá e você para lá e eu para lá… Existem algumas técnicas inteligentes para tornar a busca mais eficiente, mas é basicamente computação bruta. É apenas fazer uma tonelada de cálculos. E então, quando você aprende isso, de repente, é decepcionante. De repente, é como se “Deep Blue não fosse uma máquina pensante. Foi simplesmente muito inteligente-”

Emmet: Calculadora.

Fergal: … calculadora, certo. Um grande sistema mecânico que calculava em massa. Com a história da IA, você sempre fica realmente impressionado até aprender o truque. Mas agora, pela primeira vez, não sabemos realmente qual é o truque. E pode não haver um truque. Pode ser real. Isto é inteligente, ou, pelo menos, o truque é igualmente bom para a inteligência humana.

“O Deep Blue não era mais inteligente que Kasparov, mas de uma forma bastante inteligente, eles implantaram o aspecto de cálculo de força bruta de sua inteligência em uma tarefa que o tornou melhor a ponto de poder vencer”

Emmet: Ou reflete alguma lei universal da teoria da informação subjacente, quase semelhante à física, ou como a informação funciona quando você junta grandes quantidades dela.

Fergal: Não sei se optaria pela teoria da informação, mas acho que a ideia de que talvez um sistema simples teria dado poder expressivo, e quando você coloca informações suficientes, ela começa a ficar inteligente.

Emmet: Então o Deep Blue não era mais inteligente que Kasparov, mas de uma forma bastante inteligente, eles implantaram o aspecto de cálculo de força bruta de sua inteligência em uma tarefa que o tornou melhor a ponto de poder vencer. Então, acho que vocês dois podem dizer: “Deep Blue não é mais inteligente que Garry Kasparov” e podem dizer: “Deep Blue pode vencer Garry Kasparov no xadrez” ou “É melhor que humanos em uma tarefa”.

IA assume o volante

Emmet: Isso me leva a pensar sobre como pensamos sobre essas coisas. A reação emocional que você estava descrevendo que seu avô teve… Se olharmos para frente e virmos carros autônomos, que têm borbulhado em segundo plano durante ou mesmo antes de qualquer coisa do LLM realmente vir à tona. Existe aquela questão emocional de “O que queremos destes sistemas?” Talvez eu esteja fugindo do assunto AGI aqui, mas vamos dar uma olhada nos carros. O que queremos deles ou como vamos responder à integração que aí existe? Porque temos um sistema imperfeito neste momento – mais de um milhão de mortes nas estradas por ano causadas por erro humano. Se substituirmos isso por um sistema de IA que só causou meio milhão de mortes nas estradas por ano, será que… quero dizer, é muito difícil, de um ponto de vista puramente ético e de análise de números, não…

Parece-me que isso é como o problema do carrinho de IA em grande escala. O problema do carrinho de IA é um problema local “Que decisão você toma?” Mas temos esta decisão a nível social: “Vamos aceitar a sensação desagradável que surge quando os carros são conduzidos por robôs, mesmo que sejam falíveis, mesmo que essa falibilidade seja menos falível do que os condutores humanos?”

“Se – e este é um grande se – levarmos os carros autônomos ao ponto em que uma máquina agora mata você onde um humano costumava matá-lo, mas mata muito menos, acho que a maioria das pessoas ficaria bem com isso ”

Fergal: Acho que provavelmente iremos. Existe obviamente um potencial para o fracasso regulamentar e político, mas as pessoas aceitam essas compensações o tempo todo. Eles simplesmente não falam muito sobre eles porque é politicamente imprudente fazê-lo. Todo país desenvolvido possui um sistema médico que avalia o custo e o benefício de um medicamento. E para o bem ou para o mal, eles fazem isso. E acho que isso é uma coisa boa a se fazer. E eu entendo que isso seja politicamente difícil de defender, mas se não o fizermos, mais pessoas morrerão.

Emmet: As pessoas debatem isso, mas muito poucas pessoas escolhem viver num país onde essas regulamentações não fornecem grades de proteção e barreiras de segurança para todos os tipos de aspectos de suas vidas. Então sim, eu concordo com você.

Fergal: Sim, é isso. E, felizmente, eles fazem um bom trabalho, mas têm de tomar este tipo de decisões de vida ou morte sobre quais medicamentos serão disponibilizados. As sociedades fazem isso. E tenho de imaginar que, na ausência de algum fracasso político, se - e este é um enorme se - levarmos os carros autónomos ao ponto em que, sim, uma máquina agora mata onde um humano costumava matar, mas mata você muito menos, acho que a maioria das pessoas concordaria com isso.

Emmet: Não sei. De um ponto de vista puramente lógico, se você analisar os números, será difícil encontrar uma falha lógica no que acabou de dizer. Mas acho que, ao contrário da regulamentação das drogas, que é como o zumbido de fundo da vida e do viver, você escolhe entrar em um carro que dirige sozinho ou não. E acho que essa decisão será muito mais pessoal para muitas pessoas do que algumas dessas regulamentações que são menos tangíveis na sua vida cotidiana. Acho que será isso que poderá acabar excessivamente politizado, tornando a regulamentação realmente difícil de alcançar e prejudicando-nos mais do que qualquer coisa.

Fergal: Quer dizer, olhe, eu sei que isso vai se tornar político, mas olhe para a energia nuclear. A energia nuclear polui menos carbono do que outras coisas. E é uma discussão complicada sobre o lado negativo. Quando há um colapso nuclear é extremamente caro. Esse é um problema estatístico difícil. Mas muitos tecnólogos sentiriam que a discussão em torno da energia nuclear não era a mais racional retrospectivamente. Quando eu era criança, tinha medo da energia nuclear. Muitos de nós na década de 80 tínhamos medo de coisas nucleares. Mas talvez isso seja um exemplo de fracasso político.

Definitivamente, há um grande grupo de tecnólogos que pensam: “O debate em torno da superinteligência causará uma regulamentação excessiva da IA ​​e haverá muitos benefícios humanos que perderemos”. Essa é uma regulamentação automática. Talvez algo semelhante aconteça com os carros autônomos, onde chegaremos ao ponto em que eles são melhores, mas então há uma falha política que acaba impedindo-os de serem implantados até que estejam perfeitos, e eles nunca são perfeitos. Mas acho que estou otimista de que as pessoas poderão ter esse debate.

Emmet: Bem, é por isso que eu luto para me conectar pessoal e emocionalmente com o ângulo destruidor disso, porque uma certa parte disso vai acontecer, não importa o que você diga ou faça daqui em diante.

Fergal: Para superinteligência? Porque estou feliz em representar o ângulo destruidor da superinteligência.

“Não há cenário em que carros autônomos matem todo mundo”

Emmet: Ah, ok. Portanto, vamos distinguir entre carros autônomos, que não requerem superinteligência, e alguns momentos superinteligentes de ficção científica. Percebo uma mentalidade condenatória até mesmo no aspecto não superinteligente disso.

Fergal: Sim. Você tem que diferenciar entre os dois. Há muitas pessoas que são incrivelmente céticas, cínicas e pessimistas em relação, digamos, aos carros autônomos. E há outras pessoas que serão cínicas e pessimistas em relação à inteligência geral ou à superinteligência, mas acho que é preciso separar as duas. Todo mundo pensa que é racional, mas eu diria que existe um argumento racional para sermos cautelosos em relação à superinteligência. Não há cenário em que carros autônomos matem todo mundo. Mas penso que existem cenários plausíveis em que as pessoas inventam a superinteligência, tudo corre mal e literalmente mata toda a gente. Não estou dizendo que isso seja provável. Há pessoas que dizem que esse é o cenário padrão e têm argumentos convincentes, na minha opinião, mas não estou dizendo que seja provável. Mas não acho que você possa dizer que é impossível. A superinteligência é potencialmente superperigosa. E então, acho que é uma loucura estar nesse estado. Até o último minuto dessa conversa é uma loucura.

Emmet: Sim, é selvagem. E voltando ao que dissemos no início, é a coisa mais importante, mas é tão amorfo. Estamos apenas tentando entrar nisso.

Fergal: É assustador até pensar ou falar sobre isso. Acho que as pessoas se autocensuram muito. Autocensura acadêmica.

Emmet: Certo, por medo de estar errado.

Fergal: Medo de estar errado e os incentivos em torno disso. Mas também, mesmo no nível humano, é como: “Merda, sério? Você está falando sobre a tecnologia que é tão grande.” Você mencionou Oppenheimer em seu podcast anterior. Se você acredita que essas coisas vão acontecer, e se você acredita na superinteligência, é claramente uma tecnologia com um nível de poder semelhante ao das armas nucleares. Ou, eu diria, substancialmente acima desse poder. Há um argumento destruidor sobre carros autônomos e eu, pessoalmente, não levo isso a sério. Talvez isso seja arrogante da minha parte, mas não existe um cenário em que carros autônomos matem todo mundo.

Desvendando a ética da IA

Emmet: Acho que estamos chegando aqui é que toda a conversa sobre AGI ou superinteligência é muito diferente da conversa sobre o padrão do pântano, o que temos ou-

Fergal: Ética da IA.

Emmet: … o que melhoramos um pouco, mas mesmo nos próximos cinco anos, não chega ao próximo passo. Essa é mais a ética central da IA ​​– todas as coisas sobre desinformação e coisas assim com as quais temos que lidar de qualquer maneira.

Fergal: Acho que é um acidente da história e talvez um perigoso acidente da história que essas duas conversas fiquem tão confusas. Agora, essa é apenas uma perspectiva. Existem perspectivas alternativas. As pessoas que hoje trabalham com ética em IA dirão: “Ah, não, essa coisa de superinteligência está sugando todo o oxigênio da sala. Os danos teóricos futuros desviam a atenção dos danos reais de hoje.” Mas se você acredita que os danos futuros não são teóricos e que a magnitude é muito maior, isso deveria chamar muita atenção, sabe?

“Não estou dizendo que não devemos tentar avançar de forma alguma, mas será muito mais difícil de resolver do que alguns dos problemas mais tangíveis e imediatos que temos”

Emmet: Deixe-me tentar apresentar um caso alternativo. Sim, claro, esse é o grande prêmio/ameaça/perigo. No entanto, é tão desconhecido e incognoscível para nós... Deixe-me ser rumsfeldiano por um momento – existem conhecidos conhecidos, desconhecidos conhecidos e desconhecidos desconhecidos. E quando penso em superinteligência, são incógnitas: “Deixe-me ler um pouco de ficção científica e sonhar com o que pode acontecer”. Considerando que temos muito trabalho pela frente que poderíamos fazer, e talvez a confusão da conversa entre esses níveis de IA seja muito contraproducente. Embora essa seja a grande coisa assustadora, é meio binário se isso vai acontecer ou não. E não estou dizendo que não devemos tentar avançar nisso de forma alguma, mas será muito mais difícil de resolver do que alguns dos problemas mais tangíveis e imediatos que temos.

Fergal: Sim, é intratável, mas há uma ameaça enorme de 1.000 vezes, e acho que a maioria das pessoas concordaria com isso, mas com uma probabilidade menor. Talvez seja uma ameaça 1.000X ou 10.000X, mas com uma probabilidade 10X menor ou 100X menor. Se estamos alinhados nisso, é irresponsável não falar sobre isso. Só porque é intratável, não significa que não virá e matará você.

Emmet: Ou devemos começar a construir um músculo para regular e discutir a regulamentação e promulgar a regulamentação, para que estejamos mais bem preparados para a coisa intratável se e quando ela acontecer?

Fergal: Talvez, mas talvez seja muito lento. Conversamos sobre carros autônomos e a ética disso, e com tudo isso há custos e benefícios. E assim, há muitas pessoas no mundo que diriam: “Toda esta questão de ética da IA ​​sobre os nossos sistemas hoje é importante, mas pequena em comparação com a utilidade dos sistemas hoje”. Mas a forma fica muito diferente se você estiver falando de superinteligência, porque essa é uma tecnologia perigosa de próximo nível.

Emmet: Entendo, mas ainda acho que há um caminho que devemos evitar. E também é um caminho plausível. Continuamos no caminho que estamos seguindo e ei, um experimento mental. Imagine se houvesse uma eleição importante no próximo ano, e a IA e a desinformação se tornassem o bicho-papão de tudo isso. As pessoas têm um chatbot Donald Trump em seus telefones com o qual podem conversar, e esse é um produto atraente e divertido. Aposto que veremos algo assim. E a opinião pública, a tempestade mediática e a politização sobre se isto é binário bom ou mau apenas inundam tudo e tornam muito mais difícil ter uma conversa mais importante.

“A ideia é que façamos as duas coisas e não estejamos em uma posição em que pensemos: 'Ei, os danos reais de curto prazo são a única coisa em que devemos nos concentrar, porque a outra coisa é nebulosa'”

Se chegarmos a uma fase no próximo ano em que a desinformação grave e coisas que tenham consequências reais para muitas pessoas – não consequências de um colapso global que são possíveis com a AGI, mas, para não minimizá-la, um único acidente algures devido a um robô carro ou algo assim – temos que nos preparar para ter conversas cada vez mais maduras sobre essas coisas. Há um caminho estreito que posso imaginar para chegarmos lá, e provavelmente muitos outros onde bagunçamos significativamente.

Fergal: Acho que você tem que fazer as duas coisas, certo? A ideia é que façamos as duas coisas e não estejamos em uma posição em que pensemos: “Ei, os danos reais de curto prazo são a única coisa em que devemos nos concentrar, porque a outra coisa é nebulosa”, ou que o futuro é nebuloso. A coisa é tão grande que não perdemos tempo com os danos de curto prazo. Presumivelmente, existe algum portfólio de esforços perfeitamente equilibrado.

Imagine que existe uma organização no mundo que realmente se preocupa com a ética e a segurança da IA. Essa organização provavelmente deveria dividir seu foco em ambas as coisas. Mas como você faz essa divisão? Existe essa ideia do assalto de Pascal onde algo é tão grande, e eu fico tipo, “Ei, tenho um AGI aqui. Agora, você provavelmente não acredita em mim, mas deveria me dar todo o seu dinheiro, só para garantir. Porque caso contrário, isso destruirá o mundo.” É como, “Nossa, essa consequência é tão grande, você deveria fazer tudo o que eu disser”. E isso é como a aposta de Pascal, certo? Armado. Você deseja evitar esse cenário, mas também deseja evitar um cenário em que não observe a ameaça legítima.

Isso é difícil. Acho que pessoas boas e bem-intencionadas que tentam tornar o mundo melhor, tanto a longo como a curto prazo, irão discordar. Você mencionou recentemente que a discussão é divisiva. Às vezes, a discussão mais polêmica ocorre quando pessoas realmente boas e bem-intencionadas discordam sobre táticas e acabam brigando entre si. Isso é muito difícil de contornar.

Emmet: O óbvio é que precisamos fazer as duas coisas.

Regulando o cenário da IA

Emmet: Você mencionou os regulamentos da UE que estão entrando em vigor. Estamos bem preparados para implementar regulamentações inteligentes, corretas e eficazes para as questões de curto prazo de que estou falando?

Fergal: Não sei. Não sou o especialista certo para isso. Eu li um dos projetos da Lei de IA da UE. E há muitas coisas boas lá e muitas coisas sensatas. Mas ainda está no nível político, ainda está em debate. Li algumas alterações que pareciam exageradas. Não sei. Veja o GDPR. Algumas partes do GDPR são ótimas, certo? Proteção. E algumas delas são exageradas, como o consentimento de cookies ou o consentimento do GDPR que você vê em todos os lugares. Isso realmente tornou o mundo melhor? Você pode dizer: “Bem, a teoria era boa, mas a implementação foi simplesmente ruim”. Sim, mas isso importa. Parte da função de uma boa lei é que as consequências não sejam ruins.

“O que quer que você pense sobre essas coisas, certamente é melhor divulgá-las para o mundo enquanto os riscos são baixos, para que possamos cometer erros e descobrir coisas”

Como isso funciona com a IA? Acho que temos que esperar para ver. Estou encorajado com o que estou vendo nos EUA, onde eles se envolveram com muitos laboratórios. Tem havido um envolvimento bidirecional e uma discussão real, e eles estão começando a supervisionar voluntariamente os treinamentos de fronteira. Portanto, não parece instintivo até agora. Isso é bom.

Posso ser ingênuo. Eu meio que acho que as pessoas nos laboratórios de pesquisa de fronteira estão sendo bastante responsáveis ​​por essas coisas. Eles se preocupam em não tropeçar na superinteligência por engano. Eles estão interagindo com os reguladores. Você pode imaginar algum outro mundo onde eles poluem deliberadamente o debate público e se instalam em jurisdições que não podem ser regulamentadas. Acho que há muitas coisas boas acontecendo, e os cínicos dirão: “Oh, este é apenas o laboratório de IA tentando fazer a captura regulatória”. Tenho certeza que não. O benefício da captura regulatória não passa despercebido a algumas pessoas neste espaço, mas acho que são, em sua maioria, bons atores.

Emmet: Imagino que uma boa regulamentação também permita algumas escalas móveis ou progresso passo a passo. O que quer que você pense sobre essas coisas, certamente é melhor divulgá-las para o mundo enquanto os riscos são baixos, para que possamos cometer erros e descobrir coisas. Os níveis de carro autônomo provavelmente fornecem algo assim, onde você pode dizer: “Se você está nesta área, este nível de autonomia está bom. Nesta área, não, ou a intervenção do motorista é necessária.” Estou fora da minha área de especialização aqui também, mas você pode imaginar isso em outras áreas. Vamos começar com radiografias ou varreduras de dedos quebrados – a IA pode fazer isso. Mas com qualquer coisa como olhar para um tumor, teremos múltiplas camadas, incluindo envolvimento humano. E talvez você trabalhe gradualmente nesses estágios.

“A posição destruidora ou perigosa da inteligência geral é que você acidentalmente constrói algo muito mais poderoso antes do esperado”

Fergal: Isso é o que fazemos diariamente quando construímos produtos de IA. Estamos literalmente trabalhando em produtos de IA na caixa de entrada no momento, tentando fazer algo grande, e agora estamos tentando identificar: “Não, isso foi um pouco ambicioso demais”. Isso é bom. Casos menores onde com certeza dará valor com segurança. Este é o nosso trabalho diário. Você está procurando maneiras de implementar onde o resultado é definitivamente positivo e, em seguida, expandir esse tamanho. E devo imaginar que muitas boas adoções de IA acontecerão assim.

Novamente, a posição destruidora ou a posição perigosa da inteligência geral é que você acidentalmente constrói algo muito mais poderoso antes do esperado. Você faz um treinamento mais longo, 10 vezes mais longo do que você já correu antes, e descobre que treinou algo que é 1.000 vezes mais inteligente porque não foi dimensionado da maneira que você pensava ou porque você tem algum novo algoritmo ou algo assim. Esse é o cenário que realmente preocupa as pessoas. E acho que esse é um cenário a ser cauteloso.

Mas, novamente, até mesmo o pessoal da Lei de IA da UE está começando a falar: “Ah, se você está treinando os melhores modelos mais avançados, talvez você precise registrar isso. Você tem que regular isso pelo menos.” Como você regula isso? Deus, eu não sei. Isso seria um trabalho difícil. Mas pelo menos eles estão pensando nisso.

Soando o alarme

Emmet: Imagine que você está trabalhando em OpenAI ou algo parecido, e fazemos esse enorme GPT-8 treinado em um corpus incrivelmente grande, e ele ultrapassa esse limite que você está descrevendo, onde é assustador quão poderoso ele é. O que você acha que acontece nesse cenário? Em primeiro lugar, é mais provável que isso aconteça dentro de um grande laboratório, do tipo que você já está descrevendo, que deseja se comportar de forma responsável e está engajado com o governo, e nesse ponto, eles dirão: “Ei, acerte o grande botão vermelho, aconteceu. Vamos conversar sobre onde levar isso a seguir.” Será que ele se torna amplamente acessível a uma grande variedade de indivíduos de forma rápida e repentina, ou poderia ficar contido em um laboratório depois de acontecer, e então poderemos conversar sobre como manusear esse material com muito cuidado?

“Alguém treinou o modelo, o que acontece a seguir? Tenho esperança de que as pessoas que treinam essas coisas dêem o alarme”

Fergal: Tem muita coisa aí, e esse é definitivamente um cenário de merda onde você acabou treinando alguma coisa. Esse é um cenário de ficção científica, mas talvez não esteja tão distante. Quem sabe? Mas é como se você tivesse treinado algo que talvez seja muito mais inteligente que você. Está no seu laboratório. O que acontece depois? Acho que as pessoas querem evitar esse cenário, e acho que o jogo aqui é que, à medida que as pessoas se aproximam do treinamento dessas coisas, elas podem ver isso chegando. Eles veem que isso está se aproximando da inteligência humana. Espero que provavelmente não esteja consciente. Existem todos os tipos de coisas éticas se você pensasse que era consciente, mas vamos supor que você tenha uma entidade inconsciente, mas inteligente. O que acontece depois?

Se é assim que a tecnologia funciona, o laboratório privado parece um lugar melhor para encontrar isso do que algum projeto militar de operações secretas. Para as pessoas que dizem: “Precisamos interromper todos os treinamentos agora”, isso significa que vocês encontrarão isso primeiro em um contexto militar. E não sei se isso seria melhor para as pessoas, genuinamente. Talvez seja esse o meu ceticismo. Mas sim, alguém treinou o modelo, o que acontece a seguir? Tenho esperança de que as pessoas que treinam essas coisas dêem o alarme. E eu acho que eles vão. Uma coisa boa sobre os laboratórios de pesquisa industrial fazerem isso é que acho que eles vazarão coisas. E acho que é por isso que é realmente importante que isso não seja feito no contexto militar, porque não existe uma cultura de sigilo. Até a Apple, a mais secreta das grandes empresas de tecnologia, suspeito que se eles tivessem alguma coisa maluca de IA, você ouviria falar, certo? O Google definitivamente faria.

Emmet: Quando você diz vazamento, você quer dizer estilo denunciante, como, “Nós criamos isso?”, ou você quer dizer o modelo-

Fergal: Não, não me refiro a vazar o modelo em si.

“Imagine que você vive em um mundo com uma perigosa proliferação de AGI. Como você controla a proliferação? Esse é um mundo totalmente diferente”

Emmet: Isso aconteceu, certo? O Facebook divulgou seu modelo de código aberto para alguns pesquisadores, alguém vazou e ele ficou disponível na internet.

Fergal: Sim. Bem, esta é uma outra conversa. Imagine que você vive em um mundo com uma perigosa proliferação de AGI. Como você controla a proliferação? Esse é um mundo totalmente diferente. De repente é como: “Cara, eu queria que fosse num contexto militar”. Mas mesmo se olharmos para o Projecto Manhattan, os russos tinham espiões que transferiam tecnologia do Projecto Manhattan para o seu programa de armas. Certamente os Estados-nação estão a pensar neste tipo de coisas neste momento.

Emmet: Absolutamente. Há algo de positivo a ser tirado do fato de que, contra todas as probabilidades, há quase 80 anos ou algo assim, alguém estava sentado tendo uma versão da conversa que estamos tendo agora, e acho que provavelmente ficaria agradavelmente surpreso ouvir que se você avançar para 2023, não foi além do uso original.

Fergal: Há também preconceito antrópico e sombra antrópica. Existem todos os tipos de propriedades estatísticas interessantes. Isso realmente não se aplica ao intercâmbio nuclear, mas coisas que podem destruir o mundo nunca acontecem na sua linha do tempo, até onde você sabe.

Emmet: Certo. Esta é a equação de Drake aplicada à vida na Terra. Por que o mundo nunca acabou enquanto eu vivi nele?

Fergal: Sim. E o preconceito antrópico aparece na equação de Drake. Os humanos tendem a subestimar a prevalência de asteróides destruidores de planetas porque as outras espécies que foram atingidas por asteróides destruidores de planetas não estão na nossa linha do tempo da história. Se você quiser começar a raciocinar nesse nível…

Emmet: E traga isso de volta para a questão da IA ​​para mim então.

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. Você sabe o que eu quero dizer?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. É difícil. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. É isso.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet: Em algum nível, desde a primeira ferramenta – se você assistir 2001: Uma Odisséia no Espaço , onde ele pega o osso – as ferramentas têm o potencial de serem usadas para fazer algo ou machucar alguém. E estamos potencialmente chegando ao ponto em que a ferramenta que é mais poderosa do que qualquer outra antes de aparecer. E é apenas a articulação mais nítida da dualidade que qualquer coisa pode ter usos positivos ou negativos. Depende de nós. Ou será que finalmente fomos tão enganados pelas ferramentas que não conseguimos mantê-las em segredo?

Fergal: Acho que depende de nós como cidadãos e democracias. Não sei se a pequena democracia em que vivemos terá um papel importante aqui. Depende muito das pessoas que trabalham nos laboratórios de pesquisa. Penso que a sociedade civil precisa de se concentrar nesta questão. Este é um tipo diferente de ferramenta. Está, pelo menos, na classe de ferramentas mais complicada e perigosa. E há certas coisas que podem acontecer aqui que são bastante selvagens. Olho para as crianças começando a escola e não sei em que mundo elas viverão se esses cenários selvagens se concretizarem. Novamente, devemos reconhecer que existem outros cenários. Mas sim, espero uma grande reação da sociedade em geral em breve.

“Há questões éticas para eles avaliarem, mas há uma posição muito coerente onde você não pode simplesmente ignorar isso. Isso está chegando”

Emmet: Você ficaria um pouco aliviado se apenas diminuísse gradualmente?

Fergal: Quer dizer, eu ficaria desapontado. Eu adoraria se fosse mais longe antes de diminuir gradualmente. Mas penso que isso nos daria mais tempo para nos adaptarmos às ameaças. Nesse ponto, se alguém estivesse assistindo isso, diria: “Meu Deus, precisamos proibir todas as coisas de IA”. E isso é uma coisa muito razoável. Mas acho que há esse tipo de benefício estratégico teórico maluco em encontrar essas coisas cedo e rápido. Isso está levando muitas pessoas do laboratório de pesquisa a trazer a tecnologia para o presente, para que possamos lidar com ela quando for cedo. E eu acho que essas coisas são quase inbaníveis. Nem sempre concordo com eles, mas tenho muito respeito por muitos atores de laboratórios de pesquisa como o OpenAI que pensam sobre isso porque sinto que é uma coisa incrivelmente irresponsável de se fazer. Há questões éticas para eles avaliarem, mas há uma posição muito coerente onde você não pode simplesmente ignorar isso. Isso está chegando. Você tem que escolher quando vai lidar com isso.

Emmet: E fazer parte da solução do problema por dentro, em vez de colocar a cabeça na areia. Quero dizer, mais poder para essas pessoas e para as pessoas responsáveis ​​pela regulação. Devemos apoiá-los e responsabilizá-los.

Fergal: A matéria-prima aqui é a computação. A computação está em toda parte. Temos computadores em todos os lugares. Não é como se fosse urânio e você pudesse controlar o urânio. Você deseja encontrá-lo quando precisar de muita computação centralizada. Então, é pelo menos regulável por algum período de tempo.

Emmet: Eu definitivamente quero dar uma olhada nisso. Obrigado, Fergal.

Fergal: Bom papo. Obrigado, Emmet.