L’emergere dell’intelligenza artificiale superintelligente

Stiamo iniziando a costruire sistemi di intelligenza artificiale in grado di comprendere le cose. Dove si ferma?

L’intelligenza artificiale superintelligente non è un argomento nuovo. Ma per decenni è stato per lo più confinato a scenari ipotetici contenuti in documenti accademici o nelle pagine di fantascienza, con i suoi racconti futuristici di rivolte di robot e scenari di fine mondiale. Eppure, man mano che la tecnologia dell’intelligenza artificiale avanza, questo concetto, un tempo divertente, secondo cui un sistema di intelligenza artificiale inizia a migliorare ricorsivamente la propria intelligenza fino al punto in cui alla fine supera l’intelligenza umana, si sta avvicinando sempre di più alla soglia della realtà. All'improvviso la conversazione diventa molto più seria.

Alcuni ricercatori di organizzazioni come il Max Planck Institute for Human Development, il Machine Intelligence Research Institute e persino OpenAI affermano che sarà estremamente impegnativo – o addirittura impossibile – contenerli una volta raggiunto quel punto. E questo punto potrebbe non essere così lontano dall’accadere.

Qualunque sia il momento e la forma in cui arriveranno, i sistemi di intelligenza artificiale superintelligenti saranno davvero rivoluzionari, con un impatto su tutto, dal mercato del lavoro all’economia, dalla biologia alla medicina. Tuttavia, rappresentano anche un profondo rischio esistenziale per l’umanità, il che solleva alcune domande serie: quanto è vicino questo evento? Siamo attrezzati per affrontarlo? E come iniziare a regolamentarlo?

In questo episodio, il nostro direttore senior del machine learning, Fergal Reid, si unisce a Emmet Connolly, il nostro vicepresidente del design del prodotto, per affrontare frontalmente la superintelligenza: le cose conosciute e le incognite, dall'etica alle minacce e alle sfide della regolamentazione.

Ecco alcuni dei punti chiave:

• L’integrazione dell’intelligenza artificiale in settori come quello delle auto a guida autonoma solleva dilemmi etici, ma è importante distinguere tra questa e la superintelligenza, che è potenzialmente molto più pericolosa.
• Bilanciare la nostra attenzione tra le preoccupazioni immediate dell’IA e le minacce della superintelligenza è fondamentale: i rischi di oggi non dovrebbero eclissare i potenziali danni futuri, anche se sono più difficili da comprendere
• È incredibilmente difficile regolamentare l’intelligenza artificiale. L’eccessiva regolamentazione può ridurne i benefici, ma è importante che i laboratori di frontiera si impegnino con le autorità di regolamentazione per promuovere lo sviluppo e l’adozione responsabili.
• Mentre le applicazioni dell’intelligenza artificiale non pericolosa dovrebbero mantenere l’approccio “muoviti velocemente e rompi le cose”, i laboratori di ricerca che addestrano modelli di frontiera devono essere strettamente regolamentati.
• Trascurare i potenziali benefici dell’IA enfatizzando eccessivamente i rischi contribuisce a un dibattito improduttivo che può ostacolare il progresso. Nel complesso, questa tecnologia ha un peso netto positivo.

Se ti piace la nostra discussione, dai un'occhiata ad altri episodi del nostro podcast. Puoi seguire su Apple Podcasts, Spotify, YouTube o prendere il feed RSS nel tuo lettore preferito. Quella che segue è una trascrizione leggermente modificata dell'episodio.

Verso l'ignoto

Fergal Reid: Questa è un'altra delle nostre conversazioni a mano libera. Stavamo facendo un po' di preparazione e tu hai detto: "La superintelligenza è la cosa più interessante..."

Emmet Connolly: Che ne dici della convinzione che la superintelligenza potrebbe cambiare completamente la nostra società, forse da un giorno all'altro, e che saremmo totalmente impreparati per affrontarla? Stavi dicendo che nessuno lo sa e che potrebbe accadere entro i prossimi due anni. Questa è la cosa più importante di cui potremmo scegliere di parlare. Ma la difficoltà che ho è che è tutto opaco. Potrebbero volerci due anni, potrebbe non volerci un certo numero di anni, o addirittura 200 anni. È la cosa più importante, ma è anche l'incognita più grande.

Fergal: Ok, entriamo nel vivo. Facciamo questa cosa della superintelligenza a testa alta. Proviamo a parlare di ciò che sappiamo e di ciò che non sappiamo. Sbaglieremo molto. Come lo inquadrerei? Questo è stato un po' nei miei pensieri. Ora è intrattabile. È difficile afferrarlo. Cosa sappiamo? C'è tutto questo clamore, vero? “Oh, sarà pazzesco; la superintelligenza arriverà presto. E i cosiddetti catastrofisti affermano che, per impostazione predefinita, ci ucciderà tutti. E ne abbiamo parlato un po' in passato. E poi ci sono queste altre persone che dicono: “Oh, sono tutte stronzate. È come preoccuparsi della sovrappopolazione su Marte”.

“Abbiamo costruito cose che iniziano a comprendere le cose. Dove si ferma?"

Lo ha detto Andrew Ng, il famoso ricercatore, e poi una o due settimane fa sembra aver cambiato prospettiva. Ha questa newsletter e nella newsletter non ha toccato la superintelligenza, ma ha detto: "Oh, questi sistemi stanno iniziando a capire e ragionare sulle cose". Ha menzionato Othello-GPT, di cui abbiamo parlato prima, dove alleni questa cosa su frammenti di giochi di Othello – semplicemente le sequenze di mosse in un gioco da tavolo – e sembra che inizi a imparare cose fondamentali sul gioco da tavolo e sul disposizione del tabellone. Lo trovò convincente. E lo trovo convincente. E così, alcune persone che dicevano che la superintelligenza è a un milione di miglia di distanza, ora stanno cambiando un po' il loro tono. Le persone che dicevano che l’intelligenza artificiale non capisce nulla stanno cambiando un po’ il loro tono.

Abbiamo costruito cose che iniziano a capire le cose. Dove si ferma? Una cosa che sento fortemente è che non è ridicolo parlare di cose che diventano sempre più intelligenti e più intelligenti degli esseri umani. E questo è un cambiamento. Quattro o cinque anni fa – due anni fa? – Sarei totalmente dalla parte di Andrew Ng, “Sì, è una cosa divertente a cui pensare, e mi piace leggere la fantascienza, ma non c'è un percorso. Non vediamo alcun percorso lì. Non ci sono prove che il percorso che vediamo funzionerà”. Ora, ci sono molte prove che potrebbero arrivare lì. Questo è qualcosa che abbiamo imparato. Questo è qualcosa che è cambiato nel mondo.

Emmet: E sembra qualcosa che possiamo monitorare. Quello che capisco da quello che stai insinuando è che il ragionamento è un passo necessario verso la superintelligenza o l'intelligenza generale artificiale (AGI) o qualsiasi altra cosa. E che più capacità di ragionamento vengono mostrate qui, più è probabile che arriveremo all'AGI. E quindi, per una dimensione della mia incapacità di aggrapparmi a qualcosa di tangibile, stai dicendo che pensi che la fiducia si svilupperà collettivamente nel tempo?

“Per la prima volta, non sappiamo veramente quale sia il trucco. E potrebbe non esserci un trucco. Potrebbe essere reale. Questo è intelligente, o almeno il trucco è altrettanto valido dell’intelligenza umana”

Fergal: Sì, voglio dire, vedi più dati e aggiorni la tua visione del mondo. Se vivi in ​​un mondo privo di sistemi di intelligenza, dovresti essere più scettico riguardo alla possibilità di costruire una superintelligenza. E man mano che il livello di intelligenza dei sistemi nel mondo aumenta, dovresti diventare più aperto all'idea che arriveremo a qualcosa di superintelligente. È piuttosto semplice.

Ricordo di aver imparato come funziona l'intelligenza artificiale negli scacchi. Ricordo la partita a scacchi tra Deep Blue e Kasparov nel 1997 (c'è una canzone degli Arcade Fire a riguardo). Mio nonno giocava a scacchi e mi ha insegnato a giocare a scacchi da bambino. È rimasto davvero scioccato e sorpreso da Deep Blue perché Kasparov era un imponente genio mentale umano e Deep Blue lo ha battuto. "Come può essere? Questo significa che le macchine sono intelligenti quanto noi?” E questo è stato un grande risultato tecnico. Ma fondamentalmente era un buon trucco. Quando impari come funziona l'intelligenza artificiale degli scacchi nel profondo, è Minimax o Negamax. È un algoritmo di ricerca piuttosto semplice. Deve avere un'idea se uno stato della scacchiera è migliore o peggiore per lui: se ho molti pedoni e una regina e non sono sotto scacco, è un semplice calcolo del valore dei pezzi degli scacchi.

Ma poi, fa solo un'enorme quantità di ricerche. Se mi sposto qui e tu ti sposti lì e io mi sposto lì... Esistono alcune tecniche intelligenti per rendere la ricerca più efficiente, ma fondamentalmente si tratta di calcoli bruti. Si tratta solo di fare un sacco di calcoli. E così, quando lo impari, all'improvviso, è deludente. All'improvviso è come: “Deep Blue non era una macchina pensante. È stato davvero intelligente..."

Emmet: Calcolatrice.

Fergal: … calcolatrice, giusto. Un grande sistema meccanico che calcolava in massa. Con la storia dell'intelligenza artificiale, rimani sempre davvero impressionato finché non impari il trucco. Ma ora, per la prima volta, non sappiamo veramente quale sia il trucco. E potrebbe non esserci un trucco. Potrebbe essere reale. Questo è intelligente, o almeno il trucco è altrettanto valido dell’intelligenza umana.

"Deep Blue non era più intelligente di Kasparov, ma in un modo abbastanza intelligente, ha utilizzato l'aspetto del calcolo della forza bruta della sua intelligenza in un compito che lo ha reso migliore al punto da poter vincere"

Emmet: O il riflesso di qualche legge universale sottostante, quasi fisica, della teoria dell'informazione o di come funzionano le informazioni quando ne metti insieme grandi quantità.

Fergal: Non so se opterei per la teoria dell'informazione, ma immagino l'idea che forse un sistema semplice avrebbe dato potere espressivo, e quando inserisci abbastanza informazioni, inizia a diventare intelligente.

Emmet: Quindi Deep Blue non era più intelligente di Kasparov, ma in un modo abbastanza intelligente, hanno utilizzato l'aspetto del calcolo della forza bruta della sua intelligenza in un compito che lo ha reso migliore al punto da poter vincere. Quindi penso che entrambi possiate dire: "Deep Blue non è più intelligente di Garry Kasparov" e potete dire: "Deep Blue può battere Garry Kasparov a scacchi" o "È migliore degli umani in un compito".

L’intelligenza artificiale prende il comando

Emmet: Questo mi porta a pensare a come pensiamo a queste cose. La reazione emotiva che stavi descrivendo ha avuto tuo nonno... Se guardiamo avanti e vediamo le auto a guida autonoma, che sono rimaste in sottofondo durante o anche prima che le cose del LLM arrivassero davvero in prima linea. C'è quella cosa emotiva di "Cosa vogliamo da questi sistemi?" Forse mi sto allontanando dalle cose dell'AGI qui, ma diamo un'occhiata alle auto. Cosa vogliamo da loro o come risponderemo all’integrazione in quel paese? Perché al momento disponiamo di un sistema imperfetto: più di un milione di morti stradali all’anno causati da errori umani. Se lo sostituissimo con un sistema di intelligenza artificiale che portasse solo a mezzo milione di morti stradali all'anno, noi... voglio dire, è molto difficile, da un punto di vista puramente etico e di calcolo dei numeri, non...

Mi colpisce che questo sia come il problema del carrello dell’intelligenza artificiale in grande. Il problema del carrello dell’intelligenza artificiale è un problema locale: “Che decisione prendi?” Ma abbiamo questa decisione a livello sociale: "Accetteremo la brutta sensazione che deriva dalle auto guidate da robot, anche se sono fallibili, anche se quella fallibilità è meno fallibile dei guidatori umani?"

“Se – e questo è un se enorme – arrivassimo alle auto a guida autonoma al punto in cui una macchina ora ti uccide mentre prima ti uccideva un essere umano, ma ti uccide molto meno, penso che alla maggior parte delle persone andrebbe bene così”. "

Fergal: Penso che probabilmente lo faremo. Esiste ovviamente il rischio di un fallimento normativo e politico, ma le persone accettano sempre questi compromessi. Semplicemente non ne parlano molto perché è politicamente imprudente farlo. Ogni paese sviluppato ha un sistema medico che valuterà i costi e i benefici di un farmaco. E nel bene e nel male lo fanno. E penso che sia una buona cosa da fare. E capisco che sia politicamente difficile da difendere, ma se non lo fai, muoiono più persone.

Emmet: La gente ne discute, ma pochissime persone scelgono di vivere in un paese in cui tali normative non forniscono guardrail e barriere di sicurezza per tutti i tipi di aspetti della loro vita. Quindi sì, sono d'accordo con te.

Fergal: Sì, è così. E si spera che facciano un buon lavoro, ma devono prendere questo tipo di decisioni di vita o di morte su quali farmaci rendere disponibili. Le società lo fanno. E devo immaginare che, in assenza di qualche fallimento politico, se – e questo è un enorme se – arrivassimo alle auto a guida autonoma al punto in cui, sì, una macchina ora ti uccide dove prima ti uccideva un essere umano, ma uccide tu molto meno, penso che alla maggior parte delle persone andrebbe bene.

Emmet: Non lo so. Da un punto di vista puramente logico, se si analizzano i numeri, è difficile trovare un difetto logico in ciò che hai appena detto. Ma penso che, al contrario della regolamentazione dei farmaci, che è una specie di ronzio di sottofondo della vita e del vivere, si sceglie di salire su un'auto a guida autonoma o non a guida autonoma. E penso che questa decisione sarà molto più personale per molte persone rispetto ad alcune di quelle normative che sono meno tangibili nella vita di tutti i giorni. Penso che queste cose potrebbero finire per essere eccessivamente politicizzate, rendendo la regolamentazione davvero difficile da raggiungere e ostacolandoci più di ogni altra cosa.

Fergal: Voglio dire, guarda, so che la situazione diventerà politica, ma guarda l'energia nucleare. L’energia nucleare inquina meno carbonio di altre cose. Ed è una discussione complicata riguardo al lato negativo. Quando c'è una fusione nucleare è estremamente costosa. Questo è un problema statistico difficile. Ma molti tecnologi penserebbero che, retrospettivamente, la discussione sull’energia nucleare non fosse la più razionale. Quando ero bambino, avevo paura dell’energia nucleare. Molti di noi negli anni Ottanta avevano paura del nucleare. Ma forse questo è un esempio di fallimento politico.

C'è sicuramente un grande gruppo di tecnologi che pensano: "Il dibattito sulla superintelligenza causerà un'eccessiva regolamentazione dell'intelligenza artificiale e ci saranno molti benefici umani che perderemo". Questa è una regolamentazione istintiva. Forse qualcosa di simile accadrà con le auto a guida autonoma, dove arriveremo al punto in cui saranno migliori, ma poi c'è un fallimento politico che finirà per impedirne l'impiego fino a quando non saranno perfette, e non sono mai perfette. Ma credo di essere ottimista sul fatto che le persone saranno in grado di avere quel dibattito.

Emmet: Beh, questo è il motivo per cui faccio fatica a connettermi personalmente ed emotivamente con l'aspetto catastrofico perché una certa quantità di ciò accadrà, non importa quello che dici o fai da qui in avanti.

Fergal: Per la superintelligenza? Perché sono felice di rappresentare la prospettiva catastrofica della superintelligenza.

“Non esiste uno scenario in cui le auto a guida autonoma uccideranno tutti”

Emmet: Oh, va bene. Distinguiamo quindi tra le auto a guida autonoma, che non richiedono la superintelligenza, e alcuni momenti fantascientifici superintelligenti. Percepisco una mentalità catastrofica anche per l'aspetto non super-intelligente di tutto ciò.

Fergal: Sì. Devi distinguere tra i due. Ci sono molte persone che sono incredibilmente scettiche, ciniche e pessimiste riguardo, ad esempio, alle auto a guida autonoma. E poi ci sono altre persone che saranno ciniche e pessimiste riguardo all'intelligenza generale o alla superintelligenza, ma penso che si debbano separare le due cose. Tutti pensano di essere razionali, ma direi che esiste un argomento razionale per essere cauti nei confronti della superintelligenza. Non esiste uno scenario in cui le auto a guida autonoma uccidano tutti. Ma penso che ci siano scenari plausibili in cui le persone inventano la superintelligenza, tutto va storto e uccide letteralmente tutti. Non sto dicendo che sia probabile. Ci sono persone che dicono che questo è lo scenario predefinito e, secondo me, hanno argomentazioni convincenti, ma non sto dicendo che sia probabile. Ma non credo che si possa dire che sia impossibile. La superintelligenza è potenzialmente estremamente pericolosa. E quindi, penso che sia semplicemente uno stato di follia in cui trovarsi. Anche l'ultimo minuto di questa conversazione è folle.

Emmet: Sì, è pazzesco. E per tornare a quello che abbiamo detto all'inizio, è la cosa più grande, eppure è così amorfa. Stiamo solo cercando di farci strada.

Fergal: È spaventoso anche solo pensarlo o parlarne. Penso che le persone si autocensurino molto. Gli accademici si autocensurano.

Emmet: Giusto, per paura di sbagliare.

Fergal: La paura di sbagliare e gli incentivi che la circondano. Ma anche a livello umano è come, “Merda, davvero? Stai parlando di una tecnologia così grande." Hai menzionato Oppenheimer nel tuo podcast precedente. Se credi che queste cose accadranno, e se credi nella superintelligenza, è chiaramente una tecnologia con un livello di potenza simile a quello delle armi nucleari. O, direi, sostanzialmente al di sopra di tale potere. C'è una discussione disastrosa sulle auto a guida autonoma e io, personalmente, non la prendo sul serio. Forse è arrogante da parte mia, ma non esiste uno scenario in cui le auto a guida autonoma uccidano tutti.

Districare l’etica dell’IA

Emmet: Penso che quello a cui stiamo arrivando è che l'intera conversazione sull'AGI o sulla superintelligenza è molto diversa dalla conversazione sullo standard delle torbiere, su ciò che abbiamo o...

Fergal: etica dell’IA.

Emmet: … quello che miglioriamo un po', ma anche nei prossimi cinque anni, non si arriva alla cosa successiva. Questa è più un’etica fondamentale dell’IA: tutto ciò che riguarda la disinformazione e cose del genere con cui dobbiamo avere a che fare a prescindere.

Fergal: Penso che sia un incidente della storia e forse un pericoloso incidente della storia il fatto che queste due conversazioni diventino così confuse. Ora, questa è solo una prospettiva. Ci sono prospettive alternative. Le persone che oggi lavorano nel campo dell’etica dell’intelligenza artificiale diranno: “Oh, no, questa cosa della superintelligenza sta risucchiando tutto l’ossigeno fuori dalla stanza. I futuri danni teorici distraggono oggi dai danni reali”. Ma se credi che i danni futuri non siano teorici e che la portata sia molto più grande, dovresti attirare molta attenzione, sai?

"Non sto dicendo che non dovremmo cercare di anticipare la situazione in alcun modo, ma sarà molto più difficile da affrontare rispetto ad alcuni dei problemi più tangibili e immediati che abbiamo"

Emmet: Provo a presentare un caso alternativo. Sì, certo, questo è il grande premio/minaccia/pericolo. Eppure è così sconosciuto e inconoscibile per noi... Vorrei per un momento parlare di Rumsfeldiano: ci sono noti conosciuti, noti sconosciuti e sconosciuti sconosciuti. E quando penso alla superintelligenza, sono incognite sconosciute, "Lasciami andare a leggere un po' di fantascienza e sognare cosa potrebbe accadere." Considerando che abbiamo un sacco di lavoro davanti a noi che potremmo fare, e forse confondere la conversazione tra questi livelli di intelligenza artificiale è molto controproducente. Anche se questa è la cosa più spaventosa, è un po' binario se accadrà o meno. E non sto dicendo che non dovremmo cercare di anticipare la situazione in alcun modo, ma sarà molto più difficile da affrontare rispetto ad alcuni dei problemi più tangibili e immediati che abbiamo.

Fergal: Sì, è intrattabile, ma esiste una minaccia enorme pari a 1.000X, e penso che la maggior parte delle persone sarebbe d'accordo con questo, ma con una probabilità inferiore. Forse è una minaccia 1.000X o 10.000X ma con una probabilità 10X inferiore o 100X inferiore. Se siamo allineati su questo, è irresponsabile non parlarne. Solo perché è intrattabile, non significa che non verrà a ucciderti.

Emmet: Oppure iniziamo a muovere la palla costruendo effettivamente i muscoli per regolamentare e discutere la regolamentazione e attuare la regolamentazione in modo da essere meglio preparati per la questione intrattabile se e quando arriverà?

Fergal: Forse, ma forse è troppo lento. Abbiamo parlato di auto a guida autonoma e della relativa etica, e in tutto ciò ci sono costi e benefici. E così, ci sono molte persone nel mondo che direbbero: "Tutta questa roba sull'etica dell'intelligenza artificiale sui nostri sistemi oggi è importante ma piccola rispetto all'utilità dei sistemi oggi". Ma la forma diventa molto diversa se parli di superintelligenza perché è una tecnologia pericolosa di livello successivo.

Emmet: Capisco, ma penso ancora che ci sia una strada che dovremmo evitare. Ed è anche un percorso plausibile. Continuiamo sulla strada che stiamo seguendo e ehi, un esperimento mentale. Immaginate se l’anno prossimo ci fossero elezioni importanti e l’intelligenza artificiale e la disinformazione diventassero lo spauracchio di tutto questo. Le persone hanno un chatbot di Donald Trump sui loro telefoni con cui possono parlare, e questo è un prodotto avvincente e divertente. Scommetto che vedremo qualcosa del genere. E l’opinione pubblica, i media si scatenano e la politicizzazione sul fatto se questo sia un bene o un male binario non fa altro che sommergere l’intera faccenda e rendere molto più difficile avere una conversazione più importante.

"L'idea è che facciamo entrambe le cose e non siamo in una posizione in cui diciamo, 'Ehi, i danni reali a breve termine sono l'unica cosa su cui concentrarsi perché l'altra cosa è nebulosa'"

Se nel prossimo anno arriviamo a una fase in cui una grave disinformazione e cose che hanno conseguenze reali per molte persone – non conseguenze di un tracollo globale possibili con l’AGI, ma, per non minimizzare il tutto, un singolo incidente da qualche parte dovuto a un robot macchina o qualcosa del genere: dobbiamo prepararci per avere conversazioni sempre più mature su queste cose. C'è un sentiero stretto che posso immaginare per arrivarci, e probabilmente molti altri in cui faremo confusione in modo significativo.

Fergal: Immagino che tu debba fare entrambe le cose, giusto? L'idea è che facciamo entrambe le cose e che non siamo in una posizione in cui diciamo: "Ehi, i danni reali a breve termine sono l'unica cosa su cui concentrarsi perché l'altra cosa è nebulosa", o che il futuro è nebuloso. la cosa è così grande che non dedichiamo tempo ai danni a breve termine. Presumibilmente, c'è un portafoglio di sforzi bilanciato in modo ottimale.

Immagina che ci sia un'organizzazione al mondo che si preoccupi davvero dell'etica e della sicurezza dell'IA. Quell’organizzazione dovrebbe probabilmente dividere la sua attenzione su entrambe queste cose. Ma come si fa a fare questa divisione? C'è questa idea dell'aggressione di Pascal in cui qualcosa è così grosso, e io dico: “Ehi, ho un AGI qui. Ora, probabilmente non mi credi, ma dovresti darmi tutti i tuoi soldi per ogni evenienza. Perché altrimenti distruggerà il mondo”. È come, "Oh, wow, questa conseguenza è così grande, dovresti semplicemente fare quello che dico." Ed è come la scommessa di Pascal, giusto? Armato. Vuoi evitare questo scenario, ma vuoi anche evitare uno scenario in cui non consideri la minaccia legittima.

Questa è roba difficile. Penso che le persone buone e ben intenzionate che cercano di rendere il mondo migliore, sia a lungo che a breve termine, non saranno d’accordo. Recentemente hai menzionato che la discussione è controversa. A volte, la discussione più controversa avviene quando persone veramente brave e ben intenzionate non sono d’accordo sulle tattiche e finiscono per litigare tra loro. È davvero difficile aggirarlo.

Emmet: La cosa ovvia è che dobbiamo fare entrambe le cose.

Regolamentare il panorama dell’IA

Emmet: Hai menzionato le normative UE che stanno entrando in vigore. Siamo ben preparati per mettere in atto normative intelligenti, giuste ed efficaci per le cose a breve termine di cui sto parlando?

Fergal: Non lo so. Non sono l'esperto giusto per questo. Ho letto una delle bozze della legge UE sull'intelligenza artificiale. E ci sono un sacco di cose buone lì dentro e molte cose sensate. Ma è ancora a livello politico, è ancora in discussione. Ho letto alcuni emendamenti che sembravano eccessivi. Non lo so. Guarda il GDPR. Alcune parti del GDPR sono fantastiche, vero? Protezione. E poi alcuni di questi sono esagerati, come il materiale sul consenso ai cookie o il materiale sul consenso GDPR che vedi ovunque. Ciò ha davvero reso il mondo migliore? Potresti dire: "Beh, la teoria era buona, ma l'implementazione era semplicemente pessima". Sì, ma questo conta. Parte del compito di una buona legge è che le conseguenze non siano negative.

"Qualunque cosa tu pensi di queste cose, sicuramente è meglio renderle pubbliche quando la posta in gioco è bassa, così possiamo commettere errori e scoprire le cose"

Come funziona tutto questo con l’intelligenza artificiale? Penso che dobbiamo aspettare e vedere. Sono incoraggiato da ciò che vedo negli Stati Uniti, dove hanno collaborato con molti laboratori. C'è stato un impegno bilaterale e una vera discussione, e stanno iniziando a prevedere una supervisione volontaria delle corse di addestramento alla frontiera. Quindi finora non sembra un istintivo. Mi fa sentire bene.

Potrei essere ingenuo. Penso che le persone nei laboratori di ricerca di frontiera siano abbastanza responsabili riguardo a queste cose. Si preoccupano di non cadere per sbaglio nella superintelligenza. Si stanno impegnando con i regolatori. Potete immaginare un altro mondo in cui inquinano deliberatamente il dibattito pubblico e si stabiliscono in giurisdizioni che non possono essere regolamentate. Penso che stiano accadendo molte cose buone, e i cinici diranno: "Oh, questo è solo il laboratorio di intelligenza artificiale che cerca di eseguire l'acquisizione normativa". Sono sicuro che non lo sia. Il vantaggio dell'acquisizione normativa non sfugge ad alcune persone in questo spazio, ma penso che siano per lo più bravi attori.

Emmet: Immagino che una buona regolamentazione consenta anche alcune scale mobili o progressi da un passaggio all'altro. Qualunque cosa tu pensi di queste cose, sicuramente è meglio renderle pubbliche quando la posta in gioco è bassa, così possiamo commettere errori e scoprire le cose. I livelli delle auto a guida autonoma probabilmente prevedono qualcosa del genere in cui puoi dire: “Se ti trovi in ​​questa zona, va bene per questo livello di autonomia. In questa zona no, oppure è richiesto l’intervento del conducente.” Anche qui sono fuori dalla mia area di competenza, ma puoi immaginarlo in altri ambiti. Cominciamo con le radiografie o le scansioni delle dita dei piedi rotte: l'intelligenza artificiale può farcela. Ma quando si osserva un tumore, avremo molteplici livelli, compreso il coinvolgimento umano. E forse riesci a superare gradualmente quelle fasi.

"La posizione catastrofica o la pericolosa posizione dell'intelligence generale è che costruisci accidentalmente qualcosa di molto più potente prima di aspettartelo"

Fergal: Questo è ciò che facciamo ogni giorno quando creiamo prodotti IA. Stiamo letteralmente lavorando su prodotti IA in Inbox al momento cercando di fare qualcosa di grande, e ora stiamo cercando di identificare "No, era un po' troppo ambizioso". Va bene. Casi più piccoli dove darà sicuramente valore in tutta sicurezza. Questo è una specie di lavoro quotidiano. Stai cercando modi per implementarlo dove è decisamente positivo e quindi espandere quella dimensione. E devo immaginare che gran parte dell'adozione dell'intelligenza artificiale andrà così.

Ancora una volta, la posizione catastrofica o la pericolosa posizione dell'intelligence generale è che costruisci accidentalmente qualcosa di molto più potente prima di aspettartelo. Esegui una corsa di allenamento 10 volte più lunga di quanto tu abbia mai corso prima, e scopri di aver allenato qualcosa che è 1.000 volte più intelligente perché non si è adattato al modo in cui pensavi o perché hai un nuovo algoritmo o altro. Questo è lo scenario di cui le persone sono davvero preoccupate. E penso che sia uno scenario di cui essere cauti.

Ma ancora una volta, anche quelli dell'EU AI Act stanno iniziando a parlare di: “Oh, se stai formando i modelli migliori, quelli più all'avanguardia, forse devi registrarli. Devi almeno regolamentarlo." Come lo regoli? Dio, non lo so. Sarebbe un lavoro duro. Ma almeno ci stanno pensando.

Suonare l'allarme

Emmet: Immagina di lavorare in OpenAI o qualcosa del genere, e facciamo questo enorme GPT-8 addestrato su un corpus follemente enorme, e supera questa soglia che stai descrivendo dove è spaventoso quanto sia potente. Cosa pensi che accada in quello scenario? Prima di tutto, è più probabile che accada all'interno di un grande laboratorio, del tipo di quello che stai già descrivendo, che vuole comportarsi in modo responsabile ed è impegnato con il governo, e a quel punto diranno: "Ehi, colpisci il grande pulsante rosso, è successo. Parliamo di dove portarlo dopo. Diventa ampiamente accessibile a una vasta gamma di individui in modo rapido e improvviso, o potrebbe essere contenuto in un laboratorio una volta che si è verificato, e poi possiamo parlare di come maneggiare con molta attenzione questo materiale?

“Qualcuno ha addestrato il modello, cosa succede dopo? Devo sperare che le persone che addestrano queste cose diano l’allarme”

Fergal: C'è molto lì dentro, e questo è sicuramente uno scenario di merda in cui finisci per allenare qualcosa. È uno scenario da fantascienza, ma forse non è così lontano. Chi lo sa? Ma è come se avessi addestrato qualcosa che forse è molto più intelligente di te. E' nel tuo laboratorio. Cosa succede dopo? Penso che le persone vogliano evitare questo scenario, e immagino che il gioco qui sia che quando le persone si avvicinano all'allenamento di queste cose, possono vederlo arrivare. Vedono che questo si sta avvicinando all'intelligenza umana. Speriamo che probabilmente non sia cosciente. Ci sono tutti i tipi di cose etiche se pensavi che fosse cosciente, ma supponiamo che tu abbia un'entità inconscia ma intelligente. Cosa succede dopo?

Se questo è il modo in cui funziona la tecnologia, il laboratorio privato sembra un posto migliore per affrontarlo rispetto a qualche progetto di operazioni militari nere. Per le persone che dicono "Dobbiamo interrompere tutti i corsi di addestramento adesso", significa che lo incontrerai prima in un contesto militare. E non so se sarebbe meglio per le persone, sinceramente. Forse è questo il mio scetticismo. Ma sì, qualcuno ha addestrato il modello, cosa succede dopo? Devo sperare che le persone che addestrano queste cose diano l'allarme. E penso che lo faranno. Una cosa bella del fatto che i laboratori di ricerca industriale facciano questo è che penso che faranno trapelare qualcosa. E penso che questo sia il motivo per cui è davvero importante che ciò non venga fatto nel contesto militare perché non esiste una cultura della segretezza. Persino Apple, la più segreta tra le grandi aziende tecnologiche, sospetto che se avessero qualche pazzesca intelligenza artificiale, ne sentiresti parlare, giusto? Google lo farebbe sicuramente.

Emmet: Quando dici fuga di notizie, intendi lo stile di un informatore, tipo "Abbiamo creato questo?", o intendi il modello-

Fergal: No, non intendo far trapelare il modello stesso.

“Immagina di vivere in un mondo con una pericolosa proliferazione di AGI. Come controlli la proliferazione? Questo è un mondo completamente diverso”

Emmet: E' successo, vero? Facebook ha rilasciato il suo modello open source ad alcuni ricercatori, qualcuno lo ha fatto trapelare ed è diventato disponibile su Internet.

Fergal: Sì. Bene, questa è tutta un'altra conversazione. Immagina di vivere in un mondo con una pericolosa proliferazione di AGI. Come si controlla la proliferazione? Questo è un mondo completamente diverso. All'improvviso è come: "Amico, vorrei che fosse in un contesto militare". Ma anche se si guarda al Progetto Manhattan, i russi avevano spie che trasferivano la tecnologia dal Progetto Manhattan al loro programma di armamenti. Sicuramente gli stati nazionali stanno pensando a questo genere di cose in questo momento.

Emmet: Assolutamente. C'è qualcosa di positivo da trarre dal fatto che, contro ogni previsione, quasi 80 anni fa o qualcosa del genere, qualcuno era seduto ad ascoltare una versione della conversazione che stiamo avendo adesso, e penso che probabilmente ne rimarrebbe piacevolmente sorpreso per sentire che se avanzi velocemente al 2023, non è andato oltre l'utilizzo originale.

Fergal: C'è anche un pregiudizio antropico e un'ombra antropica. Ci sono tutti i tipi di proprietà statistiche interessanti. Questo non si applica realmente allo scambio nucleare, ma cose che possono distruggere il mondo non accadono mai nella tua sequenza temporale, per quanto ne sai.

Emmet: Giusto. Questa è l'equazione di Drake applicata alla vita sulla Terra. Perché il mondo non è mai finito mentre ci vivevo?

Fergal: Sì. E il pregiudizio antropico emerge nell’equazione di Drake. Gli esseri umani tendono a sottovalutare la prevalenza degli asteroidi che distruggono i pianeti perché le altre specie che sono state colpite da asteroidi che distruggono i pianeti non sono nella nostra sequenza temporale della storia. Se vuoi iniziare a ragionare a quel livello…

Emmet: E allora riportalo alla questione dell'intelligenza artificiale.

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. You know what I mean?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. It's hard. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. Questo è tutto.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet: Ad un certo livello, fin dal primo strumento – se guardi 2001: Odissea nello spazio dove raccoglie l'osso – gli strumenti hanno avuto il potenziale per essere utilizzati per creare qualcosa o ferire qualcuno. E potenzialmente stiamo arrivando al punto in cui lo strumento è più potente di qualsiasi altra cosa prima che arrivi. Ed è proprio l'articolazione più acuta della dualità che qualsiasi cosa può essere utilizzata per usi positivi o negativi. Sta a noi. O alla fine siamo stati superati in astuzia dagli strumenti in modo tale da non poterlo tenere nascosto?

Fergal: Immagino che dipenda da noi come cittadini e democrazie. Non so se la piccola democrazia in cui viviamo avrà un ruolo importante qui. Dipende molto dalle persone che lavorano nei laboratori di ricerca. Penso che la società civile debba riflettere su queste cose. Questo è un diverso tipo di strumento. Si tratta, almeno, della classe di strumenti più complicata e pericolosa. E ci sono alcune cose che potrebbero accadere qui che sono piuttosto selvagge. Guardo i ragazzi che iniziano la scuola e non so in che mondo vivranno se si realizzassero questi scenari selvaggi. Ancora una volta, dovremmo riconoscere che ci sono altri scenari. Ma sì, mi aspetto presto una grande reazione da parte della società in generale.

“Ci sono aspetti etici su cui valutare, ma c'è una posizione molto coerente secondo cui non puoi semplicemente ignorarlo. Questo sta arrivando”

Emmet: Saresti un po' sollevato se il tutto diminuisse gradualmente?

Fergal: Voglio dire, rimarrei deluso. Mi piacerebbe se andasse oltre prima di diminuire gradualmente. Ma penso che darebbe a tutti noi più tempo per adattarci alle minacce. A questo punto, se qualcuno lo stesse guardando, direbbe: "Oh mio Dio, dobbiamo mettere fuori legge tutta la roba relativa all'intelligenza artificiale". E questa è una cosa molto ragionevole. Ma penso che ci sia questo tipo di vantaggio strategico teorico pazzesco nell'affrontare queste cose in anticipo e velocemente. Ciò sta spingendo molti ricercatori dei laboratori a portare la tecnologia nel presente in modo da poterla gestire quando sarà ancora in fase iniziale. E penso che questa roba sia quasi impossibile da bannare. Non sono sempre d'accordo con loro, ma ho molto rispetto per molti degli attori nei laboratori di ricerca come OpenAI che pensano a questo perché sento che è una cosa incredibilmente irresponsabile da fare. Ci sono aspetti etici su cui valutare, ma c'è una posizione molto coerente in base alla quale non puoi semplicemente ignorarlo. Questo sta arrivando. Devi scegliere quando affrontarlo.

Emmet: E contribuire a risolvere il problema dall'interno invece di mettere la testa sotto la sabbia. Voglio dire, più potere a quelle persone e alle persone responsabili della regolamentazione. Dovremmo sostenerli e ritenerli responsabili.

Fergal: La materia prima qui è il calcolo. Il calcolo è ovunque. Abbiamo computer ovunque. Non è che si tratti di uranio e tu puoi controllare l'uranio. Vuoi incontrarlo quando ha bisogno di molti calcoli centralizzati. Quindi, è almeno regolabile per un certo periodo di tempo.

Emmet: Voglio assolutamente ricontrollarlo. Grazie, Fergal.

Fergal: Bella chiacchierata. Grazie, Emmet.