Apariția IA superinteligentă

Începem să construim sisteme AI care pot înțelege lucrurile. Unde se opreste?

Inteligența artificială superinteligentă nu este un subiect nou. Dar timp de zeci de ani, s-a limitat în mare parte la scenarii ipotetice din lucrările academice sau paginile de science fiction, cu poveștile sale futuriste despre revoltele roboților și scenariile de sfârșit al lumii. Și totuși, pe măsură ce tehnologia AI avansează, acest concept cândva amuzant, în care un sistem AI începe să-și îmbunătățească propria inteligență în mod recursiv până la punctul în care în cele din urmă depășește inteligența umană, se apropie din ce în ce mai mult de pragul realității. Brusc, conversația este mult mai serioasă.

Unii cercetători de la organizații precum Max Planck Institute for Human Development, Machine Intelligence Research Institute și chiar OpenAI susțin că va fi extrem de dificil – sau chiar de-a dreptul imposibil – să le reținem odată ce ajungi la acel punct. Și acest punct poate să nu fie atât de departe de a se întâmpla.

Ori de câte ori și sub orice formă vor ajunge, sistemele AI superinteligente vor fi cu adevărat revoluționare, impactând totul, de la piața muncii și economie la biologie și medicină. Ele, de asemenea, prezintă un risc existențial profund pentru umanitate, ceea ce ridică câteva întrebări serioase – cât de aproape este de a se întâmpla? Suntem echipați să facem față? Și cum începi să o reglementezi?

În acest episod, directorul nostru principal de învățare automată, Fergal Reid, i se alătură lui Emmet Connolly, vicepreședintele nostru pentru Design de produs, pentru a lua în față superintelligence - cunoscutele și necunoscutele, de la etică la amenințări și provocările reglementării.

Iată câteva dintre concluziile cheie:

• Integrarea inteligenței artificiale în domenii precum mașinile cu conducere autonomă ridică dileme etice, dar este important să se facă distincția între aceasta și superinteligență, care este potențial mult mai periculoasă.
• Echilibrarea atenției noastre între preocupările imediate legate de inteligența artificială și amenințările de superintelligence este crucială – riscurile de astăzi nu ar trebui să eclipseze potențialele daune viitoare, chiar dacă sunt mai greu de înțeles.
• Este incredibil de dificil să reglementezi AI. Suprareglementarea îi poate reduce beneficiile, dar este important ca laboratoarele de frontieră să se angajeze cu autoritățile de reglementare pentru a promova dezvoltarea și adoptarea responsabilă.
• În timp ce aplicațiile de inteligență artificială nepericuloasă ar trebui să mențină abordarea „mișcă rapid și distruge lucrurile”, laboratoarele de cercetare care formează modele de frontieră trebuie reglementate îndeaproape.
• Trecerea cu vederea potențialelor beneficii ale inteligenței artificiale în timp ce accentuarea excesivă a riscurilor contribuie la o dezbatere neproductivă care poate împiedica progresul. În general, această tehnologie are o greutate netă pozitivă.

Dacă îți place discuția noastră, vezi mai multe episoade din podcastul nostru. Puteți urmări pe Apple Podcasturi, Spotify, YouTube sau puteți accesa fluxul RSS în playerul dorit. Ceea ce urmează este o transcriere ușor editată a episodului.

În necunoscut

Fergal Reid: Aceasta este o altă conversație a noastră liberă. Ne pregătim puțin, iar tu ai spus: „Superintelligence este cea mai interesantă...”

Emmet Connolly: Dar cum spunem că superinteligența ar putea schimba societatea noastră complet, poate peste noapte, și că am fi total neechipați să facem față? Spuneai că nimeni nu știe și că s-ar putea întâmpla în următorii doi ani. Acesta este cel mai mare lucru despre care am putea alege să vorbim. Dar dificultatea pe care o am cu el este că totul este opac. Ar putea fi la doi ani distanță, nu ar putea fi nici o distanță de ani, sau la 200 de ani distanță. Este cel mai mare lucru, dar este cea mai mare necunoscută.

Fergal: Bine, hai să intrăm în asta. Să facem acest lucru cu superinteligență direct. Să încercăm să vorbim despre ceea ce știm și ce nu știm. O să greșim mult. Cum l-as incadra? Asta mi-a trecut puțin în minte. Acum, este insolubil. E greu de apucat. Ce știm? Există tot acest hype, nu? „Oh, va fi o nebunie; superinteligența vine în curând.” Și așa-zișii doomers susțin că, implicit, ne va ucide pe toți. Și am atins puțin despre asta în trecut. Și apoi, mai sunt acești alți oameni care spun: „Oh, asta e o prostie. Este ca și cum să-ți faci griji cu privire la suprapopularea pe Marte.”

„Am construit lucruri care încep să înțeleagă lucrurile. Unde se oprește?”

Andrew Ng, celebrul cercetător, a spus asta, iar apoi cu o săptămână sau două în urmă, se pare că și-a schimbat perspectiva. El are acest buletin informativ, iar în buletin informativ nu s-a referit la superinteligență, dar a spus: „Oh, aceste sisteme încep să înțeleagă și să raționeze despre lucruri.” El a menționat Othello-GPT, despre care am vorbit mai devreme, unde antrenați chestia asta pe fragmente de jocuri Othello – doar secvențele de mișcări dintr-un joc de masă – și se pare că începe să învețe lucruri fundamentale despre jocul de masă și despre layout-ul tablei. A găsit asta convingător. Și mie mi se pare convingător. Și așa, unii oameni care spuneau că superinteligența este la un milion de mile distanță își schimbă acum puțin tonul. Oamenii care spuneau că AI nu înțelege nimic își schimbă puțin tonul.

Am construit lucruri care încep să înțeleagă lucrurile. Unde se opreste? Un lucru pe care îl simt cu tărie este că nu este ridicol să vorbești despre lucruri care devin din ce în ce mai inteligente și mai inteligente decât oamenii. Și asta e o schimbare. Acum patru sau cinci ani – acum doi ani? – Aș fi în totalitate în tabăra lui Andrew Ng, „Da, sunt lucruri distractive la care să mă gândesc și îmi place să citesc science fiction, dar nu există cale. Nu vedem nicio cale acolo. Nu există nicio dovadă că orice cale pe care o vedem va funcționa.” Acum, există o grămadă de dovezi că ar putea ajunge acolo. Asta e ceva ce am învățat. Este ceva care s-a schimbat în lume.

Emmet: Și sună ca ceva ce putem urmări. Ceea ce înțeleg din ceea ce sugerați este că raționamentul este un pas necesar către superinteligență sau inteligență generală artificială (AGI) sau orice altceva. Și că, cu cât sunt expuse mai multe capacități de raționament aici, cu atât este mai probabil să ajungem la AGI. Și așa, pentru o dimensiune a incapacității mele de a înțelege ceva tangibil, spui că crezi că încrederea se va construi colectiv în timp?

„Pentru prima dată, nu știm cu adevărat care este trucul. Și poate să nu existe un truc. Poate fi real. Acesta este inteligent sau, cel puțin, trucul este la fel de bun cu inteligența umană.”

Fergal: Da, vreau să spun, vezi mai multe date și îți actualizezi viziunea asupra lumii. Dacă trăiești într-o lume fără sisteme de inteligență deloc, ar trebui să fii mai sceptic cu privire la construirea vreodată de superintelligence. Și pe măsură ce nivelul de inteligență al sistemelor din lume crește, ar trebui să devii mai deschis la ideea că vom ajunge la ceva suprainteligent. E destul de simplu.

Îmi amintesc că am aflat cum funcționează IA de șah. Îmi amintesc meciul de șah Deep Blue și Kasparov din 1997 (există un cântec Arcade Fire despre asta). Bunicul meu obișnuia să joace șah și m-a învățat să joc șah când eram copil. A fost cu adevărat șocat și surprins de Deep Blue, deoarece Kasparov era un geniu mental uman, iar Deep Blue l-a bătut. "Cum ar putea fi aceasta? Înseamnă asta că mașinile sunt la fel de inteligente ca noi? Și asta a fost o mare realizare tehnică. Dar a fost fundamental un truc bun. Când înveți cum funcționează IA de șah sub capotă, este Minimax sau Negamax. Este un algoritm de căutare destul de simplu. Trebuie să aibă o idee dacă o stare de tablă este mai bună sau mai proastă pentru asta – dacă am mulți pioni și o regină și nu sunt în șah, este un simplu calcul al valorii pieselor de șah.

Dar apoi, face doar o cantitate imensă de căutare. Dacă eu mă mut aici și tu te muți acolo și eu acolo... Există câteva tehnici inteligente pentru a face căutarea mai eficientă, dar este practic un calcul brut. Face doar o mulțime de calcule. Și așa, când înveți asta, dintr-o dată, este dezamăgitor. Dintr-o dată, se pare că „Deep Blue nu a fost o mașină de gândire. A fost doar un cu adevărat inteligent-”

Emmet: Calculator.

Fergal: … calculator, corect. Un sistem mecanic mare care a calculat în masă. Cu istoria AI, ești mereu impresionat până când înveți trucul. Dar acum, pentru prima dată, nu știm cu adevărat care este trucul. Și poate să nu existe un truc. Poate fi real. Acesta este inteligent sau, cel puțin, trucul este la fel de bun cu inteligența umană.

„Deep Blue nu a fost mai inteligent decât Kasparov, dar într-un mod destul de inteligent, ei au implementat aspectul de calcul al forței brute al inteligenței sale într-o sarcină care a făcut-o mai bună până la punctul în care ar putea câștiga.”

Emmet: Sau reflectând o lege universală subiacentă, aproape fizică, a teoriei informației sau modul în care funcționează informația atunci când puneți cantități mari din ea împreună.

Fergal: Nu știu dacă aș merge cu teoria informației, dar cred că ideea că poate un sistem simplu ar fi dat putere de expresie, iar când ai pus suficientă informație, începe să devină inteligent.

Emmet: Deci Deep Blue nu a fost mai inteligent decât Kasparov, dar într-un mod destul de inteligent, ei au implementat aspectul de calcul al forței brute al inteligenței sale într-o sarcină care a făcut-o mai bună până la punctul în care ar putea câștiga. Așa că cred că puteți spune amândoi: „Deep Blue nu este mai inteligent decât Garry Kasparov”, și puteți spune: „Deep Blue îl poate învinge pe Garry Kasparov la șah” sau „Este mai bun decât oamenii la o sarcină”.

AI preia volanul

Emmet: Asta mă face să mă gândesc la felul în care gândim aceste lucruri. Reacția emoțională pe care o descrieai pe bunicul tău a avut-o... Dacă ne uităm în față și vedem mașini cu conducere autonomă, care au scăpat în fundal pe tot parcursul sau chiar înainte ca vreun lucru din LLM să fie cu adevărat în prim-plan. Există acel lucru emoțional de „Ce vrem de la aceste sisteme?” Poate că scap de chestiile AGI aici, dar să ne uităm la mașini. Ce dorim de la ei sau cum vom răspunde la integrarea de acolo? Pentru că avem un sistem imperfect în acest moment - mai mult de un milion de decese rutiere pe an cauzate de erori umane. Dacă înlocuim asta cu un sistem AI care a dus doar la jumătate de milion de decese pe drum pe an, am... Adică, este foarte dificil, din punct de vedere pur etic, a numărului, să nu...

Mi se pare că aceasta este ca problema căruciorului AI scrisă în mare. Problema căruciorului AI este o problemă locală „Ce decizie iei?” Dar avem această decizie la nivel societal de „Vom accepta oare sentimentul rău care vine cu mașinile conduse de roboți, chiar dacă sunt falibili, chiar dacă această falibilitate este mai puțin falibilă decât șoferii umani?”

„Dacă – și acesta este un lucru uriaș dacă – obținem mașini cu conducere autonomă până la punctul în care acum o mașină te ucide acolo unde te omoară un om, dar te ucide mult mai puțin, cred că majoritatea oamenilor ar fi de acord cu asta. ”

Fergal: Cred că probabil vom face. În mod evident, există un potențial de eșec de reglementare și politică, dar oamenii acceptă acele compromisuri tot timpul. Pur și simplu nu vorbesc prea mult despre ei pentru că nu este înțelept din punct de vedere politic. Fiecare țară dezvoltată are un sistem medical care va cântări costurile și beneficiile unui medicament. Și la bine și la rău, ei fac asta. Și cred că este un lucru bun de făcut. Și înțeleg că este greu de apărat din punct de vedere politic, dar dacă nu o faci, mor mai mulți oameni.

Emmet: Oamenii dezbat, dar foarte puțini oameni aleg să trăiască într-o țară în care acele reglementări nu oferă balustrade și bariere de siguranță pentru tot felul de aspecte ale vieții lor. Deci da, sunt de acord cu tine.

Fergal: Da, asta este. Și sperăm că fac o treabă bună, dar trebuie să ia astfel de decizii pe viață sau pe moarte cu privire la medicamentele disponibile. Societățile fac asta. Și trebuie să-mi imaginez că, în lipsa vreunui eșec politic, dacă – și acesta este un uriaș dacă – ajungem la mașini autonome până la punctul în care, da, acum o mașină te ucide acolo unde te ucide un om, dar te ucide. tu mult mai puțin, cred că majoritatea oamenilor ar fi de acord cu asta.

Emmet: Nu știu. Din punct de vedere pur logic, dacă strângi cifrele, este greu să găsești un defect logic în ceea ce tocmai ai spus. Dar cred că, spre deosebire de reglementarea drogurilor, care este un fel de zumzetul de fundal al vieții și al vieții, alegi să te urci într-o mașină care se conduce singur sau care nu se conduce singur. Și cred că această decizie va fi mult mai personală pentru mulți oameni decât unele dintre acele reglementări care sunt mai puțin tangibile în viața ta de zi cu zi. Cred că acestea vor fi lucrurile care ar putea ajunge prea politizate, făcând reglementarea foarte greu de realizat și împiedicându-ne mai mult decât orice.

Fergal: Adică, uite, știu că asta va deveni politic, dar uită-te la energia nucleară. Energia nucleară poluează mai puțin carbon decât alte lucruri. Și este o discuție complicată despre dezavantaj. Când are loc o topire nucleară, este extrem de costisitor. E o problemă statistică grea. Dar mulți tehnologi ar simți că discuția despre energia nucleară nu a fost cea mai rațională retrospectiv. Când eram copil, îmi era frică de energia nucleară. Mulți dintre noi în anii optzeci ne-au fost frică de chestii nucleare. Dar poate că acesta este un exemplu de eșec politic.

Cu siguranță există o mulțime de tehnologi care spun: „Dezbaterea în jurul superinteligenței va provoca o suprareglementare a inteligenței artificiale și va exista o mulțime de beneficii umane pe care le vom pierde”. Asta e regularea genunchiului. Poate că ceva asemănător se va întâmpla cu mașinile cu conducere autonomă în care ajungem în punctul în care sunt mai bune, dar apoi există un eșec politic care sfârșește prin a le împiedica să fie desfășurate până când sunt perfecte și nu sunt niciodată perfecte. Dar cred că sunt optimist că oamenii vor putea avea această dezbatere.

Emmet: Ei bine, acesta este motivul pentru care mă străduiesc să mă conectez personal și emoțional cu unghiul doomer, deoarece o anumită cantitate din asta se va întâmpla indiferent de ceea ce spui sau faci de aici încolo.

Fergal: Pentru superinteligență? Pentru că sunt bucuros să reprezint unghiul doomer al superinteligenței.

„Nu există niciun scenariu în care mașinile cu conducere autonomă vor ucide pe toată lumea”

Emmet: Oh, bine. Așa că să facem distincția între mașinile care se conduc singure, care nu necesită superinteligență, și unele momente SF superinteligente. Percep o mentalitate doomer chiar și pentru aspectul nesuper-inteligent al acestui lucru.

Fergal: Da. Trebuie să faci diferența între cele două. Există o mulțime de oameni care sunt incredibil de sceptici, cinici și pesimiști în ceea ce privește, să zicem, mașinile care se conduc singure. Și apoi mai sunt și alți oameni care vor fi cinici și pesimiști în ceea ce privește inteligența generală sau superinteligența, dar cred că trebuie să le despărțiți pe cele două. Toți cred că sunt raționali, dar aș susține că există un argument rațional pentru a fi precaut în privința superinteligenței. Nu există niciun scenariu în care mașinile cu conducere autonomă vor ucide pe toată lumea. Dar sunt, cred, scenarii plauzibile în care oamenii inventează superinteligență, totul merge prost și literalmente ucide pe toată lumea. Nu spun că este probabil. Există oameni care spun că acesta este scenariul implicit și au argumente convingătoare, în opinia mea, dar nu spun că este probabil. Dar nu cred că poți spune că este imposibil. Superinteligența este potențial super periculoasă. Și așa, cred că este doar o stare de nebunie în care să fii. Chiar și ultimul minut al acestei conversații este nebun.

Emmet: Da, e sălbatic. Și pentru a reveni la ceea ce am spus la început, este cel mai mare lucru, dar este atât de amorf. Încercăm doar să pășim în ea.

Fergal: E înfricoșător chiar și să te gândești sau să vorbești. Cred că oamenii se autocenzurează foarte mult. Academicienii se autocenzurează.

Emmet: Corect, de teamă să nu greșești.

Fergal: Frica de a greși și stimulentele din jurul asta. Dar, de asemenea, chiar și la nivel uman, este de genul „La naiba, într-adevăr? Vorbești despre tehnologia atât de mare.” Ai menționat Oppenheimer în podcastul tău anterior. Dacă crezi că se vor întâmpla acele lucruri și dacă crezi în superintelligence, este în mod clar o tehnologie la un nivel de putere similar cu armele nucleare. Sau, aș argumenta, substanțial deasupra acestei puteri. Există o ceartă mai mare despre mașinile care se conduc singure, iar eu, personal, nu iau asta în serios. Poate că este arogant din partea mea, dar nu există niciun scenariu în care mașinile cu conducere autonomă să omoare pe toată lumea.

Dezlegarea eticii AI

Emmet: Cred că la ce ajungem aici este întreaga conversație despre AGI sau superintelligence este foarte diferită de conversația despre standardul de mlaștină, ceea ce avem sau...

Fergal: Etica AI.

Emmet: … ceea ce obținem puțin mai bine, dar chiar și în următorii cinci ani, nu se ajunge la următorul lucru. Aceasta este mai mult etica de bază a AI - toate chestiile despre dezinformare și lucruri de genul ăsta cu care trebuie să ne confruntăm indiferent.

Fergal: Cred că este un accident al istoriei și poate un accident periculos al istoriei faptul că aceste două conversații se încurcă mult. Acum, asta e doar o perspectivă. Există perspective alternative. Oamenii care lucrează astăzi în etica inteligenței artificiale vor spune: „Oh, nu, chestia asta cu superinteligența aspiră tot oxigenul din cameră. Daunele teoretice viitoare distrage atenția de la daunele reale astăzi.” Dar dacă credeți că daunele viitoare nu sunt teoretice și că amploarea este mult mai mare, ar trebui să suge multă atenție, știi?

„Nu spun că nu ar trebui să încercăm să trecem înainte în vreun fel, dar va fi mult mai greu de rezolvat decât unele dintre problemele mai tangibile și imediate pe care le avem”

Emmet: Lasă-mă să încerc să prezint un caz alternativ. Da, desigur, acesta este marele premiu/amenințare/pericol. Cu toate acestea, este atât de necunoscut și de necunoscut pentru noi... Permiteți-mi să-l iau pe Rumsfeldian pentru o clipă – sunt cunoscute cunoscute, cunoscute necunoscute și necunoscute necunoscute. Și când mă gândesc la superinteligență, sunt necunoscute necunoscute, „Lasă-mă să citesc niște științe științifice și să visez ce s-ar putea întâmpla”. În timp ce avem o grămadă de muncă în față pe care le-am putea face și poate că încurcătura conversației între aceste niveluri de AI este foarte contraproductivă. Deși acesta este marele lucru înfricoșător, este un fel de binar dacă se va întâmpla sau nu. Și nu spun că nu ar trebui să încercăm să depășim asta în vreun fel, dar va fi mult mai greu de rezolvat decât unele dintre problemele mai tangibile și imediate pe care le avem.

Fergal: Da, este insolubil, dar există o amenințare masivă de 1.000X și cred că majoritatea oamenilor ar fi de acord cu asta, dar cu o probabilitate mai mică. Poate că este o amenințare de 1.000 sau 10.000 de ori, dar cu o probabilitate de 10 ori mai mică sau de 100 de ori mai mică. Dacă suntem aliniați cu asta, este iresponsabil să nu vorbim despre asta. Doar pentru că este insolubil, nu înseamnă că nu va veni și te va ucide.

Emmet: Sau începem să curgă mingea pentru a construi efectiv un mușchi pentru a reglementa și a discuta reglementările și a pune în aplicare reglementări, astfel încât să fim mai bine pregătiți pentru lucrul insolubil dacă și când vine?

Fergal: Poate, dar poate că e prea lent. Am vorbit despre mașini cu conducere autonomă și despre etica, și cu toate acestea, există costuri și beneficii. Și așa, există o mulțime de oameni în lume care ar spune: „Toate aceste chestii de etică AI despre sistemele noastre de astăzi sunt importante, dar mici în comparație cu utilitatea sistemelor de astăzi”. Dar forma devine foarte diferită dacă vorbiți despre superinteligență, deoarece aceasta este o tehnologie periculoasă de nivel următor.

Emmet: Te înțeleg, dar tot cred că există o cale pe care ar trebui să o evităm. Și este, de asemenea, o cale plauzibilă. Continuăm pe drumul pe care mergem și hei, un experiment de gândire. Imaginați-vă dacă ar avea loc alegeri mari și importante anul viitor, iar inteligența artificială și dezinformarea ar fi devenit boogiemanul pentru toate acestea. Oamenii au un chatbot Donald Trump pe telefoane cu care pot vorbi și acesta este un produs convingător și distractiv. Pun pariu că vom vedea așa ceva. Iar opinia publică și mass-media furtuna și politizarea dacă acest lucru este binar bun sau rău, pur și simplu învăluie totul și îngreunează mult mai mult conversația importantă.

„Ideea este că facem pe amândouă și nu suntem într-o poziție în care să spunem: „Hei, răul real pe termen scurt este singurul lucru pe care să ne concentrăm, deoarece celălalt lucru este nebulos””

Dacă ajungem la o etapă în anul următor în care dezinformarea gravă și lucruri care au consecințe reale pentru mulți oameni - nu consecințe ale colapsului global care sunt posibile cu AGI, ci, pentru a nu o minimiza, un singur accident undeva din cauza unui robot mașină sau așa ceva – trebuie să ne pregătim să avem conversații din ce în ce mai mature despre aceste lucruri. Există o cale îngustă pe care mi-o pot imagina că ajungem acolo și, probabil, multe altele pe care o încurcăm în mod semnificativ.

Fergal: Cred că trebuie să le faci pe amândouă, nu? Ideea este că le facem pe amândouă și că nu suntem într-o poziție în care să spunem: „Hei, răul real pe termen scurt este singurul lucru pe care să ne concentrăm, deoarece celălalt lucru este nebulos” sau că viitorul este nebulos. Lucrul este atât de mare încât petrecem zero timp pentru daunele pe termen scurt. Probabil că există un portofoliu de efort echilibrat optim.

Imaginați-vă că există o organizație în lume căreia îi pasă cu adevărat de etica AI și de siguranța AI. Acea organizație ar trebui probabil să-și împartă atenția asupra ambelor lucruri. Dar cum faci acea despărțire? Există această idee despre jefuirea lui Pascal, unde ceva este atât de mare, și eu zic: „Hei, am un AGI aici. Acum, probabil că nu mă crezi, dar ar trebui să-mi dai toți banii tăi pentru orice eventualitate. Pentru că altfel, va distruge lumea.” Este de genul: „Oh, uau, consecința aia este atât de mare, că ar trebui să faci orice spun eu.” Și asta este ca pariul lui Pascal, nu? Înarmat. Vrei să eviți acel scenariu, dar vrei și să eviți un scenariu în care nu te uiți la amenințarea legitimă.

Acestea sunt lucruri grele. Cred că oamenii buni și bine intenționați care încearcă să facă lumea mai bună, atât pe termen lung, cât și pe termen scurt, vor fi în dezacord. Ai menționat recent că discuția este dezbinătoare. Uneori, cea mai dezbinătoare discuție este atunci când oamenii cu adevărat buni și bine intenționați nu sunt de acord cu privire la tactici și ajung să se lupte între ei. Este foarte greu de ocolit.

Emmet: Lucrul evident este că trebuie să facem ambele lucruri.

Reglementarea peisajului AI

Emmet: Ați menționat reglementările UE care intră în stream. Suntem bine pregătiți pentru a pune în aplicare reglementări inteligente, corecte și eficiente pentru lucrurile pe termen scurt despre care vorbesc?

Fergal: Nu știu. Nu sunt expertul potrivit pentru asta. Am citit unul dintre proiectele Actului AI al UE. Și există o mulțime de lucruri bune acolo și o mulțime de lucruri sensibile. Dar e tot la nivel politic, încă se dezbate. Am citit niște amendamente care mi s-au părut exagerate. Nu știu. Uită-te la GDPR. Unele dintre GDPR sunt grozave, nu? Protecţie. Și apoi unele dintre ele sunt exagerate, cum ar fi chestiile de consimțământ pentru cookie-uri sau chestiile de consimțământ GDPR pe care le vezi peste tot. A făcut asta într-adevăr lumea mai bună? Ai putea spune: „Ei bine, teoria a fost bună, dar implementarea a fost pur și simplu proastă”. Da, dar asta contează. O parte din munca legii bune este că consecințele nu sunt rele.

„Orice ai crede despre aceste lucruri, cu siguranță este mai bine să le scoți în lume în timp ce miza este mică, astfel încât să putem greși și să aflăm lucruri”

Cum se desfășoară asta cu AI? Cred că trebuie să așteptăm și să vedem. Sunt încurajat de ceea ce văd în SUA, unde s-au implicat cu multe laboratoare. A existat un angajament în două sensuri și o discuție reală, iar ei încep să supravegheze voluntar cursele de antrenament de frontieră. Așa că nu se simte genunchi până acum. Se simte bine.

S-ar putea să fiu naiv. Cred că oamenii din laboratoarele de cercetare de frontieră sunt destul de responsabili cu chestia asta. Le pasă să nu găsească din greșeală în superinteligență. Ei se angajează cu autoritățile de reglementare. Vă puteți imagina o altă lume în care ei poluează în mod deliberat dezbaterea publică și se instalează în jurisdicții care nu pot fi reglementate. Cred că se întâmplă o mulțime de lucruri bune, iar cinicii vor fi de genul „Oh, acesta este doar laboratorul de inteligență artificială care încearcă să facă captură de reglementare”. Sunt sigur că nu este. Beneficiul captării reglementărilor nu este pierdut pentru unii oameni din acest spațiu, dar cred că sunt în mare parte actori buni.

Emmet: Mi-aș imagina că o reglare bună permite, de asemenea, niște scale de alunecare sau progrese de la pas la pas. Indiferent ce ai crede despre aceste lucruri, cu siguranță este mai bine să le scoți în lume în timp ce miza este mică, astfel încât să putem greși și să aflăm lucruri. Nivelurile de mașină cu conducere autonomă oferă probabil ceva de genul acesta în care poți spune: „Dacă te afli în această zonă, este bine pentru acest nivel de autonomie. În această zonă, nu, sau este necesară intervenția șoferului.” Și aici sunt în afara domeniului meu de expertiză, dar vă puteți imagina și în alte domenii. Să începem cu raze X sau scanări ale degetelor de la picioare rupte – AI poate lua asta. Dar cu ceva ca să ne uităm la o tumoare, vom avea mai multe straturi, inclusiv implicarea umană. Și poate că treci treptat prin acele etape.

„Poziția condamnatorului sau poziția periculoasă a informațiilor generale este că construiești accidental ceva mult mai puternic înainte de a te aștepta la asta”

Fergal: Aceasta este ceea ce facem zi de zi când construim produse AI. Lucrăm literalmente la produse AI în Inbox în acest moment, încercând să facem ceva mare, iar acum încercăm să identificăm: „Nu, a fost puțin prea ambițios”. Asta e bine. Cazuri mai mici în care cu siguranță va da valoare în siguranță. Acesta este un fel de treaba noastră de zi cu zi. Căutați modalități de a lansa acolo unde este cu siguranță pozitiv net și apoi de a extinde această dimensiune. Și trebuie să-mi imaginez că o mulțime de adoptare bună a AI va merge așa.

Din nou, poziția doomer sau poziția periculoasă a informațiilor generale este că construiești accidental ceva mult mai puternic înainte de a te aștepta. Efectuați o cursă de antrenament mai lungă, de 10 ori mai lungă decât ați mai alergat până acum și descoperiți că ați antrenat ceva de 1.000 de ori mai inteligent pentru că nu s-a scalat așa cum credeați sau pentru că ați primit un algoritm nou sau orice altceva. Acesta este scenariul de care oamenii sunt cu adevărat îngrijorați. Și cred că acesta este un scenariu la care trebuie să fii precaut.

Dar din nou, chiar și oamenii din Legea UE AI încep să vorbească despre: „O, dacă antrenezi cele mai bune modele de frontieră, poate că trebuie să înregistrezi asta. Trebuie să o reglementezi cel puțin.” Cum reglezi asta? Doamne, nu știu. Ar fi o treabă grea. Dar măcar ei se gândesc la asta.

Sună alarma

Emmet: Imaginați-vă că lucrați în OpenAI sau ceva de genul acesta și facem acest GPT-8 masiv antrenat pe un corpus nebunește de uriaș și trece pragul pe care îl descrieți unde este înfricoșător cât de puternic este. Ce crezi că se întâmplă în acel scenariu? În primul rând, este cel mai probabil să se întâmple într-un laborator mare, tipul căruia îl descrieți deja, care vrea să se comporte responsabil și este implicat cu guvernul și, în acel moment, vor spune: „Hei, lovește butonul mare roșu, sa întâmplat. Să vorbim despre unde să luăm asta în continuare.” Devine rapid și brusc accesibil pentru o gamă largă de indivizi sau ar putea fi conținut într-un laborator odată ce s-a întâmplat și apoi putem vorbi despre cum să manevrăm cu mare atenție acest material?

„Cineva a antrenat modelul, ce se întâmplă mai departe? Trebuie să sper că oamenii care pregătesc aceste lucruri vor trage un semnal de alarmă”

Fergal: Sunt multe acolo, și acesta este cu siguranță un scenariu profund în care ai ajuns să antrenezi ceva. Acesta este un scenariu științifico-fantastic, dar poate că nu este atât de departe. Cine ştie? Dar parcă ai antrenat ceva care este poate mult mai inteligent decât tine. Stă în laboratorul tău. Ce se întâmplă mai departe? Cred că oamenii vor să evite acest scenariu și cred că jocul aici este că, pe măsură ce oamenii se apropie de antrenarea acestor lucruri, pot vedea acest lucru venind. Ei văd că acest lucru se apropie de inteligența umană. Sper că, probabil, nu este conștient. Există tot felul de lucruri etice dacă ai crede că este conștient, dar să presupunem că ai o entitate inconștientă, dar inteligentă. Ce se întâmplă mai departe?

Dacă acesta este modul în care se desfășoară tehnologia, laboratorul privat se simte ca un loc mai bun pentru a întâlni asta decât un proiect de operațiuni negre militare. Pentru cei care spun: „Trebuie să oprim toate cursele de antrenament acum”, asta înseamnă că vei întâlni asta mai întâi într-un context militar. Și nu știu dacă asta ar fi mai bine pentru oameni, cu adevărat. Poate că acesta este scepticismul meu. Dar da, cineva a antrenat modelul, ce se întâmplă în continuare? Trebuie să sper că oamenii care pregătesc aceste lucruri vor trage un semnal de alarmă. Și cred că o vor face. Un lucru frumos despre laboratoarele de cercetare industrială care fac asta este că cred că vor scurge lucruri. Și cred că de aceea este foarte important să nu se facă în context militar pentru că nu există o cultură a secretului. Chiar și Apple, cea mai secretă dintre marile companii de tehnologie, bănuiesc că dacă ar avea ceva nebun de AI, ai auzi despre asta, nu? Google cu siguranță ar face-o.

Emmet: Când spui scurgere, vrei să spui în stilul denunțătorului, cum ar fi „Am creat asta?”, sau te referi la model-

Fergal: Nu, nu mă refer la scurgerea modelului în sine.

„Imaginați-vă că trăiți într-o lume cu proliferare periculoasă a AGI. Cum controlezi proliferarea? Asta e cu totul altă lume”

Emmet: S-a întâmplat, nu? Facebook le-a lansat modelul open source unor cercetători, cineva l-a scurs și a devenit disponibil pe internet.

Fergal: Da. Ei bine, aceasta este o cu totul altă conversație. Imaginați-vă că trăiți într-o lume cu proliferare periculoasă a AGI. Cum controlezi proliferarea? Asta e o lume cu totul diferită. Brusc este de genul: „Omule, aș vrea să fie într-un context militar.” Dar chiar dacă te uiți la Proiectul Manhattan, rușii aveau spioni care au transferat tehnologie de la Proiectul Manhattan la programul lor de arme. Cu siguranță statele naționale se gândesc la acest gen de lucruri în acest moment.

Emmet: Absolut. Există unele aspecte pozitive de luat din faptul că, împotriva oricăror pronostici, acum aproape 80 de ani sau ceva de genul ăsta, cineva stătea în preajmă la o versiune a conversației pe care o avem acum și cred că probabil ar fi plăcut surprinși. să auzi că, dacă înaintezi rapid până în 2023, nu a depășit utilizarea inițială.

Fergal: Există, de asemenea, părtinire antropică și umbră antropică. Există tot felul de proprietăți statistice interesante. Acest lucru nu se aplică cu adevărat schimburilor nucleare, dar lucrurile care pot distruge lumea nu se întâmplă niciodată în cronologia dvs., din câte vă puteți da seama.

Emmet: Corect. Aceasta este ecuația Drake aplicată vieții pe Pământ. De ce lumea nu s-a sfârșit niciodată cât am trăit eu din ea?

Fergal: Da. Și părtinirea antropică apare în ecuația Drake. Oamenii tind să subestimeze prevalența asteroizilor care distrug planetele, deoarece celelalte specii care au fost lovite de asteroizii care distrug planetele nu se află în cronologia istoriei noastre. Dacă vrei să începi să raționezi la acel nivel...

Emmet: Și aduceți asta înapoi la chestiile AI pentru mine atunci.

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. You know what I mean?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. It's hard. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. Asta este.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet: La un anumit nivel, încă de la prima unealtă – dacă te uiți la 2001: O Odiseea spațiului în care el ridică osul – instrumentele au avut potențialul de a fi folosite pentru a face ceva sau a răni pe cineva. Și, potențial, ajungem la punctul în care instrumentul care este mai puternic decât orice înainte să apară. Și este doar cea mai ascuțită articulare a dualității că orice poate fi folosit în scopuri pozitive sau negative. Depinde de noi. Sau am fost în cele din urmă depășiți de instrumente astfel încât să nu-l putem ține sub secret?

Fergal: Cred că depinde de noi, ca cetățeni și democrații. Nu știu dacă mica democrație în care ne aflăm va avea un rol important aici. Depinde mult de oamenii care lucrează în laboratoarele de cercetare. Cred că societatea civilă trebuie să se ocupe de aceste lucruri. Acesta este un alt tip de instrument. Este, cel puțin, în cea mai dificilă și mai periculoasă clasă de instrumente. Și există anumite lucruri care s-ar putea juca aici și care sunt destul de sălbatice. Mă uit la copiii care încep școala și nu știu în ce lume vor trăi dacă vor avea loc acele scenarii sălbatice. Din nou, ar trebui să recunoaștem că există și alte scenarii. Dar da, mă aștept la o reacție mare din partea societății în curând.

„Există lucruri etice pe care să le cântărească, dar există o poziție foarte coerentă în care nu poți pur și simplu să ignori asta. Aceasta vine”

Emmet: Te-ai simți ușor uşurat dacă te-ai slăbi?

Fergal: Adică, aș fi dezamăgit. Mi-ar plăcea dacă ar merge mai departe înainte de a se reduce. Dar cred că ne-ar oferi tuturor mai mult timp să ne adaptăm la amenințări. În acest moment, dacă cineva urmărea asta, ar spune: „Doamne, trebuie să scoatem în afara legii toate lucrurile AI”. Și acesta este un lucru foarte rezonabil. Dar cred că există acest tip de beneficiu strategic teoretic nebun de a întâlni aceste lucruri devreme și rapid. Îi determină pe mulți dintre oamenii din laboratorul de cercetare să atragă tehnologia în prezent, astfel încât să putem face față cu ea când este devreme. Și cred că chestiile astea sunt aproape imposibil de interzis. Nu sunt întotdeauna de acord cu ei, dar am foarte mult respect pentru mulți dintre actorii din laboratoarele de cercetare precum OpenAI care se gândesc la asta pentru că simt că este un lucru incredibil de iresponsabil. Există lucruri etice pe care să le cântărească, dar există o poziție foarte coerentă în care nu poți pur și simplu să ignori asta. Aceasta vine. Trebuie să alegi când te vei descurca cu asta.

Emmet: Și să faci parte din rezolvarea problemei din interior, mai degrabă decât să-ți bagi capul în nisip. Adică, mai multă putere pentru acești oameni și pentru oamenii responsabili de reglementare. Ar trebui să-i sprijinim și să-i tragem la răspundere.

Fergal: Materia primă aici este calculul. Calculul este peste tot. Avem calculatoare peste tot. Nu e ca și cum ar fi uraniu și poți controla uraniul. Vrei să-l întâlnești atunci când are nevoie de multă calcule care sunt centralizate. Apoi, este cel puțin reglabil pentru o anumită perioadă de timp.

Emmet: Cu siguranță vreau să revin. Mulțumesc, Fergal.

Fergal: Bună discuție. Mulțumesc, Emmet.