Pojawienie się superinteligentnej sztucznej inteligencji

Zaczynamy budować systemy sztucznej inteligencji, które potrafią zrozumieć różne rzeczy. Gdzie się kończy?

Superinteligentna sztuczna inteligencja nie jest nowym tematem. Jednak przez dziesięciolecia ograniczało się ono głównie do hipotetycznych scenariuszy w artykułach akademickich lub na stronach fantastyki naukowej, zawierających futurystyczne opowieści o powstaniach robotów i scenariuszach końca świata. A jednak w miarę postępu technologii sztucznej inteligencji ta niegdyś zabawna koncepcja, w której system sztucznej inteligencji zaczyna rekurencyjnie ulepszać swoją własną inteligencję do punktu, w którym ostatecznie przewyższa inteligencję ludzką, coraz bardziej zbliża się do progu rzeczywistości. Nagle rozmowa stała się znacznie poważniejsza.

Niektórzy badacze z organizacji takich jak Instytut Rozwoju Człowieka im. Maxa Plancka, Instytut Badań nad Inteligencją Maszynową, a nawet OpenAI twierdzą, że powstrzymanie ich po osiągnięciu tego punktu będzie niezwykle trudne – a nawet wręcz niemożliwe. A ten punkt może nie być tak odległy od zdarzenia.

Superinteligentne systemy sztucznej inteligencji będą naprawdę rewolucyjne, wpływając na wszystko, od rynku pracy i gospodarki po biologię i medycynę, kiedykolwiek i w jakiejkolwiek formie się pojawią. Stanowią one jednak również głębokie ryzyko egzystencjalne dla ludzkości, co rodzi poważne pytania – jak blisko jest do tego momentu? Czy jesteśmy przygotowani, aby sobie z tym poradzić? I jak w ogóle zacząć to regulować?

W tym odcinku nasz starszy dyrektor ds. uczenia maszynowego, Fergal Reid, dołącza do Emmeta Connolly’ego, naszego wiceprezesa ds. projektowania produktów, aby stawić czoła superinteligencji – znanym i nieznanym, od etyki po zagrożenia i wyzwania związane z przepisami.

Oto niektóre z najważniejszych wniosków:

• Integracja sztucznej inteligencji w obszarach takich jak samochody autonomiczne rodzi dylematy etyczne, ale ważne jest, aby odróżnić to od superinteligencji, która jest potencjalnie znacznie bardziej niebezpieczna.
• Kluczowe znaczenie ma zrównoważenie naszej uwagi pomiędzy bezpośrednimi problemami związanymi ze sztuczną inteligencją a zagrożeniami ze strony superwywiadu – dzisiejsze ryzyko nie powinno przyćmiewać potencjalnych przyszłych szkód, nawet jeśli są trudniejsze do uchwycenia
• Regulowanie sztucznej inteligencji jest niezwykle trudne. Nadmierna regulacja może ograniczyć korzyści, ale ważne jest, aby laboratoria pionierskie współpracowały z organami regulacyjnymi w celu wspierania odpowiedzialnego rozwoju i wdrażania.
• Chociaż zastosowania nieszkodliwej sztucznej inteligencji powinny opierać się na podejściu „poruszaj się szybko i niszcz”, laboratoria badawcze szkolące pionierskie modele muszą podlegać ścisłym regulacjom.
• Przeoczenie potencjalnych korzyści AI przy jednoczesnym nadmiernym podkreślaniu zagrożeń przyczynia się do bezproduktywnej debaty, która może utrudniać postęp. Ogólnie rzecz biorąc, ta technologia ma pozytywny wynik.

Jeśli podoba Ci się nasza dyskusja, obejrzyj więcej odcinków naszego podcastu. Możesz śledzić w Apple Podcasts, Spotify, YouTube lub pobrać kanał RSS w wybranym odtwarzaczu. Poniżej znajduje się lekko zredagowany zapis odcinka.

W nieznane

Fergal Reid: To kolejna z naszych swobodnych rozmów. Trochę się przygotowywaliśmy, a ty pomyślałeś: „Najbardziej interesująca jest superinteligencja…”

Emmet Connolly: A co z założeniem, że superinteligencja może całkowicie zmienić nasze społeczeństwo, być może z dnia na dzień, i że nie będziemy całkowicie przygotowani, aby sobie z tym poradzić? Mówiłeś, że nikt nie wie i że może to nastąpić w ciągu najbliższych kilku lat. To najważniejsza rzecz, o której mogliśmy porozmawiać. Ale trudność, jaką mam z tym, polega na tym, że wszystko jest nieprzejrzyste. Mogą to być dwa lata, może to być żadna ilość lat lub 200 lat. To najważniejsza rzecz, ale jednocześnie największa niewiadoma.

Fergal: OK, przejdźmy do tego. Zajmijmy się tą superinteligencją od razu. Spróbujmy porozmawiać o tym, co wiemy i czego nie wiemy. Będziemy się bardzo mylić. Jak bym to oprawił? To trochę chodziło mi po głowie. Teraz jest to nieuleczalne. Trudno się go złapać. Co wiemy? Jest cały ten szum, prawda? „Och, to będzie szaleństwo; superinteligencja już wkrótce.” A tak zwani zagłady twierdzą, że domyślnie to nas wszystkich zabije. I poruszaliśmy ten temat trochę w przeszłości. A są też inni ludzie, którzy mówią: „Och, to wszystko bzdury. To jak martwić się przeludnieniem na Marsie.”

„Stworzyliśmy coś, co zaczyna rozumieć pewne rzeczy. Gdzie się to kończy?”

Powiedział to słynny badacz Andrew Ng, a tydzień lub dwa tygodnie temu najwyraźniej zmienił swoją perspektywę. Ma ten biuletyn i w nim nie poruszył kwestii superinteligencji, ale pomyślał: „Och, te systemy zaczynają rozumieć i rozważać różne rzeczy”. Wspomniał o Othello-GPT, o którym mówiliśmy wcześniej, gdzie ćwiczy się tę rzecz na fragmentach gier Othello – po prostu sekwencjach ruchów w grze planszowej – i wydaje się, że zaczyna się uczyć podstawowych rzeczy o grze planszowej i jej układ planszy. Wydało mu się to przekonujące. I to również wydaje mi się przekonujące. Dlatego też niektórzy ludzie, którzy twierdzili, że superinteligencja jest oddalona o miliony mil, teraz nieco zmieniają zdanie. Ludzie, którzy twierdzili, że sztuczna inteligencja niczego nie rozumie, nieco zmieniają zdanie.

Stworzyliśmy coś, co zaczyna rozumieć pewne rzeczy. Gdzie się kończy? Jestem głęboko przekonany, że mówienie o tym, że rzeczy stają się coraz inteligentniejsze i mądrzejsze od ludzi, nie jest śmieszne. I to jest zmiana. Cztery, pięć lat temu – dwa lata temu? – Całkowicie byłbym w obozie Andrew Ng. „Tak, jest to fajna rzecz do przemyślenia i lubię czytać science fiction, ale nie ma na to ścieżki. Nie widzimy tam żadnej ścieżki. Nie ma dowodów na to, że jakakolwiek ścieżka, którą zobaczymy, zadziała”. Istnieje wiele dowodów na to, że może się tam dostać. To coś, czego się nauczyliśmy. To coś, co zmieniło się na świecie.

Emmet: I wygląda na to, że możemy to wyśledzić. Z tego, co sugerujesz, wnioskuję, że rozumowanie jest niezbędnym krokiem do superinteligencji lub sztucznej inteligencji ogólnej (AGI) lub czegokolwiek innego. I że im więcej możliwości rozumowania zostanie tutaj wykazanych, tym większe jest prawdopodobieństwo, że dotrzemy do AGI. A więc, jeśli chodzi o jeden wymiar mojej niezdolności do uchwycenia czegokolwiek namacalnego, mówisz, że myślisz, że zaufanie będzie wspólnie budować z czasem?

„Po raz pierwszy tak naprawdę nie wiemy, na czym polega ta sztuczka. I może nie być podstępu. To może być prawdziwe. To jest inteligentne, a przynajmniej sztuczka jest równie dobra dla ludzkiej inteligencji”

Fergal: Tak, to znaczy, widzisz więcej danych i aktualizujesz swój światopogląd. Jeśli żyjesz w świecie, w którym w ogóle nie ma systemów wywiadowczych, powinieneś być bardziej sceptyczny wobec budowania superinteligencji. A wraz ze wzrostem poziomu inteligencji systemów na świecie powinniśmy stać się bardziej otwarci na pogląd, że dojdziemy do czegoś superinteligentnego. To całkiem proste.

Pamiętam, jak uczyłem się, jak działa szachowa sztuczna inteligencja. Pamiętam mecz szachowy Deep Blue i Kasparowa w 1997 roku (jest o tym piosenka Arcade Fire). Mój dziadek grał w szachy i nauczył mnie grać w szachy, gdy byłem dzieckiem. Był naprawdę zszokowany i zaskoczony Deep Blue, ponieważ Kasparow był tym ogromnym ludzkim geniuszem umysłowym, a Deep Blue go pokonał. „Jak to możliwe? Czy to oznacza, że ​​maszyny są tak samo inteligentne jak my?” I to było duże osiągnięcie techniczne. Ale zasadniczo była to dobra sztuczka. Kiedy dowiesz się, jak szachowa sztuczna inteligencja działa głęboko pod maską, jest to Minimax lub Negamax. To dość prosty algorytm wyszukiwania. Musi mieć jakieś pojęcie, czy stan szachownicy jest dla niego lepszy, czy gorszy – jeśli mam dużo pionków i hetmana, a nie jestem szachowany, jest to proste obliczenie wartości figur szachowych.

Ale wtedy po prostu wykonuje ogromną liczbę wyszukiwań. Jeśli przeniosę się tutaj, ty przeniesiesz się tam, a ja tam… Istnieje kilka sprytnych technik zwiększających efektywność wyszukiwania, ale w zasadzie są to proste obliczenia. Po prostu wykonuje mnóstwo obliczeń. Kiedy więc się tego dowiadujesz, nagle staje się to rozczarowujące. Nagle pomyślał: „Deep Blue nie był myślącą maszyną. To było po prostu naprawdę sprytne...

Emmet: Kalkulator.

Fergal: …kalkulator, prawda. Duży system mechaniczny, który oblicza masowo. Historia sztucznej inteligencji zawsze robi na tobie wielkie wrażenie, dopóki nie nauczysz się tej sztuczki. Ale teraz po raz pierwszy tak naprawdę nie wiemy, na czym polega ta sztuczka. I może nie być podstępu. To może być prawdziwe. Jest to inteligentne, a przynajmniej sztuczka jest równie dobra dla ludzkiej inteligencji.

„Deep Blue nie był mądrzejszy od Kasparowa, ale w całkiem sprytny sposób wykorzystał aspekt swojej inteligencji do obliczenia brutalnej siły do ​​zadania, które uczyniło go lepszym do tego stopnia, że ​​mógł wygrać”

Emmet: Albo odzwierciedla pewne podstawowe, niemal fizyczne, uniwersalne prawo teorii informacji lub sposób, w jaki informacja działa, gdy złoży się ją w dużą ilość.

Fergal: Nie wiem, czy zdecydowałbym się na teorię informacji, ale wydaje mi się, że prosty system dałby moc wyrazu, a kiedy umieścisz wystarczającą ilość informacji, zaczyna się robić mądrze.

Emmet: Zatem Deep Blue nie był mądrzejszy od Kasparowa, ale w całkiem sprytny sposób wykorzystał aspekt swojej inteligencji do obliczenia brutalnej siły do ​​zadania, które uczyniło go lepszym do punktu, w którym mógł wygrać. Myślę więc, że oboje możecie powiedzieć: „Deep Blue nie jest mądrzejszy od Garry’ego Kasparowa” i możecie powiedzieć: „Deep Blue może pokonać Garry’ego Kasparowa w szachach” lub „W zadaniu jest lepszy od ludzi”.

AI przejmuje ster

Emmet: To skłania mnie do zastanowienia się nad tym, jak myślimy o tych rzeczach. Reakcja emocjonalna, którą opisałeś, miał twój dziadek… Jeśli spojrzymy w przyszłość i zobaczymy samochody autonomiczne, które kipiały w tle przez cały czas, a nawet zanim jakiekolwiek kwestie LLM naprawdę wyszły na pierwszy plan. Jest takie emocjonalne pytanie: „Czego chcemy od tych systemów?” Może odchodzę od tematu AGI, ale spójrzmy na samochody. Czego od nich chcemy i jak zareagujemy na tamtejszą integrację? Ponieważ mamy obecnie niedoskonały system – ponad milion ofiar śmiertelnych na drogach rocznie z powodu błędów ludzkich. Gdybyśmy zastąpili to systemem sztucznej inteligencji, który doprowadził do zaledwie pół miliona ofiar śmiertelnych na drogach rocznie, czy… to znaczy, z czysto etycznego i wymagającego liczbowego punktu widzenia bardzo trudno jest nie…

Uderza mnie, że przypomina to szeroko zakrojony problem wózka AI. Problem wózka AI ma charakter lokalny: „Jaką decyzję podejmujesz?” Ale podjęliśmy decyzję na poziomie społecznym: „Czy zaakceptujemy okropne uczucie, jakie towarzyszy samochodom napędzanym przez roboty, nawet jeśli są one omylne, nawet jeśli ta omylność jest mniej omylna niż ludzcy kierowcy?”

„Jeśli – a to jest ogromne „jeśli” – doprowadzimy samochody autonomiczne do takiego stanu, w którym maszyna będzie cię teraz zabijać tam, gdzie kiedyś zabijał cię człowiek, ale będzie zabijać cię w znacznie mniejszym stopniu, myślę, że większość ludzi by się na to zgodziła ”

Fergal: Myślę, że prawdopodobnie to zrobimy. Oczywiście istnieje ryzyko niepowodzeń regulacyjnych i politycznych, ale ludzie cały czas akceptują takie kompromisy. Po prostu nie mówi się o nich zbyt wiele, ponieważ jest to politycznie nierozsądne. Każdy kraj rozwinięty posiada system medyczny, który ocenia koszty i korzyści leku. I na dobre i na złe, robią to. I myślę, że to dobra rzecz. Rozumiem, że politycznie trudno jest tego bronić, ale jeśli tego nie zrobisz, zginie więcej ludzi.

Emmet: Ludzie na ten temat debatują, ale bardzo niewielu ludzi decyduje się na życie w kraju, w którym przepisy nie zapewniają poręczy i barier ochronnych we wszystkich aspektach ich życia. Więc tak, zgadzam się z tobą.

Fergal: Tak, to wszystko. I miejmy nadzieję, że wykonują dobrą robotę, ale muszą podejmować tego rodzaju decyzje dotyczące życia i śmierci w sprawie udostępnienia leków. Społeczeństwa tak robią. I muszę sobie wyobrazić, że gdyby nie jakaś porażka polityczna, jeśli – a to jest ogromne „jeśli” – doprowadzimy samochody autonomiczne do takiego stopnia, że ​​tak, teraz maszyna będzie cię zabijać tam, gdzie kiedyś zabijał cię człowiek, ale zabija ty o wiele mniej, myślę, że większość ludzi by się z tym zgodziła.

Emmet: Nie wiem. Z czysto logicznego punktu widzenia, jeśli przeanalizujesz liczby, trudno znaleźć logiczną wadę w tym, co właśnie powiedziałeś. Myślę jednak, że w przeciwieństwie do przepisów dotyczących narkotyków, które przypominają szum życia i życia w tle, decydujesz, czy wsiądziesz do samochodu autonomicznego, czy nie. Myślę, że dla wielu osób ta decyzja będzie o wiele bardziej osobista niż niektóre regulacje, które są mniej namacalne w życiu codziennym. Myślę, że to będą rzeczy, które mogą okazać się nadmiernie upolitycznione, co sprawi, że regulacje będą naprawdę trudne do osiągnięcia i będą nam przeszkadzać bardziej niż cokolwiek innego.

Fergal: To znaczy, słuchaj, wiem, że to zrobi się polityczne, ale spójrz na energię nuklearną. Energia jądrowa zanieczyszcza mniej dwutlenku węgla niż inne źródła energii. I jest to skomplikowana dyskusja na temat wad. Kiedy dochodzi do stopienia nuklearnego, jest to niezwykle kosztowne. To trudny problem statystyczny. Jednak wielu technologów uważa, że ​​z perspektywy czasu dyskusja na temat energii jądrowej nie była najbardziej racjonalna. Kiedy byłem dzieckiem, bałem się energii nuklearnej. Wielu z nas w latach osiemdziesiątych bało się kwestii nuklearnych. Ale może to przykład politycznej porażki.

Z pewnością istnieje duży elektorat technologów, którzy myślą: „Debata na temat superinteligencji spowoduje nadmierną regulację sztucznej inteligencji i stracimy wiele korzyści dla ludzi”. To odruchowa regulacja. Być może coś podobnego stanie się z samochodami autonomicznymi, kiedy dotrzemy do punktu, w którym będą lepsze, ale wtedy nastąpi porażka polityczna, która w efekcie powstrzyma ich przed wprowadzeniem na rynek, dopóki nie będą idealne, a nigdy nie są doskonałe. Myślę jednak, że jestem optymistą, że ludzie będą mogli przeprowadzić tę debatę.

Emmet: Cóż, właśnie dlatego walczę, aby osobiście i emocjonalnie połączyć się z perspektywą zagłady, ponieważ pewna część tego wydarzy się bez względu na to, co powiesz lub zrobisz odtąd.

Fergal: Dla superinteligencji? Ponieważ cieszę się, że mogę reprezentować perspektywę zagłady superinteligencji.

„Nie ma scenariusza, w którym autonomiczne samochody zabiją wszystkich”

Emmet: Och, OK. Rozróżnijmy więc samochody autonomiczne, które nie wymagają superinteligencji, od niektórych momentów superinteligentnych science-fiction. Dostrzegam mentalność zagłady, nawet jeśli chodzi o ten niesuperinteligentny aspekt.

Fergal: Tak. Musisz rozróżnić jedno i drugie. Jest wielu ludzi, którzy są niesamowicie sceptyczni, cyni i pesymistyczni, jeśli chodzi o, powiedzmy, samochody autonomiczne. Są też inni ludzie, którzy będą cyniczni i pesymistyczni w stosunku do inteligencji ogólnej lub superinteligencji, ale myślę, że należy rozdzielić te dwie rzeczy. Wszyscy uważają, że są one racjonalne, ale ja twierdzę, że istnieje racjonalny argument przemawiający za ostrożnością w przypadku superinteligencji. Nie ma scenariusza, w którym samochody autonomiczne zabiją wszystkich. Są jednak, jak sądzę, prawdopodobne scenariusze, w których ludzie wymyślają superinteligencję, wszystko idzie nie tak i dosłownie wszystkich zabija. Nie mówię, że to prawdopodobne. Są ludzie, którzy twierdzą, że jest to scenariusz domyślny, i moim zdaniem mają przekonujące argumenty, ale nie twierdzę, że jest to prawdopodobne. Ale myślę, że nie można powiedzieć, że jest to niemożliwe. Superinteligencja jest potencjalnie bardzo niebezpieczna. Dlatego uważam, że to po prostu szalony stan. Nawet ostatnia minuta tej rozmowy jest szalona.

Emmet: Tak, to jest dzikie. Wracając do tego, co powiedzieliśmy na początku, to najważniejsza rzecz, a mimo to jest tak amorficzna. Po prostu próbujemy w to wejść.

Fergal: Strach nawet o tym myśleć i mówić. Myślę, że ludzie często dokonują autocenzury. Akademicy autocenzura.

Emmet: Jasne, ze strachu, że się mylę.

Fergal: Strach przed byciem w błędzie i związane z tym zachęty. Ale także, nawet na poziomie ludzkim, to jest jak: „Cholera, naprawdę? Mówisz o technologii, która jest tak wielka.” Wspomniałeś o Oppenheimerze w swoim poprzednim podcaście. Jeśli wierzysz, że coś takiego się stanie i jeśli wierzysz w superinteligencję, z pewnością jest to technologia o mocy podobnej do broni nuklearnej. Lub, twierdzę, znacznie powyżej tej mocy. Istnieje porażający argument na temat samochodów autonomicznych, ale ja osobiście nie traktuję go poważnie. Może to aroganckie z mojej strony, ale nie ma scenariusza, w którym autonomiczne samochody zabiją wszystkich.

Rozwikłanie etyki sztucznej inteligencji

Emmet: Myślę, że dochodzimy tutaj do całej rozmowy na temat AGI lub superinteligencji, która bardzo różni się od rozmowy na temat standardu bagiennego, co mamy lub-

Fergal: Etyka sztucznej inteligencji.

Emmet: …to, co robimy, jest trochę lepsze, ale nawet w ciągu najbliższych pięciu lat nie dojdzie do kolejnej rzeczy. To jest bardziej podstawowa etyka sztucznej inteligencji – wszystkie te rzeczy związane z dezinformacją i tym podobnymi rzeczami, z którymi i tak musimy sobie poradzić.

Fergal: Myślę, że to przypadek historii i być może niebezpieczny przypadek historii, że te dwie rozmowy często się mieszają. To tylko jedna perspektywa. Istnieją alternatywne perspektywy. Ludzie zajmujący się dziś etyką sztucznej inteligencji powiedzą: „O nie, ta superinteligencja wysysa cały tlen z pomieszczenia. Przyszłe teoretyczne szkody odwracają uwagę od rzeczywistych szkód dzisiaj.” Ale jeśli wierzysz, że przyszłe szkody nie są teoretyczne i że ich skala jest znacznie większa, powinno to przyciągnąć wiele uwagi, wiesz?

„Nie twierdzę, że nie powinniśmy w jakikolwiek sposób próbować wyprzedzić tego problemu, ale rozwiązanie tego będzie znacznie trudniejsze niż niektóre z bardziej namacalnych, bezpośrednich problemów, jakie mamy”.

Emmet: Pozwól, że spróbuję przedstawić alternatywny przypadek. Tak, oczywiście, to jest wielka nagroda/zagrożenie/niebezpieczeństwo. A jednak jest to dla nas tak nieznane i niepoznawalne… Pozwólcie, że na chwilę zajmę się Rumsfeldem – są znane wiadome, znane niewiadome i nieznane niewiadome. A kiedy myślę o superinteligencji, mam przed sobą nieznane niewiadome: „Pozwólcie mi przeczytać trochę science-fiction i pomarzyć o tym, co może się wydarzyć”. Chociaż rzeczywiście mamy przed sobą mnóstwo pracy, którą możemy wykonać, i być może zamęt w rozmowie między tymi poziomami sztucznej inteligencji przyniesie efekt przeciwny do zamierzonego. Chociaż to jest najbardziej przerażająca rzecz, to jest w pewnym sensie binarne, czy to się stanie, czy nie. I nie twierdzę, że nie powinniśmy w jakikolwiek sposób próbować wyprzedzić tego problemu, ale rozwiązanie tego będzie znacznie trudniejsze niż niektóre z bardziej namacalnych, bezpośrednich problemów, jakie mamy.

Fergal: Tak, jest to nieuleczalne, ale istnieje ogromne zagrożenie tysiąckrotnie większe i myślę, że większość ludzi się z tym zgodzi, ale z mniejszym prawdopodobieństwem. Może jest to zagrożenie 1000X lub 10000X, ale z 10X mniejszym lub 100X mniejszym prawdopodobieństwem. Jeśli co do tego jesteśmy zgodni, nieodpowiedzialne byłoby nie rozmawiać o tym. To, że jest nieuleczalny, nie oznacza, że ​​nie przyjdzie i cię nie zabije.

Emmet: A może zaczniemy od budowania mięśni, aby regulować i omawiać regulacje oraz wprowadzać regulacje, abyśmy byli lepiej przygotowani na nieuleczalną rzecz, jeśli i kiedy nadejdzie?

Fergal: Być może, ale może to za wolno. Rozmawialiśmy o samochodach autonomicznych i związanej z tym etyce, a wszystko wiąże się z kosztami i korzyściami. Dlatego na świecie jest wielu ludzi, którzy pomyśleliby: „Cała ta kwestia etyki sztucznej inteligencji dotycząca naszych dzisiejszych systemów jest ważna, ale niewielka w porównaniu z użytecznością dzisiejszych systemów”. Jednak kształt staje się zupełnie inny, jeśli mówimy o superinteligencji, ponieważ jest to niebezpieczna technologia wyższego poziomu.

Emmet: Rozumiem cię, ale nadal uważam, że jest ścieżka, której powinniśmy unikać. I jest to również wiarygodna ścieżka. Kontynuujemy podążanie ścieżką, którą podążamy i hej, eksperyment myślowy. Wyobraź sobie, że w przyszłym roku odbyłyby się ważne wybory, a sztuczna inteligencja i dezinformacja stałyby się boogiemanem tego wszystkiego. Ludzie mają na swoich telefonach chatbota Donalda Trumpa, z którym mogą rozmawiać, a to atrakcyjny i rozrywkowy produkt. Założę się, że coś takiego zobaczymy. A opinia publiczna, burza medialna i upolitycznienie tego, czy jest to binarnie dobre, czy złe, po prostu zalewają całą sprawę i znacznie utrudniają prowadzenie ważniejszej rozmowy.

„Zamysł jest taki, że robimy jedno i drugie, a nie jesteśmy w sytuacji, w której myślimy: «Hej, jedyne, na czym należy się skupić, to krótkoterminowe, rzeczywiste szkody, bo druga rzecz jest niejasna»”.

Jeśli w przyszłym roku dojdziemy do etapu, w którym wystąpią poważne dezinformacje i rzeczy, które będą miały realne konsekwencje dla wielu ludzi – nie globalne skutki krachu, jakie są możliwe w przypadku AGI, ale, aby tego nie minimalizować, pojedynczy wypadek gdzieś z powodu robota samochód czy coś – musimy się nastawić na coraz bardziej dojrzałe rozmowy na ten temat. Wyobrażam sobie, że możemy tam dotrzeć wąską ścieżką i prawdopodobnie jest wiele innych, którymi znacząco to psujemy.

Fergal: Chyba musisz zrobić jedno i drugie, prawda? Pomysł jest taki, że robimy jedno i drugie i nie jesteśmy w sytuacji, w której pomyślimy: „Hej, jedyne, na czym należy się skupić, to krótkoterminowe, rzeczywiste szkody, ponieważ druga rzecz jest mglista” lub że przyszłość jest mglista sprawa jest tak poważna, że ​​nie poświęcamy czasu na krótkoterminowe szkody. Prawdopodobnie istnieje optymalnie zrównoważony portfel wysiłków.

Wyobraź sobie, że istnieje na świecie organizacja, która naprawdę dba o etykę i bezpieczeństwo sztucznej inteligencji. Organizacja ta powinna prawdopodobnie podzielić swoje zainteresowania na obie te rzeczy. Ale jak dokonać tego podziału? Pojawia się pomysł napadu Pascala, gdy coś jest tak ważne, a ja mówię: „Hej, mam tu AGI. Pewnie mi nie wierzysz, ale na wszelki wypadek powinieneś oddać mi wszystkie swoje pieniądze. Bo inaczej zniszczy świat.” To coś w stylu: „Och, wow, konsekwencje są tak poważne, że powinieneś po prostu robić, co ci powiem”. To trochę jak zakład Pascala, prawda? Uzbrojony. Chcesz uniknąć takiego scenariusza, ale chcesz także uniknąć scenariusza, w którym nie patrzysz na uzasadnione zagrożenie.

To trudna sprawa. Myślę, że dobrzy ludzie, mający dobre intencje, próbujący uczynić świat lepszym, zarówno w perspektywie długoterminowej, jak i krótkoterminowej, nie zgodzą się z tym. Wspomniałeś niedawno, że dyskusja prowadzi do podziałów. Czasami dyskusja powodująca największe podziały ma miejsce, gdy naprawdę dobrzy ludzie, mający dobre intencje, nie zgadzają się co do taktyki i w rezultacie walczą ze sobą. Naprawdę ciężko się po tym poruszać.

Emmet: Oczywiste jest, że musimy zrobić obie rzeczy.

Regulowanie krajobrazu AI

Emmet: Wspomniałeś o rozporządzeniach UE, które będą wprowadzane w życie. Czy jesteśmy dobrze przygotowani do wprowadzenia inteligentnych, właściwych i skutecznych przepisów dotyczących kwestii krótkoterminowych, o których mówię?

Fergal: Nie wiem. Nie jestem od tego odpowiednim ekspertem. Przeczytałem jeden z projektów ustawy UE o sztucznej inteligencji. Jest tam mnóstwo dobrych rzeczy i mnóstwo rozsądnych rzeczy. Ale to wciąż na poziomie politycznym, wciąż jest przedmiotem debaty. Przeczytałem kilka poprawek, które wydawały się przesadzone. Nie wiem. Spójrz na RODO. Część RODO jest świetna, prawda? Ochrona. A niektóre z nich są przesadzone, jak informacje o zgodzie na pliki cookie lub zgody na RODO, które widzisz wszędzie. Czy to naprawdę uczyniło świat lepszym? Możesz powiedzieć: „No cóż, teoria była dobra, ale wdrożenie było po prostu złe”. Tak, ale to ma znaczenie. Częścią zadania dobrego prawa jest to, żeby konsekwencje nie były złe.

„Cokolwiek o tym myślisz, z pewnością lepiej jest puścić to w świat, gdy stawka jest niska, abyśmy mogli popełniać błędy i odkrywać różne rzeczy”

Jak to się ma do AI? Myślę, że musimy poczekać i zobaczyć. To, co widzę w USA, gdzie nawiązano współpracę z wieloma laboratoriami, dodaje mi otuchy. Nastąpiło dwustronne zaangażowanie i prawdziwa dyskusja, a oni zaczynają dobrowolnie nadzorować przebiegi szkoleń granicznych. Więc na razie nie mam wrażenia, że ​​jest to odruchowe. To dobre uczucie.

Może jestem naiwny. W pewnym sensie myślę, że ludzie w pionierskich laboratoriach badawczych ponoszą w miarę odpowiedzialność za te rzeczy. Dbają o to, aby przez pomyłkę nie wpaść w superinteligencję. Współpracują z organami regulacyjnymi. Można sobie wyobrazić inny świat, w którym celowo zanieczyszczają debatę publiczną i osiedlają się w jurysdykcjach, których nie można uregulować. Myślę, że dzieje się wiele dobrych rzeczy, a cynicy pomyślą: „Och, to tylko laboratorium sztucznej inteligencji próbujące przechwycić przepisy”. Jestem pewien, że tak nie jest. Niektóre osoby w tej przestrzeni nie tracą korzyści z przejęcia regulacyjnego, ale myślę, że są to w większości dobrzy aktorzy.

Emmet: Wyobrażam sobie, że dobre regulacje pozwalają również na przesuwanie skali lub postęp od kroku do kroku. Cokolwiek o tym myślisz, z pewnością lepiej jest puścić to w świat, gdy stawka jest niska, abyśmy mogli popełniać błędy i dowiedzieć się różnych rzeczy. Poziomy samochodów autonomicznych prawdopodobnie zapewniają coś takiego, gdzie możesz powiedzieć: „Jeśli jesteś w tym obszarze, ten poziom autonomii jest w porządku. W tym obszarze nie, lub wymagana jest interwencja kierowcy.” Tutaj również nie mam specjalizacji, ale możesz sobie to wyobrazić w innych obszarach. Zacznijmy od prześwietleń lub skanów złamanych palców u nóg – sztuczna inteligencja sobie z tym poradzi. Ale w przypadku czegokolwiek, co przypomina badanie guza, mamy do czynienia z wieloma warstwami, w tym z udziałem człowieka. A może po prostu stopniowo przejdziesz przez te etapy.

„Sytuacja zagłady lub niebezpieczna pozycja wywiadu ogólnego polega na tym, że przypadkowo budujesz coś znacznie potężniejszego, zanim się tego spodziewasz”

Fergal: To właśnie robimy na co dzień, tworząc produkty AI. W tej chwili dosłownie pracujemy nad produktami AI w skrzynce odbiorczej, próbując zrobić coś dużego, a teraz staramy się stwierdzić: „Nie, to było trochę zbyt ambitne”. W porządku. Mniejsze przypadki, w których na pewno bezpiecznie odda wartość. To coś w rodzaju naszej codziennej pracy. Szukasz sposobów na wdrożenie tam, gdzie wynik netto jest zdecydowanie dodatni, a następnie zwiększenie tego rozmiaru. I muszę sobie wyobrazić, że wiele dobrych zastosowań sztucznej inteligencji będzie przebiegać w ten sposób.

Ponownie, stanowisko zagłady lub niebezpieczne stanowisko ogólnej inteligencji polega na tym, że przypadkowo budujesz coś znacznie potężniejszego, zanim się tego spodziewasz. Biegasz dłuższy bieg treningowy, 10 razy dłuższy niż kiedykolwiek wcześniej, i odkrywasz, że wytrenowałeś coś, co jest 1000 razy inteligentniejsze, ponieważ nie skalowało się tak, jak myślałeś, lub dlatego, że masz jakiś nowy algorytm lub coś takiego. To scenariusz, którego ludzie naprawdę się niepokoją. I myślę, że jest to scenariusz, przed którym należy zachować ostrożność.

Ale znowu, nawet ludzie zajmujący się unijną ustawą o sztucznej inteligencji zaczynają mówić: „Och, jeśli szkolisz najlepsze, najbardziej pionierskie modele, może musisz to zarejestrować. Trzeba to przynajmniej uregulować. Jak to regulujesz? Boże, nie wiem. To byłoby trudne zadanie. Ale przynajmniej o tym myślą.

Bicie na alarm

Emmet: Wyobraź sobie, że pracujesz w OpenAI lub czymś podobnym, i robimy ten ogromny GPT-8 wytrenowany na jakimś szalenie ogromnym korpusie i przekracza on próg, który opisujesz, gdzie przerażająca jest jego moc. Jak myślisz, co stanie się w tym scenariuszu? Po pierwsze, czy najprawdopodobniej wydarzy się to w dużym laboratorium, takim jak ten, które już opisujesz, które chce zachowywać się odpowiedzialnie i współpracuje z rządem, a oni w tym momencie powiedzą: „Hej, uderz duży czerwony przycisk, stało się. Porozmawiajmy o tym, gdzie dalej to zgłosić.” Czy szybko i nagle staje się szeroko dostępny dla szerokiego grona osób, czy też można go zamknąć w laboratorium, gdy już to nastąpi, a następnie możemy porozmawiać o tym, jak bardzo ostrożnie obchodzić się z tym materiałem?

„Ktoś przeszkolił model. Co dalej? Mam nadzieję, że ludzie szkolący te rzeczy podniosą alarm”

Fergal: Jest tego mnóstwo i jest to zdecydowanie gówniany scenariusz, w którym ostatecznie coś trenowałeś. To scenariusz science fiction, ale może nie tak odległy. Kto wie? Ale to tak, jakbyś wytrenował coś, co może być znacznie inteligentniejsze od ciebie. Leży w twoim laboratorium. Co się potem dzieje? Myślę, że ludzie chcą uniknąć takiego scenariusza i myślę, że problem polega na tym, że gdy ludzie zbliżają się do szkolenia w tych obszarach, widzą, że to nadchodzi. Widzą, że zbliża się to do ludzkiej inteligencji. Miejmy nadzieję, że prawdopodobnie nieświadomie. Jeśli myślisz, że jest to świadome, istnieje wiele kwestii etycznych, ale załóżmy, że masz nieświadomą, ale inteligentną istotę. Co się potem dzieje?

Jeśli technologia tak właśnie działa, prywatne laboratorium wydaje się lepszym miejscem do spotkania z czymś takim niż jakiś wojskowy projekt tajnych operacji. Dla ludzi, którzy mówią: „Musimy teraz przerwać wszystkie szkolenia”, oznacza to, że zetkniecie się z tym najpierw w kontekście wojskowym. I naprawdę nie wiem, czy byłoby to lepsze dla ludzi. Może to mój sceptycyzm. Ale tak, ktoś wyszkolił model, co dzieje się dalej? Mam nadzieję, że ludzie szkolący te rzeczy podniosą alarm. I myślę, że to zrobią. Zaletą tego, że laboratoria badań przemysłowych to robią, jest to, że myślę, że mogą wyciekać różne rzeczy. I myślę, że właśnie dlatego tak ważne jest, aby nie robić tego w kontekście wojskowym, ponieważ nie panuje tam kultura tajemnicy. Nawet Apple, najbardziej tajemnicza z dużych firm technologicznych, podejrzewam, że gdyby mieli jakąś szaloną sztuczną inteligencję, usłyszałbyś o tym, prawda? Google na pewno by to zrobił.

Emmet: Kiedy mówisz o wycieku, czy masz na myśli styl sygnalisty, na przykład „Stworzyliśmy to?”, czy też masz na myśli model…

Fergal: Nie, nie mam na myśli wycieku samego modelu.

„Wyobraźcie sobie, że żyjecie w świecie, w którym rozprzestrzenia się niebezpieczna AGI. Jak kontrolować proliferację? To zupełnie inny świat”

Emmet: To się wydarzyło, prawda? Facebook udostępnił niektórym badaczom swój model open source, ktoś go ujawnił i stał się dostępny w Internecie.

Fergal: Tak. Cóż, to zupełnie inna rozmowa. Wyobraź sobie, że żyjesz w świecie, w którym rozprzestrzenia się niebezpieczna AGI. Jak kontrolować proliferację? To zupełnie inny świat. Nagle pomyślał: „Człowieku, szkoda, że ​​nie było to w kontekście wojskowym”. Ale nawet jeśli spojrzeć na Projekt Manhattan, Rosjanie mieli szpiegów, którzy przenieśli technologię z Projektu Manhattan do ich programu zbrojeniowego. Z pewnością państwa narodowe zastanawiają się obecnie nad tego typu kwestiami.

Emmet: Absolutnie. Można wyciągnąć pewne pozytywne wnioski z faktu, że wbrew wszystkiemu, prawie 80 lat temu czy coś w tym stylu, ktoś siedział i omawiał wersję rozmowy, którą toczymy teraz, i myślę, że prawdopodobnie byłby mile zaskoczony usłyszeć, że jeśli szybko przeniesiemy się do roku 2023, nie zajdzie on dalej niż pierwotne użycie.

Fergal: Istnieje również antropiczne uprzedzenie i antropiczny cień. Istnieje wiele interesujących właściwości statystycznych. Nie dotyczy to tak naprawdę wymiany nuklearnej, ale rzeczy, które mogą zniszczyć świat, nigdy nie wydarzą się na twojej osi czasu, o ile możesz to stwierdzić.

Emmet: Jasne. To jest równanie Drake'a zastosowane do życia na Ziemi. Dlaczego świat nigdy się nie skończył, skoro na nim żyję?

Fergal: Tak. A stronniczość antropiczna pojawia się w równaniu Drake'a. Ludzie mają tendencję do niedoceniania częstości występowania asteroid niszczących planety, ponieważ inne gatunki, które zostały uderzone przez asteroidy niszczące planety, nie są ujęte w naszej historii. Jeśli chcesz zacząć rozumować na tym poziomie…

Emmet: A zatem wróćmy do kwestii sztucznej inteligencji.

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. Wiesz co mam na myśli?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. It's hard. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. Otóż ​​to.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet: Na pewnym poziomie, od pierwszego narzędzia – jeśli obejrzysz „2001: Odyseja kosmiczna” , w którym podnosi kość – narzędzia niosły ze sobą potencjał, dzięki któremu możesz coś zrobić lub kogoś skrzywdzić. Potencjalnie zbliżamy się do momentu, w którym pojawi się narzędzie potężniejsze niż cokolwiek wcześniej. I jest to najostrzejszy wyraz dualności, że wszystko może zostać wykorzystane w pozytywny lub negatywny sposób. To zależy od nas. A może w końcu zostaliśmy przechytrzeni przez te narzędzia i nie możemy utrzymać tego w tajemnicy?

Fergal: Myślę, że to zależy od nas, jako obywateli i demokracji. Nie wiem, czy ta mała demokracja, w której żyjemy, odegra tutaj większą rolę. Wiele zależy od ludzi pracujących w laboratoriach badawczych. Myślę, że społeczeństwo obywatelskie musi zająć się tą sprawą. To jest inny rodzaj narzędzia. Jest to przynajmniej najtrudniejsza i najbardziej niebezpieczna klasa narzędzi. Są tu pewne rzeczy, które mogą mieć miejsce i są dość szalone. Patrzę na dzieci rozpoczynające naukę w szkole i nie wiem, w jakim świecie będą żyć, jeśli spełnią się te szalone scenariusze. Ponownie powinniśmy przyznać, że istnieją inne scenariusze. Ale tak, spodziewam się wkrótce dużej reakcji szerszego społeczeństwa.

„Muszą rozważyć kwestie etyczne, ale istnieje bardzo spójne stanowisko, zgodnie z którym nie można tego po prostu ignorować. To nadchodzi”

Emmet: Czy odczułbyś lekką ulgę, gdyby w ogóle się zmniejszył?

Fergal: To znaczy, byłbym zawiedziony. Bardzo by mi się podobało, gdyby poszło dalej, zanim zacznie się zmniejszać. Myślę jednak, że dałoby nam to wszystkim więcej czasu na przystosowanie się do zagrożeń. W tym momencie, gdyby ktoś to oglądał, powiedziałby: „O mój Boże, musimy zakazać wszelkich rzeczy związanych ze sztuczną inteligencją”. I to jest bardzo rozsądne. Ale naprawdę sądzę, że wczesne i szybkie zetknięcie się z takimi rzeczami niesie ze sobą szaloną, teoretyczną i strategiczną korzyść. Wielu pracowników laboratoriów badawczych skłania się do wprowadzenia tej technologii do teraźniejszości, abyśmy mogli sobie z nią poradzić, gdy będzie wcześnie. I naprawdę uważam, że tego czegoś prawie nie da się zakazać. Nie zawsze się z nimi zgadzam, ale darzę wielkim szacunkiem wielu aktorów z laboratoriów badawczych, takich jak OpenAI, którzy o tym myślą, ponieważ uważam, że jest to niesamowicie nieodpowiedzialne posunięcie. Muszą rozważyć kwestie etyczne, ale istnieje bardzo spójne stanowisko, zgodnie z którym nie można tego po prostu ignorować. To nadchodzi. Musisz wybrać, kiedy sobie z tym poradzisz.

Emmet: I bycie częścią rozwiązywania problemu od wewnątrz, zamiast chować głowę w piasek. Mam na myśli więcej władzy dla tych ludzi i osób odpowiedzialnych za regulacje. Powinniśmy ich wspierać i pociągnąć do odpowiedzialności.

Fergal: Podstawą są tu obliczenia. Obliczenia są wszędzie. Wszędzie mamy komputery. To nie jest tak, że jest to uran i można go kontrolować. Chcesz się z nim spotkać, gdy wymaga dużej liczby scentralizowanych obliczeń. Potem można to przynajmniej regulować przez jakiś czas.

Emmet: Zdecydowanie chcę to jeszcze raz sprawdzić. Dziękuję, Fergalu.

Fergal: Dobra pogawędka. Dziękuję, Emmet.