Munculnya AI supercerdas

Kami mulai membangun sistem AI yang dapat memahami berbagai hal. Di mana berhentinya?

AI supercerdas bukanlah topik baru. Namun selama beberapa dekade, hal ini sebagian besar terbatas pada skenario hipotetis dalam makalah akademis atau halaman fiksi ilmiah, dengan kisah futuristik tentang pemberontakan robot dan skenario akhir dunia. Namun, seiring dengan kemajuan teknologi AI, konsep yang tadinya lucu ini, yaitu sistem AI yang mulai meningkatkan kecerdasannya secara rekursif hingga pada titik di mana ia akhirnya melampaui kecerdasan manusia, kini semakin mendekati ambang batas kenyataan. Tiba-tiba, percakapan menjadi lebih serius.

Beberapa peneliti dari organisasi seperti Max Planck Institute for Human Development, Machine Intelligence Research Institute, dan bahkan OpenAI menyatakan bahwa akan sangat sulit – atau bahkan mustahil – untuk membendung hal tersebut begitu kita mencapai titik tersebut. Dan hal itu mungkin tidak lama lagi akan terjadi.

Kapan pun dan dalam bentuk apa pun, sistem AI yang super cerdas akan benar-benar revolusioner dan berdampak pada segala hal mulai dari pasar tenaga kerja dan perekonomian hingga biologi dan kedokteran. Namun, hal ini juga menimbulkan risiko eksistensial yang sangat besar terhadap umat manusia, sehingga menimbulkan beberapa pertanyaan serius – seberapa dekat hal ini akan terjadi? Apakah kita siap menghadapinya? Dan bagaimana Anda mulai mengaturnya?

Dalam episode ini, Senior Director of Machine Learning kami, Fergal Reid, bergabung dengan Emmet Connolly, VP of Product Design kami, untuk membahas superintelligence – baik yang diketahui maupun yang tidak, mulai dari etika hingga ancaman dan tantangan regulasi.

Berikut adalah beberapa kesimpulan utamanya:

• Mengintegrasikan AI dalam bidang seperti mobil self-driving menimbulkan dilema etika, namun penting untuk membedakan antara AI dan superintelligence, yang berpotensi jauh lebih berbahaya.
• Menyeimbangkan fokus kita antara permasalahan AI dan ancaman superintelijen sangatlah penting – risiko yang ada saat ini tidak boleh menutupi potensi bahaya di masa depan, meskipun risiko tersebut lebih sulit untuk dipahami.
• Sangatlah sulit untuk mengatur AI. Regulasi yang berlebihan dapat mengurangi manfaatnya, namun penting bagi laboratorium terdepan untuk bekerja sama dengan regulator guna mendorong pengembangan dan adopsi yang bertanggung jawab.
• Meskipun penerapan AI yang tidak berbahaya harus tetap menggunakan pendekatan “bergerak cepat dan menghancurkan sesuatu”, model pelatihan terdepan di laboratorium penelitian harus diatur secara ketat.
• Mengabaikan potensi manfaat AI dan terlalu menekankan risiko akan menyebabkan perdebatan tidak produktif yang dapat menghambat kemajuan. Secara keseluruhan, teknologi ini berbobot positif.

Jika Anda menikmati diskusi kami, lihat episode podcast kami lainnya. Anda dapat mengikuti di Apple Podcasts, Spotify, YouTube atau mengambil RSS feed di pemutar pilihan Anda. Berikut ini adalah transkrip episode yang telah diedit dengan ringan.

Ke hal yang tidak diketahui

Fergal Reid: Ini adalah salah satu percakapan kami yang berbentuk bebas. Kami sedang melakukan sedikit persiapan, dan Anda berkata, “Kecerdasan super adalah yang paling menarik–”

Emmet Connolly: Bagaimana dengan anggapan bahwa kecerdasan super dapat mengubah masyarakat kita sepenuhnya, mungkin dalam sekejap, dan bahwa kita sama sekali tidak siap menghadapinya? Anda mengatakan tidak ada yang tahu, dan hal itu mungkin terjadi dalam beberapa tahun mendatang. Itu adalah hal terbesar yang bisa kami pilih untuk dibicarakan. Namun kesulitan yang saya hadapi adalah semuanya buram. Bisa jadi dua tahun lagi, bisa jadi tidak berapa tahun lagi, atau 200 tahun lagi. Ini adalah hal terbesar, namun hal terbesar yang tidak diketahui.

Fergal: Oke, mari kita bahas. Mari kita lakukan hal superintelijen ini secara langsung. Mari kita coba bicara tentang apa yang kita ketahui dan apa yang tidak kita ketahui. Kita akan banyak melakukan kesalahan. Bagaimana saya membingkainya? Ini sedikit yang ada dalam pikiran saya. Sekarang, hal itu sulit dilakukan. Sulit untuk dipegang. Apa yang kita ketahui? Ada semua hype ini, bukan? “Oh, ini akan menjadi gila; kecerdasan super akan segera hadir.” Dan mereka yang disebut sebagai pelaku malapetaka menyatakan bahwa, secara default, hal ini akan membunuh kita semua. Dan kami telah menyinggung hal ini sedikit di masa lalu. Dan kemudian, ada orang-orang lain yang berkata, “Oh, itu semua omong kosong. Itu seperti mengkhawatirkan kelebihan populasi di Mars.”

“Kami telah membangun hal-hal yang mulai memahami banyak hal. Di mana berhentinya?”

Andrew Ng, peneliti terkenal, mengatakan hal ini, dan kemudian satu atau dua minggu yang lalu, dia tampaknya telah mengubah sudut pandangnya. Dia memiliki buletin ini, dan dalam buletin tersebut, dia tidak menyinggung tentang superintelligence, namun dia seperti, "Oh, sistem ini mulai memahami dan mempertimbangkan berbagai hal." Dia menyebutkan Othello-GPT, yang telah kita bicarakan sebelumnya, di mana Anda melatih hal ini pada cuplikan permainan Othello – hanya rangkaian gerakan dalam permainan papan – dan tampaknya mulai mempelajari hal-hal mendasar tentang permainan papan dan tata letak papan. Dia menganggap hal itu meyakinkan. Dan menurut saya itu juga meyakinkan. Jadi, beberapa orang yang tadinya mengatakan bahwa superintelligence berjarak jutaan mil jauhnya, kini sedikit mengubah pendapat mereka. Orang-orang yang mengatakan AI tidak memahami apa pun kini sedikit mengubah pendapatnya.

Kami telah membangun hal-hal yang mulai memahami banyak hal. Di mana berhentinya? Satu hal yang sangat saya rasakan adalah tidaklah menggelikan membicarakan hal-hal yang semakin cerdas dan semakin pintar dari manusia. Dan itu adalah perubahan. Empat atau lima tahun lalu – dua tahun lalu? – Saya benar-benar akan berada di kamp Andrew Ng, “Ya, ini adalah hal yang menyenangkan untuk dipikirkan, dan saya suka membaca fiksi ilmiah, tetapi tidak ada jalannya. Kami tidak melihat jalan apa pun di sana. Tidak ada bukti bahwa jalur apa pun yang kami lihat akan berhasil.” Sekarang, ada banyak bukti bahwa hal itu mungkin sampai ke sana. Itu adalah sesuatu yang telah kami pelajari. Itu adalah sesuatu yang berubah di dunia.

Emmet: Dan sepertinya sesuatu yang bisa kita lacak. Apa yang saya dapatkan dari maksud Anda adalah bahwa penalaran adalah langkah penting menuju kecerdasan super atau kecerdasan umum buatan (AGI) atau apa pun. Dan semakin banyak kemampuan penalaran yang dipamerkan di sini, semakin besar kemungkinan kita mencapai AGI. Jadi, untuk satu dimensi ketidakmampuan saya untuk memahami sesuatu yang nyata, Anda mengatakan menurut Anda kepercayaan diri akan terbangun secara kolektif seiring berjalannya waktu?

“Untuk pertama kalinya, kami tidak begitu tahu apa triknya. Dan mungkin tidak ada triknya. Ini mungkin nyata. Ini cerdas, atau, setidaknya, triknya sama bagusnya dengan kecerdasan manusia”

Fergal: Ya, maksud saya, Anda melihat lebih banyak data, dan Anda memperbarui pandangan dunia Anda. Jika Anda hidup di dunia yang tidak memiliki sistem intelijen sama sekali, Anda harus lebih skeptis untuk membangun kecerdasan super. Dan seiring dengan meningkatnya tingkat kecerdasan sistem di dunia, Anda harus lebih terbuka terhadap gagasan bahwa kita akan mendapatkan sesuatu yang super cerdas. Itu cukup sederhana.

Saya ingat belajar tentang cara kerja AI catur. Saya ingat pertandingan catur Deep Blue dan Kasparov pada tahun 1997 (ada lagu Arcade Fire tentang ini). Kakek saya dulu bermain catur dan mengajari saya bermain catur saat kecil. Dia benar-benar terkejut dan terkejut dengan Deep Blue karena Kasparov adalah manusia jenius yang bermental tinggi, dan Deep Blue mengalahkannya. “Bagaimana ini bisa terjadi? Apakah ini berarti mesinnya sama pintarnya dengan kita?” Dan itu adalah pencapaian teknis yang besar. Tapi pada dasarnya itu adalah trik yang bagus. Saat Anda mempelajari cara kerja AI catur, itu adalah Minimax atau Negamax. Ini adalah algoritma pencarian yang cukup sederhana. Ia harus memiliki gambaran apakah keadaan papan lebih baik atau lebih buruk – jika saya memiliki banyak pion dan ratu dan saya tidak dalam cek, itu adalah perhitungan sederhana dari nilai bidak catur.

Tapi kemudian, itu hanya melakukan pencarian dalam jumlah besar. Jika saya pindah ke sini dan Anda pindah ke sana dan saya pindah ke sana… Ada beberapa teknik cerdas untuk membuat pencarian lebih efisien, tetapi pada dasarnya ini adalah perhitungan kasar. Itu hanya melakukan banyak perhitungan. Jadi, ketika Anda mempelajarinya, tiba-tiba Anda merasa kecewa. Tiba-tiba, itu seperti, “Deep Blue bukanlah mesin berpikir. Itu benar-benar pintar-”

Emmet: Kalkulator.

Fergal: … kalkulator, benar. Sebuah sistem mekanik besar yang dihitung secara massal. Dengan sejarah AI, Anda selalu terkesan sampai Anda mempelajari triknya. Tapi sekarang, untuk pertama kalinya, kita tidak tahu persis apa triknya. Dan mungkin tidak ada triknya. Ini mungkin nyata. Ini cerdas, atau setidaknya triknya sama bagusnya dengan kecerdasan manusia.

“Deep Blue tidak lebih pintar dari Kasparov, namun dengan cara yang cukup cerdas, mereka menggunakan aspek perhitungan brute force dari kecerdasannya untuk melakukan tugas yang membuatnya lebih baik hingga mencapai titik di mana ia bisa menang”

Emmet: Atau mencerminkan hukum universal teori informasi yang mendasarinya, hampir mirip fisika, atau bagaimana informasi bekerja ketika Anda menggabungkannya dalam jumlah besar.

Fergal: Saya tidak tahu apakah saya akan menggunakan teori informasi, tapi saya rasa gagasan bahwa mungkin sistem sederhana akan memberikan kekuatan ekspresif, dan ketika Anda cukup memasukkan informasi, sistem itu mulai menjadi pintar.

Emmet: Jadi Deep Blue tidak lebih pintar dari Kasparov, tapi dengan cara yang cukup cerdas, mereka menerapkan aspek perhitungan brute force dari kecerdasannya ke tugas yang membuatnya lebih baik hingga bisa menang. Jadi menurut saya Anda berdua bisa mengatakan, “Deep Blue tidak lebih pintar dari Garry Kasparov,” dan Anda bisa mengatakan, “Deep Blue bisa mengalahkan Garry Kasparov dalam catur,” atau “Deep Blue lebih baik daripada manusia dalam suatu tugas.”

AI mengambil alih kemudi

Emmet: Hal itu membuat saya berpikir tentang cara kita memikirkan hal-hal tersebut. Reaksi emosional yang Anda gambarkan tentang kakek Anda… Jika kita melihat ke depan dan melihat mobil tanpa pengemudi, yang telah muncul di latar belakang selama atau bahkan sebelum hal-hal LLM benar-benar muncul ke permukaan. Ada hal yang emosional, “Apa yang kita inginkan dari sistem ini?” Mungkin saya menjauh dari hal-hal AGI di sini, tapi mari kita lihat mobil. Apa yang kita inginkan dari mereka, atau bagaimana kita akan menanggapi integrasi tersebut? Karena kita memiliki sistem yang tidak sempurna saat ini – lebih dari satu juta kematian di jalan raya per tahun disebabkan oleh kesalahan manusia. Jika kita menggantinya dengan sistem AI yang hanya menyebabkan setengah juta kematian di jalan raya per tahun, akankah kita… Maksud saya, sangat sulit, dari sudut pandang etika dan penghitungan angka, untuk tidak…

Saya terkejut bahwa ini seperti masalah troli AI yang besar. Masalah troli AI bersifat lokal, “Keputusan apa yang Anda buat?” Namun kita mempunyai keputusan di tingkat masyarakat, “Apakah kita akan menerima perasaan tidak enak yang muncul saat mobil dikemudikan oleh robot, meskipun mobil tersebut bisa salah, meskipun kesalahan tersebut tidak seburuk pengemudi manusia?”

“Jika – dan ini adalah sebuah kemungkinan besar – kita bisa membuat mobil self-driving sampai pada titik di mana sebuah mesin sekarang membunuh Anda dibandingkan manusia dulu yang membunuh Anda, namun mesin tersebut tidak membunuh Anda sama sekali, saya pikir sebagian besar orang akan baik-baik saja dengan hal itu. ”

Fergal: Saya pikir kita mungkin akan melakukannya. Tentu saja terdapat potensi kegagalan regulasi dan politik, namun masyarakat selalu menerima konsekuensi tersebut. Mereka hanya tidak banyak membicarakannya karena secara politis tidak bijaksana untuk melakukan hal tersebut. Setiap negara maju mempunyai sistem medis yang akan mempertimbangkan biaya dan manfaat suatu obat. Dan baik atau buruk, mereka melakukan itu. Dan menurut saya itu adalah hal yang baik untuk dilakukan. Dan saya paham bahwa secara politis sulit untuk mempertahankan hal ini, namun jika Anda tidak melakukannya, akan lebih banyak orang yang meninggal.

Emmet: Banyak orang yang memperdebatkannya, tapi sangat sedikit orang yang memilih untuk tinggal di negara yang peraturannya tidak memberikan batasan dan penghalang keamanan untuk segala aspek kehidupan mereka. Jadi ya, saya setuju dengan Anda.

Fergal: Ya, itu dia. Dan mudah-mudahan, mereka melakukan tugasnya dengan baik, namun mereka harus mengambil keputusan hidup atau mati mengenai obat apa yang tersedia. Masyarakat melakukan hal itu. Dan saya harus membayangkan bahwa, tanpa adanya kegagalan politik, jika – dan ini adalah sebuah kemungkinan besar – kita bisa mendapatkan mobil tanpa pengemudi hingga pada titik di mana, ya, sebuah mesin kini membunuh Anda seperti yang biasa dilakukan manusia, namun ternyata membunuh. Anda jauh lebih sedikit, saya pikir kebanyakan orang akan baik-baik saja dengan hal itu.

Emmet: Saya tidak tahu. Dari sudut pandang logis, jika Anda menghitung angka-angkanya, sulit untuk menemukan kesalahan logis dalam apa yang baru saja Anda katakan. Namun menurut saya, dibandingkan dengan regulasi narkoba, yang merupakan latar belakang kehidupan dan kehidupan, Anda memilih untuk menggunakan mobil self-driving atau non-self-driving. Dan menurut saya keputusan tersebut akan lebih bersifat pribadi bagi banyak orang dibandingkan beberapa peraturan yang kurang nyata dalam kehidupan Anda sehari-hari. Saya pikir hal-hal tersebut akan menjadi hal yang terlalu dipolitisasi, membuat peraturan menjadi sangat sulit untuk dicapai dan menghambat kita lebih dari apapun.

Fergal: Maksud saya, saya tahu ini akan menjadi masalah politik, tapi lihatlah tenaga nuklir. Tenaga nuklir mencemari lebih sedikit karbon dibandingkan bahan lainnya. Dan ini adalah diskusi yang rumit tentang sisi negatifnya. Ketika terjadi krisis nuklir, hal ini sangat merugikan. Itu masalah statistik yang sulit. Namun banyak ahli teknologi yang merasa bahwa diskusi seputar tenaga nuklir bukanlah hal yang paling rasional jika dilihat secara retrospektif. Ketika saya masih kecil, saya takut dengan tenaga nuklir. Banyak dari kita di tahun delapan puluhan yang takut dengan nuklir. Tapi mungkin itu contoh kegagalan politik.

Tentu saja ada banyak pakar teknologi yang berkata, “Perdebatan seputar superintelligence akan menyebabkan regulasi AI yang berlebihan, dan akan ada banyak manfaat bagi manusia yang akan hilang.” Itu adalah peraturan yang dibuat secara spontan. Mungkin hal serupa akan terjadi pada mobil self-driving di mana kita sampai pada titik di mana mobil tersebut lebih baik, namun kemudian ada kegagalan politik yang pada akhirnya menghentikan penerapannya sampai mobil tersebut sempurna, dan mobil tersebut tidak pernah sempurna. Namun saya rasa saya optimis bahwa masyarakat akan mampu melakukan perdebatan tersebut.

Emmet: Nah, inilah mengapa saya berjuang untuk terhubung secara pribadi dan emosional dengan sudut pandang malapetaka karena sebagian dari hal ini akan terjadi tidak peduli apa yang Anda katakan atau lakukan mulai saat ini.

Fergal: Untuk kecerdasan super? Karena saya dengan senang hati mewakili sudut malapetaka bagi kecerdasan super.

“Tidak ada skenario dimana mobil self-driving akan membunuh semua orang”

Emmet: Oh, oke. Jadi mari kita bedakan antara mobil self-driving, yang tidak memerlukan kecerdasan super, dan beberapa momen fiksi ilmiah supercerdas. Saya merasakan mentalitas malapetaka bahkan untuk aspek non-super-cerdas dalam hal ini.

Fergal: Ya. Anda harus membedakan keduanya. Ada banyak orang yang sangat skeptis, sinis, dan pesimis terhadap, misalnya, mobil self-driving. Lalu ada orang lain yang akan bersikap sinis dan pesimis terhadap kecerdasan umum atau kecerdasan super, tapi menurut saya Anda harus memisahkan keduanya. Semua orang menganggap hal tersebut rasional, namun menurut saya ada argumen rasional yang perlu diwaspadai terkait superintelligence. Tidak ada skenario di mana mobil tanpa pengemudi akan membunuh semua orang. Namun, menurut saya, ada skenario yang masuk akal ketika orang-orang menciptakan kecerdasan super, namun semuanya berjalan salah, dan hal itu benar-benar membunuh semua orang. Saya tidak mengatakan hal itu mungkin terjadi. Ada orang yang mengatakan bahwa itu adalah skenario default, dan mereka memiliki argumen yang kuat, menurut pendapat saya, tapi saya tidak mengatakan itu mungkin terjadi. Tapi menurut saya Anda tidak bisa mengatakan itu tidak mungkin. Superintelijen berpotensi sangat berbahaya. Jadi, menurutku itu hanya keadaan gila. Bahkan menit terakhir percakapan ini pun gila.

Emmet: Ya, itu liar. Dan kembali ke apa yang kami katakan di awal, ini adalah hal terbesar, namun sangat tidak berbentuk. Kami hanya mencoba melangkah ke dalamnya.

Fergal: Menakutkan untuk dipikirkan atau dibicarakan. Saya pikir orang-orang sering melakukan sensor diri. Sensor mandiri akademisi.

Emmet : Benar, karena takut salah.

Fergal: Takut salah dan insentif di sekitarnya. Tapi juga, bahkan pada tingkat manusia, itu seperti, “Sial, benarkah? Anda sedang berbicara tentang teknologi yang begitu besar.” Anda menyebutkan Oppenheimer di podcast Anda sebelumnya. Jika Anda yakin hal itu akan terjadi, dan jika Anda percaya pada superintelligence, ini jelas merupakan teknologi yang memiliki tingkat kekuatan yang sama dengan senjata nuklir. Atau, menurut saya, jauh di atas kekuatan itu. Ada argumen buruk tentang mobil self-driving, dan saya pribadi tidak menganggapnya serius. Mungkin saya sombong, tapi tidak ada skenario di mana mobil tanpa pengemudi bisa membunuh semua orang.

Mengurai etika AI

Emmet: Saya pikir yang kita maksud di sini adalah keseluruhan percakapan seputar AGI atau superintelligence sangat berbeda dengan percakapan seputar standar rawa, apa yang kita miliki atau-

Fergal: etika AI.

Emmet: …apa yang kita dapatkan sedikit lebih baik, tetapi bahkan dalam lima tahun ke depan, hal itu tidak mencapai hal berikutnya. Itu lebih merupakan inti etika AI – semua hal tentang misinformasi dan hal-hal seperti itu yang harus kita tangani.

Fergal: Saya pikir ini adalah sebuah kebetulan sejarah dan mungkin sebuah kecelakaan sejarah yang berbahaya sehingga kedua percakapan ini menjadi sangat kacau. Nah, itu hanya satu perspektif. Ada perspektif alternatif. Orang-orang yang bekerja di bidang etika AI saat ini akan berkata, “Oh, tidak, kecerdasan super ini menyedot semua oksigen keluar dari ruangan. Kerugian teoritis di masa depan mengalihkan perhatian dari kerugian nyata saat ini.” Namun jika Anda yakin bahwa dampak buruk di masa depan tidak bersifat teoritis dan besarnya dampak buruknya jauh lebih besar, maka hal ini akan menyedot banyak perhatian, Anda tahu?

“Saya tidak mengatakan bahwa kita tidak boleh mencoba dan mengatasinya dengan cara apa pun, namun hal ini akan jauh lebih sulit untuk diatasi dibandingkan dengan beberapa masalah yang lebih nyata dan mendesak yang kita hadapi”

Emmet: Izinkan saya mencoba menyajikan kasus alternatif. Ya, tentu saja, itulah hadiah/ancaman/bahayanya yang besar. Namun hal ini sangat tidak kita ketahui dan tidak dapat kita ketahui… Izinkan saya memahami Rumsfeldian sebentar – ada hal yang diketahui, hal yang tidak diketahui, dan hal yang tidak diketahui. Dan ketika saya berpikir tentang superintelligence, yang muncul adalah “Izinkan saya membaca fiksi ilmiah dan bermimpi tentang apa yang mungkin terjadi.” Padahal kita mempunyai banyak pekerjaan di depan yang bisa kita lakukan, dan mungkin percakapan yang kacau di antara level AI tersebut sangat kontraproduktif. Meskipun itu adalah hal yang sangat menakutkan, namun masih menjadi pertanyaan apakah hal itu akan terjadi atau tidak. Dan saya tidak mengatakan bahwa kita tidak boleh mencoba dan mengatasinya dengan cara apa pun, namun hal ini akan jauh lebih sulit untuk diatasi dibandingkan dengan beberapa masalah yang lebih nyata dan mendesak yang kita hadapi.

Fergal: Ya, hal ini sulit diatasi, namun ancamannya mencapai 1.000 kali lipat, dan menurut saya sebagian besar orang akan setuju dengan hal tersebut, namun kemungkinannya lebih kecil. Mungkin ancamannya 1.000X atau 10.000X tetapi dengan probabilitas 10X lebih rendah atau 100X lebih rendah. Jika kita sepakat mengenai hal itu, tidak bertanggung jawab jika kita tidak membicarakan hal itu. Hanya karena hal ini sulit diatasi, bukan berarti hal tersebut tidak akan datang dan membunuh Anda.

Emmet: Atau apakah kita mulai membangun kekuatan untuk mengatur dan mendiskusikan peraturan serta membuat peraturan sehingga kita lebih siap menghadapi hal yang sulit jika dan ketika hal itu terjadi?

Fergal: Mungkin, tapi mungkin itu terlalu lambat. Kami berbicara tentang mobil self-driving dan etikanya, dan dalam segala hal, ada biaya dan manfaatnya. Jadi, ada banyak orang di dunia yang berpikir, “Semua hal tentang etika AI pada sistem kita saat ini penting, tetapi kecil dibandingkan dengan kegunaan sistem saat ini.” Namun bentuknya menjadi sangat berbeda jika Anda berbicara tentang kecerdasan super karena itu adalah teknologi berbahaya tingkat berikutnya.

Emmet: Aku mengerti, tapi menurutku masih ada jalan yang harus kita hindari. Dan itu juga merupakan jalan yang masuk akal. Kami terus menempuh jalur yang kami lalui dan hei, eksperimen pikiran. Bayangkan jika ada pemilu besar yang penting tahun depan, dan AI serta misinformasi menjadi penyebab semua ini. Orang-orang memiliki chatbot Donald Trump di ponsel mereka yang dapat mereka ajak bicara, dan itu adalah produk yang menarik dan menghibur. Saya yakin kita akan melihat hal seperti itu. Dan opini publik serta badai media dan politisasi mengenai apakah hal ini baik atau buruk hanya akan mengacaukan segalanya dan mempersulit pembicaraan yang lebih penting.

“Idenya adalah kita melakukan keduanya dan kita tidak berada dalam posisi di mana kita berpikir, 'Hei, dampak buruk jangka pendek adalah satu-satunya hal yang harus kita fokuskan karena hal lainnya tidak jelas'”

Jika kita sampai pada tahap di tahun depan di mana misinformasi serius dan hal-hal yang mempunyai konsekuensi nyata bagi banyak orang – bukan konsekuensi krisis global yang mungkin terjadi dengan AGI, namun, bukan untuk meminimalkannya, satu kecelakaan di suatu tempat akibat robot mobil atau apalah – kita harus mempersiapkan diri untuk melakukan percakapan yang lebih dewasa tentang hal ini. Ada jalan sempit yang dapat saya bayangkan untuk kita capai, dan mungkin banyak jalan lain yang membuat kita mengacaukannya secara signifikan.

Fergal: Saya rasa Anda harus melakukan keduanya, bukan? Idenya adalah bahwa kita melakukan keduanya dan kita tidak berada dalam posisi di mana kita berpikir, “Hei, dampak jangka pendek yang nyata adalah satu-satunya hal yang harus kita fokuskan karena hal lainnya masih samar-samar,” atau bahwa masa depan akan terlihat samar-samar. permasalahannya begitu besar sehingga kita tidak membuang-buang waktu untuk memikirkan dampak buruk jangka pendek. Agaknya, terdapat portofolio upaya yang seimbang secara optimal.

Bayangkan ada sebuah organisasi di dunia yang sangat peduli terhadap etika AI dan keamanan AI. Organisasi tersebut mungkin harus membagi fokusnya pada kedua hal tersebut. Tapi bagaimana Anda membuat perpecahan itu? Ada gagasan tentang penjambretan Pascal di tempat yang sangat besar, dan saya berpikir, “Hei, saya punya AGI di sini. Sekarang, Anda mungkin tidak mempercayai saya, tetapi Anda harus memberikan semua uang Anda untuk berjaga-jaga. Karena jika tidak, dunia akan hancur.” Ini seperti, “Oh, wow, konsekuensinya begitu besar, kamu harus melakukan apa pun yang saya katakan.” Dan itu seperti taruhan Pascal, bukan? dipersenjatai. Anda ingin menghindari skenario tersebut, namun Anda juga ingin menghindari skenario di mana Anda tidak melihat ancaman yang sah.

Ini adalah hal yang sulit. Saya pikir orang-orang baik dan bermaksud baik yang berusaha menjadikan dunia lebih baik, baik dalam jangka panjang maupun pendek, tidak akan setuju. Anda baru-baru ini menyebutkan bahwa diskusi tersebut memecah belah. Kadang-kadang, diskusi yang paling memecah-belah adalah ketika orang-orang baik dan bermaksud baik tidak sepakat mengenai taktik dan akhirnya bertengkar satu sama lain. Itu sangat sulit untuk dilakukan.

Emmet: Hal yang jelas adalah kita harus melakukan kedua hal tersebut.

Mengatur lanskap AI

Emmet: Anda menyebutkan peraturan UE yang mulai berlaku. Apakah kita sudah siap untuk menerapkan peraturan yang cerdas, tepat, dan efektif untuk hal-hal jangka pendek yang saya bicarakan?

Fergal: Saya tidak tahu. Saya bukan ahli yang tepat untuk ini. Saya telah membaca salah satu rancangan UU AI UE. Dan ada banyak hal bagus di sana dan banyak hal masuk akal. Tapi itu masih dalam tataran politik, masih diperdebatkan. Saya membaca beberapa amandemen yang sepertinya berlebihan. Aku tidak tahu. Lihat GDPR. Beberapa GDPR itu bagus, bukan? Perlindungan. Dan ada juga yang berlebihan, seperti izin cookie, atau izin GDPR yang Anda lihat di mana-mana. Apakah hal itu benar-benar membuat dunia menjadi lebih baik? Anda mungkin berkata, “Teorinya bagus, tetapi penerapannya buruk.” Ya, tapi itu penting. Bagian dari tugas hukum yang baik adalah konsekuensinya tidak buruk.

“Apa pun pendapat Anda tentang hal ini, tentunya lebih baik untuk mengumumkannya kepada dunia selagi taruhannya kecil sehingga kita dapat membuat kesalahan dan mencari tahu”

Bagaimana hal ini terjadi dengan AI? Saya pikir kita harus menunggu dan melihat. Saya terdorong oleh apa yang saya lihat di AS di mana mereka terlibat dengan banyak laboratorium. Telah terjadi keterlibatan dua arah dan diskusi nyata, dan mereka mulai melakukan pengawasan sukarela terhadap pelaksanaan pelatihan di perbatasan. Jadi sejauh ini tidak terasa spontan. Rasanya enak.

Saya mungkin naif. Menurutku orang-orang di laboratorium penelitian perbatasan cukup bertanggung jawab mengenai hal ini. Mereka peduli agar tidak melakukan kesalahan dalam hal superintelligence. Mereka terlibat dengan regulator. Anda dapat membayangkan dunia lain di mana mereka dengan sengaja mencemari perdebatan publik dan menempatkan mereka di yurisdiksi yang tidak dapat diatur. Saya pikir ada banyak hal baik yang terjadi, dan orang-orang sinis akan berkata, “Oh, ini hanya laboratorium AI yang mencoba melakukan penangkapan regulasi.” Saya yakin tidak. Manfaat peraturan tidak hilang bagi sebagian orang di bidang ini, namun menurut saya sebagian besar mereka adalah pelaku yang baik.

Emmet: Saya membayangkan regulasi yang baik juga memungkinkan terjadinya perubahan skala atau kemajuan dari langkah ke langkah. Apa pun pendapat Anda tentang hal ini, tentunya lebih baik untuk mengumumkannya kepada dunia selagi taruhannya kecil sehingga kita dapat membuat kesalahan dan mencari tahu. Level mobil self-driving mungkin memberikan sesuatu seperti ini di mana Anda dapat berkata, “Jika Anda berada di area ini, tidak masalah untuk tingkat otonomi ini. Di area ini, tidak diperlukan intervensi pengemudi.” Saya juga berada di luar bidang keahlian saya di sini, tetapi Anda bisa membayangkannya di bidang lain. Mari kita mulai dengan rontgen atau pemindaian jari kaki yang patah – AI dapat melakukannya. Namun dalam melihat tumor, kita akan memiliki banyak lapisan, termasuk keterlibatan manusia. Dan mungkin Anda baru saja melewati tahapan tersebut secara bertahap.

“Posisi malapetaka atau posisi intelijen umum yang berbahaya adalah Anda secara tidak sengaja membangun sesuatu yang jauh lebih kuat sebelum Anda mengharapkannya”

Fergal: Inilah yang kami lakukan sehari-hari saat membuat produk AI. Kami benar-benar sedang mengerjakan produk AI di Inbox saat ini untuk mencoba melakukan sesuatu yang besar, dan sekarang kami mencoba untuk mengidentifikasi, “Tidak, itu agak terlalu ambisius.” Tidak apa-apa. Kasus-kasus kecil yang pasti akan memberikan nilai dengan aman. Ini semacam pekerjaan harian kami. Anda sedang mencari cara untuk meluncurkannya di tempat yang benar-benar positif dan kemudian memperluas ukurannya. Dan saya membayangkan bahwa banyak adopsi AI yang baik akan berjalan seperti itu.

Sekali lagi, posisi malapetaka atau posisi intelijen umum yang berbahaya adalah Anda secara tidak sengaja membangun sesuatu yang jauh lebih kuat sebelum Anda mengharapkannya. Anda menjalankan latihan yang lebih panjang yang 10 kali lebih lama dari yang pernah Anda lakukan sebelumnya, dan Anda menemukan bahwa Anda telah melatih sesuatu yang 1.000 kali lebih cerdas karena tidak sesuai dengan cara berpikir Anda atau karena Anda memiliki algoritma baru atau apa pun. Skenario itulah yang sangat dikhawatirkan masyarakat. Dan saya pikir itu adalah skenario yang harus diwaspadai.

Namun sekali lagi, bahkan orang-orang yang tergabung dalam EU AI Act mulai berkata, “Oh, jika Anda melatih model terbaik dan terdepan, mungkin Anda harus mendaftarkannya. Setidaknya Anda harus mengaturnya.” Bagaimana Anda mengaturnya? Ya Tuhan, aku tidak tahu. Itu akan menjadi pekerjaan yang sulit. Tapi setidaknya mereka memikirkannya.

Membunyikan alarm

Emmet: Bayangkan Anda bekerja di OpenAI atau semacamnya, dan kami melakukan GPT-8 besar-besaran yang dilatih pada korpus yang sangat besar, dan melewati ambang batas yang Anda gambarkan di mana menakutkan betapa kuatnya itu. Menurut Anda apa yang terjadi dalam skenario itu? Pertama-tama, apakah hal ini paling mungkin terjadi di dalam laboratorium besar, seperti yang telah Anda jelaskan, yang ingin berperilaku bertanggung jawab dan terlibat dengan pemerintah, dan pada saat itu, mereka akan berkata, “Hei, pukul tombol merah besar, itu terjadi. Mari kita bicara tentang ke mana kita akan membahas hal ini selanjutnya.” Apakah materi ini dapat diakses secara luas oleh beragam individu dengan cepat dan tiba-tiba, atau dapatkah materi tersebut dimasukkan ke dalam laboratorium setelah hal tersebut terjadi, dan kemudian kita dapat membicarakan tentang cara menangani materi ini dengan sangat hati-hati?

“Seseorang telah melatih modelnya, apa yang terjadi selanjutnya? Saya berharap orang-orang yang melatih hal-hal ini akan meningkatkan kewaspadaannya”

Fergal: Ada banyak hal di sana, dan ini jelas merupakan skenario yang sangat buruk di mana Anda akhirnya melatih sesuatu. Itu adalah skenario fiksi ilmiah, tapi mungkin tidak terlalu lama lagi. Siapa tahu? Namun sepertinya Anda telah melatih sesuatu yang mungkin jauh lebih cerdas dari Anda. Itu ada di lab Anda. Apa yang terjadi selanjutnya? Saya pikir orang-orang ingin menghindari skenario ini, dan saya kira maksudnya adalah ketika orang-orang semakin dekat untuk melatih hal-hal ini, mereka dapat melihat hal ini akan terjadi. Mereka melihat hal ini semakin mendekati kecerdasan manusia. Mudah-mudahan mungkin tidak sadar. Ada banyak hal etis jika Anda menganggapnya sadar, tetapi anggap saja Anda memiliki entitas yang tidak sadar namun cerdas. Apa yang terjadi selanjutnya?

Jika teknologi ini berjalan seperti ini, laboratorium swasta terasa seperti tempat yang lebih baik untuk menghadapi hal ini dibandingkan proyek operasi hitam militer. Bagi orang-orang yang berpikir, “Kita harus menghentikan semua pelatihan sekarang,” itu berarti Anda akan menghadapi hal ini dalam konteks militer terlebih dahulu. Dan saya tidak tahu apakah itu akan lebih baik bagi orang-orang, sungguh. Mungkin itu skeptisisme saya. Tapi ya, ada yang melatih modelnya, apa yang terjadi selanjutnya? Saya berharap orang-orang yang melatih hal-hal ini akan meningkatkan kewaspadaan. Dan saya pikir mereka akan melakukannya. Hal yang menyenangkan tentang laboratorium penelitian industri yang melakukan hal ini adalah menurut saya mereka akan membocorkan sesuatu. Dan menurut saya itulah mengapa sangat penting untuk tidak melakukan hal ini dalam konteks militer karena tidak ada budaya kerahasiaan. Bahkan Apple, perusahaan teknologi besar yang paling rahasia, saya curiga jika mereka memiliki AI yang gila, Anda pasti akan mendengarnya, bukan? Google pasti akan melakukannya.

Emmet: Saat Anda mengatakan kebocoran, yang Anda maksud adalah gaya pelapor, seperti, “Kami telah menciptakan ini?”, atau yang Anda maksud adalah model-

Fergal: Tidak, maksud saya tidak membocorkan model itu sendiri.

“Bayangkan Anda hidup di dunia dengan proliferasi AGI yang berbahaya. Bagaimana Anda mengendalikan proliferasi? Itu adalah dunia yang sangat berbeda”

Emmet : Itu memang terjadi, kan? Facebook merilis model open source mereka kepada beberapa peneliti, seseorang membocorkannya, dan tersedia di internet.

Fergal: Ya. Nah, ini percakapan lainnya. Bayangkan Anda hidup di dunia dengan proliferasi AGI yang berbahaya. Bagaimana Anda mengendalikan proliferasi? Itu adalah dunia yang sangat berbeda. Tiba-tiba itu seperti, “Wah, saya harap ini dalam konteks militer.” Namun bahkan jika Anda melihat Proyek Manhattan, Rusia memiliki mata-mata yang melakukan transfer teknologi dari Proyek Manhattan ke program senjata mereka. Tentunya negara-negara sedang memikirkan hal semacam ini saat ini.

Emmet: Tentu saja. Ada beberapa hal positif yang dapat diambil dari fakta bahwa, terlepas dari segala rintangan, hampir 80 tahun yang lalu atau sekitar itu, seseorang sedang duduk-duduk sambil mendengarkan versi percakapan yang kita lakukan sekarang, dan saya pikir mereka mungkin akan terkejut. untuk mendengar bahwa jika Anda mempercepatnya ke tahun 2023, itu tidak lebih dari penggunaan aslinya.

Fergal: Ada juga bias antropik dan bayangan antropik. Ada berbagai macam sifat statistik yang menarik. Hal ini tidak berlaku pada pertukaran nuklir, namun hal-hal yang dapat menghancurkan dunia tidak pernah terjadi dalam timeline Anda, sejauh yang Anda tahu.

Emmet : Benar. Ini adalah persamaan Drake yang diterapkan pada kehidupan di Bumi. Mengapa dunia tidak pernah berakhir selama saya hidup di dalamnya?

Fergal: Ya. Dan bias antropis muncul dalam persamaan Drake. Manusia cenderung meremehkan prevalensi asteroid penghancur planet karena spesies lain yang terkena asteroid penghancur planet tidak termasuk dalam garis waktu sejarah kita. Jika Anda ingin mulai berpikir pada tingkat itu…

Emmet: Kalau begitu, kembalikan hal itu ke bidang AI untukku.

“Mungkin AI adalah teknologi baru yang gila dan kita akan mengandalkan individu, orang-orang dalam kebijakan publik, dan orang-orang di laboratorium AI untuk mengambil tindakan dalam mengelola hal ini dengan baik”

Fergal: Mungkin bukan soal AI, tapi soal nuklir. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Bergerak cepat dan hancurkan barang-barang

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Apakah itu maksudmu?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. Kamu tahu apa maksudku?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. Sulit. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. Itu dia.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet: Pada tingkat tertentu, dari alat yang pertama – jika Anda menonton tahun 2001: A Space Odyssey di mana dia mengambil tulang – alat memiliki potensi untuk digunakan untuk membuat sesuatu atau melukai seseorang. Dan kita berpotensi sampai pada titik di mana alat yang lebih canggih dari apa pun sebelumnya hadir. Dan itu hanyalah artikulasi paling tajam dari dualitas bahwa segala sesuatu dapat dimanfaatkan secara positif atau negatif. Terserah kita. Atau apakah kita akhirnya diakali dengan alat-alat yang sedemikian rupa sehingga kita tidak bisa merahasiakannya?

Fergal: Saya kira itu tergantung pada kita sebagai warga negara dan negara demokrasi. Saya tidak tahu apakah demokrasi kecil yang kita jalani akan berperan besar dalam hal ini. Semua tergantung pada orang-orang yang bekerja di laboratorium penelitian. Saya pikir masyarakat sipil perlu memikirkan hal ini. Ini adalah jenis alat yang berbeda. Setidaknya, ini termasuk dalam kelas alat yang paling sulit dan paling berbahaya. Dan ada hal-hal tertentu yang mungkin terjadi di sini yang cukup liar. Saya melihat anak-anak mulai bersekolah, dan saya tidak tahu di dunia mana mereka akan tinggal jika skenario liar itu terjadi. Sekali lagi, kita harus mengakui bahwa ada skenario lain. Tapi ya, saya mengharapkan reaksi besar dari masyarakat luas dalam waktu dekat.

“Ada hal-hal etis yang harus mereka pertimbangkan, namun ada posisi yang sangat masuk akal di mana Anda tidak bisa mengabaikan hal ini begitu saja. Ini akan datang”

Emmet: Apakah Anda akan sedikit lega jika dikurangi saja?

Fergal: Maksudku, aku akan kecewa. Saya akan sangat senang jika hal ini berjalan lebih jauh sebelum akhirnya berkurang. Namun menurut saya hal ini akan memberi kita lebih banyak waktu untuk beradaptasi terhadap ancaman tersebut. Pada titik ini, jika ada yang menonton ini, mereka akan berkata, "Ya Tuhan, kita harus melarang semua konten AI." Dan itu adalah hal yang sangat wajar. Namun menurut saya, ada manfaat strategis teoretis yang gila jika kita menghadapi hal ini secara dini dan cepat. Hal ini mendorong banyak peneliti di laboratorium untuk membawa teknologi ini ke masa kini sehingga kita dapat menghadapinya ketika masih sangat dini. Dan menurut saya hal ini hampir tidak dapat dilarang. Saya tidak selalu setuju dengan mereka, tapi saya sangat menghormati banyak pelaku di laboratorium penelitian seperti OpenAI yang memikirkan hal ini karena menurut saya ini adalah tindakan yang sangat tidak bertanggung jawab. Ada hal-hal etis yang harus mereka pertimbangkan, tetapi ada posisi yang sangat masuk akal di mana Anda tidak bisa mengabaikannya begitu saja. Ini akan datang. Anda harus memilih kapan Anda akan menghadapinya.

Emmet: Dan menjadi bagian dari pemecahan masalah dari dalam daripada menundukkan kepala. Maksud saya, lebih banyak kekuasaan bagi orang-orang dan orang-orang yang bertanggung jawab untuk mengatur. Kita harus mendukung mereka dan meminta pertanggungjawaban mereka.

Fergal: Bahan mentah di sini adalah komputasi. Komputasi ada dimana-mana. Kami memiliki komputer di mana-mana. Ini tidak seperti uranium dan Anda dapat mengendalikan uranium. Anda memang ingin menemuinya saat memerlukan banyak komputasi yang terpusat. Kemudian, setidaknya hal itu dapat diatur untuk jangka waktu tertentu.

Emmet: Saya pasti ingin memeriksanya kembali. Terima kasih, Fergal.

Fergal: Obrolan yang bagus. Terima kasih, Emmet.