Süper akıllı yapay zekanın ortaya çıkışı

Bir şeyleri anlayabilen yapay zeka sistemleri oluşturmaya başlıyoruz. Nerede duruyor?

Süper akıllı yapay zeka yeni bir konu değil. Ancak onlarca yıldır çoğunlukla akademik makalelerdeki varsayımsal senaryolarla veya robot ayaklanmaları ve dünyanın sonu senaryolarıyla ilgili fütüristik hikayeleriyle bilim kurgu sayfalarıyla sınırlıydı. Ancak yine de, yapay zeka teknolojisi ilerledikçe, bir yapay zeka sisteminin kendi zekasını yinelemeli olarak geliştirmeye başladığı ve sonunda insan zekasını aştığı bu bir zamanlar eğlenceli olan konsept, gerçekliğin eşiğine giderek yaklaşıyor. Bir anda konuşma çok daha ciddileşiyor.

Max Planck İnsan Gelişimi Enstitüsü, Makine Zekası Araştırma Enstitüsü ve hatta OpenAI gibi kuruluşlardan bazı araştırmacılar, bu noktaya ulaştığınızda onları kontrol altına almanın son derece zor, hatta tamamen imkansız olacağını iddia ediyor. Ve bu nokta gerçekleşmekten o kadar da uzak olmayabilir.

Ne zaman ve hangi biçimde gelirse gelsin, süper akıllı yapay zeka sistemleri gerçekten devrim niteliğinde olacak ve iş gücü piyasasından ekonomiye, biyolojiden tıbba kadar her şeyi etkileyecek. Ancak bunlar aynı zamanda insanlık için derin bir varoluşsal risk teşkil ediyor ve bu da bazı ciddi soruları gündeme getiriyor: Bu gerçekleşmeye ne kadar yakın? Bununla baş edebilecek donanıma sahip miyiz? Peki bunu düzenlemeye nasıl başlayacaksınız?

Bu bölümde, Makine Öğrenimi Kıdemli Direktörümüz Fergal Reid, etikten tehditlere ve düzenleme zorluklarına kadar süper zekayı - bilinenler ve bilinmeyenlerle - kafa kafaya ele almak için Ürün Tasarımı Başkan Yardımcımız Emmet Connolly'ye katılıyor.

İşte bazı önemli çıkarımlar:

• Yapay zekanın sürücüsüz otomobiller gibi alanlara entegre edilmesi etik ikilemlere yol açıyor, ancak bunu potansiyel olarak çok daha tehlikeli olan süper zeka ile birbirinden ayırmak önemlidir.
• Odak noktamızı acil yapay zeka endişeleri ile süper istihbarat tehditleri arasında dengelemek çok önemlidir; bugünün riskleri, kavranması daha zor olsa bile gelecekteki potansiyel zararları gölgede bırakmamalıdır.
• Yapay zekayı düzenlemek inanılmaz derecede zordur. Aşırı düzenleme, faydalarını azaltabilir, ancak sınır laboratuvarlarının sorumlu geliştirme ve benimsemeyi teşvik etmek için düzenleyicilerle işbirliği yapması önemlidir.
• Tehlikeli olmayan yapay zeka uygulamalarının "hızlı hareket et ve işleri boz" yaklaşımını sürdürmesi gerekirken, öncü modelleri eğiten araştırma laboratuvarlarının da sıkı bir şekilde düzenlenmesi gerekiyor.
• Riskleri aşırı vurgularken yapay zekanın potansiyel faydalarını göz ardı etmek, ilerlemeyi engelleyebilecek verimsiz bir tartışmaya katkıda bulunur. Genel olarak bu teknoloji net olarak olumlu bir ağırlığa sahip.

Tartışmamızdan hoşlanıyorsanız podcast'imizin diğer bölümlerine göz atın. Apple Podcast'leri, Spotify'ı, YouTube'u takip edebilir veya tercih ettiğiniz oynatıcıdan RSS beslemesini alabilirsiniz. Aşağıda bölümün hafifçe düzenlenmiş bir metni yer almaktadır.

Bilinmeyene doğru

Fergal Reid: Bu bizim serbest biçimli konuşmalarımızdan bir diğeri. Biraz hazırlık yapıyorduk ve siz şöyle dediniz: "Süper zeka en ilginç olanı..."

Emmet Connolly: Süper zekanın toplumumuzu belki bir gecede tamamen değiştirebileceği ve bununla başa çıkmak için tamamen donanımsız olacağımız şeklindeki çerçeveye ne dersiniz? Kimsenin bilmediğini ve bunun önümüzdeki birkaç yıl içinde olabileceğini söylüyordunuz. Hakkında konuşmayı seçebileceğimiz en büyük şey bu. Ama bununla ilgili yaşadığım zorluk, her şeyin şeffaf olmaması. İki yıl uzakta olabilir, çok az yıl uzakta olabilir veya 200 yıl uzakta olabilir. Bu en büyük şey ama en büyük bilinmeyen.

Fergal: Tamam, hadi konuya girelim. Hadi şu süper zeka işini doğrudan yapalım. Bildiklerimizi ve bilmediklerimizi konuşmaya çalışalım. Çok fazla yanılacağız. Nasıl çerçeveleyecektim? Bu biraz aklıma takıldı. Artık bu durum içinden çıkılmaz bir hal alıyor. Tutunmak zordur. Biz ne biliyoruz? Bütün bu abartı var, değil mi? “Ah, bu çılgınca olacak; Süper zeka yakında gelecek.” Ve sözde felaket tellalları, bunun varsayılan olarak hepimizi öldüreceğini iddia ediyorlar. Ve buna geçmişte biraz değinmiştik. Ve sonra şöyle düşünen başka insanlar da var: “Ah, bunların hepsi saçmalık. Bu, Mars'taki aşırı nüfus konusunda endişelenmeye benziyor."

“Bir şeyleri anlamaya başlayan şeyler geliştirdik. Nerede duruyor?”

Ünlü araştırmacı Andrew Ng bunu söyledi ve bir veya iki hafta önce bakış açısını değiştirmiş gibi görünüyor. Elinde bir haber bülteni var ve haber bülteninde süper zekaya değinmedi ama şöyle dedi: "Ah, bu sistemler bazı şeyleri anlamaya ve mantık yürütmeye başlıyor." Daha önce bahsettiğimiz Othello-GPT'den bahsetti; burada bu şeyi Othello oyunlarının parçacıkları (sadece bir masa oyunundaki hareket dizileri) üzerinde eğitiyorsunuz ve masa oyunu ve oyun hakkında temel şeyleri öğrenmeye başlıyor gibi görünüyor. tahtanın düzeni. Bunu ikna edici buldu. Ve bunu da inandırıcı buluyorum. Ve böylece, süper zekanın bir milyon mil uzakta olduğunu söyleyen bazı insanlar, şimdi görüşlerini biraz değiştiriyorlar. Yapay zekanın hiçbir şey anlamadığını söyleyen insanlar, fikirlerini biraz değiştiriyor.

Bir şeyleri anlamaya başlayan şeyler inşa ettik. Nerede duruyor? Güçlü bir şekilde hissettiğim şey, şeylerin giderek daha akıllı hale gelmesinden ve insanlardan daha akıllı hale gelmesinden bahsetmenin saçma olmadığıdır. Ve bu bir değişiklik. Dört ya da beş yıl önce – iki yıl önce mi? – Kesinlikle Andrew Ng'nin tarafında olurdum, “Evet, bu üzerinde düşünülmesi eğlenceli bir konu ve bilim kurgu okumayı seviyorum ama bunun bir yolu yok. Orada herhangi bir yol göremiyoruz. Gördüğümüz herhangi bir yolun işe yarayacağına dair hiçbir kanıt yok.” Şimdi, oraya ulaşabileceğine dair bir sürü kanıt var. Bu öğrendiğimiz bir şey. Bu dünyada değişen bir şey.

Emmet: Ve takip edebileceğimiz bir şeye benziyor. İma ettiğiniz şeyden çıkardığım sonuç, akıl yürütmenin süper zekaya veya Yapay genel zekaya (AGI) veya buna benzer bir şeye doğru gerekli bir adım olduğudur. Ve burada ne kadar çok muhakeme yeteneği sergileniyorsa, YGZ'ye ulaşma ihtimalimiz de o kadar artıyor. Somut bir şeyi kavrayamama konusundaki beceriksizliğimin bir boyutu olarak, güvenin kolektif olarak zamanla artacağını mı düşünüyorsunuz?

“İlk kez işin sırrının ne olduğunu gerçekten bilmiyoruz. Ve bir hile olmayabilir. Gerçek olabilir. Bu zekice bir şey ya da en azından bu hile insan zekası için de aynı derecede iyi.”

Fergal: Evet, yani daha fazla veri görüyorsunuz ve dünya görüşünüzü güncelliyorsunuz. Hiçbir istihbarat sisteminin olmadığı bir dünyada yaşıyorsanız, süper zeka geliştirme konusunda daha şüpheci olmalısınız. Dünyadaki sistemlerin zeka düzeyi arttıkça, süper zeki bir şeye ulaşacağımız fikrine daha açık olmalısınız. Bu oldukça basit.

Satranç yapay zekasının nasıl çalıştığını öğrendiğimi hatırlıyorum. 1997'deki Deep Blue ve Kasparov satranç maçını hatırlıyorum (bununla ilgili bir Arcade Fire şarkısı var). Büyükbabam satranç oynardı ve bana çocukken satranç oynamayı öğretmişti. Deep Blue onu gerçekten şok etti ve şaşırttı çünkü Kasparov çok büyük bir zihinsel dehaydı ve Deep Blue onu yenmişti. "Bu nasıl olabilir? Bu, makinelerin bizim kadar akıllı olduğu anlamına mı geliyor?” Ve bu büyük bir teknik başarıydı. Ama temelde iyi bir numaraydı. Bir satranç yapay zekasının derinlerde nasıl çalıştığını öğrendiğinizde, Minimax veya Negamax'tır. Oldukça basit bir arama algoritmasıdır. Tahta durumunun kendisi için daha iyi mi, yoksa daha kötü mü olduğu hakkında bir fikre sahip olması gerekir; eğer çok sayıda piyonum ve bir vezirim varsa ve şahta değilsem, bu satranç taşlarının değerinin basit bir hesaplanmasıdır.

Ama sonra, çok büyük miktarda arama yapıyor. Ben buraya taşınırsam, sen oraya taşınırsan ve ben de oraya gidersem… Aramayı daha verimli hale getirecek bazı akıllı teknikler var, ancak bunlar temelde kaba hesaplamalardır. Sadece bir ton hesaplama yapıyor. Ve bunu öğrendiğinizde aniden hayal kırıklığı yaşarsınız. Aniden şöyle oldu: “Deep Blue düşünen bir makine değildi. Gerçekten çok zekice bir..."

Emmet: Hesap makinesi.

Fergal: … hesap makinesi, doğru. Toplu olarak hesaplanan büyük bir mekanik sistem. Yapay zekanın geçmişinden, işin püf noktasını öğrenene kadar her zaman gerçekten etkilenirsiniz. Ama şimdi, ilk kez işin sırrının ne olduğunu gerçekten bilmiyoruz. Ve bir hile olmayabilir. Gerçek olabilir. Bu akıllıcadır veya en azından hile insan zekası için benzer şekilde iyidir.

“Deep Blue, Kasparov'dan daha akıllı değildi ama oldukça zekice bir şekilde, zekasının kaba kuvvet hesaplama yönünü, onu kazanabileceği noktaya kadar daha iyi hale getiren bir göreve yerleştirdiler”

Emmet: Veya temeldeki, neredeyse fizik benzeri evrensel bilgi teorisi yasasını veya büyük miktarda bilgiyi bir araya getirdiğinizde bilginin nasıl çalıştığını yansıtıyor.

Fergal: Bilgi teorisini tercih eder miydim bilmiyorum ama sanırım basit bir sistemin ifade gücü verebileceği fikri ve üzerine yeterli bilgiyi koyduğunuzda akıllılaşmaya başlıyor.

Emmet: Yani Deep Blue, Kasparov'dan daha akıllı değildi ama oldukça akıllıca bir şekilde, zekasının kaba kuvvet hesaplama yönünü, onu kazanabileceği noktaya kadar daha iyi hale getiren bir göreve yerleştirdiler. Yani sanırım ikiniz de "Deep Blue, Garry Kasparov'dan daha akıllı değil" diyebilirsiniz, "Deep Blue satrançta Garry Kasparov'u yenebilir" veya "Bir görevde insanlardan daha iyi" diyebilirsiniz.

Yapay zeka direksiyona geçiyor

Emmet: Bu beni bu tür şeyler hakkında nasıl düşündüğümüzü düşünmeye sevk ediyor. Büyükbabanızın anlattığınız duygusal tepki... İleriye baktığımızda, LLM olaylarının herhangi biri gerçekten ön plana çıkmadan önce veya başından beri arka planda köpüren sürücüsüz arabaları görürsek. "Bu sistemlerden ne istiyoruz?" gibi duygusal bir şey var. Belki burada YZI olaylarından uzaklaşıyorum ama hadi arabalara bakalım. Onlardan ne istiyoruz, oradaki entegrasyona nasıl cevap vereceğiz? Çünkü şu anda kusurlu bir sistemimiz var; her yıl insan hatası nedeniyle yollarda bir milyondan fazla ölüm meydana geliyor. Eğer bunu yılda sadece yarım milyon trafik ölümüne yol açan bir yapay zeka sistemiyle değiştirirsek, şunu yapar mıyız? Demek istediğim, tamamen etik, sayıların kısıtlı olduğu bir bakış açısına göre, bunu yapmamak çok zor...

Bana öyle geliyor ki bu, AI tramvay sorununun büyük bir kısmı gibi. AI tramvay sorunu yerel bir "Hangi kararı veriyorsunuz?" Ancak toplumsal düzeyde şu karara sahibiz: "Arabaların robotlar tarafından kullanılmasıyla gelen iğrenç duyguyu, yanılabilir olsalar bile, bu yanılma olasılığı insan sürücülerden daha az olsa bile kabul edecek miyiz?"

“Eğer (ki bu çok büyük bir ihtimal) sürücüsüz arabaları, bir zamanlar bir insanın sizi öldürdüğü yerde artık bir makinenin sizi öldürdüğü noktaya getirirsek, ama artık çok daha az öldürüyorsanız, sanırım çoğu insan bunu kabul eder. ”

Fergal: Sanırım muhtemelen yapacağız. Düzenleyici ve politik başarısızlık potansiyelinin olduğu açık, ancak insanlar bu ödünleşimleri her zaman kabul ediyor. Onlar hakkında pek konuşmuyorlar çünkü bu politik olarak akıllıca değil. Her gelişmiş ülkenin bir ilacın maliyet ve faydasını tartacak bir tıbbi sistemi vardır. Ve iyisiyle kötüsüyle bunu yapıyorlar. Ve bunun yapılması iyi bir şey olduğunu düşünüyorum. Bunu savunmanın siyasi açıdan zor olduğunu anlıyorum ama bunu yapmazsanız daha fazla insan ölür.

Emmet: İnsanlar bunu tartışıyor ama çok az insan, bu düzenlemelerin hayatlarının her alanında korkuluk ve güvenlik bariyerleri sağlamadığı bir ülkede yaşamayı tercih ediyor. Yani evet, sana katılıyorum.

Fergal: Evet, işte bu. Ve umarım iyi bir iş çıkarırlar, ancak hangi ilaçların piyasaya sunulacağı konusunda bu tür ölüm kalım kararlarını vermek zorundalar. Bunu toplumlar yapar. Ve şunu hayal etmeliyim ki, bazı siyasi başarısızlıklar olmazsa, eğer sürücüsüz arabaları öyle bir noktaya getirirsek, evet, eskiden bir insan seni öldürürken şimdi bir makine seni öldürüyor, ama o öldürüyor çok daha az, bence çoğu insan bunu kabul eder.

Emmet: Bilmiyorum. Tamamen mantıksal bir bakış açısından bakıldığında, eğer rakamları incelerseniz, az önce söylediğiniz şeyde mantıksal bir kusur bulmak zordur. Ama bence, hayatın ve yaşamanın arka planındaki uğultu gibi olan uyuşturucu düzenlemesinin aksine, sürücüsüz veya sürücüsüz bir arabaya binmeyi seçiyorsunuz. Ve bence bu karar birçok insan için günlük yaşamınızda daha az somut olan bazı düzenlemelerden çok daha kişisel olacak. Bence bunlar aşırı derecede politikleşebilecek, düzenlemeyi başarmayı gerçekten zorlaştıracak ve bizi her şeyden çok engelleyecek şeyler olacak.

Fergal: Yani bakın, bunun politikleşeceğini biliyorum ama nükleer enerjiye bakın. Nükleer enerji diğer enerjilere göre daha az karbon kirletiyor. Ve bu olumsuz tarafıyla ilgili karmaşık bir tartışma. Nükleer bir erime olduğunda bu son derece maliyetlidir. Bu zor bir istatistiksel problem. Ancak pek çok teknoloji uzmanı, geriye dönüp bakıldığında nükleer enerji hakkındaki tartışmanın pek de mantıklı olmadığını düşünüyor. Çocukken nükleer enerjiden korkardım. Seksenli yıllarda birçoğumuz nükleer şeylerden korkuyorduk. Ama belki de bu siyasi başarısızlığın bir örneğidir.

Kesinlikle "Süper zeka etrafındaki tartışma yapay zekanın aşırı düzenlenmesine neden olacak ve kaybedeceğimiz çok fazla insani fayda olacak" diyen büyük bir teknoloji uzmanı kitlesi var. Bu anlık bir düzenleme. Belki sürücüsüz arabalarda da benzer bir şey olur ve daha iyi oldukları noktaya ulaşırız, ancak daha sonra siyasi bir başarısızlık olur ve bu onların mükemmel olana kadar konuşlandırılmasını engeller ve asla mükemmel olmazlar. Ama sanırım insanların bu tartışmayı yürütebilecekleri konusunda iyimserim.

Emmet: İşte bu yüzden bu felaket açısıyla kişisel ve duygusal olarak bağlantı kurmakta zorlanıyorum çünkü bundan sonra ne söylerseniz ya da ne yaparsanız yapın bunun bir kısmı gerçekleşecek.

Fergal: Süper zeka için mi? Çünkü süper zekanın felaket açısını temsil etmekten mutluyum.

“Kendi kendine giden arabaların herkesi öldüreceği bir senaryo yok”

Emmet: Ah, tamam. Öyleyse süper zeka gerektirmeyen sürücüsüz arabalarla bazı süper zeki bilim kurgu anlarını birbirinden ayıralım. Bunun süper-zeki olmayan yönü için bile felaket zihniyeti algılıyorum.

Fergal: Evet. İkisinin ayrımını yapmak zorundasınız. Kendi kendine giden arabalara karşı inanılmaz derecede şüpheci, alaycı ve kötümser olan pek çok insan var. Ve ayrıca genel zeka veya süper zeka konusunda alaycı ve kötümser olacak başka insanlar da var, ama bence ikisini ayırmanız gerekiyor. Herkes onların mantıklı olduğunu düşünüyor ama ben süperzeka konusunda dikkatli olmak için mantıklı bir argüman olduğunu düşünüyorum. Sürücüsüz arabaların herkesi öldüreceği bir senaryo yok. Ama bence insanların süper zekayı icat ettiği, her şeyin ters gittiği ve kelimenin tam anlamıyla herkesi öldürdüğü makul senaryolar var. Bunun muhtemel olduğunu söylemiyorum. Bunun varsayılan senaryo olduğunu söyleyen insanlar var ve bana göre ikna edici argümanları var, ancak bunun muhtemel olduğunu söylemiyorum. Ama bunun imkansız olduğunu söyleyebileceğinizi sanmıyorum. Süper zeka potansiyel olarak süper tehlikelidir. Ve bence bu, içinde olunması gereken çılgın bir durum. Bu konuşmanın son dakikası bile çılgınca.

Emmet: Evet, çok çılgınca. Başlangıçta söylediğimize dönecek olursak, bu en büyük şey ama yine de çok şekilsiz. Biz sadece buna adım atmaya çalışıyoruz.

Fergal: Düşünmek ya da konuşmak bile korkutucu. İnsanların otosansür uyguladığını düşünüyorum. Akademisyenler otosansür uyguluyor.

Emmet: Doğru, yanılma korkusuyla.

Fergal: Yanılma korkusu ve bunun etrafındaki teşvikler. Ama aynı zamanda, insan seviyesinde bile, şöyle bir şey: “Kahretsin, gerçekten mi? Çok büyük bir teknolojiden bahsediyorsunuz.” Önceki podcast'inizde Oppenheimer'dan bahsetmiştiniz. Eğer böyle bir şeyin olacağına inanıyorsanız ve süper zekaya inanıyorsanız, bunun nükleer silahlara benzer güç seviyesinde bir teknoloji olduğu açıktır. Veya ben, bu gücün oldukça üzerinde olduğunu iddia ediyorum. Kendi kendine giden arabalarla ilgili kötü bir tartışma var ve ben kişisel olarak bunu ciddiye almıyorum. Belki bu benim kibirliliğim olabilir ama sürücüsüz arabaların herkesi öldüreceği bir senaryo yok.

Yapay Zeka Etiğini Çözmek

Emmet: Sanırım burada, YGZ veya süper zeka hakkındaki tüm konuşmanın, bataklık standardı hakkındaki sohbetten çok farklı olduğu sonucuna varıyoruz.

Fergal: Yapay zeka etiği.

Emmet: … biraz daha iyiye gidiyoruz ama önümüzdeki beş yılda bile bir sonraki aşamaya geçilemiyor. Bu daha temel yapay zeka etiğidir; ne olursa olsun uğraşmamız gereken yanlış bilgi ve bunun gibi şeylerle ilgili her şey.

Fergal: Bu iki konuşmanın bu kadar birbirine karıştırılmasının tarihin bir kazası ve belki de tarihin tehlikeli bir kazası olduğunu düşünüyorum. Bu sadece bir bakış açısı. Alternatif bakış açıları var. Günümüzde yapay zeka etiği alanında çalışan insanlar şunu söyleyecektir: "Ah, hayır, bu süper zeka olayı odadaki tüm oksijeni emiyor. Gelecekteki teorik zararlar, dikkatleri bugünkü gerçek zararlardan uzaklaştırıyor.” Ancak gelecekteki zararların teorik olmadığına ve boyutunun çok daha büyük olduğuna inanıyorsanız, çok fazla dikkat çekmeniz gerekir, anlıyor musunuz?

"Hiçbir şekilde bunun önüne geçmeye çalışmamamız gerektiğini söylemiyorum, ancak bu, sahip olduğumuz daha somut, acil sorunlardan bazılarını ele almaktan çok daha zor olacak."

Emmet: Alternatif bir vaka sunmaya çalışayım. Evet, elbette büyük ödül/tehdit/tehlike bu. Ama bizim için o kadar bilinmiyor ve bilinemez ki… Bir anlığına Rumsfeld'in yaklaşımına geçeyim; bilinenler, bilinen bilinmeyenler ve bilinmeyen bilinmeyenler var. Ve süper zekayı düşündüğümde, bilinmeyen bilinmeyenler oluyor, "Gidip biraz bilim kurgu okuyayım ve neler olabileceğini hayal edeyim." Oysa önümüzde yapabileceğimiz bir sürü iş var ve belki de yapay zekanın bu seviyeleri arasındaki konuşmanın karışması çok verimsiz olabilir. Her ne kadar en korkutucu şey bu olsa da, bunun gerçekleşip gerçekleşmeyeceği bir nevi ikili bir durum. Hiçbir şekilde bunun önüne geçmeye çalışmamamız gerektiğini söylemiyorum ama bu, sahip olduğumuz daha somut, acil sorunlardan bazılarını ele almaktan çok daha zor olacak.

Fergal: Evet, bu zor bir durum ama 1000X'lik devasa bir tehdit var ve çoğu insanın buna katılacağını düşünüyorum, ancak daha düşük bir olasılıkla. Belki 1.000X veya 10.000X tehdittir, ancak 10X daha düşük veya 100X daha düşük olasılıkla. Eğer bu konuda aynı fikirdeysek, bunun hakkında konuşmamak sorumsuzluktur. Tedavi edilemez olması gelip seni öldürmeyeceği anlamına gelmez.

Emmet: Yoksa düzenlemeyi düzenlemek, tartışmak ve düzenlemeyi yürürlüğe koymak için gerçekten bir kas inşa etmeye mi başlayacağız, böylece bu zorlu şeye zamanı geldiğinde daha hazırlıklı mı olacağız?

Fergal: Belki ama belki de bu çok yavaş. Kendi kendine giden arabalardan ve bunun etiğinden bahsettik ve her şeyin hem maliyetleri hem de faydaları var. Ve bu nedenle, dünyada "Günümüzde sistemlerimizle ilgili tüm bu yapay zeka etiği konuları önemli ancak bugünkü sistemlerin faydasıyla karşılaştırıldığında küçüktür" diyen pek çok insan var. Ancak süper zekadan bahsediyorsanız şekli çok farklılaşıyor çünkü bu bir sonraki seviye tehlikeli teknolojidir.

Emmet: Seni anlıyorum ama yine de kaçınmamız gereken bir yol olduğunu düşünüyorum. Ve aynı zamanda makul bir yol. Gittiğimiz yolda ilerlemeye devam ediyoruz ve hey, bir düşünce deneyi. Gelecek yıl büyük ve önemli bir seçim olduğunu ve yapay zeka ve yanlış bilginin tüm bunların öcüsü haline geldiğini hayal edin. İnsanların telefonlarında konuşabilecekleri bir Donald Trump sohbet robotu var ve bu ilgi çekici ve eğlenceli bir ürün. Eminim böyle bir şey göreceğiz. Kamuoyu ve medya fırtınası ve bunun ikili iyi mi yoksa kötü mü olduğu konusundaki siyasallaştırma, her şeyi batırıyor ve daha büyük, önemli konuşmayı yapmayı çok daha zorlaştırıyor.

"Amaç şu ki her ikisini de yapıyoruz ve 'Hey, kısa vadeli gerçek zararlar odaklanılacak tek şey çünkü diğer şey belirsiz' gibi bir konumda değiliz"

Gelecek yıl, ciddi yanlış bilgilerin ve birçok insan için gerçek sonuçları olan şeylerin olduğu bir aşamaya gelirsek - AGI ile mümkün olan küresel erime sonuçları değil, bunu en aza indirmemek için bir yerlerde bir robottan kaynaklanan tek bir kaza. araba falan - bu konular hakkında giderek daha olgun konuşmalar yapmaya kendimizi hazırlamalıyız. Oraya varmamızı hayal edebildiğim dar bir yol var ve muhtemelen bunu önemli ölçüde bozduğumuz birçok yol var.

Fergal: Sanırım ikisini de yapmalısınız, değil mi? Fikir şu ki, her ikisini de yapıyoruz ve "Hey, kısa vadeli gerçek zararlar odaklanılacak tek şey çünkü diğer şey belirsiz" veya geleceğin belirsiz olduğu bir konumda değiliz. olay o kadar büyük ki kısa vadeli zararlara hiç vakit ayırmıyoruz. Muhtemelen, optimal olarak dengelenmiş bir çaba portföyü vardır.

Dünyada yapay zeka etiğini ve yapay zeka güvenliğini gerçekten önemseyen bir kuruluşun olduğunu hayal edin. Bu organizasyonun muhtemelen odağını bu iki şeye ayırması gerekiyor. Peki bu bölünmeyi nasıl yapacaksınız? Pascal'ın çok büyük bir şeyi gasp etmesi fikri var ve ben şöyle düşünüyorum: “Hey, burada bir AGI var. Muhtemelen bana inanmıyorsun ama her ihtimale karşı tüm paranı bana vermelisin. Çünkü aksi takdirde dünyayı yok edecek.” "Vay canına, bu sonuç o kadar büyük ki ne dersem onu ​​yapmalısın." gibi bir şey. Bu da Pascal'ın bahsine benziyor, değil mi? Silahlandırılmış. Bu senaryodan kaçınmak istiyorsunuz ama aynı zamanda meşru tehdide bakmadığınız bir senaryodan da kaçınmak istiyorsunuz.

Bu zor bir şey. Hem uzun hem de kısa vadede dünyayı daha iyi hale getirmeye çalışan iyi ve iyi niyetli insanların bu görüşe katılmayacağını düşünüyorum. Geçenlerde tartışmanın bölücü olduğundan bahsetmiştiniz. Bazen en bölücü tartışma, gerçekten iyi, iyi niyetli insanların taktikler konusunda anlaşamaması ve sonunda birbirleriyle kavga etmesidir. Etrafta dolaşmak gerçekten zor.

Emmet: Açık olan şey şu ki her ikisini de yapmamız gerekiyor.

Yapay zeka ortamının düzenlenmesi

Emmet: Yayına girecek AB düzenlemelerinden bahsettiniz. Bahsettiğim kısa vadeli şeyler için akıllı, doğru ve etkili düzenlemeleri uygulamaya koymaya hazır mıyız?

Ferga: Bilmiyorum. Bunun için doğru uzman değilim. AB Yapay Zeka Yasası taslağından birini okudum. Ve orada pek çok iyi şey ve pek çok mantıklı şey var. Ama hâlâ siyasi düzeyde, hâlâ tartışılıyor. Abartılı görünen bazı değişiklikler okudum. Bilmiyorum. GDPR'ye bakın. GDPR'nin bir kısmı harika, değil mi? Koruma. Ve bunların bir kısmı, çerez izni veya her yerde gördüğünüz GDPR rızası gibi şeyler en üstte yer alıyor. Bu gerçekten dünyayı daha iyi hale getirdi mi? Şöyle diyebilirsiniz: "Teori iyiydi ama uygulama kötüydü." Evet ama bu önemli. İyi hukukun işinin bir kısmı sonuçların kötü olmamasıdır.

"Bu konu hakkında ne düşünürseniz düşünün, riskler düşükken bunu dünyaya yaymak kesinlikle daha iyidir, böylece hatalar yapabilir ve bir şeyler bulabiliriz"

Bu yapay zeka ile nasıl sonuçlanıyor? Bence bekleyip görmemiz gerekiyor. Pek çok laboratuvarla etkileşime geçen ABD'de gördüklerim beni cesaretlendiriyor. İki yönlü bir katılım ve gerçek bir tartışma oldu ve sınır eğitim uçuşlarına bazı gönüllü gözetimler koymaya başladılar. Yani şu ana kadar pek de ani bir durum gibi görünmüyor. Bu iyi hissettiriyor.

Saf olabilirim. Sınır araştırma laboratuarlarındaki insanların bu konularda oldukça sorumlu olduklarını düşünüyorum. Yanlışlıkla süper zekaya kapılmamaya önem veriyorlar. Düzenleyicilerle temas halindeler. Kasıtlı olarak kamusal tartışmayı kirlettikleri ve düzenlenemeyen yargı bölgeleri kurdukları başka bir dünya hayal edebilirsiniz. Bence pek çok güzel şey oluyor ve alaycılar şöyle diyecekler: "Ah, bu sadece düzenleyici yakalama yapmaya çalışan yapay zeka laboratuvarı." Eminim öyle değildir. Düzenleyici kontrolün faydası bu alandaki bazı insanlar için gözden kaçmış değil, ama onların çoğunlukla iyi aktörler olduğunu düşünüyorum.

Emmet: İyi bir düzenlemenin aynı zamanda bazı değişken ölçeklere veya adım adım ilerlemeye de izin verdiğini düşünüyorum. Bu konu hakkında ne düşünürseniz düşünün, riskler düşükken bunu dünyaya yaymak kesinlikle daha iyidir, böylece hatalar yapıp bir şeyler bulabiliriz. Kendi kendini süren araba seviyeleri muhtemelen şöyle diyebileceğiniz bir şey sağlar: “Eğer bu bölgedeyseniz, bu seviyedeki özerklik için bu iyi. Bu alanda hayır ya da sürücünün müdahalesi gerekiyor.” Burada da uzmanlık alanımın dışındayım ama başka alanlarda da bunu hayal edebilirsiniz. Röntgen veya kırık ayak parmaklarının taranmasıyla başlayalım; yapay zeka bunu karşılayabilir. Ancak bir tümöre bakmak gibi herhangi bir şeyde, insanın katılımı da dahil olmak üzere birçok katmana sahip olacağız. Ve belki de yavaş yavaş bu aşamalardan geçiyorsunuz.

"Felaket getiren konum veya tehlikeli genel istihbarat konumu, kazara beklemeden çok daha güçlü bir şey inşa etmenizdir."

Fergal: Yapay zeka ürünleri geliştirirken her gün yaptığımız şey bu. Şu anda Gelen Kutusu'ndaki yapay zeka ürünleri üzerinde büyük bir şey yapmaya çalışıyoruz ve şimdi şunu belirlemeye çalışıyoruz: "Hayır, bu biraz fazla iddialıydı." Bu iyi. Kesinlikle güvenli bir şekilde değer vereceği daha küçük kasalar. Bu bizim bir nevi günlük işimiz. Kesinlikle net pozitif olduğu yerde yayılmanın ve ardından bu boyutu genişletmenin yollarını arıyorsunuz. Yapay zekanın pek çok iyi şekilde benimsenmesinin bu şekilde olacağını hayal etmeliyim.

Yine, felaket pozisyonu veya tehlikeli genel istihbarat pozisyonu, kazara beklemeden çok daha güçlü bir şey inşa etmenizdir. Daha önce koştuğunuzdan 10 kat daha uzun bir antrenman koşusu yapıyorsunuz ve düşündüğünüz gibi ölçeklenmediği için veya yeni bir algoritmaya sahip olduğunuz için 1000 kat daha akıllı bir şeyi eğittiğinizi keşfediyorsunuz. İnsanların asıl endişelendiği senaryo bu. Ve bence bu dikkatli olunması gereken bir senaryo.

Ancak yine AB Yapay Zeka Yasası bile insanlar şunu konuşmaya başlıyor: “Ah, eğer en iyi, en öncü modelleri eğitiyorsanız, belki de bunu tescil ettirmeniz gerekir. En azından bunu düzenlemelisiniz." Bunu nasıl düzenliyorsunuz? Tanrım, bilmiyorum. Bu zor bir iş olurdu. Ama en azından bunu düşünüyorlar.

Alarmın çalınması

Emmet: OpenAI veya buna benzer bir şey üzerinde çalıştığınızı ve inanılmaz derecede büyük bir külliyat üzerinde eğitilmiş bu devasa GPT-8'i yaptığımızı ve sizin korkutucu olduğu yerde ne kadar güçlü olduğunu tanımladığınız bu eşiği aştığını hayal edin. Sizce bu senaryoda ne olur? Her şeyden önce, bunun büyük olasılıkla, sizin zaten tanımladığınız türden, sorumlu davranmak isteyen ve hükümetle ilişki içinde olan büyük bir laboratuvarda gerçekleşmesi muhtemel midir ve o noktada, "Hey, vurun" diyecekler. büyük kırmızı düğme, oldu. Bunu bundan sonra nereye götüreceğimizi konuşalım.” Geniş bir yelpazedeki bireyler tarafından hızla ve aniden erişilebilir hale mi geliyor, yoksa bu gerçekleştikten sonra bir laboratuvarda saklanabilir mi ve o zaman bu materyali nasıl dikkatli bir şekilde ele almamız gerektiği hakkında konuşabilir miyiz?

“Birisi modeli eğitti, sonra ne olacak? Bu şeyleri eğiten insanların alarmı vereceğini ummalıyım”

Fergal: Burada çok şey var ve bu kesinlikle bir şeyi eğitmeye başladığınız berbat bir senaryo. Bu bir bilim kurgu senaryosu ama belki de o kadar da uzakta değil. Kim bilir? Ama sanki sizden çok daha zeki bir şeyi eğitmişsiniz gibi. Laboratuvarınızda duruyor. Sonra ne olur? İnsanların bu senaryodan kaçınmak istediklerini düşünüyorum ve sanırım buradaki oyun şu ki, insanlar bu şeyleri eğitmeye yaklaştıkça bunun geleceğini görebilirler. Bunun insan zekasına yaklaştığını görüyorlar. Umarım bilinçli değildir. Bilinçli olduğunu düşünüyorsanız her türlü etik şey vardır ama bilinçsiz ama zeki bir varlığa sahip olduğunuzu varsayalım. Sonra ne olur?

Eğer teknoloji bu şekilde işliyorsa, özel laboratuvar bununla yüzleşmek için bazı askeri gizli operasyon projelerinden daha iyi bir yer gibi geliyor. "Şimdi tüm eğitim çalışmalarını durdurmamız gerekiyor" diyen insanlar için bu, bununla ilk önce askeri bağlamda karşılaşacağınız anlamına geliyor. Ve bunun gerçekten insanlar için daha iyi olup olmayacağını bilmiyorum. Belki de bu benim şüpheciliğimdir. Ama evet, birisi modeli eğitti, sonra ne olacak? Bu şeyleri eğiten insanların alarmı çalıştıracağını ummalıyım. Ve sanırım yapacaklar. Endüstriyel araştırma laboratuvarlarının bunu yapmasının güzel tarafı da bir şeyler sızdıracaklarını düşünüyorum. Ve bence bu yüzden bunun askeri bağlamda yapılmaması gerçekten önemli çünkü bir gizlilik kültürü yok. Büyük teknoloji şirketlerinin en sırrı olan Apple'ın bile, çılgın bir yapay zeka şeyleri olsa bunu duyarsınız diye düşünüyorum, değil mi? Google kesinlikle yapardı.

Emmet: Sızıntı derken, "Bunu biz yarattık" gibi ihbar tarzını mı kastediyorsun, yoksa modeli mi kastediyorsun?

Fergal: Hayır, modelin kendisinin sızdırılmasını kastetmiyorum.

“Tehlikeli YGZ çoğalmasının olduğu bir dünyada yaşadığınızı hayal edin. Proliferasyonu nasıl kontrol edersiniz? Bu tamamen farklı bir dünya”

Emmet: Bu oldu, değil mi? Facebook açık kaynak modelini bazı araştırmacılara yayınladı, birileri sızdırdı ve internette kullanıma sunuldu.

Fergal: Evet. Bu tamamen başka bir konuşma. Tehlikeli YGZ çoğalmasının olduğu bir dünyada yaşadığınızı hayal edin. Proliferasyonu nasıl kontrol edersiniz? Bu tamamen farklı bir dünya. Aniden, "Dostum, keşke askeri bağlamda olsaydı" gibi oldu. Ancak Manhattan Projesi'ne baktığınızda bile Rusların Manhattan Projesi'nden kendi silah programlarına teknoloji transferi yapan casusları vardı. Elbette ulus devletler şu anda bu tür şeyleri düşünüyor.

Emmet: Kesinlikle. Her şeye rağmen, neredeyse 80 yıl önce ya da buna benzer bir şeyde, birisinin şu anda yaptığımız konuşmanın bir versiyonunu oturup yaptığı gerçeğinden alınacak bazı olumlu şeyler var ve bence muhtemelen hoş bir sürpriz olacaklardır. 2023'e hızla ilerlerseniz orijinal kullanımın ötesine geçmediğini duymak.

Fergal: Aynı zamanda antropik bir önyargı ve antropik bir gölge de var. Her türlü ilginç istatistiksel özellik var. Bu aslında nükleer değişim için geçerli değil, ancak dünyayı yok edebilecek şeyler sizin zaman çizelgenizde asla gerçekleşmiyor, anlayabileceğiniz kadarıyla.

Emmet: Doğru. Bu, Dünya'da yaşamaya uygulanan Drake denklemidir. Ben üzerinde yaşarken neden dünyanın sonu gelmedi?

Fergal: Evet. Ve antropik önyargı Drake denkleminde ortaya çıkıyor. İnsanlar, gezegeni yok eden asteroitlerin yaygınlığını hafife alma eğilimindeler çünkü gezegeni yok eden asteroitlerin çarptığı diğer türler, tarihin zaman çizelgesinde yer almıyor. Eğer bu seviyede muhakeme etmeye başlamak istiyorsanız…

Emmet: O zaman bunu benim için yapay zeka konusuna geri getir.

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. You know what I mean?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. It's hard. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. Bu kadar.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet: Bir düzeyde, ilk aletten itibaren - kemiği aldığı 2001: A Space Odyssey filmini izlerseniz - aletlerin bir şey yapmak veya birine zarar vermek için kullanılma potansiyeli vardı. Ve potansiyel olarak her şeyden daha güçlü olan aracın ortaya çıkmadan önce ortaya çıktığı noktaya geliyoruz. Ve bu, her şeyin olumlu ya da olumsuz amaçlarla kullanılabilmesi ikiliğinin en keskin ifadesidir. Bu bize kalmış. Yoksa sonunda araçlar tarafından, bunu gizli tutamayacak kadar zekice mi alt ettik?

Fergal: Sanırım vatandaşlar ve demokrasiler olarak bu bizim elimizde. İçinde bulunduğumuz küçük demokrasinin burada çok fazla bir rolü olup olmayacağını bilmiyorum. Bu daha çok araştırma laboratuarlarında çalışan insanlara bağlıdır. Sivil toplumun bu konuya el atması gerektiğini düşünüyorum. Bu farklı türde bir araçtır. En azından en zorlu, en tehlikeli alet sınıfındadır. Ve burada oldukça vahşi olabilecek bazı şeyler var. Okula başlayan çocuklara bakıyorum ve bu çılgın senaryolar gerçekleşirse nasıl bir dünyada yaşayacaklarını bilmiyorum. Başka senaryoların da olduğunu bir kez daha kabul etmeliyiz. Ama evet, yakında toplumun geniş kesimlerinden büyük bir tepki bekliyorum.

“Onların tartması gereken etik şeyler var ama bunu görmezden gelemeyeceğiniz çok tutarlı bir konum da var. Bu geliyor”

Emmet: Biraz azaltılsa biraz rahatlar mıydın?

Fergal: Yani hayal kırıklığına uğrardım. Düşmeden önce daha da ileri giderse sevinirim. Ancak bunun hepimize tehditlere uyum sağlamamız için daha fazla zaman kazandıracağını düşünüyorum. Bu noktada, bunu izleyen biri olsaydı şöyle derdi: "Aman Tanrım, tüm yapay zeka şeylerini yasa dışı ilan etmemiz gerekiyor." Ve bu çok makul bir şey. Ancak bu tür şeylerle erken ve hızlı bir şekilde yüzleşmenin bu tür çılgın teorik stratejik faydaları olduğunu düşünüyorum. Bu, pek çok araştırma laboratuarı çalışanını teknolojiyi günümüze çekmeye itiyor, böylece erkenden halledebiliriz. Ve bu şeyin neredeyse yasaklanamaz olduğunu düşünüyorum. Onlarla her zaman aynı fikirde değilim, ancak OpenAI gibi araştırma laboratuvarlarında bu konuda düşünen birçok aktöre büyük saygı duyuyorum çünkü bunun inanılmaz derecede sorumsuz bir şey olduğunu düşünüyorum. Tartılması gereken etik şeyler var ama bunu görmezden gelemeyeceğiniz çok tutarlı bir konum da var. Bu geliyor. Bununla ne zaman başa çıkacağınızı seçmelisiniz.

Emmet: Ve kafanızı kuma gömmek yerine sorunu içeriden çözmenin bir parçası olmak. Demek istediğim, bu kişilere ve düzenlemeden sorumlu kişilere daha fazla yetki verilmesi. Hem onlara destek olmalı hem de hesap sormalıyız.

Fergal: Buradaki ham madde hesaplamadır. Hesaplama her yerdedir. Her yerde bilgisayarlarımız var. Uranyum gibi değil ve uranyumu kontrol edebilirsiniz. Çok fazla merkezi hesaplamaya ihtiyaç duyduğunda onunla karşılaşmak istersiniz. Daha sonra, en azından bir süre için düzenlenebilir.

Emmet: Kesinlikle tekrar kontrol etmek istiyorum. Teşekkürler Fergal.

Fergal: İyi sohbetler. Teşekkürler Emmet.