การเกิดขึ้นของ AI อัจฉริยะชั้นยอด

เรากำลังเริ่มสร้างระบบ AI ที่สามารถเข้าใจสิ่งต่าง ๆ ได้ มันหยุดที่ไหน?

Superintelligent AI ไม่ใช่หัวข้อใหม่ แต่เป็นเวลาหลายทศวรรษมาแล้วที่ส่วนใหญ่ถูกจำกัดอยู่เพียงสถานการณ์สมมติในเอกสารทางวิชาการหรือหน้านิยายวิทยาศาสตร์ โดยมีเรื่องราวล้ำยุคเกี่ยวกับการลุกฮือของหุ่นยนต์และสถานการณ์จุดจบของโลก แต่ในขณะที่เทคโนโลยี AI ก้าวไปข้างหน้า แนวคิดที่ครั้งหนึ่งเคยน่าขบขันนี้ ซึ่งระบบ AI เริ่มปรับปรุงสติปัญญาของตัวเองแบบวนซ้ำจนถึงจุดที่ในที่สุดมันก็เหนือกว่าสติปัญญาของมนุษย์ ก็กำลังเข้าใกล้ขีดจำกัดของความเป็นจริงมากขึ้นเรื่อยๆ ทันใดนั้นการสนทนาก็จริงจังมากขึ้น

นักวิจัยบางคนจากองค์กรต่างๆ เช่น Max Planck Institute for Human Development, Machine Intelligence Research Institute และแม้แต่ OpenAI อ้างว่าการควบคุมสิ่งเหล่านี้จะเป็นเรื่องที่ท้าทายอย่างยิ่งหรือเป็นไปไม่ได้เลยเมื่อคุณไปถึงจุดนั้น และจุดนั้นก็คงไม่ห่างไกลจากความเกิดขึ้น

เมื่อใดก็ตามที่มันมาถึงและในรูปแบบใดก็ตาม ระบบ AI ที่ชาญฉลาดจะปฏิวัติอย่างแท้จริง โดยส่งผลกระทบต่อทุกสิ่งตั้งแต่ตลาดแรงงานและเศรษฐกิจไปจนถึงชีววิทยาและการแพทย์ อย่างไรก็ตาม สิ่งเหล่านี้ยังก่อให้เกิดความเสี่ยงต่อการดำรงอยู่อย่างลึกซึ้งต่อมนุษยชาติ ซึ่งทำให้เกิดคำถามร้ายแรงบางประการ - มันใกล้จะเกิดขึ้นแค่ไหน? เราพร้อมที่จะรับมือกับมันแล้วหรือยัง? และคุณจะเริ่มต้นควบคุมมันได้อย่างไร?

ในตอนนี้ Fergal Reid ผู้อำนวยการอาวุโสฝ่าย Machine Learning ของเราจะมาร่วมงานกับ Emmet Connolly รองประธานฝ่ายออกแบบผลิตภัณฑ์ของเรา เพื่อรับฟังความรู้ชั้นยอดโดยตรง ทั้งสิ่งที่รู้และสิ่งที่ไม่รู้ ตั้งแต่จริยธรรมไปจนถึงภัยคุกคามและความท้าทายของกฎระเบียบ

นี่คือประเด็นสำคัญบางส่วน:

• การบูรณาการ AI ในด้านต่างๆ เช่น รถยนต์ไร้คนขับทำให้เกิดปัญหาด้านจริยธรรม แต่สิ่งสำคัญคือต้องแยกแยะระหว่างเรื่องนั้นกับสติปัญญาขั้นสูง ซึ่งอาจเป็นอันตรายได้มากกว่ามาก
• การสร้างสมดุลระหว่างข้อกังวลด้าน AI ที่เกิดขึ้นทันทีและภัยคุกคามที่ชาญฉลาดเป็นสิ่งสำคัญ ความเสี่ยงในปัจจุบันไม่ควรบดบังอันตรายที่อาจเกิดขึ้นในอนาคต แม้ว่าจะเข้าใจได้ยากกว่าก็ตาม
• การควบคุม AI เป็นเรื่องที่ท้าทายอย่างไม่น่าเชื่อ กฎระเบียบที่มากเกินไปสามารถบั่นทอนผลประโยชน์ได้ แต่สิ่งสำคัญคือห้องปฏิบัติการชายแดนต้องมีส่วนร่วมกับหน่วยงานกำกับดูแลเพื่อส่งเสริมการพัฒนาและการนำไปใช้อย่างมีความรับผิดชอบ
• แม้ว่าการใช้งาน AI ที่ไม่เป็นอันตรายควรคงแนวทาง "เคลื่อนที่อย่างรวดเร็วและทำลายสิ่งต่าง ๆ" ต่อไป แต่ห้องปฏิบัติการวิจัยที่ฝึกอบรมโมเดลชายแดนจะต้องได้รับการควบคุมอย่างใกล้ชิด
• การมองข้ามประโยชน์ที่เป็นไปได้ของ AI ขณะเดียวกันก็เน้นย้ำถึงความเสี่ยงมากเกินไป ก่อให้เกิดการถกเถียงที่ไม่เกิดผลซึ่งอาจขัดขวางความก้าวหน้าได้ โดยรวมแล้วเทคโนโลยีนี้มีน้ำหนักสุทธิเป็นบวก

หากคุณชอบการสนทนาของเรา ลองดูพอดแคสต์ตอนอื่นๆ ของเรา คุณสามารถติดตาม Apple Podcasts, Spotify, YouTube หรือรับฟีด RSS จากเครื่องเล่นที่คุณเลือก สิ่งต่อไปนี้คือการถอดเสียงของตอนนี้ที่มีการแก้ไขเล็กน้อย

เข้าไปในสิ่งที่ไม่รู้จัก

เฟอร์กัล รีด: นี่เป็นบทสนทนารูปแบบอิสระอีกรูปแบบหนึ่งของเรา เรากำลังเตรียมตัวกันนิดหน่อย และคุณก็แบบว่า “สติปัญญาสุดยอดนั้นน่าสนใจที่สุด—”

เอ็มเม็ต คอนนอลลี่: แล้วการวางกรอบที่ว่าสติปัญญาชั้นยอดสามารถเปลี่ยนสังคมของเราไปอย่างสิ้นเชิง อาจจะในชั่วข้ามคืน และเราจะไม่มีความพร้อมเลยในการจัดการกับมัน? คุณกำลังบอกว่าไม่มีใครรู้ และอาจเกิดขึ้นภายในสองสามปีข้างหน้า นั่นคือสิ่งที่ยิ่งใหญ่ที่สุดที่เราสามารถเลือกพูดคุยได้ แต่ปัญหาที่ฉันมีคือมันทึบแสงทั้งหมด มันอาจจะอยู่ห่างออกไปสองปี อาจเป็นปีหรือ 200 ปีก็ได้ มันเป็นเรื่องที่ใหญ่ที่สุด แต่ก็เป็นสิ่งที่ไม่รู้จักที่ใหญ่ที่สุด

เฟอร์กัล: เอาล่ะ เรามาเข้าเรื่องกันดีกว่า มาทำสิ่งที่เหนือชั้นนี้กันดีกว่า เรามาลองพูดถึงสิ่งที่เรารู้และสิ่งที่เราไม่รู้ เราคงคิดผิดมาก ฉันจะวางกรอบมันอย่างไร? สิ่งนี้อยู่ในใจของฉันเล็กน้อย ตอนนี้มันเป็นเรื่องยาก มันยากที่จะไขว่คว้า เรารู้อะไร? มีโฆษณาทั้งหมดนี้ใช่ไหม? “โอ้ มันจะบ้าไปแล้ว ความฉลาดขั้นสูงกำลังจะมาเร็ว ๆ นี้” และผู้ที่เรียกว่าผู้ลงทัณฑ์อ้างว่า โดยปริยาย มันจะฆ่าเราทุกคน และเราได้พูดถึงเรื่องนี้มาบ้างแล้วในอดีต แล้วก็มีคนอื่นๆ พวกนี้ที่แบบว่า “โอ้ นี่มันไร้สาระจริงๆ นั่นเหมือนกับความกังวลเรื่องจำนวนประชากรมากเกินไปบนดาวอังคาร”

“เราได้สร้างสิ่งต่าง ๆ ที่เริ่มเข้าใจสิ่งต่าง ๆ มันหยุดตรงไหน?”

Andrew Ng นักวิจัยชื่อดังกล่าวเช่นนี้ และเมื่อหนึ่งหรือสองสัปดาห์ก่อน ดูเหมือนว่าเขาจะเปลี่ยนมุมมองไปแล้ว เขามีจดหมายข่าวนี้ และในจดหมายข่าว เขาไม่ได้พูดถึงเรื่องสติปัญญาขั้นสูง แต่เขาแบบว่า "โอ้ ระบบเหล่านี้เริ่มเข้าใจและมีเหตุผลเกี่ยวกับสิ่งต่างๆ" เขาพูดถึง Othello-GPT ที่เราเคยพูดถึงไปแล้ว โดยที่คุณฝึกสิ่งนี้กับตัวอย่างเกม Othello ซึ่งเป็นเพียงลำดับการเคลื่อนไหวในเกมกระดาน และดูเหมือนว่าจะเริ่มเรียนรู้สิ่งพื้นฐานเกี่ยวกับเกมกระดานและ เค้าโครงของบอร์ด เขาพบว่ามันน่าเชื่อ และฉันก็พบว่ามันน่าเชื่อถือเช่นกัน ดังนั้น บางคนที่บอกว่าสติปัญญาขั้นสูงนั้นอยู่ห่างออกไปหลายล้านไมล์ เลยเปลี่ยนแนวทางไปเล็กน้อย คนที่บอกว่า AI ไม่เข้าใจอะไรเลยกำลังเปลี่ยนแนวทางเล็กน้อย

เราได้สร้างสิ่งต่าง ๆ ที่เริ่มเข้าใจสิ่งต่าง ๆ มันหยุดที่ไหน? สิ่งหนึ่งที่ฉันรู้สึกอย่างยิ่งก็คือมันไม่ไร้สาระที่จะพูดถึงสิ่งต่าง ๆ ที่ฉลาดขึ้นเรื่อย ๆ และฉลาดกว่ามนุษย์ และนั่นคือการเปลี่ยนแปลง สี่หรือห้าปีที่แล้ว – สองปีที่แล้ว? – ฉันคงอยู่ในแคมป์ของ Andrew Ng โดยสิ้นเชิง “ใช่ นี่เป็นเรื่องสนุกให้คิด และฉันชอบอ่านนิยายวิทยาศาสตร์ แต่ไม่มีเส้นทาง เราไม่เห็นเส้นทางใด ๆ ที่นั่น ไม่มีหลักฐานว่าเส้นทางที่เราเห็นจะใช้ได้ผล” ตอนนี้มีหลักฐานมากมายที่อาจไปถึงที่นั่นได้ นั่นคือสิ่งที่เราได้เรียนรู้ นั่นคือสิ่งที่เปลี่ยนแปลงไปในโลก

Emmet: และดูเหมือนมีอะไรบางอย่างที่เราสามารถติดตามได้ สิ่งที่ฉันได้รับจากสิ่งที่คุณกำลังบอกเป็นนัยก็คือ การให้เหตุผลเป็นขั้นตอนที่จำเป็น สู่ความฉลาดขั้นสูง หรือปัญญาประดิษฐ์ทั่วไป (AGI) หรืออะไรก็ตาม และยิ่งมีการจัดแสดงความสามารถในการให้เหตุผลที่นี่มากเท่าใด เราก็จะเข้าถึง AGI ได้มากขึ้นเท่านั้น ดังนั้น สำหรับมิติหนึ่งของการที่ฉันไม่สามารถไขว่คว้าสิ่งใดๆ ที่จับต้องได้ คุณกำลังบอกว่าคุณคิดว่าความมั่นใจจะค่อยๆ ก่อตัวขึ้นเมื่อเวลาผ่านไปใช่หรือไม่

“เป็นครั้งแรกที่เราไม่รู้จริงๆ ว่าเคล็ดลับคืออะไร และอาจไม่มีเคล็ดลับ มันอาจจะเป็นจริง นี่เป็นความฉลาดหรืออย่างน้อยเคล็ดลับก็ยังดีต่อสติปัญญาของมนุษย์เช่นเดียวกัน”

เฟอร์กัล: ใช่ ฉันหมายถึง คุณเห็นข้อมูลมากขึ้นและคุณอัปเดตโลกทัศน์ของคุณ หากคุณอาศัยอยู่ในโลกที่ไม่มีระบบสติปัญญาเลย คุณควรจะสงสัยในการสร้างสติปัญญาขั้นสูงมากขึ้น และเมื่อระดับความฉลาดของระบบต่างๆ ในโลกเพิ่มขึ้น คุณควรเปิดกว้างมากขึ้นต่อแนวคิดที่ว่า เราจะเข้าถึงบางสิ่งที่ชาญฉลาดยิ่งขึ้น มันค่อนข้างง่าย

ฉันจำได้ว่าได้เรียนรู้ว่า AI หมากรุกทำงานอย่างไร ฉันจำการแข่งขันหมากรุก Deep Blue และ Kasparov ในปี 1997 ได้ (มีเพลง Arcade Fire เกี่ยวกับเรื่องนี้) คุณปู่ของฉันเคยเล่นหมากรุกและสอนให้ฉันเล่นหมากรุกตั้งแต่ยังเป็นเด็ก เขาตกใจและประหลาดใจมากกับ Deep Blue เพราะคาสปารอฟเป็นอัจฉริยะทางจิตของมนุษย์ที่สูงตระหง่าน และ Deep Blue ก็ทุบตีเขา “เป็นไปได้ยังไง? นี่หมายความว่าเครื่องจักรฉลาดพอ ๆ กับเราเหรอ?” และนั่นคือความสำเร็จทางเทคนิคที่ยิ่งใหญ่ แต่โดยพื้นฐานแล้วมันเป็นกลอุบายที่ดี เมื่อคุณเรียนรู้ว่า AI หมากรุกทำงานอย่างไรในส่วนลึกใต้ฝากระโปรง นั่นคือ Minimax หรือ Negamax มันเป็นอัลกอริธึมการค้นหาที่ค่อนข้างง่าย จะต้องมีความคิดบางอย่างว่าสถานะของกระดานจะดีขึ้นหรือแย่ลง หากฉันมีเบี้ยจำนวนมากและมีราชินีและฉันไม่ได้ถูกควบคุม มันก็เป็นการคำนวณมูลค่าของตัวหมากรุกอย่างง่ายๆ

แต่แล้ว มันก็ทำการค้นหาจำนวนมาก ถ้าฉันย้ายมาที่นี่ แล้วคุณย้ายไปที่นั่น และฉันก็ย้ายไปที่นั่น... มีเทคนิคที่ชาญฉลาดบางอย่างที่ทำให้การค้นหามีประสิทธิภาพมากขึ้น แต่โดยพื้นฐานแล้วมันเป็นการคำนวณที่โหดเหี้ยม มันแค่ทำการคำนวณมากมาย และเมื่อคุณเรียนรู้สิ่งนั้น จู่ๆ มันก็น่าผิดหวัง ทันใดนั้น มันก็เหมือนกับว่า “Deep Blue ไม่ใช่เครื่องคิด มันช่างฉลาดจริงๆ-”

เอ็มเม็ต: เครื่องคิดเลข

เฟอร์กัล: … เครื่องคิดเลข ใช่แล้ว ระบบกลไกขนาดใหญ่ที่คำนวณมวลรวม ด้วยประวัติความเป็นมาของ AI คุณจะประทับใจเสมอจนกว่าคุณจะได้เรียนรู้เคล็ดลับ แต่ตอนนี้เป็นครั้งแรกที่เราไม่รู้จริงๆ ว่าเคล็ดลับคืออะไร และอาจไม่มีเคล็ดลับ มันอาจจะเป็นจริง นี่เป็นความฉลาด หรืออย่างน้อย เคล็ดลับนี้ก็มีผลดีต่อความฉลาดของมนุษย์เช่นเดียวกัน

“Deep Blue ไม่ได้ฉลาดกว่าคาสปารอฟ แต่ด้วยวิธีที่ค่อนข้างฉลาด พวกเขานำแง่มุมการคำนวณแบบเดรัจฉานของความฉลาดมาใช้กับงานที่ทำให้ดีขึ้นจนถึงจุดที่มันสามารถชนะได้”

Emmet: หรือการสะท้อนถึงกฎสากลของทฤษฎีข้อมูลพื้นฐานที่เกือบจะคล้ายฟิสิกส์หรือวิธีการทำงานของข้อมูลเมื่อคุณรวมข้อมูลจำนวนมากเข้าด้วยกัน

Fergal: ฉันไม่รู้ว่าฉันจะเลือกทฤษฎีสารสนเทศหรือไม่ แต่ฉันเดาว่าแนวคิดที่ว่าระบบง่ายๆ อาจจะให้พลังในการแสดงออก และเมื่อคุณใส่ข้อมูลเพียงพอ ระบบจะเริ่มฉลาดขึ้น

เอ็มเม็ต: ดังนั้น Deep Blue จึงไม่ฉลาดกว่าคาสปารอฟ แต่ด้วยวิธีที่ค่อนข้างฉลาด พวกเขานำแง่มุมการคำนวณแบบเดรัจฉานของความฉลาดมาใช้กับงานที่ทำให้ดีขึ้นจนถึงจุดที่ชนะได้ ดังนั้น ฉันคิดว่าคุณทั้งคู่สามารถพูดได้ว่า "Deep Blue ไม่ได้ฉลาดกว่า Garry Kasparov" และคุณสามารถพูดว่า "Deep Blue สามารถเอาชนะ Garry Kasparov ได้ด้วยหมากรุก" หรือ "ดีกว่ามนุษย์ในภารกิจ"

AI เป็นผู้นำ

Emmet: นั่นทำให้ฉันคิดว่าเราคิดอย่างไรเกี่ยวกับสิ่งเหล่านั้น ปฏิกิริยาทางอารมณ์ที่คุณบรรยายถึงคุณปู่ของคุณมี... ถ้าเรามองไปข้างหน้าและเห็นรถยนต์ที่ขับเคลื่อนด้วยตนเองซึ่งเดือดพล่านในพื้นหลังตลอดหรือก่อนที่ผลิตภัณฑ์ LLM ใด ๆ จะปรากฏแถวหน้าจริงๆ มีอารมณ์ประมาณว่า “เราต้องการอะไรจากระบบเหล่านี้” บางทีฉันอาจจะหลีกหนีจากเรื่อง AGI ที่นี่ แต่มาดูรถกันดีกว่า เราต้องการอะไรจากพวกเขา หรือเราจะตอบสนองต่อการบูรณาการที่นั่นอย่างไร? เนื่องจากเรามีระบบที่ไม่สมบูรณ์ในขณะนี้ - การเสียชีวิตบนท้องถนนมากกว่าล้านครั้งต่อปีเกิดจากความผิดพลาดของมนุษย์ หากเราแทนที่สิ่งนั้นด้วยระบบ AI ที่นำไปสู่การเสียชีวิตบนท้องถนนเพียงครึ่งล้านคนต่อปี เราจะ... ฉันหมายความว่า มันยากมาก จากมุมมองที่มีหลักจริยธรรมล้วนๆ และจำกัดจำนวน ไปจนถึงการไม่...

ฉันรู้สึกว่านี่เหมือนกับปัญหารถเข็น AI ที่มีขนาดใหญ่ ปัญหารถเข็น AI เกิดขึ้นในท้องถิ่น “คุณตัดสินใจอย่างไร” แต่เรามีการตัดสินใจในระดับสังคมว่า "เราจะยอมรับความรู้สึกที่มาพร้อมกับรถยนต์ที่ขับเคลื่อนด้วยหุ่นยนต์ แม้ว่าจะผิดพลาดได้ แม้ว่าความผิดพลาดนั้นจะน้อยกว่ามนุษย์ก็ตาม"

“ถ้า – และนี่จะเป็นเรื่องใหญ่มาก – ถ้าเราขับรถด้วยตนเองจนถึงจุดที่เครื่องจักรฆ่าคุณแบบที่มนุษย์เคยฆ่าคุณ แต่มันฆ่าคุณน้อยลงมาก ฉันคิดว่าคนส่วนใหญ่จะโอเคกับเรื่องนั้น” ”

Fergal: ฉันคิดว่าเราน่าจะทำแบบนั้น เห็นได้ชัดว่ามีความเป็นไปได้ที่จะเกิดความล้มเหลวด้านกฎระเบียบและการเมือง แต่ผู้คนยอมรับการแลกเปลี่ยนเหล่านั้นตลอดเวลา พวกเขาไม่พูดถึงพวกเขามากนักเพราะมันไม่ฉลาดทางการเมือง ประเทศที่พัฒนาแล้วทุกประเทศมีระบบการแพทย์ที่จะชั่งน้ำหนักต้นทุนและประโยชน์ของยา และไม่ว่าดีขึ้นหรือแย่ลงพวกเขาก็ทำอย่างนั้น และฉันคิดว่านั่นเป็นสิ่งที่ดีที่จะทำ และฉันเข้าใจว่านั่นเป็นเรื่องยากทางการเมืองที่จะปกป้อง แต่ถ้าคุณไม่ทำ คนก็จะตายมากขึ้น

เอ็มเม็ต: ผู้คนต่างถกเถียงกัน แต่มีเพียงไม่กี่คนที่เลือกที่จะอาศัยอยู่ในประเทศที่กฎระเบียบเหล่านั้นไม่ได้จัดให้มีรั้วกั้นและอุปสรรคด้านความปลอดภัยในทุกด้านของชีวิต ใช่แล้ว ฉันเห็นด้วยกับคุณ

เฟอร์กัล: ใช่แล้ว นั่นสินะ และหวังว่าพวกเขาจะทำงานได้ดี แต่พวกเขาจำเป็นต้องตัดสินใจเกี่ยวกับความเป็นความตาย ว่ามียาอะไรบ้างที่มีจำหน่าย สังคมทำอย่างนั้น และฉันต้องจินตนาการว่า หากขาดความล้มเหลวทางการเมืองไปบ้าง ถ้า – และนี่เป็นเรื่องใหญ่หาก – เราได้รับรถยนต์ที่ขับเคลื่อนด้วยตนเองจนถึงจุดที่ ใช่ เครื่องจักรจะฆ่าคุณ ในที่ที่มนุษย์เคยฆ่าคุณ แต่มันกลับฆ่าคุณ คุณน้อยลงมาก ฉันคิดว่าคนส่วนใหญ่จะโอเคกับเรื่องนั้น

เอ็มเม็ต: ฉันไม่รู้ จากมุมมองเชิงตรรกะล้วนๆ หากคุณกระทืบตัวเลข ก็ยากที่จะพบข้อบกพร่องเชิงตรรกะในสิ่งที่คุณเพิ่งพูด แต่ฉันคิดว่า ตรงกันข้ามกับการควบคุมยาเสพติด ซึ่งเหมือนกับเสียงครวญครางของชีวิตและการใช้ชีวิต คุณเลือกที่จะนั่งรถที่ขับเองหรือรถที่ไม่ขับเอง และฉันคิดว่าการตัดสินใจนั้นเป็นเรื่องส่วนตัวสำหรับหลายๆ คนมากกว่ากฎข้อบังคับบางอย่างที่จับต้องไม่ได้ในชีวิตประจำวันของคุณ ฉันคิดว่านั่นจะเป็นสิ่งที่อาจจบลงด้วยการทางการเมืองมากเกินไป ทำให้กฎระเบียบเป็นเรื่องยากมากที่จะบรรลุผล และขัดขวางเรามากกว่าสิ่งอื่นใด

เฟอร์กัล: ฉันหมายถึง ดูสิ ฉันรู้ว่านี่จะเป็นเรื่องการเมือง แต่ลองพิจารณาเรื่องพลังงานนิวเคลียร์ดูสิ พลังงานนิวเคลียร์ก่อให้เกิดคาร์บอนน้อยกว่าสิ่งอื่น และเป็นการอภิปรายที่ซับซ้อนเกี่ยวกับข้อเสีย เมื่อเกิดการล่มสลายของนิวเคลียร์ จะมีค่าใช้จ่ายสูงมาก นั่นเป็นปัญหาทางสถิติที่ยาก แต่นักเทคโนโลยีจำนวนมากจะรู้สึกว่าการอภิปรายเกี่ยวกับพลังงานนิวเคลียร์นั้นไม่ได้มีเหตุผลย้อนหลังมากที่สุด ตอนเด็กๆ ฉันเคยกลัวพลังงานนิวเคลียร์ พวกเราหลายคนในยุค 80 กลัวเรื่องนิวเคลียร์ แต่นั่นอาจเป็นตัวอย่างหนึ่งของความล้มเหลวทางการเมือง

แน่นอนว่ามีกลุ่มนักเทคโนโลยีจำนวนมากที่พูดว่า “การถกเถียงเรื่องความฉลาดขั้นสูงจะทำให้เกิดการควบคุม AI มากเกินไป และจะก่อให้เกิดประโยชน์มากมายแก่มนุษย์ที่เราจะต้องสูญเสียไป” นั่นเป็นกฎระเบียบที่กระตุกเข่า บางทีสิ่งที่คล้ายกันอาจเกิดขึ้นกับรถยนต์ไร้คนขับที่เราไปถึงจุดที่ดีกว่า แต่แล้วก็มีความล้มเหลวทางการเมืองที่ลงเอยด้วยการขัดขวางไม่ให้พวกเขาถูกนำไปใช้งานจนกว่ามันจะสมบูรณ์แบบ และพวกมันไม่เคยสมบูรณ์แบบเลย แต่ฉันเดาว่าฉันมองโลกในแง่ดีว่าผู้คนจะสามารถถกเถียงกันในเรื่องนั้นได้

เอ็มเม็ต: นี่คือเหตุผลว่าทำไมฉันถึงพยายามเชื่อมโยงทั้งส่วนตัวและอารมณ์กับมุมแห่งความพินาศในนั้น เพราะสิ่งนี้จำนวนหนึ่งจะเกิดขึ้นไม่ว่าคุณจะพูดอะไรหรือทำอะไรต่อจากนี้ไป

Fergal: สำหรับความฉลาดขั้นสูงเหรอ? เพราะฉันยินดีที่จะนำเสนอมุมแห่งความพินาศ เพื่อความฉลาดขั้นสูง

“ไม่มีสถานการณ์ใดที่รถยนต์ที่ขับเคลื่อนด้วยตนเองจะฆ่าทุกคนได้”

เอ็มเม็ต: โอ้ โอเค ดังนั้น เรามาแยกความแตกต่างระหว่างรถยนต์ที่ขับเคลื่อนด้วยตนเอง ซึ่งไม่ต้องการสติปัญญาขั้นสูง และช่วงเวลาไซไฟที่ชาญฉลาดบางเรื่อง ฉันรับรู้ถึงความคิดที่เลวร้ายแม้กระทั่งแง่มุมที่ไม่ฉลาดนักในเรื่องนี้

เฟอร์กัล: ใช่แล้ว คุณต้องแยกความแตกต่างระหว่างทั้งสอง มีผู้คนจำนวนมากที่ไม่เชื่อ เหยียดหยาม และมองโลกในแง่ร้ายอย่างไม่น่าเชื่อ เช่น รถยนต์ไร้คนขับ แล้วยังมีคนอื่นๆ ที่จะเหยียดหยามและมองโลกในแง่ร้ายเกี่ยวกับความฉลาดทั่วไปหรือความฉลาดหลักแหลม แต่ฉันคิดว่าคุณต้องแยกทั้งสองออกจากกัน ทุกคนคิดว่าพวกเขามีเหตุผล แต่ฉันจะโต้แย้งว่ามีข้อโต้แย้งที่มีเหตุผลที่จะต้องระมัดระวังเกี่ยวกับสติปัญญาขั้นสูง ไม่มีสถานการณ์ใดที่รถยนต์ที่ขับเคลื่อนด้วยตนเองจะฆ่าทุกคนได้ แต่ฉันคิดว่า มีสถานการณ์ที่เป็นไปได้ ที่ผู้คนประดิษฐ์ระบบอัจฉริยะขั้นสูง ทุกอย่างผิดพลาด และมันคร่าชีวิตทุกคนอย่างแท้จริง ฉันไม่ได้บอกว่าเป็นไปได้ มีคนที่บอกว่านั่นเป็นสถานการณ์เริ่มต้น และพวกเขามีข้อโต้แย้งที่ตรงประเด็นในความคิดของฉัน แต่ฉันไม่ได้บอกว่ามันน่าจะเป็นไปได้ แต่ฉันไม่คิดว่าคุณจะพูดได้ว่ามันเป็นไปไม่ได้ สติปัญญาขั้นสูงอาจเป็นอันตรายอย่างยิ่ง ดังนั้น ฉันคิดว่านั่นเป็นเพียงสภาวะบ้าคลั่งที่ต้องเผชิญ แม้แต่นาทีสุดท้ายของการสนทนานี้ก็ยังบ้าคลั่ง

เอ็มเม็ต: ใช่ มันบ้ามาก และเพื่อย้อนกลับไปที่สิ่งที่เราพูดไว้ตอนเริ่มต้น มันเป็นเรื่องที่ใหญ่ที่สุด แต่มันก็ไม่เป็นรูปเป็นร่างเลย เราแค่พยายามก้าวเข้าสู่มัน

Fergal: มันน่ากลัวที่จะคิดหรือพูดถึง ฉันคิดว่าผู้คนเซ็นเซอร์ตัวเองมาก นักวิชาการเซ็นเซอร์ตัวเอง

เอ็มเม็ต: ใช่แล้ว เพราะกลัวผิด

Fergal: ความกลัวที่จะผิดและสิ่งจูงใจในเรื่องนั้น แต่แม้กระทั่งในระดับมนุษย์ มันก็แบบ “ห่า จริงเหรอ? คุณกำลังพูดถึงเทคโนโลยีที่ใหญ่มาก” คุณพูดถึงออพเพนไฮเมอร์ในพอดแคสต์ก่อนหน้าของคุณ หากคุณเชื่อว่าสิ่งต่างๆ จะเกิดขึ้น และหากคุณเชื่อในความฉลาดขั้นสูง เห็นได้ชัดว่าเป็นเทคโนโลยีที่มีระดับพลังงานใกล้เคียงกับอาวุธนิวเคลียร์ หรือฉันจะเถียงว่าอยู่เหนืออำนาจนั้นอย่างมาก มีข้อโต้แย้งที่ร้ายแรงเกี่ยวกับรถยนต์ที่ขับเคลื่อนด้วยตนเอง และโดยส่วนตัวแล้วฉันไม่ได้จริงจังกับเรื่องนั้น บางทีนั่นอาจดูหยิ่งสำหรับฉัน แต่ไม่มีสถานการณ์ใดที่รถยนต์ที่ขับเคลื่อนด้วยตนเองจะฆ่าทุกคน

การแยกส่วนจริยธรรมของ AI

เอ็มเม็ต: ฉันคิดว่าสิ่งที่เรากำลังพูดถึงคือการสนทนาทั้งหมดเกี่ยวกับ AGI หรือสติปัญญาขั้นสูงนั้นแตกต่างอย่างมากจากการสนทนาเกี่ยวกับมาตรฐานที่ไม่ดี สิ่งที่เรามีหรือ-

เฟอร์กัล: จริยธรรมของ AI

Emmet: …สิ่งที่เราดีขึ้นเล็กน้อย แต่แม้ในอีกห้าปีข้างหน้า ก็ยังไปไม่ถึงสิ่งต่อไป นั่นคือหลักจรรยาบรรณของ AI ที่สำคัญกว่า – ทุกสิ่งเกี่ยวกับข้อมูลที่ผิดและอะไรทำนองนั้นที่เราต้องจัดการโดยไม่คำนึงถึง

Fergal: ฉันคิดว่ามันเป็นอุบัติเหตุของประวัติศาสตร์ และอาจเป็นอุบัติเหตุที่อันตรายของประวัติศาสตร์ที่บทสนทนาทั้งสองนี้สับสนวุ่นวายมาก ตอนนี้นั่นเป็นเพียงมุมมองเดียว มีมุมมองทางเลือก คนที่ทำงานด้านจริยธรรมของ AI ในปัจจุบันจะพูดว่า “โอ้ ไม่เลย ความฉลาดขั้นสูงนี้กำลังดูดออกซิเจนทั้งหมดออกจากห้อง อันตรายทางทฤษฎีในอนาคตกำลังหันเหความสนใจไปจากอันตรายที่แท้จริงในปัจจุบัน” แต่ถ้าคุณเชื่อว่าอันตรายในอนาคตนั้นไม่ใช่เรื่องทางทฤษฎีและขนาดนั้นใหญ่กว่ามาก ก็ควรจะดึงความสนใจไปมากนะรู้ไหม?

“ฉันไม่ได้บอกว่าเราไม่ควรพยายามก้าวไปข้างหน้า แต่อย่างใด แต่จะแก้ไขได้ยากกว่าปัญหาเร่งด่วนที่จับต้องได้บางอย่างที่เรามี”

เอ็มเม็ต: ให้ฉันลองเสนอกรณีอื่นดูนะ ใช่แล้ว แน่นอนว่านั่นคือรางวัลใหญ่/ภัยคุกคาม/อันตราย ถึงกระนั้นเราก็ยังไม่รู้และไม่อาจรู้ได้… ขอฉันดู Rumsfeldian สักครู่ – มีทั้งสิ่งที่รู้ สิ่งที่เราไม่รู้ และสิ่งที่ไม่รู้จัก และเมื่อฉันคิดถึงความฉลาดขั้นสูง มันเป็นเรื่องที่ไม่รู้จัก “ให้ฉันไปอ่านไซไฟบ้างแล้วฝันถึงสิ่งที่อาจเกิดขึ้น” ในขณะที่เรามีงานอีกมากรออยู่ข้างหน้าที่เราสามารถทำได้ และบางทีการสนทนาที่ยุ่งเหยิงระหว่าง AI ระดับเหล่านั้นก็อาจไม่เกิดผลมากนัก แม้ว่านั่นจะเป็นสิ่งที่น่ากลัวมาก แต่มันก็เป็นไบนารี่ว่ามันจะเกิดขึ้นหรือไม่ และฉันไม่ได้บอกว่าเราไม่ควรพยายามก้าวไปข้างหน้า แต่อย่างใด แต่จะแก้ไขได้ยากกว่าปัญหาเร่งด่วนที่จับต้องได้บางอย่างที่เรามี

Fergal: ใช่ เป็นเรื่องยาก แต่มีภัยคุกคามขนาดใหญ่ถึง 1,000 เท่า และฉันคิดว่าคนส่วนใหญ่จะเห็นด้วยกับสิ่งนั้น แต่มีความเป็นไปได้น้อยกว่า อาจเป็นภัยคุกคาม 1,000X หรือ 10,000X แต่มีความน่าจะเป็นต่ำกว่า 10 เท่าหรือต่ำกว่า 100 เท่า หากเราเห็นด้วยกับสิ่งนั้น ก็ขาดความรับผิดชอบที่จะไม่พูดถึงเรื่องนั้น เพียงเพราะมันว่ายาก ไม่ได้หมายความว่ามันจะไม่มาฆ่าคุณ

Emmet: หรือเราจะเริ่มสร้างกล้ามเนื้อขึ้นมาจริง ๆ เพื่อควบคุมและหารือเกี่ยวกับกฎระเบียบและออกกฎระเบียบ เพื่อที่เราจะได้เตรียมพร้อมมากขึ้นสำหรับสิ่งที่ยากจะแก้ได้เมื่อมันมาถึงและเมื่อใด

Fergal: อาจจะ แต่บางทีนั่นอาจจะช้าเกินไป เราได้พูดคุยเกี่ยวกับรถยนต์ที่ขับเคลื่อนด้วยตนเองและจริยธรรมในนั้น และสำหรับทุกสิ่งทุกอย่าง มีค่าใช้จ่ายและผลประโยชน์ ดังนั้น จึงมีคนจำนวนมากในโลกที่จะประมาณว่า “เรื่องจริยธรรมด้าน AI ทั้งหมดเกี่ยวกับระบบของเราในปัจจุบันมีความสำคัญ แต่ก็เล็กน้อยเมื่อเทียบกับประโยชน์ของระบบในปัจจุบัน” แต่รูปร่างจะแตกต่างออกไปมาก ถ้าคุณพูดถึงความฉลาดขั้นสูง เพราะว่านั่นเป็นเทคโนโลยีที่อันตรายในระดับต่อไป

Emmet: ฉันเข้าใจแล้ว แต่ฉันยังคิดว่ายังมีเส้นทางที่เราควรหลีกเลี่ยง และเป็นแนวทางที่เป็นไปได้ด้วย เราเดินต่อไปในเส้นทางที่เรากำลังจะไป และเฮ้ การทดลองทางความคิด ลองนึกภาพว่าในปีหน้าจะมีการเลือกตั้งสำคัญครั้งใหญ่หรือไม่ และ AI และข้อมูลที่ผิดก็กลายเป็นตัวการสำหรับเรื่องทั้งหมดนี้ ผู้คนมีแชทบอทของ Donald Trump บนโทรศัพท์ที่พวกเขาสามารถพูดคุยด้วยได้ และนั่นเป็นผลิตภัณฑ์ที่น่าสนใจและสนุกสนาน ฉันพนันได้เลยว่าเราจะได้เห็นอะไรแบบนั้น ความคิดเห็นของประชาชน สื่อที่รุมเร้า และการเมืองที่ว่านี่เป็นสิ่งที่ดีหรือไม่ดี เพียงแค่ท่วมท้นและทำให้ยากขึ้นมากที่จะมีการสนทนาที่สำคัญยิ่งขึ้น

“แนวคิดก็คือเราทำทั้งสองอย่างและเราไม่ได้อยู่ในตำแหน่งที่แบบว่า 'เฮ้ ความเสียหายที่แท้จริงในระยะสั้นเป็นสิ่งเดียวที่ต้องให้ความสำคัญเพราะอีกสิ่งหนึ่งนั้นคลุมเครือ'”

หากเราไปถึงขั้นในปีหน้าซึ่งข้อมูลที่ผิดร้ายแรงและสิ่งต่าง ๆ ที่มีผลกระทบที่แท้จริงต่อผู้คนจำนวนมาก ไม่ใช่ผลกระทบจากการล่มสลายทั่วโลกที่อาจเกิดขึ้นกับ AGI แต่อย่าลดให้เหลือน้อยที่สุด อุบัติเหตุเพียงครั้งเดียวที่ไหนสักแห่งเนื่องจากหุ่นยนต์ รถยนต์หรืออะไรสักอย่าง เราต้องเตรียมตัวให้พร้อมสำหรับการสนทนาที่เป็นผู้ใหญ่มากขึ้นเกี่ยวกับเรื่องนี้ มีเส้นทางแคบๆ ที่ฉันนึกภาพออกว่าเราจะไปถึงที่นั่น และอาจมีเส้นทางอื่นๆ อีกมากที่ทำให้เราสับสนวุ่นวายอย่างมาก

Fergal: ฉันเดาว่าคุณต้องทำทั้งสองอย่างใช่ไหม? แนวคิดก็คือ เราทำทั้งสองอย่างและเราไม่ได้อยู่ในตำแหน่งที่ "เฮ้ ความเสียหายที่แท้จริงในระยะสั้นเป็นสิ่งเดียวที่ต้องให้ความสำคัญเพราะอีกสิ่งหนึ่งคลุมเครือ" หรืออนาคตคลุมเครือ มันใหญ่มากจนเราใช้เวลาเป็นศูนย์กับความเสียหายระยะสั้น สันนิษฐานว่ามีผลงานความพยายามที่สมดุลอย่างเหมาะสมที่สุด

ลองนึกภาพว่ามีองค์กรในโลกที่ใส่ใจเกี่ยวกับจริยธรรมของ AI และความปลอดภัยของ AI จริงๆ องค์กรนั้นน่าจะแยกความสนใจไปที่ทั้งสองสิ่งเหล่านั้น แต่คุณจะแยกสิ่งนั้นได้อย่างไร? มีไอเดียเรื่องการหลอกลวงของปาสคาลในที่ที่มีบางอย่างใหญ่โต และฉันก็แบบว่า "เฮ้ ฉันมี AGI อยู่ตรงนี้" ตอนนี้คุณอาจไม่เชื่อฉัน แต่คุณควรให้เงินทั้งหมดแก่ฉันเผื่อไว้ เพราะไม่อย่างนั้นมันจะทำลายโลก” มันเหมือนกับว่า “โอ้ ว้าว ผลที่ตามมานั้นใหญ่โตมาก คุณควรทำทุกอย่างที่ฉันพูด” และนั่นก็เหมือนกับการเดิมพันของปาสคาลใช่ไหม? ติดอาวุธ คุณต้องการหลีกเลี่ยงสถานการณ์นั้น แต่คุณยังต้องการหลีกเลี่ยงสถานการณ์ที่คุณไม่ได้พิจารณาภัยคุกคามที่ถูกต้องตามกฎหมายด้วย

นี่เป็นสิ่งที่ยาก ฉันคิดว่าคนดีและมีความหมายดีที่พยายามทำให้โลกดีขึ้นทั้งในระยะยาวและระยะสั้นจะไม่เห็นด้วย คุณกล่าวถึงเมื่อเร็ว ๆ นี้การสนทนามีความแตกแยก บางครั้ง การอภิปรายที่สร้างความแตกแยกมากที่สุดคือเมื่อผู้คนที่ดีและมีเจตนาดีไม่เห็นด้วยกับกลยุทธ์และจบลงด้วยการทะเลาะกันเอง มันยากมากที่จะไปไหนมาไหน

Emmet: สิ่งที่ชัดเจนคือเราต้องทำทั้งสองอย่าง

การควบคุมภูมิทัศน์ของ AI

Emmet: คุณพูดถึงกฎระเบียบของสหภาพยุโรปที่กำลังจะมีขึ้น เราพร้อมที่จะวางกฎระเบียบที่ชาญฉลาด ถูกต้อง และมีประสิทธิภาพสำหรับเรื่องระยะสั้นที่ฉันกำลังพูดถึงหรือไม่?

เฟอร์กัล: ฉันไม่รู้ ฉันไม่ใช่ผู้เชี่ยวชาญที่เหมาะสมสำหรับเรื่องนี้ ฉันได้อ่านร่างพระราชบัญญัติ AI ของสหภาพยุโรปฉบับหนึ่งแล้ว และมีสิ่งดี ๆ มากมายอยู่ในนั้น และมีสิ่งสมเหตุสมผลอีกมากมาย แต่มันยังอยู่ในระดับการเมือง มันยังถูกถกเถียงกันอยู่ ฉันอ่านการแก้ไขบางอย่างที่ดูเหมือนล้นหลาม ฉันไม่รู้. ดูที่ GDPR GDPR บางส่วนก็ยอดเยี่ยมใช่ไหม การป้องกัน จากนั้นบางส่วนก็มีการกล่าวถึงมากเกินไป เช่น ความยินยอมของคุกกี้ หรือความยินยอมของ GDPR ที่คุณเห็นทุกที่ นั่นทำให้โลกดีขึ้นจริงหรือ? คุณอาจพูดว่า “ทฤษฎีนั้นดี แต่การนำไปปฏิบัติกลับแย่” ใช่ แต่นั่นสำคัญ หน้าที่หนึ่งของกฎหมายที่ดีก็คือผลที่ตามมาจะไม่เลวร้าย

“ไม่ว่าคุณจะคิดอย่างไรเกี่ยวกับสิ่งนี้ แน่นอนว่าเป็นการดีกว่าที่จะนำมันออกไปสู่โลกนี้ในขณะที่เดิมพันยังต่ำ เพื่อที่เราจะได้สามารถทำผิดพลาดและค้นหาสิ่งต่าง ๆ ได้”

สิ่งนี้เล่นกับ AI ได้อย่างไร? ฉันคิดว่าเราต้องรอดูกัน ฉันได้รับกำลังใจจากสิ่งที่ฉันเห็นในสหรัฐอเมริกาที่พวกเขาได้มีส่วนร่วมกับห้องทดลองหลายแห่ง มีการมีส่วนร่วมสองทางและการอภิปรายอย่างแท้จริง และพวกเขากำลังเริ่มที่จะกำกับดูแลการฝึกซ้อมชายแดนโดยสมัครใจ ดังนั้นจึงไม่รู้สึกกระตุกเข่าจนถึงตอนนี้ นั่นรู้สึกดี

ฉันอาจจะไร้เดียงสา ฉันคิดว่าคนในห้องปฏิบัติการวิจัยชายแดนมีความรับผิดชอบพอสมควรเกี่ยวกับเรื่องนี้ พวกเขาใส่ใจที่จะไม่ผิดพลาดไปสู่ความฉลาดขั้นสูงโดยไม่ได้ตั้งใจ พวกเขากำลังมีส่วนร่วมกับหน่วยงานกำกับดูแล คุณสามารถจินตนาการถึงโลกอื่นที่พวกเขาจงใจสร้างมลภาวะต่อการอภิปรายสาธารณะและจัดตั้งเขตอำนาจศาลที่ไม่สามารถควบคุมได้ ฉันคิดว่ามีสิ่งดีๆ เกิดขึ้นมากมาย และผู้เหยียดหยามจะประมาณว่า "โอ้ นี่เป็นเพียงห้องปฏิบัติการ AI ที่พยายามจะจับภาพตามกฎระเบียบ" ฉันแน่ใจว่ามันไม่ใช่ ประโยชน์ของการจับกุมตามกฎระเบียบไม่ได้สูญหายไปสำหรับบางคนในพื้นที่นี้ แต่ฉันคิดว่าพวกเขาส่วนใหญ่เป็นนักแสดงที่ดี

Emmet: ฉันจินตนาการว่ากฎระเบียบที่ดียังช่วยให้เลื่อนระดับหรือก้าวหน้าไปทีละขั้นตอนได้ ไม่ว่าคุณจะคิดอย่างไรเกี่ยวกับสิ่งนี้ แน่นอนว่าเป็นการดีกว่าที่จะเผยแพร่มันออกไปสู่โลกนี้ในขณะที่เดิมพันยังน้อย เพื่อที่เราจะได้สามารถทำผิดพลาดและค้นหาสิ่งต่าง ๆ ได้ ระดับรถยนต์ที่ขับเคลื่อนด้วยตนเองอาจมีบางอย่างเช่นนี้ ซึ่งคุณสามารถพูดได้ว่า "หากคุณอยู่ในพื้นที่นี้ ก็เป็นเรื่องปกติสำหรับความเป็นอิสระในระดับนี้ ในพื้นที่นี้ไม่จำเป็นต้องมีการแทรกแซงของผู้ขับขี่” ฉันก็อยู่นอกขอบเขตความเชี่ยวชาญที่นี่เช่นกัน แต่คุณสามารถจินตนาการได้ในด้านอื่น ๆ เริ่มต้นด้วยการเอ็กซเรย์หรือสแกนนิ้วเท้าที่หัก ซึ่ง AI ก็สามารถจัดการได้ แต่สำหรับอะไรก็ตามที่เหมือนกับการดูเนื้องอก เราจะมีหลายชั้น รวมถึงการมีส่วนร่วมของมนุษย์ด้วย และบางทีคุณอาจค่อยๆ ผ่านขั้นตอนเหล่านั้นไป

“ตำแหน่งแห่งความหายนะหรือตำแหน่งข่าวกรองทั่วไปที่เป็นอันตรายคือคุณสร้างบางสิ่งที่ทรงพลังกว่าโดยไม่ได้ตั้งใจก่อนที่คุณจะคาดหวัง”

Fergal: นี่คือสิ่งที่เราทำในแต่ละวันเมื่อเราสร้างผลิตภัณฑ์ AI เรากำลังทำงานกับผลิตภัณฑ์ AI ใน Inbox อย่างแท้จริงในขณะนี้ โดยพยายามทำสิ่งที่ยิ่งใหญ่ และตอนนี้เรากำลังพยายามระบุได้ว่า “ไม่ นั่นมันทะเยอทะยานเกินไปหน่อย” ไม่เป็นไร. เคสเล็กๆที่ให้คุณค่าได้อย่างปลอดภัยอย่างแน่นอน นี่คืองานประจำวันของเรา คุณกำลังมองหาวิธีที่จะเผยแพร่ในกรณีที่มีผลบวกสุทธิอย่างแน่นอน จากนั้นจึงขยายขนาดดังกล่าว และฉันต้องจินตนาการว่าการนำ AI ที่ดีมาใช้มากมายจะเป็นแบบนั้น

ขอย้ำอีกครั้งว่าตำแหน่งผู้ลงทัณฑ์หรือตำแหน่งข่าวกรองทั่วไปที่เป็นอันตรายคือคุณสร้างบางสิ่งที่ทรงพลังกว่าโดยไม่ได้ตั้งใจก่อนที่คุณจะคาดหวัง คุณวิ่งฝึกวิ่งให้นานขึ้น ซึ่งนานกว่าที่คุณเคยวิ่งมาก่อนถึง 10 เท่า และคุณพบว่าคุณได้ฝึกบางอย่างที่ฉลาดกว่าถึง 1,000 เท่า เพราะมันไม่ได้ปรับขนาดตามที่คุณคิด หรือเพราะคุณมีอัลกอริธึมใหม่หรืออะไรก็ตาม นั่นเป็นสถานการณ์ที่ผู้คนกังวลมาก และฉันคิดว่านั่นเป็นสถานการณ์ที่ต้องระมัดระวัง

แต่ขอย้ำอีกครั้งว่า แม้แต่ผู้คนใน EU AI Act ก็เริ่มพูดถึงว่า "ถ้าคุณกำลังฝึกโมเดลที่ดีที่สุดและล้ำหน้าที่สุด บางทีคุณอาจต้องลงทะเบียนสิ่งนั้น อย่างน้อยคุณต้องควบคุมมัน” คุณจะควบคุมสิ่งนั้นได้อย่างไร? พระเจ้า ฉันไม่รู้ นั่นจะเป็นงานที่ยากลำบาก แต่อย่างน้อยพวกเขาก็คิดเรื่องนี้

กำลังส่งเสียงปลุก

Emmet: ลองนึกภาพคุณกำลังทำงานใน OpenAI หรืออะไรทำนองนั้น และเราทำ GPT-8 ขนาดใหญ่นี้ โดยฝึกฝนกับคลังข้อมูลขนาดใหญ่อย่างไม่น่าเชื่อ และมันผ่านเกณฑ์ที่คุณอธิบายว่ามันน่ากลัวขนาดไหน คุณคิดว่าจะเกิดอะไรขึ้นในสถานการณ์นั้น? ก่อนอื่นเลย มันเป็นไปได้มากที่สุดหรือไม่ที่จะเกิดขึ้นภายในแล็บขนาดใหญ่ แบบที่คุณอธิบายอยู่แล้ว ที่ต้องการประพฤติตนอย่างรับผิดชอบและมีส่วนร่วมกับรัฐบาล และเมื่อถึงจุดนั้น พวกเขาจะพูดว่า “เฮ้ ตี ปุ่มสีแดงใหญ่ มันเกิดขึ้น เรามาคุยกันว่าจะพาเรื่องนี้ไปที่ไหนต่อไป” บุคคลจำนวนมากสามารถเข้าถึงมันได้ในวงกว้างอย่างรวดเร็วและทันทีทันใด หรือสามารถเก็บไว้ในห้องแล็บเมื่อมันเกิดขึ้น แล้วเราจะพูดถึงวิธีจัดการวัสดุนี้อย่างระมัดระวังได้หรือไม่?

“มีคนฝึกโมเดลนี้แล้ว จะเกิดอะไรขึ้นต่อไป? ฉันต้องหวังว่าคนที่ฝึกฝนสิ่งเหล่านี้จะส่งสัญญาณเตือน”

Fergal: มีหลายอย่างในนั้น และนี่เป็นสถานการณ์เลวร้ายที่คุณลงเอยด้วยการฝึกฝนอะไรบางอย่าง นั่นเป็นสถานการณ์สมมตินิยายวิทยาศาสตร์ แต่บางทีมันอาจจะอยู่ไม่ไกลนัก ใครจะรู้? แต่ดูเหมือนว่าคุณได้ฝึกฝนบางสิ่งที่อาจฉลาดกว่าคุณอย่างมาก มันนั่งอยู่ในห้องทดลองของคุณ จะเกิดอะไรขึ้นต่อไป? ฉันคิดว่าผู้คนต้องการหลีกเลี่ยงสถานการณ์นี้ และฉันคิดว่าเกมนี้ก็คือเมื่อผู้คนเข้าใกล้การฝึกฝนสิ่งเหล่านี้ พวกเขาจะมองเห็นสิ่งนี้ที่กำลังจะเกิดขึ้น พวกเขาเห็นว่าสิ่งนี้เข้าใกล้ความฉลาดของมนุษย์แล้ว หวังว่าคงไม่มีสติ มีจริยธรรมหลายประเภทหากคุณคิดว่ามันมีสติ แต่สมมติว่าคุณมีตัวตนที่หมดสติแต่มีความฉลาด จะเกิดอะไรขึ้นต่อไป?

หากเทคโนโลยีแสดงออกมาเช่นนี้ ห้องแล็บส่วนตัวก็รู้สึกเหมือนเป็นสถานที่ที่ดีกว่าในการเผชิญหน้าสิ่งนี้มากกว่าโครงการปฏิบัติการทางทหาร สำหรับคนที่ประมาณว่า “เราต้องหยุดการฝึกซ้อมทั้งหมดตอนนี้” นั่นหมายความว่าคุณจะต้องเผชิญสิ่งนี้ในบริบททางการทหารก่อน และฉันไม่รู้ว่ามันจะดีกว่าสำหรับคนจริงๆหรือเปล่า บางทีนั่นอาจเป็นความสงสัยของฉัน แต่ใช่แล้ว มีคนฝึกโมเดลนี้แล้ว จะเกิดอะไรขึ้นต่อไป ฉันต้องหวังว่าคนที่ฝึกฝนสิ่งเหล่านี้จะส่งสัญญาณเตือน และฉันคิดว่าพวกเขาจะ ข้อดีของห้องปฏิบัติการวิจัยอุตสาหกรรมที่ทำสิ่งนี้ ก็คือ ฉันคิดว่าพวกมันจะทำให้ของรั่วไหล และฉันคิดว่านั่นคือเหตุผลว่าทำไมจึงสำคัญมากที่จะไม่ทำในบริบททางทหาร เพราะไม่มีวัฒนธรรมแห่งการรักษาความลับ แม้แต่ Apple ซึ่งเป็นบริษัทเทคโนโลยียักษ์ใหญ่ที่เป็นความลับที่สุด ฉันสงสัยว่าถ้าพวกเขามี AI สุดเพี้ยน คุณคงจะได้ยินเรื่องนี้ใช่ไหม Google คงจะเป็นเช่นนั้นอย่างแน่นอน

Emmet: เมื่อคุณพูดว่ารั่ว คุณหมายถึงแบบของผู้แจ้งเบาะแส เช่น “เราสร้างสิ่งนี้ขึ้นมา” หรือคุณหมายถึงโมเดล-

Fergal: ไม่ ฉันไม่ได้หมายถึงทำให้โมเดลรั่วไหล

“ลองจินตนาการว่าคุณอาศัยอยู่ในโลกที่มีการแพร่กระจายของ AGI ที่เป็นอันตราย คุณจะควบคุมการแพร่กระจายได้อย่างไร? นั่นเป็นโลกที่แตกต่างไปจากเดิมอย่างสิ้นเชิง”

Emmet: นั่นมันเกิดขึ้นใช่มั้ย? Facebook เผยแพร่โมเดลโอเพ่นซอร์สให้กับนักวิจัยบางคน มีคนรั่วไหล และเผยแพร่บนอินเทอร์เน็ต

เฟอร์กัล: ใช่แล้ว นี่เป็นบทสนทนาอื่นทั้งหมด ลองจินตนาการว่าคุณอาศัยอยู่ในโลกที่มีการแพร่กระจายของ AGI ที่เป็นอันตราย คุณจะควบคุมการแพร่กระจายได้อย่างไร? นั่นเป็นโลกที่แตกต่างไปจากเดิมอย่างสิ้นเชิง ทันใดนั้นมันก็เหมือนกับว่า “เพื่อน ฉันหวังว่ามันจะอยู่ในบริบททางทหาร” แต่แม้ว่าคุณจะดูโครงการแมนฮัตตัน ชาวรัสเซียก็มีสายลับที่ถ่ายทอดเทคโนโลยีจากโครงการแมนฮัตตันไปยังโครงการอาวุธของพวกเขา แน่นอนว่ารัฐในประเทศกำลังคิดถึงเรื่องประเภทนี้อยู่ในขณะนี้

เอ็มเม็ต: แน่นอน มีข้อดีบางประการที่ต้องนำมาจากข้อเท็จจริงที่ว่า เมื่อเกือบ 80 ปีที่แล้วหรืออะไรทำนองนั้น มีคนนั่งล้อมวงเพื่อสนทนาในเวอร์ชันที่เรากำลังสนทนาอยู่ตอนนี้ และฉันคิดว่าพวกเขาคงจะประหลาดใจน่ายินดี ได้ยินมาว่าถ้าข้ามไปปี 2023 ก็ไม่ไปไกลกว่าการใช้งานเดิมแล้ว

Fergal: ยังมีอคติทางมานุษยวิทยาและเงามานุษยวิทยาด้วย มีคุณสมบัติทางสถิติที่น่าสนใจทุกประเภท สิ่งนี้ใช้ไม่ได้กับการแลกเปลี่ยนนิวเคลียร์ แต่สิ่งที่สามารถทำลายโลกไม่เคยเกิดขึ้นในไทม์ไลน์ของคุณ เท่าที่คุณสามารถบอกได้

เอ็มเม็ต: ถูกต้อง นี่คือสมการของ Drake ที่ใช้กับสิ่งมีชีวิตบนโลก ทำไมโลกไม่เคยสิ้นสุดในขณะที่ฉันยังมีชีวิตอยู่?

เฟอร์กัล: ใช่แล้ว และอคติทางมานุษยวิทยาก็ปรากฏในสมการของ Drake มนุษย์มักจะดูถูกดูแคลนความชุกของดาวเคราะห์น้อยที่ทำลายดาวเคราะห์ เนื่องจากสปีชีส์อื่นๆ ที่โดนดาวเคราะห์น้อยที่ทำลายดาวเคราะห์ไม่อยู่ในไทม์ไลน์ในประวัติศาสตร์ของเรา หากคุณต้องการเริ่มใช้เหตุผลในระดับนั้น...

Emmet: แล้วนำสิ่งนั้นกลับมาที่ AI ให้ฉันด้วย

“บางที AI อาจเป็นเทคโนโลยีใหม่ที่บ้าระห่ำ และเราจะไว้วางใจให้บุคคล ผู้คนในนโยบายสาธารณะ และผู้คนในห้องปฏิบัติการ AI ก้าวขึ้นมาจัดการเรื่องนี้ให้ดี”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. คุณรู้ว่าฉันหมายถึงอะไร?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. มันเป็นเรื่องยาก. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. แค่นั้นแหละ.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

เอ็มเม็ต: ในระดับหนึ่ง ตั้งแต่เครื่องมือชิ้นแรกสุด ถ้าคุณดู 2001: A Space Odyssey ที่เขาหยิบกระดูกขึ้นมา เครื่องมือต่างๆ มีศักยภาพที่จะนำไปใช้ทำอะไรบางอย่างหรือทำร้ายใครบางคนได้ และเราอาจมาถึงจุดที่เครื่องมือที่ทรงพลังยิ่งกว่าสิ่งใดๆ ก่อนที่จะมีเข้ามา และมันเป็นเพียงการแสดงออกที่ชัดเจนที่สุดของความเป็นคู่ ที่ว่าสิ่งใดก็ตามสามารถนำไปใช้ในทางบวกหรือทางลบได้ มันขึ้นอยู่กับเรา หรือในที่สุดเราก็ถูกเอาชนะด้วยเครื่องมือต่างๆ จนเราไม่สามารถปกปิดมันได้?

Fergal: ฉันเดาว่ามันขึ้นอยู่กับเราในฐานะพลเมืองและประชาธิปไตย ฉันไม่รู้ว่าประชาธิปไตยเล็กๆ น้อยๆ ที่เราอยู่จะมีบทบาทมากที่นี่หรือไม่ มันขึ้นอยู่กับคนที่ทำงานในห้องปฏิบัติการวิจัยเป็นอย่างมาก ฉันคิดว่าภาคประชาสังคมจำเป็นต้องเข้าใจเรื่องนี้ นี่เป็นเครื่องมือประเภทอื่น อย่างน้อยก็เป็นเครื่องมือประเภทที่ยากที่สุดและอันตรายที่สุด และมีบางสิ่งที่สามารถเล่นได้ที่นี่ซึ่งค่อนข้างดุร้าย ฉันมองดูเด็กๆ ที่เริ่มเข้าโรงเรียน และฉันไม่รู้ว่าพวกเขาจะอยู่ในโลกไหน หากสถานการณ์เลวร้ายเหล่านั้นเกิดขึ้น ขอย้ำอีกครั้งว่าเราควรรับทราบว่ายังมีสถานการณ์อื่นๆ อีก แต่ใช่ ฉันคาดหวังว่าจะได้รับปฏิกิริยาครั้งใหญ่จากสังคมในวงกว้างในไม่ช้า

“มีเรื่องจริยธรรมให้พวกเขาชั่งน้ำหนัก แต่ก็มีจุดยืนที่สอดคล้องกันมากซึ่งคุณไม่สามารถเพิกเฉยต่อสิ่งนี้ได้ กำลังมานี้”

Emmet: คุณจะโล่งใจเล็กน้อยไหมถ้าลดขนาดลงลง?

Fergal: ฉันหมายความว่าฉันจะต้องผิดหวัง ฉันจะชอบมันถ้ามันไปไกลกว่านี้ก่อนที่มันจะลดลง แต่ฉันคิดว่ามันจะทำให้เรามีเวลามากขึ้นในการปรับตัวให้เข้ากับภัยคุกคาม ณ จุดนี้ หากใครดูเรื่องนี้อยู่ พวกเขาจะประมาณว่า “โอ้พระเจ้า เราต้องผิดกฎหมายเนื้อหา AI ทั้งหมด” และนั่นเป็นสิ่งที่สมเหตุสมผลมาก แต่ฉันคิดว่ามีประโยชน์เชิงกลยุทธ์เชิงทฤษฎีบ้าๆ แบบนี้ในการเผชิญหน้ากับสิ่งนี้ตั้งแต่เนิ่นๆ และรวดเร็ว กำลังผลักดันให้คนในห้องปฏิบัติการวิจัยจำนวนมากดึงเทคโนโลยีเข้ามาสู่ปัจจุบัน เพื่อให้เราสามารถจัดการกับมันได้เมื่อยังเร็ว และฉันคิดว่าสิ่งนี้แทบจะไม่มีใครห้ามได้ ฉันไม่เห็นด้วยกับพวกเขาเสมอไป แต่ฉันมีความเคารพอย่างมากต่อนักแสดงหลายคนในห้องปฏิบัติการวิจัยเช่น OpenAI ที่คิดเกี่ยวกับเรื่องนี้ เพราะฉันรู้สึกว่านี่เป็นการกระทำที่ขาดความรับผิดชอบอย่างเหลือเชื่อ มีสิ่งที่มีจริยธรรมให้พวกเขาชั่งน้ำหนัก แต่ก็มีจุดยืนที่สอดคล้องกันมากซึ่งคุณไม่สามารถเพิกเฉยต่อสิ่งนี้ได้ เรื่องนี้กำลังจะมา คุณต้องเลือกว่าคุณจะจัดการกับมันเมื่อใด

Emmet: และเป็นส่วนหนึ่งของการแก้ปัญหาจากภายในแทนที่จะเอาแต่จมอยู่กับทราย ฉันหมายถึง มีอำนาจมากขึ้นสำหรับคนเหล่านั้นและคนที่รับผิดชอบในการควบคุมดูแล เราทั้งสองควรสนับสนุนพวกเขาและให้พวกเขารับผิดชอบ

Fergal: วัตถุดิบในที่นี้คือการคำนวณ การคำนวณมีอยู่ทั่วไป เรามีคอมพิวเตอร์ทุกที่ มันไม่เหมือนยูเรเนียมและคุณสามารถควบคุมยูเรเนียมได้ คุณคงอยากเจอมันเมื่อต้องใช้การคำนวณจำนวนมากที่รวมศูนย์ อย่างน้อยก็สามารถควบคุมได้ในช่วงระยะเวลาหนึ่ง

Emmet: ฉันอยากจะกลับมาตรวจสอบอีกครั้งอย่างแน่นอน ขอบคุณ เฟอร์กัล

เฟอร์กัล: คุยกันดีๆ ขอบคุณ เอ็มเม็ต