ظهور الذكاء الاصطناعي الفائق

لقد بدأنا في بناء أنظمة الذكاء الاصطناعي التي يمكنها فهم الأشياء. أين يتوقف؟

الذكاء الاصطناعي الفائق ليس موضوعًا جديدًا. لكن لعقود من الزمن، كان الأمر يقتصر في الغالب على سيناريوهات افتراضية في الأوراق الأكاديمية أو صفحات الخيال العلمي، مع حكاياتها المستقبلية عن انتفاضات الروبوتات وسيناريوهات نهاية العالم. ومع ذلك، مع تقدم تكنولوجيا الذكاء الاصطناعي إلى الأمام، فإن هذا المفهوم الذي كان مسليا ذات يوم، حيث يبدأ نظام الذكاء الاصطناعي في تحسين ذكائه بشكل متكرر إلى النقطة التي يتجاوز فيها الذكاء البشري في نهاية المطاف، يقترب من عتبة الواقع. فجأة، أصبحت المحادثة أكثر جدية.

يزعم بعض الباحثين من منظمات مثل معهد ماكس بلانك للتنمية البشرية، ومعهد أبحاث الذكاء الآلي، وحتى OpenAI أنه سيكون من الصعب للغاية - أو حتى من المستحيل تمامًا - احتوائهم بمجرد الوصول إلى هذه النقطة. وقد لا تكون هذه النقطة بعيدة عن الحدوث.

متى وبأي شكل من الأشكال، ستكون أنظمة الذكاء الاصطناعي فائقة الذكاء ثورية حقًا، وستؤثر على كل شيء بدءًا من سوق العمل والاقتصاد إلى علم الأحياء والطب. ومع ذلك، فإنها تشكل أيضًا خطرًا وجوديًا عميقًا على البشرية، مما يثير بعض الأسئلة الخطيرة - ما مدى قرب حدوث ذلك؟ فهل نحن مجهزون للتعامل معها؟ وكيف تبدأ في تنظيمه؟

في هذه الحلقة، ينضم مدير التعلم الآلي لدينا، فيرغال ريد، إلى إيميت كونولي، نائب رئيس تصميم المنتجات لدينا، لأخذ الذكاء الفائق وجهًا لوجه - المعلوم والمجهول، بدءًا من الأخلاقيات وحتى التهديدات وتحديات التنظيم.

وفيما يلي بعض الوجبات الرئيسية:

• إن دمج الذكاء الاصطناعي في مجالات مثل السيارات ذاتية القيادة يثير معضلات أخلاقية، ولكن من المهم التمييز بين ذلك وبين الذكاء الفائق، الذي قد يكون أكثر خطورة بكثير.
• إن تحقيق التوازن بين تركيزنا بين المخاوف المباشرة المتعلقة بالذكاء الاصطناعي وتهديدات الذكاء الفائق أمر بالغ الأهمية - لا ينبغي أن تتفوق مخاطر اليوم على الأضرار المستقبلية المحتملة، حتى لو كان من الصعب فهمها.
• من الصعب للغاية تنظيم الذكاء الاصطناعي. يمكن أن يؤدي الإفراط في التنظيم إلى الحد من فوائدها، ولكن من المهم أن تتعاون المختبرات الرائدة مع الهيئات التنظيمية لتعزيز التطوير والاعتماد المسؤول.
• وفي حين ينبغي لتطبيقات الذكاء الاصطناعي غير الخطرة أن تحافظ على نهج "التحرك بسرعة وكسر الأشياء"، فإن مختبرات الأبحاث التي تدرب النماذج الحدودية يجب أن تخضع للتنظيم الدقيق.
• إن التغاضي عن الفوائد المحتملة للذكاء الاصطناعي مع المبالغة في التركيز على المخاطر يساهم في نقاش غير مثمر يمكن أن يعيق التقدم. بشكل عام، تزن هذه التقنية صافيًا إيجابيًا.

إذا استمتعت بمناقشتنا، فاطلع على المزيد من حلقات البودكاست الخاص بنا. يمكنك المتابعة على Apple Podcasts أو Spotify أو YouTube أو الحصول على موجز RSS في المشغل الذي تختاره. ما يلي هو نسخة معدلة بشكل طفيف من الحلقة.

إلى المجهول

فيرغال ريد: هذه محادثة أخرى من محادثاتنا الحرة. كنا نقوم بالقليل من الإعداد، وكنت تقول، "الذكاء الفائق هو الأكثر إثارة للاهتمام-"

إيميت كونولي: ماذا عن تأطير أن الذكاء الفائق يمكن أن يغير مجتمعنا بالكامل، ربما بين عشية وضحاها، وأننا سنكون غير مجهزين تمامًا للتعامل معه؟ كنت تقول لا أحد يعرف، وأنه قد يحدث في غضون العامين المقبلين. هذا هو أكبر شيء يمكن أن نختار التحدث عنه. لكن الصعوبة التي أواجهها هي أن الأمر كله مبهم. يمكن أن يكون على بعد عامين، أو لا يمكن أن يكون على بعد سنوات، أو 200 عام. إنه أكبر شيء، لكنه أكبر مجهول.

فيرغال: حسنًا، فلندخل في الأمر. دعونا نفعل هذا الشيء الذكاء الفائق وجها لوجه. دعونا نحاول أن نتحدث عما نعرفه وما لا نعرفه. سنخطئ كثيرًا. كيف يمكنني تأطيرها؟ لقد كان هذا في ذهني قليلا. الآن، أصبح الأمر مستعصيا على الحل. من الصعب الإمساك بها. ما الذي نعرفه؟ هناك كل هذا الضجيج، أليس كذلك؟ «أوه، سيكون الأمر جنونيًا؛ الذكاء الخارق سيأتي قريبًا." ويزعم من يسمون بالهلاك أن ذلك سيقتلنا جميعًا افتراضيًا. وقد تطرقنا إلى هذا قليلاً في الماضي. وبعد ذلك، هناك هؤلاء الأشخاص الآخرون الذين يقولون: "أوه، هذا كله هراء. وهذا مثل القلق بشأن الاكتظاظ السكاني على كوكب المريخ.

"لقد بنينا أشياء تبدأ في فهم الأشياء. أين يتوقف؟"

قال هذا الباحث الشهير أندرو إنج، وبعد أسبوع أو أسبوعين، يبدو أنه غير وجهة نظره. لديه هذه النشرة الإخبارية، وفي النشرة الإخبارية، لم يتطرق إلى الذكاء الفائق، لكنه قال، "أوه، هذه الأنظمة بدأت تفهم وتعقل الأشياء." لقد ذكر Othello-GPT، التي تحدثنا عنها من قبل، حيث تقوم بتدريب هذا الشيء على مقتطفات من ألعاب Othello - فقط تسلسل الحركات في لعبة اللوحة - ويبدو أنه بدأ في تعلم أشياء أساسية حول لعبة اللوحة و تخطيط اللوحة. لقد وجد ذلك مقنعاً. وأجد ذلك مقنعًا أيضًا. وهكذا، فإن بعض الأشخاص الذين كانوا يقولون إن الذكاء الفائق يقع على بعد مليون ميل، أصبحوا الآن يغيرون لهجتهم قليلاً. الأشخاص الذين كانوا يقولون إن الذكاء الاصطناعي لا يفهم أي شيء، بدأوا يغيرون أسلوبهم قليلاً.

لقد بنينا أشياء تبدأ في فهم الأشياء. أين يتوقف؟ هناك شيء واحد أشعر به بشدة وهو أنه ليس من السخافة الحديث عن أشياء تصبح أكثر فأكثر ذكاءً وأكثر ذكاءً من البشر. وهذا تغيير. قبل أربع أو خمس سنوات – قبل عامين؟ - سأكون تمامًا في معسكر أندرو إنج، "نعم، هذه أشياء ممتعة للتفكير فيها، وأنا أحب قراءة الخيال العلمي، ولكن لا يوجد طريق. لا نرى أي طريق هناك. لا يوجد دليل على أن أي طريق نراه سينجح”. الآن، هناك مجموعة من الأدلة التي تشير إلى أنها قد تصل إلى هناك. وهذا شيء تعلمناه. وهذا شيء تغير في العالم.

ايميت: ويبدو أنه شيء يمكننا تتبعه. ما أفهمه مما تلمح إليه هو أن التفكير هو خطوة ضرورية للذكاء الفائق أو الذكاء العام الاصطناعي (AGI) أو أي شيء آخر. وكلما زادت القدرات الاستدلالية المعروضة هنا، زادت احتمالية وصولنا إلى الذكاء الاصطناعي العام. وهكذا، بالنسبة لبعد واحد من عدم قدرتي على فهم أي شيء ملموس، أنت تقول أنك تعتقد أن الثقة ستتراكم بشكل جماعي مع مرور الوقت؟

"للمرة الأولى، لا نعرف حقًا ما هي الحيلة. وقد لا تكون هناك خدعة. قد يكون حقيقيا. هذا ذكاء، أو على الأقل، الحيلة جيدة بالمثل للذكاء البشري.

فيرغال: نعم، أعني أنك ترى المزيد من البيانات، وتقوم بتحديث نظرتك للعالم. إذا كنت تعيش في عالم لا توجد فيه أنظمة ذكاء على الإطلاق، فيجب أن تكون أكثر تشككًا في إمكانية بناء الذكاء الفائق. ومع ارتفاع مستوى ذكاء الأنظمة في العالم، يجب أن تصبح أكثر انفتاحًا على فكرة أننا سنصل إلى شيء فائق الذكاء. هذا بسيط جدًا.

أتذكر أنني تعلمت كيفية عمل الذكاء الاصطناعي في لعبة الشطرنج. أتذكر مباراة الشطرنج بين ديب بلو وكاسباروف في عام 1997 (هناك أغنية Arcade Fire حول هذا الموضوع). كان جدي يلعب الشطرنج وعلمني لعب الشطرنج عندما كنت طفلاً. لقد كان مصدومًا ومتفاجئًا حقًا من ديب بلو لأن كاسباروف كان هذا العبقري العقلي البشري الشاهق، وقد هزمه ديب بلو. "كيف يكون ذلك؟ هل هذا يعني أن الآلات ذكية مثلنا؟” وكان ذلك إنجازًا تقنيًا كبيرًا. لكنها كانت في الأساس خدعة جيدة. عندما تتعلم كيف يعمل الذكاء الاصطناعي للشطرنج في أعماقه تحت الغطاء، فهو Minimax أو Negamax. إنها خوارزمية بحث بسيطة جدًا. يجب أن يكون لديه فكرة ما عما إذا كانت حالة اللوحة أفضل أم أسوأ بالنسبة له - إذا كان لدي الكثير من البيادق والملكة ولم أتمكن من التحقق منها، فهذه عملية حسابية بسيطة لقيمة قطع الشطرنج.

ولكن بعد ذلك، يقوم بقدر كبير من البحث. إذا انتقلت هنا وانتقلت أنت إلى هناك وانتقلت أنا إلى هناك... هناك بعض التقنيات الذكية لجعل البحث أكثر كفاءة، ولكنها في الأساس عملية حسابية غاشمة. انها مجرد القيام بالكثير من الحسابات. وهكذا، عندما تعلم ذلك، فجأة، يكون الأمر مخيبًا للآمال. وفجأة، يبدو الأمر كما لو أن “ديب بلو لم يكن آلة تفكير. لقد كان مجرد ذكي حقًا-"

إيميت: آلة حاسبة.

فيرغال: ... آلة حاسبة، صحيح. نظام ميكانيكي كبير يتم حسابه بشكل جماعي. مع تاريخ الذكاء الاصطناعي، ستنبهر دائمًا حتى تتعلم الحيلة. لكن الآن، ولأول مرة، لا نعرف حقًا ما هي الحيلة. وقد لا تكون هناك خدعة. قد يكون حقيقيا. وهذا أمر ذكي، أو على الأقل، الحيلة جيدة بالمثل للذكاء البشري.

"لم يكن Deep Blue أكثر ذكاءً من كاسباروف، ولكن بطريقة ذكية تمامًا، قاموا بنشر جانب حساب القوة الغاشمة لذكائهم في مهمة جعلتهم أفضل إلى النقطة التي يمكنهم من خلالها الفوز"

إيميت: أو انعكاس لبعض القوانين الأساسية التي تشبه الفيزياء تقريبًا لنظرية المعلومات أو كيفية عمل المعلومات عندما تجمع كميات كبيرة منها معًا.

فيرغال: لا أعرف إذا كنت سأختار نظرية المعلومات، لكني أعتقد أن فكرة أنه ربما يكون هناك نظام بسيط قد يمنح قوة تعبيرية، وعندما تضع ما يكفي من المعلومات، يبدأ في أن يصبح ذكيًا.

إيميت: إذن، لم تكن شركة ديب بلو أكثر ذكاءً من كاسباروف، ولكن بطريقة ذكية تمامًا، قاموا بنشر جانب حساب القوة الغاشمة لذكائها في مهمة جعلتها أفضل إلى درجة تمكنها من الفوز. لذا أعتقد أنه بإمكانكما أن تقولا: "ديب بلو ليس أذكى من غاري كاسباروف"، ويمكنك أن تقول: "ديب بلو يستطيع التغلب على غاري كاسباروف في الشطرنج"، أو "إنه أفضل من البشر في مهمة ما".

الذكاء الاصطناعي يتولى القيادة

إيميت: هذا يقودني إلى التفكير في كيفية تفكيرنا في تلك الأشياء. رد الفعل العاطفي الذي كنت تصفه لجدك… إذا نظرنا إلى الأمام ورأينا السيارات ذاتية القيادة، والتي كانت تغلي في الخلفية طوال الوقت أو حتى قبل ظهور أي من مواد LLM في المقدمة. هناك ذلك الشيء العاطفي المتمثل في "ماذا نريد من هذه الأنظمة؟" ربما أبتعد عن أمور الذكاء الاصطناعي العام هنا، لكن دعونا ننظر إلى السيارات. ماذا نريد منهم، أو كيف سنستجيب للاندماج هناك؟ لأن لدينا نظاماً غير مثالي في الوقت الحالي ــ أكثر من مليون حالة وفاة على الطرق سنوياً ناجمة عن خطأ بشري. إذا استبدلنا ذلك بنظام الذكاء الاصطناعي الذي أدى فقط إلى نصف مليون حالة وفاة على الطرق سنويًا، فهل... أعني، أنه من الصعب جدًا، من وجهة نظر أخلاقية بحتة ومعالجة الأرقام، ألا...

يذهلني أن هذا يشبه مشكلة عربة الذكاء الاصطناعي بشكل واضح. مشكلة عربة الذكاء الاصطناعي هي مشكلة محلية تتمثل في "ما هو القرار الذي تتخذه؟" لكن لدينا هذا القرار على المستوى المجتمعي: "هل سنقبل الشعور السيئ الذي يأتي مع قيادة السيارات بواسطة الروبوتات، حتى لو كانت عرضة للخطأ، حتى لو كانت هذه القابلية للخطأ أقل عرضة للخطأ من السائقين البشر؟"

"إذا - وهذا أمر ضخم إذا - وصلنا إلى السيارات ذاتية القيادة إلى النقطة التي تقتلك فيها الآلة الآن حيث اعتاد الإنسان أن يقتلك، ولكنها تقتلك بشكل أقل بكثير، أعتقد أن معظم الناس سيكونون على ما يرام مع ذلك "

فيرغال: أعتقد أننا ربما نفعل ذلك. من الواضح أن هناك احتمالًا للفشل التنظيمي والسياسي، لكن الناس يقبلون هذه المقايضات طوال الوقت. إنهم لا يتحدثون عنهم كثيرًا لأنه من غير الحكمة سياسيًا القيام بذلك. تمتلك كل دولة متقدمة نظامًا طبيًا يقيس تكلفة الدواء وفوائده. وفي السراء والضراء، يفعلون ذلك. وأعتقد أن هذا أمر جيد للقيام به. وأنا أفهم أنه من الصعب سياسياً الدفاع عن ذلك، ولكن إذا لم تفعل ذلك، فإن المزيد من الناس يموتون.

إيميت: يناقش الناس هذا الأمر، لكن قلة قليلة من الناس يختارون العيش في بلد لا توفر فيه هذه الأنظمة حواجز حماية وحواجز أمان لجميع أنواع جوانب حياتهم. لذا نعم، أنا أتفق معك.

فيرغال: نعم، هذا كل شيء. ونأمل أن يقوموا بعمل جيد، لكن يتعين عليهم اتخاذ هذا النوع من قرارات الحياة أو الموت بشأن الأدوية المتوفرة. المجتمعات تفعل ذلك. ويجب أن أتخيل أنه، في غياب بعض الفشل السياسي، إذا - وهذه حالة ضخمة - حصلنا على سيارات ذاتية القيادة إلى النقطة التي، نعم، الآلة تقتلك الآن حيث اعتاد الإنسان أن يقتلك، لكنها تقتلك أنت أقل بكثير، وأعتقد أن معظم الناس سيكونون على ما يرام مع ذلك.

إيميت: لا أعرف. من وجهة نظر منطقية بحتة، إذا قمت بتحليل الأرقام، فمن الصعب العثور على خلل منطقي فيما قلته للتو. لكنني أعتقد، على عكس تنظيم المخدرات، الذي يشبه إلى حد ما همهمة الحياة والمعيشة، فإنك تختار ركوب سيارة ذاتية القيادة أو سيارة غير ذاتية القيادة. وأعتقد أن هذا القرار سيكون شخصيًا بالنسبة لكثير من الأشخاص أكثر من بعض تلك اللوائح التي لا يمكن لمسها في حياتك اليومية. أعتقد أن هذه ستكون الأشياء التي قد ينتهي بها الأمر إلى تسييس مفرط، مما يجعل من الصعب حقًا تحقيق التنظيم ويعيقنا أكثر من أي شيء آخر.

فيرغال: أعني، أعلم أن هذا سيصبح سياسيًا، لكن انظر إلى الطاقة النووية. تلوث الطاقة النووية كميات أقل من الكربون مقارنة بالأشياء الأخرى. وهي مناقشة معقدة حول الجانب السلبي. عندما يكون هناك انهيار نووي، يكون الأمر مكلفًا للغاية. هذه مشكلة إحصائية صعبة. لكن الكثير من خبراء التكنولوجيا قد يشعرون أن المناقشة حول الطاقة النووية لم تكن الأكثر عقلانية بأثر رجعي. عندما كنت طفلاً، كنت أخاف من الطاقة النووية. كان الكثير منا في الثمانينيات خائفين من الأشياء النووية. ولكن ربما هذا مثال على الفشل السياسي.

هناك بالتأكيد مجموعة كبيرة من خبراء التكنولوجيا الذين يقولون: "إن الجدل الدائر حول الذكاء الفائق سيؤدي إلى الإفراط في تنظيم الذكاء الاصطناعي، وسيكون هناك الكثير من الفوائد البشرية التي سنخسرها". هذا هو التنظيم غير المحسوب. ربما سيحدث شيء مماثل مع السيارات ذاتية القيادة حيث نصل ​​إلى النقطة التي تكون فيها أفضل، ولكن بعد ذلك يحدث فشل سياسي ينتهي بمنعها من الانتشار حتى تصبح مثالية، ولن تكون مثالية أبدًا. لكنني أعتقد أنني متفائل بأن الناس سيكونون قادرين على إجراء هذه المناقشة.

إيميت: حسنًا، هذا هو السبب الذي يجعلني أكافح من أجل التواصل شخصيًا وعاطفيًا مع زاوية الهلاك لأن قدرًا معينًا من هذا سيحدث بغض النظر عما تقوله أو تفعله من الآن فصاعدًا.

فيرغال: للذكاء الفائق؟ لأنني سعيد بتمثيل زاوية الموت للذكاء الفائق.

"لا يوجد سيناريو حيث السيارات ذاتية القيادة ستقتل الجميع"

ايميت : اه حسنا لذلك دعونا نفرق بين السيارات ذاتية القيادة، التي لا تتطلب الذكاء الفائق، وبعض لحظات الخيال العلمي فائقة الذكاء. إنني أدرك عقلية الهلاك حتى بالنسبة للجانب غير الذكي للغاية من هذا.

فيرغال: نعم. عليك أن تفرق بين الاثنين. هناك الكثير من الأشخاص المتشككين والمتشائمين والمتشائمين بشكل لا يصدق، على سبيل المثال، بشأن السيارات ذاتية القيادة. ومن ثم هناك أشخاص آخرون سيكونون ساخرين ومتشائمين بشأن الذكاء العام أو الذكاء الفائق، ولكن أعتقد أنه يتعين عليك الفصل بين الاثنين. يعتقد الجميع أنهم عقلانيون، لكنني أزعم أن هناك حجة عقلانية لتوخي الحذر بشأن الذكاء الفائق. لا يوجد سيناريو حيث ستقتل السيارات ذاتية القيادة الجميع. ولكن أعتقد أن هناك سيناريوهات معقولة حيث يخترع الناس الذكاء الفائق، وكل شيء يسير على نحو خاطئ، ويقتل الجميع حرفيًا. أنا لا أقول أن هذا محتمل. هناك من يقول أن هذا هو السيناريو الافتراضي، ولديهم حجج مقنعة في رأيي، لكنني لا أقول أنه محتمل. لكنني لا أعتقد أنه يمكنك القول أنه مستحيل. من المحتمل أن يكون الذكاء الفائق خطيرًا للغاية. ولذا، أعتقد أن هذه مجرد حالة من الجنون. حتى اللحظة الأخيرة من هذه المحادثة كانت مجنونة.

ايميت: نعم، انها البرية. وبالعودة إلى ما قلناه في البداية، إنه الشيء الأكبر، ومع ذلك فهو غير متبلور. نحن نحاول فقط أن نشق طريقنا إليه.

فيرغال: إنه أمر مخيف حتى مجرد التفكير أو التحدث عنه. أعتقد أن الناس يمارسون الرقابة الذاتية كثيرًا. الأكاديميون يمارسون الرقابة الذاتية

إيميت: صحيح، خوفاً من أن يكون مخطئاً.

فيرغال: الخوف من الوقوع في الخطأ والحوافز المحيطة بذلك. ولكن أيضًا، حتى على المستوى البشري، يبدو الأمر مثل، "تبًا، حقًا؟ أنت تتحدث عن التكنولوجيا الكبيرة جدًا. لقد ذكرت أوبنهايمر في البودكاست السابق. إذا كنت تعتقد أن هذه الأشياء ستحدث، وإذا كنت تؤمن بالذكاء الفائق، فمن الواضح أنها تكنولوجيا على مستوى مماثل من القوة للأسلحة النووية. أو، كما أعتقد، أعلى بكثير من تلك القوة. هناك جدال مدمر حول السيارات ذاتية القيادة، وأنا شخصيا لا آخذ هذا الأمر على محمل الجد. ربما يكون هذا غطرسة مني، لكن لا يوجد سيناريو تقتل فيه السيارات ذاتية القيادة الجميع.

فك تشابك أخلاقيات الذكاء الاصطناعي

إيميت: أعتقد أن ما نصل إليه هنا هو أن المحادثة بأكملها حول الذكاء الاصطناعي العام أو الذكاء الفائق تختلف تمامًا عن المحادثة حول معيار المستنقع، أو ما لدينا أو-

فيرغال: أخلاقيات الذكاء الاصطناعي.

إيميت: ... ما حصلنا عليه أفضل قليلاً، ولكن حتى في السنوات الخمس المقبلة، فإنه لا يصل إلى الشيء التالي. هذه هي أخلاقيات الذكاء الاصطناعي الأساسية – كل الأشياء المتعلقة بالمعلومات الخاطئة وأشياء من هذا القبيل التي يتعين علينا التعامل معها بغض النظر.

فيرغال: أعتقد أنه من مصادفات التاريخ وربما من مصادفات التاريخ الخطيرة أن تشوش هاتان المحادثتان كثيرًا. الآن، هذا مجرد منظور واحد. هناك وجهات نظر بديلة. سيقول الأشخاص الذين يعملون في أخلاقيات الذكاء الاصطناعي اليوم: "أوه، لا، هذا الذكاء الفائق يمتص كل الأكسجين من الغرفة. إن الأضرار النظرية المستقبلية تصرف الانتباه عن الأضرار الحقيقية اليوم. ولكن إذا كنت تعتقد أن الأضرار المستقبلية ليست نظرية وأن حجمها أكبر بكثير، فيجب أن تجذب الكثير من الاهتمام، هل تعلم؟

"أنا لا أقول أنه لا ينبغي لنا أن نحاول المضي قدمًا في هذا الأمر بأي شكل من الأشكال، ولكن معالجته ستكون أصعب بكثير من معالجة بعض المشكلات الملموسة والملحة التي نواجهها"

إيميت: دعني أحاول تقديم حالة بديلة. نعم، بالطبع، تلك هي الجائزة/التهديد/الخطر الكبير. ومع ذلك فهو غير معروف وغير قابل لمعرفته بالنسبة لنا... دعني أتحدث عن رامسفيلديان للحظة - هناك معروف معروف، ومجهول معروف، ومجهول غير معروف. وعندما أفكر في الذكاء الفائق، فهو مجهول المجهول، "دعني أذهب لأقرأ بعض الخيال العلمي وأحلم بما قد يحدث." في حين أن أمامنا الكثير من العمل الذي يمكننا القيام به، وربما يؤدي تشويش المحادثة بين تلك المستويات من الذكاء الاصطناعي إلى نتائج عكسية للغاية. على الرغم من أن هذا هو الشيء المخيف الكبير، إلا أنه نوع من الثنائية فيما يتعلق بما إذا كان سيحدث أم لا. وأنا لا أقول إنه لا ينبغي لنا أن نحاول المضي قدمًا في هذا الأمر بأي شكل من الأشكال، لكن معالجته ستكون أصعب بكثير من معالجة بعض المشكلات الملموسة والملحة التي نواجهها.

فيرغال: نعم، إنه أمر مستعصي على الحل، ولكن هناك تهديد هائل يصل إلى 1000 مرة، وأعتقد أن معظم الناس يتفقون مع ذلك، ولكن مع احتمال أقل. ربما يكون التهديد 1000X أو 10000X ولكن مع احتمال أقل 10X أو 100X. إذا كنا متفقين على ذلك، فمن غير المسؤول عدم التحدث عن ذلك. فقط لأنه مستعصي على الحل، فهذا لا يعني أنه لن يأتي ويقتلك.

إيميت: أم أننا نبدأ الكرة في بناء العضلات فعليًا لتنظيم ومناقشة التنظيم وسن التنظيم حتى نكون مستعدين بشكل أفضل للأمر المستعصي إذا حدث ذلك؟

فيرغال: ربما، ولكن ربما يكون ذلك بطيئًا جدًا. تحدثنا عن السيارات ذاتية القيادة وأخلاقيات ذلك، ولكل شيء تكاليف وفوائد. ولذا، هناك الكثير من الأشخاص في العالم قد يقولون: "إن كل هذه الأمور المتعلقة بأخلاقيات الذكاء الاصطناعي حول أنظمتنا اليوم مهمة ولكنها صغيرة مقارنة بفائدة الأنظمة اليوم." لكن الشكل يصبح مختلفًا تمامًا إذا كنت تتحدث عن الذكاء الفائق لأن هذه تقنية خطيرة من المستوى التالي.

إيميت: أفهمك، لكني ما زلت أعتقد أن هناك طريقًا يجب أن نتجنبه. وهو أيضًا طريق معقول. نستمر في السير على الطريق الذي نسير فيه، وهي تجربة فكرية. تخيل لو كانت هناك انتخابات مهمة كبيرة في العام المقبل، وأصبح الذكاء الاصطناعي والمعلومات المضللة بمثابة البعبع لكل هذا. لدى الأشخاص روبوت محادثة خاص بـ دونالد ترامب على هواتفهم يمكنهم التحدث إليه، وهو منتج جذاب وممتع. أراهن أننا سنرى شيئا من هذا القبيل. والرأي العام والعاصفة الإعلامية والتسييس حول ما إذا كان هذا ثنائيًا جيدًا أم سيئًا يغمر الأمر برمته ويجعل إجراء محادثة أكبر وأهمية أكثر صعوبة.

"الفكرة هي أننا نفعل كلا الأمرين، ولسنا في وضع يجعلنا نقول: "مرحبًا، الأضرار الحقيقية قصيرة المدى هي الشيء الوحيد الذي يجب التركيز عليه لأن الشيء الآخر غامض""

إذا وصلنا إلى مرحلة في العام المقبل حيث المعلومات الخاطئة الخطيرة والأشياء التي لها عواقب حقيقية على الكثير من الناس - ليست عواقب الانهيار العالمي التي يمكن أن تحدث مع الذكاء الاصطناعي العام، ولكن، دون التقليل من ذلك، حادث واحد في مكان ما بسبب الروبوت سيارة أو شيء من هذا القبيل - علينا أن نجهز أنفسنا لإجراء محادثات ناضجة بشكل متزايد حول هذه الأشياء. هناك طريق ضيق يمكنني أن أتخيله للوصول إلى هناك، وربما الكثير من الطرق الأخرى التي نفسد فيها الأمور بشكل كبير.

فيرغال: أعتقد أن عليك القيام بالأمرين معًا، أليس كذلك؟ الفكرة هي أننا نفعل كلا الأمرين وأننا لسنا في وضع يجعلنا نقول: "مرحبًا، الأضرار الحقيقية قصيرة المدى هي الشيء الوحيد الذي يجب التركيز عليه لأن الشيء الآخر غامض"، أو أن المستقبل غامض. فالأمر كبير جدًا لدرجة أننا لا نقضي أي وقت في الحديث عن الأضرار قصيرة المدى. من المفترض أن هناك مجموعة من الجهود المتوازنة على النحو الأمثل.

تخيل أن هناك منظمة في العالم تهتم حقًا بأخلاقيات الذكاء الاصطناعي وسلامة الذكاء الاصطناعي. ربما ينبغي لتلك المنظمة أن تقسم تركيزها على هذين الأمرين. ولكن كيف يمكنك إجراء هذا الانقسام؟ هناك فكرة سرقة باسكال حيث يكون هناك شيء كبير جدًا، وأنا أقول، "مرحبًا، لدي الذكاء الاصطناعي العام هنا. الآن، ربما لا تصدقني، لكن يجب أن تعطيني كل أموالك في حالة حدوث ذلك. لأنه بخلاف ذلك سوف يدمر العالم." يبدو الأمر مثل، "أوه، واو، هذه العواقب كبيرة جدًا، يجب عليك فقط أن تفعل كل ما أقوله." وهذا مثل رهان باسكال، أليس كذلك؟ مسلح. أنت تريد تجنب هذا السيناريو، ولكنك تريد أيضًا تجنب السيناريو الذي لا تنظر فيه إلى التهديد المشروع.

هذه أشياء صعبة. أعتقد أن الأشخاص ذوي النوايا الحسنة الذين يحاولون جعل العالم أفضل، على المدى الطويل والقصير، لن يتفقوا مع هذا الرأي. لقد ذكرت مؤخرًا أن المناقشة مثيرة للخلاف. في بعض الأحيان، تكون المناقشات الأكثر إثارة للخلاف هي عندما يختلف الأشخاص الطيبون وذوو النوايا الحسنة حول التكتيكات وينتهي بهم الأمر إلى قتال بعضهم البعض. من الصعب حقًا التجول.

إيميت: الشيء الواضح هو أنه يتعين علينا القيام بالأمرين.

تنظيم مشهد الذكاء الاصطناعي

إيميت: لقد ذكرت لوائح الاتحاد الأوروبي التي سيتم تفعيلها. هل نحن على استعداد لوضع لوائح ذكية وصحيحة وفعالة للأشياء قصيرة المدى التي أتحدث عنها؟

فيرغال: لا أعرف. أنا لست الخبير المناسب لهذا. لقد قرأت أحد بنود مسودة قانون الذكاء الاصطناعي للاتحاد الأوروبي. وهناك الكثير من الأشياء الجيدة هناك والكثير من الأشياء المعقولة. لكن الأمر لا يزال على المستوى السياسي، ولا يزال قيد المناقشة. قرأت بعض التعديلات التي بدت مبالغ فيها. لا أعرف. انظر إلى اللائحة العامة لحماية البيانات. بعض اللائحة العامة لحماية البيانات رائعة، أليس كذلك؟ حماية. ومن ثم يكون بعضها فوق القمة، مثل عناصر الموافقة على ملفات تعريف الارتباط، أو عناصر موافقة القانون العام لحماية البيانات (GDPR) التي تراها في كل مكان. هل هذا حقا جعل العالم أفضل؟ قد تقول: "حسنًا، كانت النظرية جيدة، لكن التنفيذ كان سيئًا فحسب". نعم، ولكن هذا يهم. جزء من وظيفة القانون الجيد هو أن العواقب ليست سيئة.

"مهما كان رأيك في هذه الأشياء، فمن الأفضل بالتأكيد نشرها للعالم بينما تكون المخاطر منخفضة حتى نتمكن من ارتكاب الأخطاء واكتشاف الأشياء"

كيف يتم ذلك مع الذكاء الاصطناعي؟ أعتقد أن علينا أن ننتظر ونرى. لقد شجعني ما أراه في الولايات المتحدة حيث تفاعلوا مع الكثير من المختبرات. كانت هناك مشاركة ثنائية الاتجاه ومناقشة حقيقية، وقد بدأوا في وضع بعض الإشراف الطوعي على عمليات التدريب على الحدود. لذلك لا أشعر بالرعشة حتى الآن. هذا شعور جيد.

قد أكون ساذجًا. أعتقد نوعًا ما أن الأشخاص في مختبرات الأبحاث الحدودية مسؤولون إلى حد ما عن هذه الأشياء. إنهم يهتمون بعدم الوقوع في الذكاء الفائق عن طريق الخطأ. إنهم يتعاملون مع المنظمين. يمكنك أن تتخيل عالمًا آخر حيث يقومون بتلويث النقاش العام عمدًا ويقيمون في ولايات قضائية لا يمكن تنظيمها. أعتقد أن هناك الكثير من الأشياء الجيدة التي تحدث، وسوف يقول المتهكمون: "أوه، هذا مجرد مختبر للذكاء الاصطناعي يحاول القيام بالسيطرة التنظيمية". أنا متأكد من أنه ليس كذلك. لا تضيع فائدة السيطرة التنظيمية على بعض الأشخاص في هذا المجال، لكنني أعتقد أنهم في الغالب ممثلون جيدون.

إيميت: أتصور أن التنظيم الجيد يسمح أيضًا ببعض المقاييس المنزلقة أو التقدم من خطوة إلى أخرى. مهما كان رأيك في هذه الأشياء، فمن الأفضل بالتأكيد نشرها للعالم عندما تكون المخاطر منخفضة حتى نتمكن من ارتكاب الأخطاء واكتشاف الأشياء. من المحتمل أن توفر مستويات السيارات ذاتية القيادة شيئًا كهذا حيث يمكنك أن تقول، "إذا كنت في هذه المنطقة، فلا بأس بهذا المستوى من الحكم الذاتي. في هذه المنطقة، لا، وإلا فإن تدخل السائق مطلوب”. أنا خارج مجال خبرتي هنا أيضًا، ولكن يمكنك أن تتخيل ذلك في مجالات أخرى. لنبدأ بالأشعة السينية أو مسح أصابع القدم المكسورة – يمكن للذكاء الاصطناعي أن يأخذ ذلك. لكن مع أي شيء مثل النظر إلى الورم، سيكون لدينا طبقات متعددة، بما في ذلك المشاركة البشرية. وربما تعمل تدريجيًا خلال تلك المراحل.

"الموقف المدمر أو موقف المخابرات العامة الخطير هو أنك تقوم بطريق الخطأ ببناء شيء أقوى بكثير قبل أن تتوقعه"

فيرغال: هذا ما نفعله يومًا بعد يوم عندما نبني منتجات الذكاء الاصطناعي. نحن نعمل فعليًا على منتجات الذكاء الاصطناعي في البريد الوارد في الوقت الحالي ونحاول القيام بشيء كبير، والآن نحاول تحديد، "لا، لقد كان هذا طموحًا للغاية بعض الشيء." هذا جيّد. الحالات الصغيرة حيث ستعطي بالتأكيد قيمة بأمان. هذا نوع من عملنا اليومي. أنت تبحث عن طرق للنشر حيث يكون صافي الإيجابية بالتأكيد ثم قم بتوسيع هذا الحجم. ويجب أن أتخيل أن الكثير من تبني الذكاء الاصطناعي الجيد سوف يتم على هذا النحو.

مرة أخرى، موقف الهلاك أو موقف المخابرات العامة الخطير هو أنك تقوم بطريق الخطأ ببناء شيء أقوى بكثير قبل أن تتوقعه. تقوم بإجراء تدريب أطول بعشر مرات مما ركضته من قبل، وتكتشف أنك دربت شيئًا أكثر ذكاءً بـ 1000 مرة لأنه لم يتوسع بالطريقة التي فكرت بها أو لأنك حصلت على بعض الخوارزميات الجديدة أو أي شيء آخر. هذا هو السيناريو الذي يقلق الناس حقًا. وأعتقد أن هذا سيناريو يجب الحذر منه.

ولكن مرة أخرى، حتى الأشخاص الذين أصدروا قانون الذكاء الاصطناعي في الاتحاد الأوروبي بدأوا يتحدثون عن: "أوه، إذا كنت تدرب أفضل النماذج وأكثرها تقدمًا، فربما يتعين عليك تسجيل ذلك. عليك أن تنظم الأمر على الأقل." كيف يمكنك تنظيم ذلك؟ يا إلهي، لا أعرف. ستكون تلك مهمة صعبة. لكنهم على الأقل يفكرون في الأمر.

دق ناقوس الخطر

إيميت: تخيل أنك تعمل في OpenAI أو شيء من هذا القبيل، وقمنا بتنفيذ جهاز GPT-8 الضخم الذي تم تدريبه على مجموعة ضخمة إلى حد الجنون، وقد تجاوز هذه العتبة التي تصفها حيث يكون من المخيف مدى قوتها. ما الذي تعتقد أنه سيحدث في هذا السيناريو؟ بادئ ذي بدء، هل من المرجح أن يحدث ذلك داخل معمل كبير، من النوع الذي تصفه بالفعل، والذي يريد أن يتصرف بمسؤولية ويتعامل مع الحكومة، وعند هذه النقطة، سيقولون: "مرحبًا، اضرب الزر الأحمر الكبير، حدث ما حدث. دعونا نتحدث عن المكان الذي يجب أن نأخذ فيه هذا بعد ذلك. هل تصبح متاحة على نطاق واسع لمجموعة واسعة من الأفراد بسرعة وبشكل مفاجئ، أم يمكن احتواؤها داخل المختبر بمجرد حدوثها، ومن ثم يمكننا التحدث عن كيفية التعامل مع هذه المادة بعناية شديدة؟

"لقد قام شخص ما بتدريب النموذج، ماذا سيحدث بعد ذلك؟ يجب أن آمل أن يقوم الأشخاص الذين يقومون بتدريب هذه الأشياء بدق ناقوس الخطر.

فيرغال: هناك الكثير، وهذا بالتأكيد سيناريو عميق حيث انتهى بك الأمر إلى تدريب شيء ما. هذا سيناريو خيال علمي، لكن ربما ليس بعيدًا جدًا. من تعرف؟ لكن يبدو الأمر كما لو أنك دربت شيئًا ربما يكون أكثر ذكاءً منك بكثير. إنه يجلس في مختبرك ماذا حدث بعد ذلك؟ أعتقد أن الناس يريدون تجنب هذا السيناريو، وأعتقد أن اللعبة هنا هي أنه عندما يقترب الناس من التدريب على هذه الأشياء، يمكنهم رؤية ذلك قادمًا. ويرون أن هذا يقترب من الذكاء البشري. نأمل ربما لا يكون واعيا. هناك كل أنواع الأشياء الأخلاقية إذا كنت تعتقد أنها واعية، ولكن لنفترض أن لديك كيانًا فاقدًا للوعي ولكنه ذكي. ماذا حدث بعد ذلك؟

إذا كانت هذه هي الطريقة التي تسير بها التكنولوجيا، فإن المختبر الخاص يبدو وكأنه مكان أفضل لمواجهة هذا من بعض مشاريع العمليات السوداء العسكرية. بالنسبة للأشخاص الذين يقولون، "نحن بحاجة إلى إيقاف جميع عمليات التدريب الآن،" فهذا يعني أنك ستواجه هذا في سياق عسكري أولاً. وأنا لا أعرف إذا كان ذلك سيكون أفضل للناس، بصدق. ربما هذا هو شكوكي. لكن نعم، قام شخص ما بتدريب النموذج، ماذا سيحدث بعد ذلك؟ يجب أن آمل أن يقوم الأشخاص الذين يقومون بتدريب هذه الأشياء بدق ناقوس الخطر. وأعتقد أنهم سيفعلون ذلك. والشيء الجميل في قيام مختبرات الأبحاث الصناعية بذلك هو أنني أعتقد أنها سوف تقوم بتسريب الأشياء. وأعتقد أن هذا هو سبب أهمية عدم القيام بذلك في السياق العسكري لأنه لا توجد ثقافة السرية. حتى شركة أبل، الشركة الأكثر سرية بين شركات التكنولوجيا الكبرى، أعتقد أنه إذا كان لديهم شيء مجنون في مجال الذكاء الاصطناعي، فسوف تسمعون عنه، أليس كذلك؟ جوجل بالتأكيد سوف.

إيميت: عندما تقول تسرب، هل تقصد أسلوب المبلغين عن المخالفات، مثل "لقد أنشأنا هذا؟"، أم تقصد النموذج-

فيرغال: لا، لا أقصد تسريب النموذج نفسه.

"تخيل أنك تعيش في عالم ينتشر فيه الذكاء الاصطناعي العام بشكل خطير. كيف يمكنك التحكم في الانتشار؟ هذا عالم مختلف تمامًا"

إيميت: لقد حدث ذلك، أليس كذلك؟ أصدر فيسبوك نموذجه مفتوح المصدر لبعض الباحثين، وقام أحدهم بتسريبه، وأصبح متاحًا على الإنترنت.

فيرغال: نعم. حسنًا، هذه محادثة أخرى تمامًا. تخيل أنك تعيش في عالم ينتشر فيه الذكاء الاصطناعي العام بشكل خطير. كيف يمكنك التحكم في الانتشار؟ هذا عالم مختلف تمامًا. وفجأة يبدو الأمر مثل، "يا رجل، أتمنى لو كان ذلك في سياق عسكري." لكن حتى لو نظرت إلى مشروع مانهاتن، ستجد أن الروس كان لديهم جواسيس قاموا بنقل التكنولوجيا من مشروع مانهاتن إلى برنامج الأسلحة الخاص بهم. من المؤكد أن الدول القومية تفكر في هذا النوع من الأشياء في الوقت الحالي.

ايميت: بالتأكيد. هناك بعض الأمور الإيجابية التي يمكن استخلاصها من حقيقة أنه، على الرغم من كل الصعاب، منذ ما يقرب من 80 عامًا أو شيء من هذا القبيل، كان هناك شخص ما يجلس ويستمع إلى نسخة من المحادثة التي نجريها الآن، وأعتقد أنه من المحتمل أن تكون مفاجأة سارة له لسماع أنه إذا تقدمت سريعًا إلى عام 2023، فلن يتجاوز الاستخدام الأصلي.

فيرغال: هناك أيضًا تحيز إنساني وظل إنساني. هناك كل أنواع الخصائص الإحصائية المثيرة للاهتمام. هذا لا ينطبق حقًا على التبادل النووي، لكن الأشياء التي يمكن أن تدمر العالم لا تحدث أبدًا في جدولك الزمني، على حد علمك.

ايميت: صحيح. هذه هي معادلة دريك المطبقة على الحياة على الأرض. لماذا لم ينتهي العالم أبدًا بينما عشت عليه؟

فيرغال: نعم. ويظهر التحيز الإنساني في معادلة دريك. يميل البشر إلى التقليل من مدى انتشار الكويكبات المدمرة للكوكب لأن الأنواع الأخرى التي ضربتها الكويكبات المدمرة للكوكب ليست في جدولنا الزمني للتاريخ. إذا كنت تريد أن تبدأ التفكير على هذا المستوى ...

إيميت: وأعد ذلك إلى عناصر الذكاء الاصطناعي بالنسبة لي إذن.

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. You know what I mean?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. من الصعب. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. هذا كل شيء.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

إيميت: على مستوى ما، منذ الأداة الأولى - إذا شاهدت فيلم 2001: A Space Odyssey حيث يلتقط العظم - كان من الممكن استخدام الأدوات لصنع شيء ما أو إيذاء شخص ما. ومن المحتمل أن نصل إلى النقطة التي تكون فيها الأداة أقوى من أي شيء آخر قبل ظهورها. وهذا هو التعبير الأكثر وضوحًا عن الازدواجية حيث يمكن استخدام أي شيء في استخدامات إيجابية أو سلبية. القرار يرجع إلينا. أو هل تغلبت علينا الأدوات أخيرًا بحيث لا يمكننا إبقاء الأمر طي الكتمان؟

فيرغال: أعتقد أن الأمر متروك لنا كمواطنين وديمقراطيين. لا أعرف ما إذا كانت الديمقراطية الصغيرة التي نعيشها سيكون لها دور كبير هنا. الأمر متروك للأشخاص الذين يعملون في مختبرات الأبحاث. أعتقد أن المجتمع المدني بحاجة إلى التعامل مع هذه الأمور. هذا هو نوع مختلف من الأداة. إنها، على الأقل، من بين أصعب وأخطر فئة من الأدوات. وهناك أشياء معينة يمكن أن تحدث هنا وهي جامحة جدًا. أنظر إلى الأطفال الذين يبدأون المدرسة، ولا أعرف في أي عالم سيعيشون إذا استمرت تلك السيناريوهات الجامحة. مرة أخرى، علينا أن نعترف بوجود سيناريوهات أخرى. لكن نعم، أتوقع رد فعل كبيرًا من المجتمع الأوسع قريبًا.

"هناك أشياء أخلاقية يجب عليهم وزنها، ولكن هناك موقف متماسك للغاية حيث لا يمكنك تجاهل هذا الأمر فحسب. هذا قادم"

إيميت: هل ستشعر بالارتياح قليلاً إذا تم تقليص حجمك على الإطلاق؟

فيرغال: أعني أنني سأشعر بخيبة أمل. أتمنى أن يكون الأمر أبعد من ذلك قبل أن يتضاءل. لكنني أعتقد أن ذلك سيمنحنا المزيد من الوقت للتكيف مع التهديدات. في هذه المرحلة، إذا كان أي شخص يشاهد هذا، فسيكون مثل، "يا إلهي، نحن بحاجة إلى حظر جميع أشياء الذكاء الاصطناعي." وهذا شيء معقول جداً. لكنني أعتقد أن هناك هذا النوع من الفوائد الاستراتيجية النظرية المجنونة لمواجهة هذه الأشياء في وقت مبكر وبسرعة. إنه يدفع الكثير من العاملين في مختبرات الأبحاث إلى جلب التكنولوجيا إلى الحاضر حتى نتمكن من التعامل معها عندما يكون الوقت مبكرًا. وأعتقد أن هذه الأشياء تكاد تكون غير قابلة للحظر. أنا لا أتفق معهم دائمًا، لكن لدي احترام كبير للكثير من الجهات الفاعلة في مختبرات الأبحاث مثل OpenAI الذين يفكرون في هذا الأمر لأنني أشعر أن هذا عمل غير مسؤول بشكل لا يصدق. هناك أشياء أخلاقية عليهم أن يزنوها، ولكن هناك موقف متماسك للغاية حيث لا يمكنك تجاهل هذا الأمر فحسب. هذا قادم. عليك أن تختار متى ستتعامل معها.

إيميت: وأن تكون جزءاً من حل المشكلة من الداخل بدلاً من وضع رأسك في الرمال. أعني، المزيد من السلطة لهؤلاء الأشخاص والأشخاص المسؤولين عن التنظيم. وعلينا أن ندعمهم ونحاسبهم.

فيرغال: المادة الخام هنا هي الحساب. الحساب في كل مكان. لدينا أجهزة كمبيوتر في كل مكان. ليس الأمر كما لو كان يورانيوم ويمكنك التحكم في اليورانيوم. أنت تريد مواجهتها عندما تحتاج إلى الكثير من العمليات الحسابية المركزية. وبعد ذلك، يكون الأمر قابلاً للتنظيم على الأقل لفترة من الوقت.

إيميت: أريد بالتأكيد التحقق من ذلك مرة أخرى. شكرا، فيرغال.

فيرغال: محادثة جيدة. شكرا ايميت.