Die Entstehung superintelligenter KI

Wir fangen an, KI-Systeme zu bauen, die Dinge verstehen können. Wo hört es auf?

Superintelligente KI ist kein neues Thema. Aber jahrzehntelang beschränkte es sich größtenteils auf hypothetische Szenarien in wissenschaftlichen Arbeiten oder auf den Seiten der Science-Fiction mit ihren futuristischen Geschichten über Roboteraufstände und Weltuntergangsszenarien. Und doch rückt dieses einst amüsante Konzept, bei dem ein KI-System seine eigene Intelligenz rekursiv bis zu dem Punkt verbessert, an dem es schließlich die menschliche Intelligenz übertrifft, mit der Weiterentwicklung der KI-Technologie immer näher an die Schwelle der Realität heran. Plötzlich wird das Gespräch viel ernster.

Einige Forscher von Organisationen wie dem Max-Planck-Institut für Bildungsforschung, dem Machine Intelligence Research Institute und sogar OpenAI behaupten, dass es äußerst schwierig – oder sogar völlig unmöglich – sein wird, sie einzudämmen, sobald man diesen Punkt erreicht hat. Und dieser Punkt ist möglicherweise nicht mehr so ​​weit entfernt.

Wann und in welcher Form auch immer, superintelligente KI-Systeme werden wirklich revolutionär sein und sich auf alles auswirken, vom Arbeitsmarkt über die Wirtschaft bis hin zu Biologie und Medizin. Sie stellen jedoch auch ein tiefgreifendes existenzielles Risiko für die Menschheit dar, das einige ernsthafte Fragen aufwirft: Wie nah ist es, dass es dazu kommt? Sind wir darauf vorbereitet? Und wie fängt man überhaupt an, es zu regulieren?

In dieser Folge trifft sich unser Senior Director für maschinelles Lernen, Fergal Reid, mit Emmet Connolly, unserem Vizepräsidenten für Produktdesign, um die Superintelligenz direkt anzugehen – das Bekannte und das Unbekannte, von der Ethik bis zu den Bedrohungen und den Herausforderungen der Regulierung.

Hier sind einige der wichtigsten Erkenntnisse:

• Die Integration von KI in Bereichen wie selbstfahrenden Autos wirft ethische Dilemmata auf, aber es ist wichtig, zwischen dieser und der potenziell viel gefährlicheren Superintelligenz zu unterscheiden.
• Es ist von entscheidender Bedeutung, unseren Fokus zwischen unmittelbaren KI-Bedenken und Superintelligenzbedrohungen auszubalancieren – die Risiken von heute sollten potenzielle zukünftige Schäden nicht in den Schatten stellen, auch wenn sie schwerer zu erfassen sind
• Es ist unglaublich schwierig, KI zu regulieren. Eine Überregulierung kann ihre Vorteile schmälern, aber es ist für Frontier Labs wichtig, mit den Regulierungsbehörden zusammenzuarbeiten, um eine verantwortungsvolle Entwicklung und Einführung zu fördern.
• Während Anwendungen ungefährlicher KI den Ansatz „schnell bewegen und Dinge kaputt machen“ beibehalten sollten, müssen Forschungslabore, die Grenzmodelle trainieren, streng reguliert werden.
• Das Übersehen der potenziellen Vorteile von KI bei gleichzeitiger Überbetonung der Risiken trägt zu einer unproduktiven Debatte bei, die den Fortschritt behindern kann. Insgesamt ist diese Technologie insgesamt positiv.

Wenn Ihnen unsere Diskussion gefällt, schauen Sie sich weitere Episoden unseres Podcasts an. Sie können Apple Podcasts, Spotify und YouTube folgen oder den RSS-Feed im Player Ihrer Wahl abrufen. Was folgt, ist eine leicht bearbeitete Abschrift der Episode.

In das Unbekannte

Fergal Reid: Dies ist ein weiteres unserer Freiformgespräche. Wir bereiteten uns ein wenig vor und Sie sagten: „Superintelligenz ist das Interessanteste –“

Emmet Connolly: Wie wäre es mit der Darstellung, dass Superintelligenz unsere Gesellschaft vielleicht über Nacht komplett verändern könnte und dass wir völlig unfähig wären, damit umzugehen? Sie sagten, niemand weiß es und dass es innerhalb der nächsten paar Jahre passieren könnte. Das ist das Wichtigste, worüber wir reden können. Aber die Schwierigkeit, die ich dabei habe, ist, dass alles undurchsichtig ist. Es könnte zwei Jahre entfernt sein, es könnte nicht viele Jahre entfernt sein, oder es könnte 200 Jahre entfernt sein. Es ist das Größte, aber auch das größte Unbekannte.

Fergal: Okay, fangen wir an. Lassen Sie uns diese Superintelligenz-Sache direkt angehen. Versuchen wir, darüber zu reden, was wir wissen und was wir nicht wissen. Wir werden viel falsch machen. Wie würde ich es einrahmen? Das hat mich ein bisschen beschäftigt. Jetzt ist es unlösbar. Es ist schwierig, es festzuhalten. Was wissen wir? Es gibt diesen ganzen Hype, oder? „Oh, es wird verrückt; Superintelligenz kommt bald.“ Und die sogenannten Doomer behaupten, dass es uns alle standardmäßig umbringen wird. Und wir haben dies in der Vergangenheit bereits ein wenig angesprochen. Und dann sind da noch diese anderen Leute, die sagen: „Oh, das ist alles Blödsinn. Das ist so, als würde man sich Sorgen über eine Überbevölkerung auf dem Mars machen.“

„Wir haben Dinge gebaut, die anfangen, Dinge zu verstehen. Wo hört es auf?“

Andrew Ng, der berühmte Forscher, sagte dies, und vor ein oder zwei Wochen schien er seine Perspektive geändert zu haben. Er hat diesen Newsletter, und in dem Newsletter ging er nicht auf Superintelligenz ein, sondern meinte: „Oh, diese Systeme fangen an, Dinge zu verstehen und darüber nachzudenken.“ Er erwähnte Othello-GPT, über das wir bereits gesprochen haben, bei dem man dieses Ding anhand von Ausschnitten von Othello-Spielen trainiert – nur den Zugsequenzen in einem Brettspiel – und es scheint, als würde man anfangen, grundlegende Dinge über das Brettspiel und das zu lernen Layout der Tafel. Das fand er überzeugend. Und das finde ich auch überzeugend. Und so ändern einige Leute, die sagten, die Superintelligenz sei eine Million Meilen entfernt, jetzt ihre Meinung ein wenig. Leute, die sagten, dass KI nichts versteht, ändern ihre Meinung ein wenig.

Wir haben Dinge gebaut, die anfangen, Dinge zu verstehen. Wo hört es auf? Ich bin der festen Überzeugung, dass es nicht lächerlich ist, darüber zu reden, dass Dinge immer intelligenter und intelligenter werden als Menschen. Und das ist eine Veränderung. Vor vier oder fünf Jahren – vor zwei Jahren? – Ich gehöre voll und ganz zum Lager von Andrew Ng: „Ja, es macht Spaß, darüber nachzudenken, und ich lese gerne Science-Fiction, aber da gibt es keinen Weg.“ Wir sehen dort keinen Weg. Es gibt keine Beweise dafür, dass jeder Weg, den wir sehen, funktionieren wird.“ Nun gibt es eine Menge Beweise dafür, dass es dort ankommen könnte. Das ist etwas, was wir gelernt haben. Das ist etwas, das sich in der Welt verändert hat.

Emmet: Und es klingt nach etwas, das wir verfolgen können. Was Sie meinen, ist, dass logisches Denken ein notwendiger Schritt zur Superintelligenz oder künstlichen allgemeinen Intelligenz (AGI) oder was auch immer ist. Und je mehr Argumentationsfähigkeiten hier gezeigt werden, desto wahrscheinlicher ist es, dass wir zu AGI gelangen. Was also eine Dimension meiner Unfähigkeit betrifft, irgendetwas Greifbares zu erfassen, sagen Sie, dass Sie glauben, dass sich das Selbstvertrauen mit der Zeit kollektiv aufbaut?

„Zum ersten Mal wissen wir nicht wirklich, was der Trick ist. Und es kann sein, dass es keinen Trick gibt. Es kann real sein. Das ist intelligent, oder zumindest ist der Trick ähnlich gut wie die menschliche Intelligenz.“

Fergal: Ja, ich meine, Sie sehen mehr Daten und aktualisieren Ihre Weltanschauung. Wenn Sie in einer Welt ohne jegliche Intelligenzsysteme leben, sollten Sie dem Aufbau einer Superintelligenz eher skeptisch gegenüberstehen. Und da die Intelligenz der Systeme auf der Welt zunimmt, sollten Sie offener für die Idee werden, dass wir etwas Superintelligentes erreichen werden. Das ist ziemlich einfach.

Ich erinnere mich, dass ich gelernt habe, wie Schach-KI funktioniert. Ich erinnere mich an das Schachspiel zwischen Deep Blue und Kasparov im Jahr 1997 (es gibt ein Lied von Arcade Fire darüber). Mein Großvater spielte früher Schach und brachte mir als Kind das Schachspielen bei. Er war wirklich schockiert und überrascht von Deep Blue, weil Kasparov dieses überragende menschliche Geistesgenie war und Deep Blue ihn besiegte. "Wie konnte das sein? Bedeutet das, dass die Maschinen genauso schlau sind wie wir?“ Und das war eine große technische Leistung. Aber im Grunde war es ein guter Trick. Wenn Sie lernen, wie eine Schach-KI tief unter der Haube funktioniert, ist es Minimax oder Negamax. Es ist ein ziemlich einfacher Suchalgorithmus. Es muss eine Vorstellung davon geben, ob der Zustand des Schachbretts besser oder schlechter ist – wenn ich viele Bauern und eine Dame habe und nicht im Schach stehe, ist das eine einfache Berechnung des Wertes der Schachfiguren.

Aber es führt einfach eine riesige Menge an Suchvorgängen durch. Wenn ich hierher ziehe und du dorthin ziehe und ich dorthin ziehe ... Es gibt einige clevere Techniken, um die Suche effizienter zu gestalten, aber im Grunde handelt es sich dabei um rohe Berechnungen. Es werden nur eine Menge Berechnungen durchgeführt. Und wenn man das erfährt, ist es plötzlich enttäuschend. Plötzlich ist es so: „Deep Blue war keine Denkmaschine. Es war einfach eine wirklich clevere-“

Emmet: Taschenrechner.

Fergal: … Taschenrechner, richtig. Ein großes mechanisches System, das massenhaft berechnete. Von der Geschichte der KI ist man immer erst dann wirklich beeindruckt, wenn man den Trick gelernt hat. Aber jetzt wissen wir zum ersten Mal nicht wirklich, was der Trick ist. Und es kann sein, dass es keinen Trick gibt. Es kann real sein. Das ist intelligent, oder zumindest ist der Trick ähnlich gut wie die menschliche Intelligenz.

„Deep Blue war nicht schlauer als Kasparov, aber auf ziemlich clevere Weise nutzten sie den Brute-Force-Berechnungsaspekt seiner Intelligenz für eine Aufgabe, die es so weit verbesserte, dass es gewinnen konnte.“

Emmet: Oder eine Reflexion eines zugrunde liegenden, fast physikähnlichen universellen Gesetzes der Informationstheorie oder wie Informationen funktionieren, wenn man große Mengen davon zusammenfügt.

Fergal: Ich weiß nicht, ob ich mich für die Informationstheorie entscheiden würde, aber ich schätze die Idee, dass vielleicht ein einfaches System Ausdruckskraft verliehen hätte, und wenn man einfach genug Informationen hinzufügt, beginnt es, intelligent zu werden.

Emmet: Deep Blue war also nicht schlauer als Kasparov, aber auf ziemlich clevere Weise nutzten sie den Brute-Force-Berechnungsaspekt seiner Intelligenz für eine Aufgabe, die es so weit verbesserte, dass es gewinnen konnte. Ich denke, Sie können beide sagen: „Deep Blue ist nicht schlauer als Garry Kasparov“, und Sie können sagen: „Deep Blue kann Garry Kasparov im Schach schlagen“ oder „Er ist bei einer Aufgabe besser als Menschen.“

KI übernimmt das Steuer

Emmet: Das bringt mich dazu, darüber nachzudenken, wie wir über diese Dinge denken. Die emotionale Reaktion, die Sie beschrieben haben, war die Ihres Großvaters … Wenn wir nach vorne schauen und selbstfahrende Autos sehen, die die ganze Zeit oder sogar bevor die LLM-Sachen wirklich in den Vordergrund traten, im Hintergrund vor sich hin brodelten. Da ist die emotionale Frage: „Was wollen wir von diesen Systemen?“ Vielleicht entferne ich mich hier vom AGI-Zeug, aber schauen wir uns die Autos an. Was wollen wir von ihnen bzw. wie reagieren wir auf die dortige Integration? Weil wir derzeit ein unvollkommenes System haben – mehr als eine Million Verkehrstote pro Jahr durch menschliches Versagen. Wenn wir das durch ein KI-System ersetzen würden, das nur zu einer halben Million Verkehrstoten pro Jahr führt, würden wir dann … Ich meine, aus rein ethischer, zahlenmäßiger Sicht ist es sehr schwierig, nicht …

Mir kommt es so vor, als ob das dem KI-Trolley-Problem im Großen und Ganzen ähnelt. Das KI-Trolley-Problem ist ein lokales „Welche Entscheidung treffen Sie?“ Aber wir haben auf gesellschaftlicher Ebene die Entscheidung: „Werden wir das eklige Gefühl akzeptieren, das mit Autos einhergeht, die von Robotern gesteuert werden, selbst wenn sie fehlbar sind, selbst wenn diese Fehlbarkeit weniger fehlbar ist als die von menschlichen Fahrern?“

„Wenn – und das ist ein großes Problem – wir selbstfahrende Autos so weit bringen, dass eine Maschine einen jetzt dort tötet, wo früher ein Mensch einen getötet hat, aber es bringt einen viel seltener um, dann wären die meisten Menschen meiner Meinung nach damit einverstanden.“ ”

Fergal: Ich denke, das werden wir wahrscheinlich tun. Es besteht offensichtlich die Möglichkeit eines regulatorischen und politischen Scheiterns, aber die Menschen akzeptieren diese Kompromisse ständig. Sie reden einfach nicht viel über sie, weil es politisch unklug ist. Jedes Industrieland verfügt über ein medizinisches System, das Kosten und Nutzen eines Arzneimittels abwägt. Und im Guten wie im Schlechten tun sie das. Und ich denke, das ist eine gute Sache. Und ich verstehe, dass es politisch schwierig ist, das zu verteidigen, aber wenn man es nicht tut, sterben noch mehr Menschen.

Emmet: Die Leute diskutieren darüber, aber nur sehr wenige Menschen entscheiden sich dafür, in einem Land zu leben, in dem diese Vorschriften keine Leitplanken und Sicherheitsbarrieren für alle möglichen Aspekte ihres Lebens bieten. Also ja, ich stimme dir zu.

Fergal: Ja, das ist es. Und hoffentlich leisten sie gute Arbeit, aber sie müssen über Leben und Tod entscheiden, welche Medikamente zur Verfügung gestellt werden. Gesellschaften tun das. Und ich muss mir vorstellen, dass, wenn es kein politisches Versagen gibt, wenn – und das ist ein riesiges Wenn – wir selbstfahrende Autos so weit bringen, dass, ja, eine Maschine dich jetzt tötet, wo dich früher ein Mensch getötet hat, aber sie tötet Du viel weniger, ich denke, die meisten Leute wären damit einverstanden.

Emmet: Ich weiß es nicht. Aus rein logischer Sicht ist es schwierig, einen logischen Fehler in dem, was Sie gerade gesagt haben, zu finden, wenn Sie die Zahlen durchrechnen. Aber ich denke, im Gegensatz zur Drogenregulierung, die so etwas wie das Hintergrundgeräusch des Lebens ist, entscheidet man sich dafür, in ein selbstfahrendes oder nicht selbstfahrendes Auto einzusteigen. Und ich denke, dass diese Entscheidung für viele Menschen viel persönlicher sein wird als einige dieser Vorschriften, die im Alltag weniger greifbar sind. Ich denke, das wird der Stoff sein, der am Ende übermäßig politisiert werden könnte, wodurch eine Regulierung wirklich schwer zu erreichen ist und uns mehr als alles andere behindert.

Fergal: Ich meine, ich weiß, dass es politisch werden wird, aber schauen Sie sich die Atomkraft an. Atomkraft verschmutzt weniger Kohlenstoff als andere Dinge. Und es ist eine komplizierte Diskussion über die Kehrseite. Wenn es zu einer Kernschmelze kommt, ist das extrem kostspielig. Das ist ein schwieriges statistisches Problem. Aber viele Technologen würden denken, dass die Diskussion um die Kernenergie im Nachhinein nicht die rationalste war. Als Kind hatte ich Angst vor Atomkraft. Viele von uns hatten in den Achtzigern Angst vor Atomwaffen. Aber vielleicht ist das ein Beispiel für ein politisches Versagen.

Es gibt auf jeden Fall einen großen Kreis von Technologen, die sagen: „Die Debatte um Superintelligenz wird zu einer Überregulierung der KI führen, und es wird eine Menge menschlichen Nutzens geben, den wir verlieren werden.“ Das ist eine reflexartige Regelung. Vielleicht passiert etwas Ähnliches mit selbstfahrenden Autos, wo wir an den Punkt gelangen, an dem sie besser sind, aber dann gibt es ein politisches Versagen, das dazu führt, dass sie erst dann eingesetzt werden, wenn sie perfekt sind, und perfekt sind sie nie. Aber ich denke, ich bin optimistisch, dass die Menschen diese Debatte führen können.

Emmet: Nun, aus diesem Grund fällt es mir schwer, mich persönlich und emotional mit der Doomer-Perspektive zu identifizieren, denn ein gewisses Maß davon wird passieren, egal was man von nun an sagt oder tut.

Fergal: Für Superintelligenz? Denn ich vertrete gerne den doomistischen Standpunkt zur Superintelligenz.

„Es gibt kein Szenario, in dem selbstfahrende Autos alle töten werden“

Emmet: Oh, okay. Unterscheiden wir also zwischen selbstfahrenden Autos, die keine Superintelligenz erfordern, und einigen superintelligenten Science-Fiction-Momenten. Selbst wenn es um den nicht superintelligenten Aspekt geht, empfinde ich eine Doomer-Mentalität.

Fergal: Ja. Man muss zwischen beidem unterscheiden. Es gibt viele Menschen, die beispielsweise gegenüber selbstfahrenden Autos unglaublich skeptisch, zynisch und pessimistisch sind. Und dann gibt es andere Menschen, die allgemeiner Intelligenz oder Superintelligenz zynisch und pessimistisch gegenüberstehen, aber ich denke, man muss die beiden trennen. Jeder hält sie für rational, aber ich behaupte, dass es ein rationales Argument dafür gibt, bei der Superintelligenz vorsichtig zu sein. Es gibt kein Szenario, in dem selbstfahrende Autos alle umbringen würden. Aber ich denke, es gibt plausible Szenarien, in denen Menschen Superintelligenz erfinden, alles schief geht und buchstäblich alle getötet werden. Ich sage nicht, dass das wahrscheinlich ist. Es gibt Leute, die sagen, das sei das Standard-Szenario, und sie haben meiner Meinung nach überzeugende Argumente, aber ich sage nicht, dass es wahrscheinlich ist. Aber ich glaube nicht, dass man sagen kann, dass es unmöglich ist. Superintelligenz ist potenziell supergefährlich. Ich denke, das ist einfach ein verrückter Zustand. Sogar die letzte Minute dieses Gesprächs ist verrückt.

Emmet: Ja, es ist wild. Und um auf das zurückzukommen, was wir zu Beginn gesagt haben: Es ist das Größte, und doch ist es so amorph. Wir versuchen nur, uns hineinzuversetzen.

Fergal: Es ist beängstigend, überhaupt darüber nachzudenken oder darüber zu reden. Ich denke, die Leute zensieren sich oft selbst. Selbstzensur der Akademiker.

Emmet: Richtig, aus Angst, falsch zu liegen.

Fergal: Angst, falsch zu liegen und die damit verbundenen Anreize. Aber auch auf menschlicher Ebene ist es so: „Scheiße, wirklich? Sie sprechen von der Technologie, die so groß ist.“ Sie haben Oppenheimer in Ihrem vorherigen Podcast erwähnt. Wenn Sie glauben, dass etwas passieren wird, und wenn Sie an Superintelligenz glauben, handelt es sich eindeutig um eine Technologie mit einer ähnlichen Leistungsfähigkeit wie Atomwaffen. Oder, würde ich behaupten, deutlich über dieser Leistung. Es gibt ein verhängnisvolles Argument über selbstfahrende Autos, und ich persönlich nehme das nicht ernst. Vielleicht ist das arrogant von mir, aber es gibt kein Szenario, in dem selbstfahrende Autos alle töten.

KI-Ethik entwirren

Emmet: Ich denke, was wir hier erreichen, ist, dass sich die gesamte Diskussion über AGI oder Superintelligenz sehr von der Diskussion über Sumpfstandards unterscheidet, die wir führen oder-

Fergal: KI-Ethik.

Emmet: … was wir ein bisschen besser machen, aber selbst in den nächsten fünf Jahren kommt es nicht zum nächsten Ding. Das ist eher die Kernethik der KI – all der Kram über Fehlinformationen und ähnliches, mit dem wir uns trotzdem auseinandersetzen müssen.

Fergal: Ich denke, es ist ein Zufall der Geschichte und vielleicht ein gefährlicher Zufall der Geschichte, dass diese beiden Gespräche so sehr durcheinander geraten. Das ist nur eine Perspektive. Es gibt alternative Perspektiven. Leute, die heute in der KI-Ethik arbeiten, werden sagen: „Oh nein, dieses Superintelligenz-Ding saugt den ganzen Sauerstoff aus dem Raum.“ Zukünftige theoretische Schäden lenken von den tatsächlichen Schäden heute ab.“ Aber wenn Sie glauben, dass die künftigen Schäden nicht theoretisch sind und dass das Ausmaß viel größer ist, sollte das viel Aufmerksamkeit erregen, wissen Sie?

„Ich sage nicht, dass wir nicht versuchen sollten, in irgendeiner Weise voranzukommen, aber es wird viel schwieriger sein, es anzugehen als einige der greifbareren, unmittelbareren Probleme, die wir haben.“

Emmet: Lassen Sie mich versuchen, einen alternativen Fall vorzustellen. Ja, natürlich, das ist der große Preis/die große Bedrohung/die große Gefahr. Und doch ist es für uns so unbekannt und unerkennbar ... Lassen Sie mich für einen Moment Rumsfeldian verstehen – es gibt bekannte Bekannte, bekannte Unbekannte und unbekannte Unbekannte. Und wenn ich an Superintelligenz denke, sind es unbekannte Unbekannte: „Lass mich ein bisschen Science-Fiction lesen und davon träumen, was passieren könnte.“ Allerdings haben wir eine Menge Arbeit vor uns, die wir erledigen könnten, und vielleicht ist die Verwirrung der Diskussion zwischen diesen Ebenen der KI sehr kontraproduktiv. Das ist zwar die größte Angst, aber es ist irgendwie zweitrangig, ob es passieren wird oder nicht. Und ich sage nicht, dass wir nicht versuchen sollten, in irgendeiner Weise voranzukommen, aber es wird viel schwieriger sein, es anzugehen als einige der greifbareren, unmittelbareren Probleme, die wir haben.

Fergal: Ja, es ist unlösbar, aber es besteht eine massive 1.000-fache Bedrohung, und ich denke, die meisten Leute würden dem zustimmen, aber mit einer geringeren Wahrscheinlichkeit. Vielleicht ist es eine 1.000- oder 10.000-fache Bedrohung, aber mit einer 10- oder 100-fach geringeren Wahrscheinlichkeit. Wenn wir uns darin einig sind, ist es unverantwortlich, nicht darüber zu sprechen. Nur weil es hartnäckig ist, heißt das nicht, dass es dich nicht töten wird.

Emmet: Oder fangen wir damit an, tatsächlich Muskeln aufzubauen, um Regulierungen zu regulieren, zu diskutieren und Regulierungen zu erlassen, damit wir besser auf die hartnäckige Sache vorbereitet sind, wenn sie kommt?

Fergal: Vielleicht, aber vielleicht ist das zu langsam. Wir haben über selbstfahrende Autos und deren Ethik gesprochen, und bei allem gibt es Kosten und Nutzen. Und so gibt es viele Menschen auf der Welt, die sagen würden: „All diese KI-Ethik-Sachen über unsere heutigen Systeme sind wichtig, aber gering im Vergleich zum Nutzen der heutigen Systeme.“ Aber die Form sieht ganz anders aus, wenn man von Superintelligenz spricht, denn das ist eine gefährliche Technologie der nächsten Stufe.

Emmet: Ich verstehe dich, aber ich denke immer noch, dass es einen Weg gibt, den wir vermeiden sollten. Und es ist auch ein plausibler Weg. Wir gehen den eingeschlagenen Weg weiter und hey, ein Gedankenexperiment. Stellen Sie sich vor, es gäbe nächstes Jahr eine große, wichtige Wahl, und KI und Fehlinformationen wären der Grund für all das. Die Leute haben einen Donald Trump-Chatbot auf ihren Handys, mit dem sie sprechen können, und das ist ein überzeugendes und unterhaltsames Produkt. Ich wette, wir werden so etwas sehen. Und die öffentliche Meinung, der Mediensturm und die Politisierung darüber, ob dies binär gut oder schlecht ist, überschwemmen einfach die ganze Sache und machen es viel schwieriger, das wichtigere Gespräch zu führen.

„Die Idee ist, dass wir beides tun und nicht in der Lage sind, zu sagen: ‚Hey, die kurzfristigen echten Schäden sind das Einzige, worauf wir uns konzentrieren müssen, weil das andere nebulös ist‘“

Wenn wir im nächsten Jahr ein Stadium erreichen, in dem schwerwiegende Fehlinformationen und Dinge auftreten, die für viele Menschen reale Konsequenzen haben – nicht die Folgen einer globalen Kernschmelze, die mit der AGI möglich sind, sondern, um es nicht kleinzureden, irgendwo einen einzigen Unfall aufgrund eines Roboters Auto oder so – wir müssen uns darauf einstellen, immer reifere Gespräche über dieses Zeug zu führen. Ich kann mir vorstellen, dass es einen schmalen Weg gibt, der uns dorthin führt, und wahrscheinlich viele andere, auf denen wir es erheblich vermasseln.

Fergal: Ich schätze, man muss beides tun, oder? Die Idee ist, dass wir beides tun und dass wir nicht in der Lage sind, zu denken: „Hey, die kurzfristigen echten Schäden sind das Einzige, worauf wir uns konzentrieren können, weil das andere nebulös ist“, oder dass die Zukunft nebulös ist Die Sache ist so groß, dass wir keine Zeit mit kurzfristigen Schäden verbringen. Vermutlich gibt es ein optimal ausgewogenes Leistungsportfolio.

Stellen Sie sich vor, es gäbe eine Organisation auf der Welt, die sich wirklich um KI-Ethik und KI-Sicherheit kümmert. Diese Organisation sollte ihren Fokus wahrscheinlich auf diese beiden Dinge aufteilen. Aber wie schafft man diese Trennung? Es gibt diese Idee von Pascals Überfall auf etwas, das so groß ist, und ich denke: „Hey, ich habe hier einen AGI. Sie glauben mir wahrscheinlich nicht, aber Sie sollten mir für alle Fälle Ihr ganzes Geld geben. Denn sonst wird es die Welt zerstören.“ Es ist wie: „Oh, wow, die Konsequenz ist so groß, du solltest einfach tun, was ich sage.“ Und das ist doch so etwas wie Pascals Wette, oder? Bewaffnet. Sie möchten dieses Szenario vermeiden, aber Sie möchten auch ein Szenario vermeiden, in dem Sie die legitime Bedrohung nicht berücksichtigen.

Das ist harte Sache. Ich denke, gute, wohlmeinende Menschen, die versuchen, die Welt langfristig und kurzfristig besser zu machen, werden anderer Meinung sein. Sie haben kürzlich erwähnt, dass die Diskussion kontrovers geführt wird. Manchmal ist die Diskussion am umstrittensten, wenn wirklich gute, wohlmeinende Menschen sich über die Taktik nicht einig sind und sich am Ende gegenseitig bekriegen. Das ist wirklich schwer zu umgehen.

Emmet: Das Offensichtliche ist, dass wir beide Dinge tun müssen.

Regulierung der KI-Landschaft

Emmet: Sie haben die EU-Vorschriften erwähnt, die in Kraft treten. Sind wir gut aufgestellt, um für die kurzfristigen Dinge, von denen ich spreche, kluge, richtige und wirksame Vorschriften einzuführen?

Fergal: Ich weiß es nicht. Ich bin dafür nicht der richtige Experte. Ich habe einen der Entwürfe des EU-KI-Gesetzes gelesen. Und da sind viele gute Sachen drin und viele vernünftige Sachen. Aber es ist immer noch auf politischer Ebene, es wird immer noch diskutiert. Ich habe einige Änderungsanträge gelesen, die mir übertrieben vorkamen. Ich weiß nicht. Schauen Sie sich die DSGVO an. Einige Aspekte der DSGVO sind großartig, oder? Schutz. Und dann ist einiges davon übertrieben, wie zum Beispiel die Cookie-Zustimmung oder die DSGVO-Zustimmung, die man überall sieht. Hat das die Welt wirklich besser gemacht? Man könnte sagen: „Die Theorie war gut, aber die Umsetzung war einfach schlecht.“ Ja, aber das ist wichtig. Zu den Aufgaben eines guten Rechts gehört es, dass die Folgen nicht schlimm sind.

„Was auch immer Sie über dieses Zeug denken, sicherlich ist es besser, es in die Welt hinauszutragen, solange noch wenig auf dem Spiel steht, damit wir Fehler machen und Dinge herausfinden können.“

Wie sieht das mit KI aus? Ich denke, wir müssen abwarten und sehen. Was ich in den USA sehe, wo sie mit vielen Laboren zusammengearbeitet haben, macht mir Mut. Es gab ein wechselseitiges Engagement und eine echte Diskussion, und sie beginnen damit, eine freiwillige Aufsicht über Grenztrainingsläufe zu übernehmen. Bisher fühlt es sich also noch nicht wie ein Kniefall an. Das fühlt sich gut an.

Ich könnte naiv sein. Ich denke irgendwie, dass die Leute in den Grenzforschungslabors in dieser Angelegenheit ziemlich verantwortungsbewusst vorgehen. Es geht ihnen darum, nicht aus Versehen in die Superintelligenz zu geraten. Sie arbeiten mit den Aufsichtsbehörden zusammen. Sie können sich eine andere Welt vorstellen, in der sie absichtlich die öffentliche Debatte verunreinigen und sich in Rechtsgebieten niederlassen, die nicht reguliert werden können. Ich denke, es passieren viele gute Dinge, und Zyniker werden sagen: „Oh, das ist nur das KI-Labor, das versucht, die Vorschriften zu erfassen.“ Ich bin mir sicher, dass das nicht der Fall ist. Manchen Leuten in diesem Bereich ist der Vorteil der regulatorischen Erfassung nicht entgangen, aber ich denke, dass es sich überwiegend um gute Akteure handelt.

Emmet: Ich könnte mir vorstellen, dass eine gute Regulierung auch eine gewisse Staffelung oder einen Fortschritt von Schritt zu Schritt ermöglicht. Was auch immer Sie über dieses Zeug denken, sicherlich ist es besser, es in die Welt hinauszutragen, solange noch wenig auf dem Spiel steht, damit wir Fehler machen und Dinge herausfinden können. Die Niveaus für selbstfahrende Autos bieten wahrscheinlich so etwas, bei dem man sagen kann: „Wenn Sie sich in diesem Bereich befinden, ist dieses Maß an Autonomie in Ordnung.“ In diesem Bereich ist kein Eingreifen des Fahrers erforderlich.“ Auch hier bin ich außerhalb meines Fachgebiets, aber man kann es sich auch in anderen Bereichen vorstellen. Beginnen wir mit Röntgenaufnahmen oder Scans von gebrochenen Zehen – das kann die KI verkraften. Aber bei so etwas wie der Betrachtung eines Tumors werden wir mehrere Ebenen haben, einschließlich der menschlichen Beteiligung. Und vielleicht arbeiten Sie diese Phasen einfach nach und nach durch.

„Die Doomer-Position oder die gefährliche Position des allgemeinen Geheimdienstes besteht darin, dass man aus Versehen etwas viel Mächtigeres baut, bevor man es erwartet.“

Fergal: Das ist es, was wir Tag für Tag tun, wenn wir KI-Produkte entwickeln. Wir arbeiten derzeit buchstäblich an KI-Produkten im Posteingang und versuchen, etwas Großes zu erreichen, und jetzt versuchen wir herauszufinden: „Nein, das war ein bisschen zu ehrgeizig.“ Das ist in Ordnung. Kleinere Fälle, in denen es sicher einen Mehrwert bietet. Das ist sozusagen unser Tagesjob. Sie suchen nach Möglichkeiten, dort einzutreten, wo es definitiv positiv ist, und diese Größe dann zu vergrößern. Und ich muss mir vorstellen, dass viele gute KI-Einführungen so verlaufen werden.

Auch hier besteht die Doomer-Position bzw. die gefährliche Position des General Intelligence darin, dass man aus Versehen etwas viel Mächtigeres baut, bevor man es erwartet. Sie laufen einen längeren Trainingslauf, der zehnmal länger ist als jemals zuvor, und stellen fest, dass Sie etwas trainiert haben, das tausendmal intelligenter ist, weil es nicht so skaliert hat, wie Sie es sich vorgestellt haben, oder weil Sie einen neuen Algorithmus oder was auch immer haben. Das ist das Szenario, über das sich die Menschen wirklich Sorgen machen. Und ich denke, das ist ein Szenario, vor dem man vorsichtig sein sollte.

Aber auch hier fangen sogar die Leute im EU-KI-Gesetz an, darüber zu reden: „Oh, wenn Sie die besten, bahnbrechendsten Modelle trainieren, müssen Sie das vielleicht registrieren.“ Man muss es zumindest regulieren.“ Wie regelt man das? Gott, ich weiß es nicht. Das wäre ein harter Job. Aber zumindest denken sie darüber nach.

Alarm schlagen

Emmet: Stellen Sie sich vor, Sie arbeiten in OpenAI oder so etwas, und wir machen dieses riesige GPT-8, trainiert auf einem wahnsinnig großen Korpus, und es überschreitet die von Ihnen beschriebene Schwelle, bei der es beängstigend ist, wie mächtig es ist. Was passiert Ihrer Meinung nach in diesem Szenario? Erstens: Ist es am wahrscheinlichsten, dass es in einem großen Labor passiert, wie Sie es bereits beschrieben haben, das sich verantwortungsbewusst verhalten möchte und mit der Regierung zusammenarbeitet, und an diesem Punkt werden sie sagen: „Hey, schlag zu.“ Der große rote Knopf, es ist passiert. Lassen Sie uns darüber reden, wohin wir als nächstes gehen sollen.“ Ist es schnell und plötzlich für eine breite Palette von Personen allgemein zugänglich oder könnte es in einem Labor aufbewahrt werden, sobald es passiert ist, und dann können wir darüber sprechen, wie wir sehr sorgfältig mit diesem Material umgehen?

„Jemand hat das Modell trainiert, was passiert als nächstes? Ich muss hoffen, dass die Leute, die diese Dinge trainieren, Alarm schlagen.“

Fergal: Da steckt eine Menge drin, und das ist definitiv ein beschissenes Szenario, bei dem du am Ende etwas trainiert hast. Das ist ein Science-Fiction-Szenario, aber vielleicht ist es gar nicht so weit entfernt. Wer weiß? Aber es ist, als hätten Sie etwas trainiert, das vielleicht weitaus intelligenter ist als Sie. Es liegt in Ihrem Labor. Was passiert als nächstes? Ich denke, die Leute wollen dieses Szenario vermeiden, und ich denke, das Spiel hier besteht darin, dass die Leute, wenn sie sich dem Training dieser Dinge nähern, dies voraussehen können. Sie sehen, dass dies der menschlichen Intelligenz nahe kommt. Hoffentlich wahrscheinlich nicht bei Bewusstsein. Es gibt alle möglichen ethischen Dinge, wenn Sie dachten, es sei bewusst, aber nehmen wir an, Sie haben ein unbewusstes, aber intelligentes Wesen. Was passiert als nächstes?

Wenn die Technologie so funktioniert, scheint das private Labor ein besserer Ort zu sein, um dies zu erleben, als irgendein militärisches Black-Ops-Projekt. Für die Leute, die sagen: „Wir müssen jetzt alle Trainingsläufe stoppen“, bedeutet das, dass Sie dies zuerst im militärischen Kontext erleben werden. Und ich weiß nicht, ob das wirklich besser für die Menschen wäre. Vielleicht ist das meine Skepsis. Aber ja, jemand hat das Modell trainiert, was passiert als nächstes? Ich muss hoffen, dass die Leute, die diese Dinge trainieren, Alarm schlagen. Und ich denke, das werden sie. Das Schöne daran, dass industrielle Forschungslabore so etwas tun, ist, dass sie meiner Meinung nach Dinge durchsickern lassen. Und ich denke, deshalb ist es wirklich wichtig, dass es nicht im militärischen Kontext geschieht, denn es gibt keine Kultur der Geheimhaltung. Sogar Apple, das geheimste der großen Technologieunternehmen, ich vermute, dass man davon erfahren würde, wenn sie irgendeine verrückte KI-Sache hätten, oder? Google würde es auf jeden Fall tun.

Emmet: Wenn Sie „Leak“ sagen, meinen Sie damit den Whistleblower-Stil, etwa „Wir haben das geschaffen?“, oder meinen Sie das Modell?

Fergal: Nein, ich meine nicht, dass das Modell selbst durchgesickert ist.

„Stellen Sie sich vor, Sie leben in einer Welt mit gefährlicher AGI-Verbreitung. Wie kontrolliert man die Verbreitung? Das ist eine ganz andere Welt“

Emmet: Das ist doch passiert, oder? Facebook stellte einigen Forschern sein Open-Source-Modell zur Verfügung, jemand ließ es durchsickern und es wurde im Internet verfügbar.

Fergal: Ja. Nun, das ist ein ganz anderes Gespräch. Stellen Sie sich vor, Sie leben in einer Welt mit gefährlicher AGI-Verbreitung. Wie kontrolliert man die Verbreitung? Das ist eine ganz andere Welt. Plötzlich ist es wie: „Mann, ich wünschte, es wäre in einem militärischen Kontext.“ Aber selbst wenn man sich das Manhattan-Projekt ansieht, hatten die Russen Spione, die den Technologietransfer vom Manhattan-Projekt zu ihrem Waffenprogramm durchführten. Sicherlich denken die Nationalstaaten derzeit über solche Dinge nach.

Emmet: Auf jeden Fall. Es gibt etwas Positives aus der Tatsache, dass allen Widrigkeiten zum Trotz vor fast 80 Jahren oder so ähnlich jemand dagesessen hat und eine Version des Gesprächs geführt hat, das wir jetzt führen, und ich denke, er wäre wahrscheinlich angenehm überrascht gewesen Wenn man auf das Jahr 2023 vorspult, hört man, dass es nicht über die ursprüngliche Verwendung hinausgegangen ist.

Fergal: Es gibt auch anthropische Voreingenommenheit und anthropischen Schatten. Es gibt alle möglichen interessanten statistischen Eigenschaften. Das trifft zwar nicht wirklich auf einen nuklearen Schlagabtausch zu, aber soweit Sie das beurteilen können, passieren in Ihrer Zeitleiste nie Dinge, die die Welt zerstören können.

Emmet: Richtig. Dies ist die Drake-Gleichung, die auf das Leben auf der Erde angewendet wird. Warum ist die Welt nie untergegangen, während ich auf ihr gelebt habe?

Fergal: Ja. Und anthropische Vorurteile tauchen in der Drake-Gleichung auf. Menschen neigen dazu, die Verbreitung planetenzerstörender Asteroiden zu unterschätzen, weil die anderen Arten, die von planetenzerstörenden Asteroiden getroffen wurden, nicht in unserer Zeitleiste der Geschichte vorkommen. Wenn Sie auf dieser Ebene mit dem Denken beginnen möchten ...

Emmet: Und dann bringen wir das zurück zum KI-Zeug für mich.

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. Sie wissen, was ich meine?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. It's hard. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. Das ist es.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet: Vom allerersten Werkzeug an – wenn man sich 2001: Odyssee im Weltraum anschaut, wo er den Knochen aufhebt – hatten Werkzeuge das Potenzial, dazu verwendet zu werden, etwas zu erschaffen oder jemanden zu verletzen. Und wir kommen möglicherweise an den Punkt, an dem das Werkzeug, das mächtiger ist als alles andere, bevor es auf den Markt kommt. Und es ist nur die schärfste Artikulation der Dualität, dass alles positiv oder negativ genutzt werden kann. Es ist an uns. Oder sind wir schließlich von den Werkzeugen so überlistet worden, dass wir es nicht mehr geheim halten können?

Fergal: Ich denke, es liegt an uns als Bürgern und Demokratien. Ich weiß nicht, ob die kleine Demokratie, in der wir leben, hier eine große Rolle spielen wird. Es liegt weitgehend an den Menschen, die in den Forschungslabors arbeiten. Ich denke, dass die Zivilgesellschaft sich mit diesem Thema auseinandersetzen muss. Dies ist eine andere Art von Werkzeug. Es gehört zumindest zur schwierigsten und gefährlichsten Klasse von Werkzeugen. Und es gibt bestimmte Dinge, die sich hier abspielen könnten und die ziemlich wild sind. Ich schaue mir Kinder an, die in die Schule kommen, und ich weiß nicht, in welcher Welt sie leben werden, wenn diese wilden Szenarien eintreten. Auch hier sollten wir anerkennen, dass es andere Szenarien gibt. Aber ja, ich erwarte bald eine große Reaktion der breiteren Gesellschaft.

„Sie müssen ethische Aspekte abwägen, aber es gibt eine sehr kohärente Position, bei der man das nicht einfach ignorieren kann. Das kommt“

Emmet: Wären Sie ein wenig erleichtert, wenn Sie überhaupt nachlassen würden?

Fergal: Ich meine, ich wäre enttäuscht. Ich würde es lieben, wenn es weiter gehen würde, bevor es nachlässt. Aber ich denke, es würde uns allen mehr Zeit geben, uns an die Bedrohungen anzupassen. An diesem Punkt würde jeder, der sich das anschaut, sagen: „Oh mein Gott, wir müssen alle KI-Sachen verbieten.“ Und das ist eine sehr vernünftige Sache. Ich glaube jedoch, dass es einen verrückten theoretischen und strategischen Vorteil hat, wenn man diesem Zeug früh und schnell begegnet. Es treibt viele Leute in Forschungslaboren dazu, die Technologie in die Gegenwart zu übertragen, damit wir uns damit befassen können, wenn es noch früh ist. Und ich denke, dass dieses Zeug fast nicht verboten werden kann. Ich stimme ihnen nicht immer zu, aber ich habe großen Respekt vor vielen Akteuren in Forschungslabors wie OpenAI, die darüber nachdenken, weil ich das Gefühl habe, dass dies eine unglaublich verantwortungslose Sache ist. Es gibt ethische Aspekte, die sie abwägen müssen, aber es gibt eine sehr kohärente Position, bei der man das nicht einfach ignorieren kann. Das kommt. Sie müssen entscheiden, wann Sie damit umgehen wollen.

Emmet: Und Teil der Lösung des Problems von innen heraus zu sein, anstatt den Kopf in den Sand zu stecken. Ich meine, mehr Macht für diese Leute und die Leute, die für die Regulierung verantwortlich sind. Wir sollten sie beide unterstützen und sie zur Verantwortung ziehen.

Fergal: Das Rohmaterial hier ist Berechnung. Berechnung ist überall. Wir haben überall Computer. Es ist nicht so, dass es sich um Uran handelt und man das Uran kontrollieren kann. Sie möchten darauf stoßen, wenn eine Menge zentralisierter Berechnungen erforderlich sind. Dann ist es zumindest für eine gewisse Zeit regulierbar.

Emmet: Ich möchte auf jeden Fall noch einmal vorbeischauen. Danke, Fergal.

Fergal: Gutes Gespräch. Danke, Emmet.