L’émergence de l’IA superintelligente

Nous commençons à construire des systèmes d’IA capables de comprendre les choses. Où s'arrête-t-il ?

L’IA superintelligente n’est pas un sujet nouveau. Mais pendant des décennies, cela s’est principalement limité à des scénarios hypothétiques dans des articles universitaires ou dans des pages de science-fiction, avec ses récits futuristes de soulèvements de robots et ses scénarios de fin du monde. Et pourtant, à mesure que la technologie de l’IA progresse, ce concept autrefois amusant, selon lequel un système d’IA commence à améliorer sa propre intelligence de manière récursive jusqu’au point où elle finit par dépasser l’intelligence humaine, se rapproche de plus en plus du seuil de la réalité. Du coup, la conversation devient bien plus sérieuse.

Certains chercheurs d’organisations telles que l’Institut Max Planck pour le développement humain, le Machine Intelligence Research Institute et même OpenAI affirment qu’il sera extrêmement difficile – voire carrément impossible – de les contenir une fois que vous aurez atteint ce point. Et ce point n’est peut-être pas si loin de se produire.

À tout moment et sous quelque forme qu’ils arriveront, les systèmes d’IA superintelligents seront véritablement révolutionnaires, impactant tout, du marché du travail et de l’économie à la biologie et à la médecine. Cependant, ils posent également un risque existentiel profond pour l’humanité, ce qui soulève de sérieuses questions : à quel point est-ce sur le point de se produire ? Sommes-nous équipés pour y faire face ? Et comment commencer à le réguler ?

Dans cet épisode, notre directeur principal de l'apprentissage automatique, Fergal Reid, rejoint Emmet Connolly, notre vice-président de la conception de produits, pour s'attaquer de front à la superintelligence – les connus et les inconnus, de l'éthique aux menaces et aux défis de la réglementation.

Voici quelques-uns des principaux points à retenir :

• L'intégration de l'IA dans des domaines tels que les voitures autonomes soulève des dilemmes éthiques, mais il est important de faire la distinction entre cela et la superintelligence, qui est potentiellement beaucoup plus dangereuse.
• Il est crucial de trouver un équilibre entre les préoccupations immédiates de l’IA et les menaces liées au superintelligence : les risques d’aujourd’hui ne devraient pas éclipser les dommages potentiels futurs, même s’ils sont plus difficiles à appréhender.
• Il est incroyablement difficile de réglementer l’IA. Une réglementation excessive peut limiter ses avantages, mais il est important que les laboratoires pionniers s'engagent auprès des régulateurs pour favoriser un développement et une adoption responsables.
• Alors que les applications de l’IA non dangereuse doivent conserver l’approche « aller vite et casser les choses », les laboratoires de recherche qui forment des modèles pionniers doivent être étroitement réglementés.
• Négliger les avantages potentiels de l’IA tout en insistant trop sur les risques contribue à un débat improductif qui peut entraver les progrès. Dans l’ensemble, cette technologie a un poids net positif.

Si vous appréciez notre discussion, consultez d’autres épisodes de notre podcast. Vous pouvez suivre sur Apple Podcasts, Spotify, YouTube ou récupérer le flux RSS dans le lecteur de votre choix. Ce qui suit est une transcription légèrement éditée de l'épisode.

Dans l'inconnu

Fergal Reid : C'est une autre de nos conversations libres. Nous faisions un peu de préparation, et vous disiez : « La superintelligence est la plus intéressante… »

Emmet Connolly : Qu'en est-il de l'idée selon laquelle la superintelligence pourrait changer complètement notre société, peut-être du jour au lendemain, et que nous serions totalement incapables d'y faire face ? Vous disiez que personne ne le savait et que cela pourrait se produire dans les prochaines années. C’est la chose la plus importante dont nous pourrions choisir de parler. Mais le problème que j'ai, c'est que tout est opaque. Cela pourrait prendre deux ans, cela pourrait être dans peu d’années, ou encore dans 200 ans. C’est la chose la plus importante, mais c’est la plus grande inconnue.

Fergal : D'accord, allons-y. Faisons ce truc de superintelligence de front. Essayons de parler de ce que nous savons et de ce que nous ne savons pas. Nous allons nous tromper beaucoup. Comment pourrais-je l’encadrer ? Cela m'est un peu venu à l'esprit. Maintenant, c’est insoluble. C'est difficile à saisir. Que savons-nous? Il y a tout ce battage médiatique, n'est-ce pas ? « Oh, ça va être fou ; la superintelligence arrive bientôt. Et ceux qu’on appelle les condamnateurs prétendent que, par défaut, cela va tous nous tuer. Et nous en avons un peu parlé dans le passé. Et puis, il y a ces autres personnes qui disent : « Oh, ce ne sont que des conneries. C'est comme s'inquiéter de la surpopulation sur Mars.

« Nous avons construit des trucs qui commencent à comprendre les choses. Où ça s’arrête ?

Andrew Ng, le célèbre chercheur, a dit cela, puis il y a une semaine ou deux, il semble avoir changé de point de vue. Il a ce bulletin d'information, et dans le bulletin d'information, il n'aborde pas la superintelligence, mais il dit : « Oh, ces systèmes commencent à comprendre et à raisonner sur des choses. » Il a mentionné Othello-GPT, dont nous avons déjà parlé, où vous entraînez cette chose sur des extraits de jeux Othello – juste les séquences de mouvements dans un jeu de société – et il semble commencer à apprendre des choses fondamentales sur le jeu de société et le disposition du tableau. Il a trouvé cela convaincant. Et je trouve cela aussi convaincant. Ainsi, certains qui disaient que la superintelligence était à des millions de kilomètres changent maintenant un peu leur discours. Les gens qui disaient que l’IA ne comprend rien changent un peu leur discours.

Nous avons construit des trucs qui commencent à comprendre les choses. Où s'arrête-t-il ? Une chose qui me tient à cœur, c'est qu'il n'est pas ridicule de dire que les choses deviennent de plus en plus intelligentes et plus intelligentes que les humains. Et c'est un changement. Il y a quatre ou cinq ans – il y a deux ans ? – Je serais totalement dans le camp d'Andrew Ng : « Oui, c'est une chose amusante à laquelle penser, et j'aime lire de la science-fiction, mais il n'y a pas de chemin. Nous n'y voyons aucun chemin. Rien ne prouve que les voies que nous envisageons fonctionneront. Maintenant, il existe de nombreuses preuves que cela pourrait y arriver. C'est quelque chose que nous avons appris. C'est quelque chose qui a changé dans le monde.

Emmet : Et ça ressemble à quelque chose que nous pouvons suivre. Ce que je retiens de ce que vous insinuez, c'est que le raisonnement est une étape nécessaire à la superintelligence ou à l'intelligence artificielle générale (AGI) ou autre. Et plus les capacités de raisonnement sont exposées ici, plus il est probable que nous arrivions à l'AGI. Et donc, pour une dimension de mon incapacité à saisir quoi que ce soit de tangible, vous dites que vous pensez que la confiance va se construire collectivement avec le temps ?

« Pour la première fois, nous ne savons pas vraiment quel est le problème. Et il n’y a peut-être pas d’astuce. C'est peut-être réel. C’est intelligent, ou, du moins, cette astuce est tout aussi bonne pour l’intelligence humaine. »

Fergal : Ouais, je veux dire, vous voyez plus de données et vous mettez à jour votre vision du monde. Si vous vivez dans un monde sans aucun système de renseignement, vous devriez être plus sceptique quant à la construction d’une superintelligence. Et à mesure que le niveau d’intelligence des systèmes dans le monde augmente, vous devriez devenir plus ouverts à l’idée que nous parviendrons à quelque chose de superintelligent. C'est assez simple.

Je me souviens avoir appris comment fonctionne l'IA aux échecs. Je me souviens du match d'échecs Deep Blue et Kasparov en 1997 (il y a une chanson d'Arcade Fire à ce sujet). Mon grand-père jouait aux échecs et m’a appris à jouer aux échecs quand j’étais enfant. Il a été vraiment choqué et surpris par Deep Blue parce que Kasparov était ce génie mental humain imposant, et Deep Blue l'a battu. « Comment est-ce possible ? Cela signifie-t-il que les machines sont aussi intelligentes que nous ? Et c’était une grande réussite technique. Mais c’était fondamentalement une bonne astuce. Lorsque vous apprenez comment fonctionne une IA d’échecs au fond du capot, c’est Minimax ou Negamax. C'est un algorithme de recherche assez simple. Il doit avoir une idée si l'état de l'échiquier est meilleur ou pire – si j'ai beaucoup de pions et une reine et que je ne suis pas en échec, c'est un simple calcul de la valeur des pièces d'échecs.

Mais ensuite, il effectue simplement une énorme quantité de recherche. Si je me déplace ici et que vous vous déplacez là-bas et que je me déplace là-bas… Il existe des techniques astucieuses pour rendre la recherche plus efficace, mais il s'agit essentiellement de calcul brut. Il s'agit simplement de faire une tonne de calculs. Et donc, quand on apprend ça, du coup, c'est décevant. Soudain, on se dit : « Deep Blue n'était pas une machine à penser. C'était juste une idée vraiment intelligente… »

Emmet : Calculatrice.

Fergal : … calculatrice, c’est vrai. Un gros système mécanique qui calculait en masse. Avec l’histoire de l’IA, vous êtes toujours très impressionné jusqu’à ce que vous appreniez le truc. Mais maintenant, pour la première fois, nous ne savons pas vraiment quel est le problème. Et il n’y a peut-être pas d’astuce. C'est peut-être réel. C’est intelligent, ou, du moins, l’astuce est tout aussi bonne pour l’intelligence humaine.

"Deep Blue n'était pas plus intelligent que Kasparov, mais d'une manière assez intelligente, ils ont déployé l'aspect calcul par force brute de son intelligence dans une tâche qui l'a amélioré au point de pouvoir gagner."

Emmet : Ou le reflet d'une loi universelle sous-jacente, presque physique, de la théorie de l'information ou de la façon dont l'information fonctionne lorsque vous en rassemblez de grandes quantités.

Fergal : Je ne sais pas si j'opterais pour la théorie de l'information, mais je suppose que l'idée selon laquelle un système simple aurait peut-être donné un pouvoir d'expression, et que lorsque vous mettez suffisamment d'informations, cela commence à devenir intelligent.

Emmet : Deep Blue n'était donc pas plus intelligent que Kasparov, mais d'une manière assez intelligente, ils ont déployé l'aspect calcul par force brute de son intelligence dans une tâche qui l'a amélioré au point de pouvoir gagner. Je pense donc que vous pouvez tous les deux dire : « Deep Blue n'est pas plus intelligent que Garry Kasparov », et vous pouvez dire : « Deep Blue peut battre Garry Kasparov aux échecs » ou « Il est meilleur que les humains dans une tâche ».

L'IA prend le volant

Emmet : Cela m'amène à réfléchir à la façon dont nous pensons à ces choses. La réaction émotionnelle que vous décriviez chez votre grand-père… Si nous regardons vers l'avenir et voyons des voitures autonomes, qui bouillonnaient en arrière-plan tout au long ou même avant que les trucs LLM ne soient vraiment au premier plan. Il y a cette question émotionnelle de « Qu'attendons-nous de ces systèmes ? » Peut-être que je m'éloigne des trucs AGI ici, mais regardons les voitures. Qu’attendons-nous d’eux, ou comment allons-nous réagir à l’intégration là-bas ? Parce que nous disposons actuellement d’un système imparfait : plus d’un million de décès sur les routes par an sont dus à une erreur humaine. Si nous remplaçons cela par un système d’IA qui n’entraîne qu’un demi-million de morts sur les routes par an, est-ce que nous… Je veux dire, c’est très difficile, d’un point de vue purement éthique et chiffré, de ne pas…

Il me semble que cela ressemble au problème du chariot de l’IA au sens large. Le problème du chariot IA est un problème local : « Quelle décision prenez-vous ? » Mais nous avons cette décision au niveau sociétal : « Allons-nous accepter le sentiment de dégoût qui accompagne les voitures conduites par des robots, même s'ils sont faillibles, même si cette faillibilité est moins faillible que les conducteurs humains ?

« Si – et c’est un énorme si – nous obtenons des voitures autonomes au point où une machine vous tue maintenant là où un humain vous tuait, mais elle vous tue beaucoup moins, je pense que la plupart des gens seraient d’accord avec cela. »

Fergal : Je pense que nous le ferons probablement. Il existe évidemment un risque d’échec réglementaire et politique, mais les gens acceptent constamment ces compromis. Ils n’en parlent tout simplement pas beaucoup parce que ce n’est pas politiquement judicieux de le faire. Chaque pays développé dispose d’un système médical qui évalue le coût et les avantages d’un médicament. Et pour le meilleur ou pour le pire, ils le font. Et je pense que c'est une bonne chose à faire. Et je comprends que c’est politiquement difficile à défendre, mais si vous ne le faites pas, davantage de personnes mourront.

Emmet : Les gens en débattent, mais très peu de gens choisissent de vivre dans un pays où ces réglementations ne prévoient pas de garde-corps et de barrières de sécurité pour toutes sortes d'aspects de leur vie. Alors oui, je suis d'accord avec toi.

Fergal : Ouais, c'est ça. Et j’espère qu’ils font du bon travail, mais ils doivent prendre ce genre de décisions de vie ou de mort concernant les médicaments qui seront mis à disposition. Les sociétés font ça. Et je dois imaginer que, en l’absence d’un échec politique, si – et c’est un énorme si – nous obtenons des voitures autonomes au point où, oui, une machine vous tue maintenant là où un humain vous tuait, mais elle tue. vous beaucoup moins, je pense que la plupart des gens seraient d'accord avec ça.

Emmet : Je ne sais pas. D'un point de vue purement logique, si l'on analyse les chiffres, il est difficile de trouver une faille logique dans ce que vous venez de dire. Mais je pense que, contrairement à la réglementation des drogues, qui est un peu le bourdonnement de la vie, vous choisissez de monter dans une voiture autonome ou non. Et je pense que cette décision sera beaucoup plus personnelle pour beaucoup de gens que certaines de ces réglementations qui sont moins tangibles dans votre vie de tous les jours. Je pense que c'est ce qui pourrait finir par être trop politisé, ce qui rendrait la réglementation très difficile à mettre en place et nous gênerait plus que tout.

Fergal : Je veux dire, écoutez, je sais que cela va devenir politique, mais regardez l'énergie nucléaire. L’énergie nucléaire pollue moins de carbone que les autres énergies. Et c'est une discussion compliquée sur les inconvénients. Lorsqu’il y a une fusion nucléaire, cela coûte extrêmement cher. C'est un problème statistique difficile. Mais de nombreux technologues estiment rétrospectivement que le débat sur l’énergie nucléaire n’est pas le plus rationnel. Quand j’étais enfant, j’avais peur du nucléaire. Beaucoup d’entre nous dans les années 80 avaient peur du nucléaire. Mais c’est peut-être un exemple d’échec politique.

Il y a certainement un grand nombre de technologues qui disent : « Le débat autour de la superintelligence va provoquer une réglementation excessive de l’IA, et nous allons perdre beaucoup d’avantages humains. » C’est une réglementation instinctive. Peut-être que quelque chose de similaire se produira avec les voitures autonomes, où nous arriverons au point où elles seront meilleures, mais il y aura ensuite un échec politique qui finira par les empêcher d'être déployées jusqu'à ce qu'elles soient parfaites, et elles ne le seront jamais. Mais je suppose que je suis optimiste quant au fait que les gens pourront avoir ce débat.

Emmet : Eh bien, c'est pourquoi j'ai du mal à me connecter personnellement et émotionnellement avec l'angle catastrophique, car une certaine partie de cela va se produire, peu importe ce que vous dites ou faites à partir de maintenant.

Fergal : Pour la superintelligence ? Parce que je suis heureux de représenter l'angle catastrophique de la superintelligence.

"Il n'existe aucun scénario dans lequel les voitures autonomes tueraient tout le monde"

Emmet : Oh, d'accord. Distinguons donc les voitures autonomes, qui ne nécessitent pas de superintelligence, et certains moments de science-fiction superintelligents. Je perçois une mentalité catastrophique, même pour l’aspect non-super-intelligent de tout cela.

Fergal : Ouais. Il faut faire la différence entre les deux. De nombreuses personnes sont incroyablement sceptiques, cyniques et pessimistes à l’égard, par exemple, des voitures autonomes. Et puis il y a d’autres personnes qui seront cyniques et pessimistes à propos de l’intelligence générale ou de la superintelligence, mais je pense qu’il faut séparer les deux. Tout le monde pense qu'ils sont rationnels, mais je dirais qu'il existe un argument rationnel pour être prudent à l'égard de la superintelligence. Il n’existe aucun scénario dans lequel les voitures autonomes tueraient tout le monde. Mais il existe, je pense, des scénarios plausibles dans lesquels des gens inventent la superintelligence, tout tourne mal et cela tue littéralement tout le monde. Je ne dis pas que c'est probable. Il y a des gens qui disent que c'est le scénario par défaut, et ils ont des arguments convaincants, à mon avis, mais je ne dis pas que c'est probable. Mais je ne pense pas qu'on puisse dire que c'est impossible. La superintelligence est potentiellement extrêmement dangereuse. Et donc, je pense que c’est juste un état de folie. Même la dernière minute de cette conversation est folle.

Emmet : Ouais, c'est sauvage. Et pour revenir à ce que nous avons dit au début, c'est la chose la plus importante, et pourtant c'est tellement amorphe. Nous essayons juste de nous frayer un chemin.

Fergal : C'est effrayant même d'y penser ou d'en parler. Je pense que les gens s’autocensurent beaucoup. Les universitaires s’autocensurent.

Emmet : C'est vrai, de peur de me tromper.

Fergal : La peur de se tromper et les incitations qui en découlent. Mais aussi, même au niveau humain, c'est comme : « Merde, vraiment ? Vous parlez d’une technologie si importante. Vous avez mentionné Oppenheimer dans votre précédent podcast. Si vous croyez que ces choses vont se produire, et si vous croyez en la superintelligence, il s’agit clairement d’une technologie d’un niveau de puissance similaire à celui des armes nucléaires. Ou, je dirais, nettement au-dessus de cette puissance. Il existe un argument catastrophique concernant les voitures autonomes, et personnellement, je ne prends pas cela au sérieux. C'est peut-être arrogant de ma part, mais il n'existe aucun scénario dans lequel les voitures autonomes tueraient tout le monde.

Démêler l’éthique de l’IA

Emmet : Je pense que ce à quoi nous arrivons ici, c'est que toute la conversation autour de l'AGI ou de la superintelligence est très différente de la conversation autour du standard des tourbières, de ce que nous avons ou...

Fergal : Éthique de l'IA.

Emmet : … ce que nous obtenons un peu mieux, mais même dans les cinq prochaines années, nous n'arriverons pas à autre chose. Il s’agit là d’une éthique plus fondamentale de l’IA – tout ce qui concerne la désinformation et d’autres choses de ce genre auxquelles nous devons faire face malgré tout.

Fergal : Je pense que c'est un accident de l'histoire et peut-être un dangereux accident de l'histoire que ces deux conversations se confondent beaucoup. Maintenant, ce n'est qu'un point de vue. Il existe des perspectives alternatives. Les gens qui travaillent aujourd’hui dans le domaine de l’éthique de l’IA diront : « Oh, non, cette superintelligence aspire tout l’oxygène de la pièce. Les futurs préjudices théoriques détournent l’attention des préjudices réels d’aujourd’hui. Mais si vous pensez que les dommages futurs ne sont pas théoriques et que leur ampleur est bien plus grande, cela devrait attirer beaucoup d’attention, vous savez ?

"Je ne dis pas que nous ne devrions pas essayer d'anticiper la situation d'une manière ou d'une autre, mais cela va être bien plus difficile à résoudre que certains des problèmes les plus tangibles et immédiats que nous rencontrons"

Emmet : Laissez-moi essayer de présenter un autre cas. Oui, bien sûr, c’est là le grand prix/menace/danger. Pourtant, cela nous est tellement inconnu et inconnaissable… Permettez-moi de parler rumsfeldien un instant – il existe des connus connus, des inconnus connus et des inconnus inconnus. Et quand je pense à la superintelligence, ce sont des inconnues inconnues : « Laissez-moi aller lire de la science-fiction et rêver à ce qui pourrait arriver. » Alors que nous avons beaucoup de travail à accomplir devant nous, et peut-être que brouiller la conversation entre ces niveaux d’IA est très contre-productif. Bien que ce soit ce qui fait le plus peur, la question de savoir si cela va se produire ou non est plutôt binaire. Et je ne dis pas que nous ne devrions pas essayer d’anticiper la situation d’une manière ou d’une autre, mais cela va être bien plus difficile à résoudre que certains des problèmes les plus tangibles et immédiats que nous rencontrons.

Fergal : Oui, c'est insoluble, mais il existe une menace massive de 1 000 fois, et je pense que la plupart des gens seraient d'accord avec cela, mais avec une probabilité plus faible. Il s'agit peut-être d'une menace 1 000 ou 10 000 fois inférieure, mais avec une probabilité 10 fois inférieure ou 100 fois inférieure. Si nous sommes d’accord là-dessus, il est irresponsable de ne pas en parler. Ce n’est pas parce que c’est intraitable que cela ne va pas vous tuer.

Emmet : Ou est-ce que nous commençons à construire les muscles nécessaires pour réglementer, discuter de la réglementation et promulguer des réglementations afin que nous soyons mieux préparés à cette chose insoluble si et quand elle survient ?

Fergal : Peut-être, mais c'est peut-être trop lent. Nous avons parlé des voitures autonomes et de leur éthique, et dans tout cela, il y a des coûts et des avantages. Et donc, il y a beaucoup de gens dans le monde qui diraient : « Tous ces trucs d’éthique de l’IA concernant nos systèmes aujourd’hui sont importants mais petits par rapport à l’utilité des systèmes d’aujourd’hui. » Mais la forme devient très différente si vous parlez de superintelligence, car il s’agit d’une technologie dangereuse de niveau supérieur.

Emmet : Je te comprends, mais je pense toujours qu'il y a un chemin que nous devrions éviter. Et c'est aussi une voie plausible. Nous continuons sur le chemin que nous suivons et hé, une expérience de pensée. Imaginez s’il y avait une grande élection importante l’année prochaine, et que l’IA et la désinformation devenaient le boogieman de tout cela. Les gens ont un chatbot Donald Trump sur leur téléphone avec qui ils peuvent parler, et c'est un produit convaincant et divertissant. Je parie que nous verrons quelque chose comme ça. Et l’opinion publique, la tempête médiatique et la politisation sur la question de savoir si cela est binaire, bon ou mauvais, ne font que submerger le tout et rendre beaucoup plus difficile la tenue d’une conversation plus importante.

"L'idée est que nous faisons les deux et que nous ne sommes pas dans une position où nous disons : 'Hé, les préjudices réels à court terme sont la seule chose sur laquelle nous devons nous concentrer parce que l'autre chose est nébuleuse'"

Si nous arrivons l’année prochaine à un stade où de graves informations erronées et des choses qui ont des conséquences réelles pour beaucoup de gens – pas les conséquences d’une fusion mondiale qui sont possibles avec l’AGI, mais, pour ne pas le minimiser, un seul accident quelque part dû à un robot voiture ou quelque chose comme ça – nous devons nous préparer à avoir des conversations de plus en plus matures sur ce genre de choses. Il y a un chemin étroit que je peux imaginer pour y arriver, et probablement beaucoup d'autres où nous gâchons considérablement les choses.

Fergal : Je suppose que vous devez faire les deux, n'est-ce pas ? L'idée est que nous faisons les deux et que nous ne sommes pas dans une position où nous disons : « Hé, les préjudices réels à court terme sont la seule chose sur laquelle nous devons nous concentrer parce que l'autre est nébuleuse », ou que le futur est nébuleux. la chose est si importante que nous ne consacrons aucun temps aux préjudices à court terme. Vraisemblablement, il existe un portefeuille d’efforts parfaitement équilibré.

Imaginez qu'il existe une organisation dans le monde qui se soucie vraiment de l'éthique et de la sécurité de l'IA. Cette organisation devrait probablement se concentrer sur ces deux éléments. Mais comment faire cette répartition ? Il y a cette idée d'agression de Pascal où quelque chose est si gros, et je me dis : « Hé, j'ai un AGI ici. Maintenant, vous ne me croyez probablement pas, mais vous devriez me donner tout votre argent au cas où. Parce que sinon, cela va détruire le monde. » C'est comme : "Oh, wow, cette conséquence est si importante, tu devrais faire tout ce que je dis." Et c'est un peu le pari de Pascal, non ? Armé. Vous voulez éviter ce scénario, mais vous voulez également éviter un scénario dans lequel vous ne considérez pas la menace légitime.

C'est une chose difficile. Je pense que les gens bien intentionnés qui tentent de rendre le monde meilleur, à long et à court terme, ne seront pas d’accord. Vous avez mentionné récemment que la discussion était source de division. Parfois, la discussion la plus controversée survient lorsque des gens vraiment bons et bien intentionnés ne sont pas d’accord sur les tactiques et finissent par se battre. C'est vraiment difficile à contourner.

Emmet : La chose évidente est que nous devons faire les deux choses.

Réguler le paysage de l’IA

Emmet : Vous avez mentionné les réglementations européennes qui sont en train d'être mises en œuvre. Sommes-nous bien préparés pour mettre en place des réglementations intelligentes, justes et efficaces pour les choses à court terme dont je parle ?

Fergal : Je ne sais pas. Je ne suis pas le bon expert pour cela. J'ai lu l'un des projets de loi européenne sur l'IA. Et il y a beaucoup de bonnes choses là-dedans et beaucoup de choses sensées. Mais c'est toujours au niveau politique, c'est toujours en débat. J'ai lu certains amendements qui semblaient exagérés. Je ne sais pas. Regardez le RGPD. Une partie du RGPD est géniale, non ? Protection. Et puis, certaines d’entre elles sont exagérées, comme les éléments de consentement aux cookies ou les éléments de consentement au RGPD que vous voyez partout. Est-ce que cela a vraiment rendu le monde meilleur ? Vous pourriez dire : « Eh bien, la théorie était bonne, mais la mise en œuvre était tout simplement mauvaise. » Ouais, mais c'est important. Une partie du travail d’une bonne loi consiste à ce que les conséquences ne soient pas mauvaises.

« Quoi que vous pensiez de ce genre de choses, il est sûrement préférable de le diffuser dans le monde alors que les enjeux sont faibles afin que nous puissions faire des erreurs et découvrir des choses. »

Comment cela se passe-t-il avec l’IA ? Je pense que nous devons attendre et voir. Je suis encouragé par ce que je constate aux États-Unis, où ils ont collaboré avec de nombreux laboratoires. Il y a eu un engagement bilatéral et une véritable discussion, et ils commencent à mettre en place une certaine surveillance volontaire des parcours de formation aux frontières. Cela ne semble donc pas instinctif pour l’instant. Ça fait du bien.

Je suis peut-être naïf. Je pense en quelque sorte que les gens des laboratoires de recherche exploratoire sont assez responsables à propos de ce genre de choses. Ils veillent à ne pas tomber par erreur dans la superintelligence. Ils s'engagent auprès des régulateurs. Vous pouvez imaginer un autre monde où ils polluent délibérément le débat public et s'installent dans des juridictions qui ne peuvent pas être réglementées. Je pense qu'il se passe beaucoup de bonnes choses, et les cyniques diront : « Oh, c'est juste le laboratoire d'IA qui essaie de capturer la réglementation. » Je suis sûr que non. L’avantage de la capture réglementaire n’échappe pas à certaines personnes dans ce domaine, mais je pense que ce sont pour la plupart de bons acteurs.

Emmet : J'imagine qu'une bonne réglementation permet également d'établir des échelles mobiles ou de progresser d'étape en étape. Quoi que vous pensiez de ce sujet, il est sûrement préférable de le diffuser dans le monde pendant que les enjeux sont faibles afin que nous puissions faire des erreurs et découvrir des choses. Les niveaux de voiture autonome offrent probablement quelque chose comme ceci où vous pouvez dire : « Si vous êtes dans cette zone, c'est bien pour ce niveau d'autonomie. Dans cette zone, ce n’est pas le cas, ou l’intervention du conducteur est requise.» Ici aussi, je sors de mon domaine d'expertise, mais vous pouvez l'imaginer dans d'autres domaines. Commençons par des radiographies ou des scans d'orteils cassés – l'IA peut les prendre en charge. Mais pour tout ce qui concerne l'examen d'une tumeur, nous aurons plusieurs niveaux, y compris l'implication humaine. Et peut-être que vous franchissez progressivement ces étapes.

« La position catastrophique ou la position dangereuse du renseignement général est que vous construisez accidentellement quelque chose de beaucoup plus puissant avant de vous y attendre »

Fergal : C'est ce que nous faisons au quotidien lorsque nous construisons des produits d'IA. Nous travaillons littéralement sur des produits d'IA dans la boîte de réception en ce moment, en essayant de faire quelque chose de grand, et maintenant nous essayons d'identifier : « Non, c'était un peu trop ambitieux ». C'est très bien. Des cas plus petits où cela donnera certainement de la valeur en toute sécurité. C'est en quelque sorte notre travail quotidien. Vous cherchez des moyens de vous déployer là où le résultat est définitivement positif, puis d'augmenter cette taille. Et je dois imaginer qu’une grande partie de l’adoption de l’IA se déroulera ainsi.

Encore une fois, la position catastrophique ou la position dangereuse du renseignement général est que vous construisez accidentellement quelque chose de beaucoup plus puissant avant de vous y attendre. Vous effectuez un entraînement plus long, 10 fois plus long que jamais auparavant, et vous découvrez que vous avez entraîné quelque chose qui est 1 000 fois plus intelligent parce qu'il n'a pas évolué comme vous le pensiez ou parce que vous avez un nouvel algorithme ou autre. C’est le scénario qui inquiète vraiment les gens. Et je pense que c’est un scénario dont il faut se méfier.

Mais encore une fois, même les gens de la loi européenne sur l'IA commencent à dire : « Oh, si vous formez les meilleurs modèles, les plus avant-gardistes, vous devez peut-être l'enregistrer. Vous devez au moins le réglementer. Comment régulez-vous cela ? Mon Dieu, je ne sais pas. Ce serait un travail difficile. Mais au moins, ils y réfléchissent.

Tirer la sonnette d'alarme

Emmet : Imaginez que vous travaillez dans OpenAI ou quelque chose comme ça, et que nous réalisons ce GPT-8 massif formé sur un corpus incroyablement énorme, et il dépasse ce seuil que vous décrivez où il est effrayant de voir à quel point il est puissant. Selon vous, que se passe-t-il dans ce scénario ? Tout d'abord, est-ce que cela est plus susceptible de se produire dans un grand laboratoire, comme vous l'avez déjà décrit, qui veut se comporter de manière responsable et est en contact avec le gouvernement, et à ce moment-là, ils diront : « Hé, frappe le gros bouton rouge, c'est arrivé. Discutons de la prochaine étape à suivre. Est-ce qu'il devient rapidement et soudainement accessible à un large éventail d'individus, ou pourrait-il être confiné dans un laboratoire une fois que cela se produit, et nous pourrons alors discuter de la façon de manipuler très soigneusement ce matériel ?

« Quelqu'un a formé le modèle, que se passe-t-il ensuite ? Je dois espérer que les personnes qui forment ces choses sonneront l'alarme.

Fergal : Il y a beaucoup de choses là-dedans, et c'est définitivement un scénario de merde dans lequel vous avez fini par entraîner quelque chose. C'est un scénario de science-fiction, mais ce n'est peut-être pas si loin. Qui sait? Mais c’est comme si vous aviez entraîné quelque chose qui est peut-être bien plus intelligent que vous. Il est dans votre laboratoire. Que se passe-t-il ensuite ? Je pense que les gens veulent éviter ce scénario, et je suppose que le jeu ici est qu'à mesure que les gens s'approchent de l'entraînement à ces choses, ils peuvent voir cela venir. Ils voient que cela se rapproche de l’intelligence humaine. J'espère qu'il n'est probablement pas conscient. Il y a toutes sortes de choses éthiques si vous pensiez que c'était conscient, mais supposons que vous ayez une entité inconsciente mais intelligente. Que se passe-t-il ensuite ?

Si c’est ainsi que fonctionne la technologie, le laboratoire privé semble être un meilleur endroit pour découvrir cela que n’importe quel projet militaire d’opérations secrètes. Pour ceux qui disent : « Nous devons arrêter tous les entraînements maintenant », cela signifie que vous allez d'abord rencontrer cela dans un contexte militaire. Et je ne sais pas si ce serait vraiment mieux pour les gens. C'est peut-être mon scepticisme. Mais oui, quelqu'un a formé le modèle, que se passe-t-il ensuite ? Je dois espérer que les personnes qui forment ces choses sonneront l'alarme. Et je pense qu’ils le feront. Ce qui est bien avec les laboratoires de recherche industriels qui font cela, c'est que je pense qu'ils vont divulguer des choses. Et je pense que c'est pourquoi il est vraiment important que cela ne se fasse pas dans un contexte militaire, car il n'y a pas de culture du secret. Même Apple, la plus secrète des grandes entreprises technologiques, je soupçonne que s'ils avaient un truc d'IA fou, vous en entendriez parler, n'est-ce pas ? Google le ferait certainement.

Emmet : Quand vous parlez de fuite, voulez-vous dire à la manière d'un lanceur d'alerte, du genre : « Nous avons créé cela ? », ou voulez-vous dire le modèle...

Fergal : Non, je ne parle pas de divulguer le modèle lui-même.

« Imaginez que vous vivez dans un monde où la prolifération des AGI est dangereuse. Comment contrôler la prolifération ? C'est un tout autre monde »

Emmet : C'est arrivé, n'est-ce pas ? Facebook a dévoilé son modèle open source à certains chercheurs, quelqu'un l'a divulgué et il est devenu disponible sur Internet.

Fergal : Ouais. Eh bien, c'est une toute autre conversation. Imaginez que vous vivez dans un monde où la prolifération des AGI est dangereuse. Comment contrôler la prolifération ? C'est un tout autre monde. Soudain, on se dit : « Mec, j'aurais aimé que ce soit dans un contexte militaire. » Mais même si vous regardez le projet Manhattan, les Russes avaient des espions qui transféraient la technologie du projet Manhattan vers leur programme d’armement. Les États-nations réfléchissent sûrement à ce genre de choses en ce moment.

Emmet : Absolument. Il y a du positif à tirer du fait que, contre toute attente, il y a près de 80 ans ou quelque chose comme ça, quelqu'un était assis autour d'une version de la conversation que nous avons actuellement, et je pense qu'il serait probablement agréablement surpris. d'entendre que si vous avancez rapidement jusqu'en 2023, cela n'est pas allé plus loin que l'utilisation initiale.

Fergal : Il y a aussi les préjugés et l'ombre anthropiques. Il existe toutes sortes de propriétés statistiques intéressantes. Cela ne s'applique pas vraiment aux échanges nucléaires, mais les choses qui peuvent détruire le monde ne se produisent jamais dans votre chronologie, pour autant que vous puissiez le constater.

Emmet : C'est vrai. C'est l'équation de Drake appliquée à la vie sur Terre. Pourquoi le monde n'a-t-il jamais pris fin alors que j'y vis ?

Fergal : Ouais. Et les préjugés anthropiques apparaissent dans l’équation de Drake. Les humains ont tendance à sous-estimer la prévalence des astéroïdes destructeurs de planètes, car les autres espèces qui ont été touchées par des astéroïdes destructeurs de planètes ne font pas partie de notre chronologie historique. Si vous voulez commencer à raisonner à ce niveau-là…

Emmet : Et ramenez-moi cela aux trucs de l'IA alors.

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. Vous savez ce que je veux dire?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. It's hard. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. C'est ça.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Emmet : À un certain niveau, depuis le tout premier outil – si vous regardez 2001 : L'Odyssée de l'espace où il ramasse l'os – les outils ont le potentiel d'être utilisés pour fabriquer quelque chose ou blesser quelqu'un. Et nous arrivons potentiellement au point où l’outil qui est plus puissant que tout avant lui apparaît. Et c’est simplement l’expression la plus nette de la dualité selon laquelle tout peut être utilisé à des fins positives ou négatives. Ça dépend de nous. Ou avons-nous finalement été déjoués par les outils au point que nous ne pouvons pas garder le secret ?

Fergal : Je suppose que cela dépend de nous en tant que citoyens et démocraties. Je ne sais pas si la petite démocratie dans laquelle nous vivons jouera un grand rôle ici. Cela dépend en grande partie des personnes qui travaillent dans les laboratoires de recherche. Je pense que la société civile doit prendre conscience de cette situation. Il s’agit d’un autre type d’outil. C'est, au moins, la classe d'outils la plus délicate et la plus dangereuse. Et il y a certaines choses qui pourraient se produire ici et qui sont assez folles. Je regarde les enfants qui commencent l’école et je ne sais pas dans quel monde ils vivront si ces scénarios fous se réalisent. Encore une fois, nous devons reconnaître qu’il existe d’autres scénarios. Mais oui, je m’attends bientôt à une grande réaction de la part de la société dans son ensemble.

« Il y a des éléments éthiques à peser, mais il existe une position très cohérente selon laquelle vous ne pouvez pas simplement les ignorer. Cela arrive »

Emmet : Seriez-vous légèrement soulagé si vous vous contentiez de diminuer progressivement ?

Fergal : Je veux dire, je serais déçu. J’adorerais que cela aille plus loin avant de diminuer. Mais je pense que cela nous donnerait à tous plus de temps pour nous adapter aux menaces. À ce stade, si quelqu’un regardait cela, il dirait : « Oh mon Dieu, nous devons interdire tous les trucs d’IA. » Et c'est une chose très raisonnable. Mais je pense qu'il y a ce genre d'avantage stratégique théorique fou à rencontrer ce genre de choses tôt et rapidement. Cela pousse de nombreux chercheurs des laboratoires à intégrer la technologie au présent afin que nous puissions y faire face dès qu'il sera tôt. Et je pense que ce genre de choses est presque impossible à interdire. Je ne suis pas toujours d'accord avec eux, mais j'ai beaucoup de respect pour de nombreux acteurs des laboratoires de recherche comme OpenAI qui réfléchissent à cela parce que je pense que c'est une chose incroyablement irresponsable à faire. Il y a des éléments éthiques à prendre en compte, mais il existe une position très cohérente selon laquelle vous ne pouvez pas simplement les ignorer. Cela arrive. Vous devez choisir quand vous allez vous en occuper.

Emmet : Et participer à la résolution du problème de l’intérieur plutôt que de se mettre la tête dans le sable. Je veux dire, plus de pouvoir pour ces personnes et pour les personnes chargées de réglementer. Nous devons à la fois les soutenir et les tenir responsables.

Fergal : La matière première ici est le calcul. Le calcul est partout. Nous avons des ordinateurs partout. Ce n'est pas comme s'il s'agissait d'uranium et que vous pouviez le contrôler. Vous voulez le rencontrer lorsqu’il nécessite beaucoup de calculs centralisés. Ensuite, cela peut au moins être réglementé pendant un certain temps.

Emmet : Je veux vraiment y revenir. Merci, Fergal.

Fergal : Bonne conversation. Merci, Emmet.