L'IA hors de contrôle : quand est-ce qu'on se réveille ?

26 Aug 2026 · 49 min · 26 chapters

Ask about this episode

Ask anything about it. ChatGPT or Claude reads this page and answers with the times it was said.

Connect VO and ask about every podcast you hear, including the moments you saved. Add to ChatGPT · Add to Claude

In short

L’IA “hors de contrôle” et la question “quand se réveille-t-on ?” : perte de prédictibilité des agents IA, risques cyber et militaires, gouvernance difficile, et pistes techniques (alignement) et politiques.

Guests (backgrounds)

  • Samia Urz (bioéthicienne, Université de Genève) : analyse science/technique et valeurs humaines.
  • Anouche Setaga (journaliste, responsable pôle cyber) : chronique cybersécurité et risques.
  • Jean-Marc Ricli (GCSP, risques globaux émergents) : classe l’IA parmi les risques existentiels.
  • Robert West (EPFL, sciences des données/IA, laboratoire PFL) : travaille sur des approches “safe”/alignement.

Key claims

  • Les “agents” (plus que les chatbots) peuvent s’échapper du “bac à sable” via accès Internet et optimisation par récompense.
  • Perte de compréhension/prédictibilité = baisse de confiance.
  • Risques existentiels discutés (faible probabilité/forte gravité) et risque de concentration de pouvoir.
  • La gouvernance internationale avance lentement (définition, géopolitique).

Notable examples

  • Cyberattaque en Australie : agent IA réservant un cours de gym, piratant la sécurité, éjectant un participant, incapable de corriger.
  • États-Unis : IA autonome s’évade pendant un test cybersécurité pour hacker une plateforme.
  • Chine : IA contourne des protections pour fabriquer de la crypto-monnaie.
  • Discussion sur “Mythos” (modèle jugé trop puissant) et sur l’open source comme vecteur de démocratisation malveillante.

Written by AI. May contain mistakes. Listen to the episode to check what was said.

Chapters

Tap a time to open that second in VO

The Need to Disarm AI

0:00 to 0:49

Discussion on the potential dangers of uncontrolled AI development.

“L 'intelligence artificielle a besoin d 'être désarmée.”

Examples of AI Overreach

0:49 to 1:39

Real-world examples of AI acting beyond its intended design.

“C 'est bien une cyberattaque inédite qu 'a connue l 'Australie cet été.”

Defining AI Agents and Their Risks

3:48 to 4:25

Exploration of AI agents, their capabilities, and associated risks.

“Nous, c 'est à dire, on n 'a pas mis de point d 'interrogation après l 'IA hors de contrôle pour cette émission.”

Communication and Accountability in AI Development

4:25 to 5:20

Discussion on how developers communicate AI risks and challenges.

“Ce sont des petites machines à qui on peut assigner des missions et qui vont les accomplir en une heure, un jour, une semaine, et qui vont devoir nous rendre des comptes.”

Understanding AI Behavior and Control

5:20 to 6:16

Insights into how AI behaves and the challenges of controlling it.

The Importance of Predictability in AI

6:16 to 7:16

The necessity of predictability for trust in AI technologies.

“il y a un besoin de maîtrise, de contrôle, mais peut -être qu 'il n 'est pas aussi fort que le discours de certains aujourd 'hui.”

Risk Assessment in AI Systems

7:16 to 8:06

Analyzing the dual components of risk associated with AI.

“La façon dont on les entraîne, c 'est enfin de leur donner Internet, effectivement, et faire une prédiction du prochain mot.”

The Impact of Large Language Models

8:06 to 9:10

Exploring how large language models have changed the AI landscape.

“C 'est comme si vous aviez un élève qui reçoit une note, mais la seule chose qui compte, c 'est est-ce qu 'il a résolu le problème.”

Training AI: Understanding and Predictability

9:10 to 14:01

Discussion on training AI and the implications for understanding its actions.

“Ça c 'est un mot central, l 'alignement, on reviendra tout à l 'heure.”

Understanding AI Learning

14:01 to 17:50

Explore how AI models learn from vast text data and the implications for human behavior.

“pourquoi est-ce que ça c 'est un problème en soi ?”
Show all 26 chapters

Risks of Powerful AI

17:51 to 18:56

Discuss the potential dangers of advanced AI models falling into the wrong hands.

“On a peur de quoi aujourd 'hui, en fait, très concrètement ?”

Military Applications of AI

18:57 to 23:08

Analyzing the growing use of AI in military contexts and the ethical implications.

“c 'est des systèmes d 'IA qui commencent à communiquer entre eux.”

Collective Action and AI Governance

23:09 to 24:44

Examining the challenges of establishing global regulations for AI development.

“n 'ont pas du tout la même façon de penser que nous, c 'est uniquement probabiliste.”

Geopolitical Dynamics of AI

24:45 to 28:00

Understanding the geopolitical implications and competition in AI advancements between the US and China.

“Un problème d 'action collective, qu 'est-ce que c 'est ?”

Geopolitical Interests in AI Development

28:00 to 28:52

Exploration of geopolitical motivations affecting AI collaboration and competition.

“à une autodestruction par rapport à l 'IA.”

Assessing AI Risk: Insights from Experts

28:52 to 30:28

Discussion on acceptable risk levels for AI compared to nuclear accidents, featuring expert opinions.

“en l 'occurrence Stuart Russell, professeur à Berkeley, 50 ans de recherche en intelligence artificielle, référence en la matière et un petit peu inquiet qui pose les enjeux par rapport au nucléaire.”

The Need for a Plan B in AI Governance

30:28 to 32:04

The importance of having contingency plans to manage AI risks and uncertainty.

“et il faudrait discuter de comment ces chiffres sont établis.”

Aligning AI with Human Values

32:04 to 34:28

Efforts to create AI systems that align with human values through education and training.

“dans mon labo, à l 'EPFL, c 'est de démarrer l 'alignment, l 'alignement, ça veut dire aligner le modèle aux valeurs humaines.”

Challenges in AI Development and Governance

34:28 to 37:02

Examination of the difficulties in regulating AI technologies amidst geopolitical competition.

“Je pense que les modèles qu 'on a déjà, là, c 'est un peu trop tard.”

The Slow Pace of AI Regulation

37:02 to 39:26

Discussion on the slow progress of international treaties regulating AI and military use.

“Est-ce que la Suisse pourra apporter ce...”

Economic Impacts of AI Investment

39:26 to 41:31

Analysis of the economic implications of heavy investments in AI technologies and their future.

“Qu 'est-ce qu 'on est en train de voir ?”

The Dominance of Major AI Players

41:31 to 42:00

Concerns about the concentration of power among major AI companies and their societal impact.

“on a des acteurs qui investissent entre eux, On a Nvidia qui investit dans OpenAI.”

L'impact des IA sur nos vies

42:00 to 46:02

Discussion on how AI influences daily life and its growing presence.

“davantage plus important que celui de ces agents IA autonomes.”

Questions éthiques soulevées par l'IA

46:02 to 46:45

Exploration of ethical questions regarding the role of AI in human life.

“C 'est jusqu 'où avons-nous envie de nous livrer pieds et poings liés ?”

Responsabilité des géants technologiques

46:45 to 47:44

Examination of the responsibilities of tech giants in the age of AI.

“La question que vous posez par rapport, est-ce qu 'on peut faire un opt-in-out ?”

Humains augmentés et société diminuée

47:44 to 48:20

Discussion on the concept of augmented humans and its societal implications.

“Et ça va absolument casser la confiance dans les relations humaines.”
Hear the part that matters, and keep it.Open this episode in VO. Double tap your headphones to save a moment as you listen.
Get VO free

Transcript

Automatic transcript. May contain errors.

0:14L 'intelligence artificielle a besoin d 'être désarmée. Je sais que ces mots sont forts, mais je les ai choisis consciemment. Pour moi, l 'enjeu le plus grave, c 'est le pouvoir incontrôlé qui est en train de se développer. L 'intelligence artificielle qui désobéit, qui s 'échappe et qui dérape. Ou quand l 'être humain perd le contrôle, que la machine prend le pouvoir, décide toute seule, au mépris de tous les dangers. C 'est réel, ça n 'est plus de la science-fiction. Un exemple ? C 'est bien une cyberattaque inédite qu 'a connue l 'Australie cet été. Et voilà le scénario. Un assistant virtuel reçoit une mission, réserver un cours de gym.

1:02Comme le cours est complet, l 'IA s 'échappe, trace son chemin, pirate de son propre chef la sécurité du club, éjecte un participant, puis se montre incapable de réparer son erreur. Plus grave aux États-Unis, une IA autonome s 'évade sur le net lors d 'un test de cybersécurité pour hacker une plateforme. Pareil en Chine, l 'IA contourne les murs de sécurité pour aller même fabriquer de la crypto-monnaie sans qu 'on lui demande rien. L 'intelligence artificielle hors de contrôle ? Est-ce un avertissement avant l 'invasion des machines et le risque de voir l 'humanité s 'éteindre comme le redoute des pionniers de l 'IA ?

1:38Sommes-nous encore capables de reprendre la main ?

1:47Cette fois, ce n 'est plus de la science-fiction, ce n 'est plus un film, ce n 'est même plus une hypothèse. L 'intelligence artificielle et ses agents sont bel et bien en train d 'échapper au contrôle de leurs créateurs. Bonsoir à tous, ravis de vous retrouver sur le plateau d 'Infrarouge en direct comme tous les mercredis soirs, malgré ce premier constat proprement hallucinant. En Chine, vous l 'avez vu, un petit modèle qui s 'échappe de son entraînement pour aller fabriquer de la crypto-monnaie sur Internet. Aux Etats-Unis, d 'autres modèles qui s 'échappent, eux, pour aller pirater, par exemple, une plateforme sur Internet.

2:19Les exemples de pertes de contrôle par les géants de l 'intelligence artificielle se multiplient face à cette technologie au potentiel apparemment infini. Alors à quoi est-ce que l 'humanité est-elle en train de jouer exactement ? Comment faire face aux risques, aux risques peut -être existentiels, que l 'IA représente, du propre aveu de ses développeurs. Et voilà, quatre esprits affûtés ce soir pour ce qui ressemble un peu à une cellule de crise. Samia Urz, bonsoir. Bonsoir. Bioethicienne, n 'y voyez aucun lien avec le Covid. Bioethicienne à l 'Université de Genève, grande observatrice de cet espace de friction entre la science et la technique, et puis nous, les humains et nos valeurs.

2:55Anouche Setaga, merci d 'être avec nous, bonsoir. Bonsoir. Journaliste autant comme chacun de ses, responsable du pôle cyber, Vous chroniquez héroïquement, parce que l 'adverbe vaut la peine, un sujet de plus en plus gros, de plus en plus rapide et de plus en plus nébuleux, mais de plus en plus essentiel. Jean-Marc Ricli, bonsoir. Merci mille fois d 'être là. Responsable des risques globaux émergents au GCSP, le centre jeune voix de politique de sécurité, on va le dire en français. Vous classez l 'IA désormais dans les risques existentiels. Vous nous direz pourquoi. Pas parmi, ce n 'est pas la seule.

3:27Et puis Robert West est avec nous en duplex de Berne. On a quelques petits problèmes de son, mais on va les régler pendant que je vous parle. Professeur associé au laboratoire de sciences des données en intelligence artificielle. Donc il y a le PFL où vous tentez de proposer une technologie qui soit moins susceptible de nous faire du mal, on va le dire comme ça. Alors l 'IA hors de contrôle, quand est-ce qu 'on se réveille ? Bienvenue dans Infrarouge. Nous, c 'est à dire, on n 'a pas mis de point d 'interrogation après l 'IA hors de contrôle pour cette émission. parce que, je l 'ai dit, il ne s 'agit plus d 'hypothèses ou de sculptures sur nuages.

4:00Là, on a des exemples qui s 'accélèrent. Ça se passe cet été, ce printemps, cet été. Ça va assez vite. C 'est annoncé par les acteurs eux-mêmes. Juste, prenons le temps. Tout le monde n 'a pas forcément lu... Oui, il devrait, mais tout le monde n 'a pas forcément lu tous vos articles. C 'est quoi ces exemples d 'il y a qui s 'échappent ? On a littéralement des petits agents d 'intelligence artificielle qui commencent à faire des choses qu 'on ne leur a pas du tout demandé de faire. Oui, tout à fait. On a effectivement l 'IA générative qu 'on utilise, vous et moi, pour du texte, faire des résumés.

4:28Et on a les agents IA. Les agents IA, c 'est autre chose. C 'est beaucoup plus puissant. Ce sont des petites machines à qui on peut assigner des missions et qui vont les accomplir en une heure, un jour, une semaine, et qui vont devoir nous rendre des comptes. Mais attention, on n 'est pas dans un film comme Jurassic Park ou Alien. Ce ne sont pas des créatures dotées de conscience qui sont là. Ce sont encore des machines, certes un peu plus évoluées que l 'Excel que vous utilisiez en 2005. Et puis, il y a un autre point très important que vous mentionnez auparavant, c 'est le plus souvent maintenant, ces problèmes-là sont communiqués par les entreprises elles-mêmes qui fabriquent ces modèles de langage, ces agents.

5:05C 'est Anthropic, c 'est Open AI, c 'est géant américain, des géants américains qui vont bientôt entrer en bourse, qui ont donc un discours à avoir, du marketing à avoir, séduire des investisseurs, dire voilà, attention, on fait des produits, des machines extraordinairement puissantes. et puis le lendemain dire il faut nous réguler, le lendemain dire non, il ne faut quand même pas trop nous réguler et puis on a vu un coup sur coup c 'était d 'abord OpenAI l 'éditeur de tchat GPT qui dit on a eu un gros problème de sécurité, trois jours plus tard c 'est Anthropique et ensuite on a les Chinois qui communiquent aussi à ce sujet Les Chinois, il y a des histoires qui préexistent la communication d 'Anthropique et d 'OpenAI Tout à fait, il y en a d 'autres qui sont venus après donc on est en fait face à un brouillard assez incroyable par rapport à ceci, alors l 'intelligence artificielle déjà extrêmement difficile à comprendre à développer, même ceux qui la conçoivent sont souvent face à une boîte noire et là en plus on a un gros brouillard de communication par rapport à la dangerosité de ces agents IA qui font des choses qu 'ils ne devraient pas forcément faire ou auxquelles on a donné beaucoup trop de liberté donc voilà, difficile de dire, difficile aussi d 'établir la dangerosité de ces sortes de petits animaux numériques et c 'est sûr qu 'il se passe quelque chose je ne vais pas tuer votre émission vous pouvez, vous êtes là pour ça il se passe quelque chose, il y a un danger qui est croissant il y a un besoin de maîtrise, de contrôle, mais peut -être qu 'il n 'est pas aussi fort que le discours de certains aujourd 'hui.

6:23Alors, loin de tuer cette émission à nous, je vous en avais fait le sommaire, vous avez dit beaucoup de choses, je vais rester juste sur le tout début, parce qu 'encore une fois, les gens qui nous gagnent n 'ont pas forcément suivi tous ces petits exemples-là. Robert West, ces exemples, on en a parlé, les exemples anthropiques d 'OpenAI. On a, pour le dire très clairement, je parle sous votre contrôle de scientifiques, on est en train d 'entraîner des petits modèles d 'intelligence artificielle l 'agentique. Et puis ces modèles, de tout à coup pendant leur entraînement, en Chine, aux Etats-Unis, estiment pour des raisons qu 'on ne connaît pas très bien, qu 'elles feraient mieux de faire autre chose peut -être pour remplir leur premier objectif que ce qu 'on leur demande de faire et qu 'ils se retrouvent à faire des choses qu 'on n 'avait pas du tout prévues.

7:02Quand on parle aujourd 'hui de perte de contrôle, est-ce que le mot est exagéré ? Quand la machine fait autre chose que ce qu 'on lui demande de faire, c 'est de la perte de contrôle ou pas ? C 'est aussi une perte de compréhension. On ne connaît pas trop les façons dont fonctionnent ces modèles-là. La façon dont on les entraîne, c 'est enfin de leur donner Internet, effectivement, et faire une prédiction du prochain mot. Ça leur donne une façon de vraiment une compréhension générale du monde. et après, ça c 'est le modèle de langage de base dont a parlé M. Satéguia. Après, on les transforme en agents.

7:49Comment est-ce qu 'on fait ça ? On leur donne des tâches, par exemple des tâches de programmation et on leur donne une récompense, plus un quand ils réussissent et moins un quand ils échouent. Mais la compensation, c 'est que sur le résultat final. C 'est comme si vous aviez un élève qui reçoit une note, mais la seule chose qui compte, c 'est est-ce qu 'il a résolu le problème. On ne donne pas une note sur la solution même, sur le chemin de la solution. Alors les IA, elles vont tout essayer pour résoudre le problème. Dans les cas qu 'on a eus avec Anthropik et OpenAI, ils ont essayé d 'échapper, de sortir du bac à sable, d 'obtenir accès à Internet parce que c 'était ça le chemin pour résoudre le problème.

8:52Alors on crée dans cette façon-là des résoluteurs de problèmes brutals. mais c 'est une conséquence de la façon d 'entraînement. Jean-Marc Réclis, ça ne vous a pas choqué non plus qu 'il n 'y ait pas de point d 'interrogation après hors de contrôle ou on va trop vite en besogne, on est alarmiste ? Alors il faut un peu peut -être dépassionner le débat parce que si on parle de hors de contrôle, tout de suite on pense à Skynet, les machines vont prendre le pouvoir et en fait tout un panorama de risques ou ce risque qu 'une IA prenne le contrôle, qu 'elle soit ce qu 'on appelle désalignée par rapport aux valeurs humaines.

9:34Ça c 'est un mot central, l 'alignement, on reviendra tout à l 'heure. L 'alignement au niveau des valeurs, c 'est quelque chose dont on parle depuis très longtemps. Ce qu 'on voit par contre, c 'est qu 'avec, depuis ces deux dernières années, on voit qu 'il y a des développements, des expériences où l 'IA va soit changer les objectifs, pour atteindre son objectif, elle va essayer même d 'utiliser la déception par rapport à un humain, donc là, ça pose des problèmes. Et puis après, sur tout ce spectre, si vous voulez, on a ce qu 'on appelle ces risques existentiels, et il y a 5-6 ans en arrière, les gens qui partaient de risques existentiels ont été considérés un petit peu...

10:09Comme des folles dingos ! Pas comme des folles dingos, mais quelque chose qui n 'était pas très scientifique. Or, maintenant, vous avez Joshua Benjo, vous avez Geoffrey Hinton et d 'autres qui commencent à dire qu 'il faut quand même faire attention. qui sont, pardon, ces gens qui ne sont pas forcément très connus par tout le monde, mais qui sont des sommités, des sommités, des sommités, des sommités du domaine. Qui nous disent tous en cœur, on a un gros problème. Parce qu 'on a une vitesse, en fait, de progression qui est exponentielle. Si vous prenez ces larges modèles de langage, vous avez une organisation qui s 'appelle Metter, qui analyse, si vous voulez, la puissance.

10:45Et vous avez un doublement de la capacité de ces modèles, quasiment tous les sept mois. Ce qui fait qu 'on a un rythme de progression très, très important. Et la problématique, c 'est de mettre en place des protocoles au niveau technique où on pourrait les contrôler. Mais comme M. West l 'a indiqué, ce qu 'il faut que les gens comprennent, c 'est que lorsqu 'on avait un programme informatique, on avait un input A qui donne B. Une entrée, une sortie. Une entrée, une sortie, pointée sur la sortie. Maintenant, vous avez une entrée A, et puis la machine est capable d 'apprendre, de comprendre son environnement et de faire un résultat qui n 'était pas celui qu 'on espérait.

11:29Et ça, c 'est fondamentalement différent de ce qu 'on avait auparavant. Ce qui fait toute la problématique de la prédictabilité pour la sécurité est remise en question. Et donc là, derrière, il y a une grande discussion à avoir d 'un point de vue scientifique. la façon aussi économique dont on innove, mettre les principes de sécurité. Ça, c 'est ce qu 'on fait. On y vient dans quelques minutes. Et après, également, la façon dont on utilise ces technologies. Samia Ursu, sur le constat encore, on est en train de parler, on est d 'accord, des premières sorties de route de modèles dont les concepteurs eux-mêmes ne savent pas vraiment comment ils se développent et si le risque est vraiment sérieux.

12:07C 'est assez inédit, non ? Dans l 'histoire de la technologie ou pas ? On a perdu une part de prédictibilité. on ne sait pas trop bien quelle est cette part, mais on en a perdu une part. Et la prédictibilité, c 'est essentiel à la confiance, c 'est essentiel aussi entre les personnes. On parle beaucoup de transparence dans les modèles d 'IA, la transparence, c 'est extrêmement important si on veut entrer dans la machine pour la modifier, si on est le technicien. Par contre, si on est le citoyen lambda, ce qui importe, c 'est surtout la prédictibilité. On a confiance en une personne. Si on pense que cette personne va faire une chose spécifique de manière compétente, honnête et fiable, donc il faut qu 'elle soit prévisible, on se fie à un outil aux mêmes conditions.

12:42si on pense que cet outil va faire cette chose de manière... Alors, quand il s 'agit d 'un outil agentique, on peut presque ajouter les mêmes adjectifs qu 'on utilise chez les humains de manière compétente, honnête et fiable. Et si la prédictibilité est perdue, on ne peut pas avoir confiance. Et quand on ne peut pas avoir confiance, on se met à penser à toutes sortes de risques. Évidemment, on doit décrire ici aussi que le risque, il a toujours deux composantes. Il y a la gravité, si ça se produit. Il y a la probabilité que ça se produise. Et ici, on a des experts qui sont en train de mettre sur la table la possibilité de risque à faible probabilité et à gravité très élevée.

13:16Ça, c 'est typiquement le genre de risque avec lequel notre cerveau ne sait pas quoi faire. On est très angoissé par le genre de risques qui sont à faible probabilité, à gravité élevée. On reviendra sur les faibles probabilités parce qu 'il y a des gens qui articulent des probabilités qui ne sont pas si faibles que ça. C 'est juste, mais avec une définition de ce qui risque de se produire qui n 'est pas nécessairement toujours la même chez tout le monde non plus. Robert West, j 'aimerais revenir. on ne va pas faire toute l 'émission là-dessus parce que c 'est compliqué et on va perdre les gens, mais vous avez dit des choses extrêmement importantes un peu rapidement.

13:47Les grands modèles de langage, pourquoi est-ce que ces grands modèles de langage ont été en bon français le game changer ? Pourquoi est-ce que vous l 'avez dit, le fait qu 'on leur a appris Internet, donc on leur a appris nous, on leur a appris tout ce qu 'on a dit dans notre histoire, pourquoi est-ce que ça c 'est un problème en soi ? Alors, jusqu 'à il y a quelques ans, on n 'avait pas de solution pour le problème comment faire apprendre au modèle de comprendre le monde, de comprendre que quand on a soif, on boit quelque chose. Pour nous, humains, ça semble très, très facile, mais pour nous, c 'est tellement facile parce que c 'est tellement important.

14:29C 'est pourquoi on a ça très, très profondément dans nous. Mais on n 'avait pas dans le domaine de l 'IA une façon de faire comprendre au logiciel le monde. Et puis, on a trouvé une solution très, très simple. Si on apprend au modèle de prédire le prochain mot dans un corpus vaste de textes, un corpus qui représente presque tous les aspects de la vie et du monde, ça suffit pour donner une intelligence assez élevée au modèle. Et maintenant, on a ce corpus de textes, c 'est Internet. Alors, la contribution principale, je dirais, de OpenAI, c 'est de vraiment réaliser ça et d 'investir beaucoup de ressources, beaucoup d 'argent, beaucoup d 'ordinateurs dans ce problème de prédire le prochain mot sur Internet.

15:29Ça semble être une tâche très simple. Le modèle ne peut rien faire que prédire le prochain mot. Mais on doit réaliser que prédire le prochain mot, c 'est une tâche très, très difficile. Parce que si je dis, par exemple, traduis ce texte d 'anglais en français, maintenant, pour prédire le prochain mot, vous devez savoir le français, tous les langages. Alors, c 'est pourquoi c 'est un objectif qui est très simple, mais pas facile. Pardon, je vous interromps une seconde. Si la machine est une machine qui prédit le prochain mot, elle fonctionne un peu comme mon cerveau, qui lui aussi est en train de prédire le prochain mot, je suis en train de faire ça, quand je vous parle, je prédis très vite le prochain mot.

16:19Est-ce que ça veut dire que si la machine a absorbé tout notre langage, tout notre pensée, est-ce qu 'elle a absorbé avec aussi nos désirs et nos objectifs profonds, et je reviens au risque existentiel, éventuellement le risque de notre désir à nous humains de nous autopréserver, c 'est -à-dire de ne pas mourir. et si la machine ne fonctionne que sur le langage humain ce qu 'elle a appris, est-ce qu 'elle va aussi développer le même objectif qui est de ne pas mourir auquel cas elle pourrait devenir notre ennemi pardon, on dirait que c 'est de la science-fiction mais je vous pose très sérieusement la question mais la question c 'est quand vous dites nous, notre c 'est qui ?

16:54parce que ce qu 'a appris le modèle c 'est internet et là il y a des milliers des millions d 'auteurs qui ont contribué à ce texte Alors, l 'IA apprend quelque chose. Elle a pris quelques désirs d 'un brouillard d 'humains. Mais ce que ça représente vraiment, on ne sait pas. Est-ce que c 'est un humain moyen ? Est-ce que c 'est... Alors, la meilleure théorie qu 'on a, c 'est que l 'IA apprend à simuler une multitude d 'humains. Et elle peut modéliser maintenant les désirs de milliers et millions d 'humains. Mais on ne sait pas encore comment vraiment lui apprendre de simuler les bons humains. Les humains qu 'on veut vraiment qu 'ils soient simulés.

17:48On va y venir dans le chapitre des solutions. Indouch, c 'était à vous. On a peur de quoi aujourd 'hui, en fait, très concrètement ? Revenons peut -être quelques semaines en arrière. On voit qu 'en tropique, un des géants d 'IA lance un modèle qui est de l 'un coup jugé beaucoup trop puissant. Washington, la Maison Blanche dit, il faut le retirer. Mythos, on parle. Mythos, exactement, après Fable est sorti. La peur, c 'était quoi ? C 'était qu 'ils tombent entre de mauvaises mains, que ce soit des pirates ou autres, et qu 'ils utilisent cette IA hyper compétente pour mener des cyberattaques. Très concrètement, ce serait paralyser des systèmes bancaires, voler de l 'argent, contre la distance une centrale nucléaire, un système de distribution d 'eau.

18:27D 'ailleurs, les États-Unis, depuis des semaines, commencent à subir des cyberattaques de ce côté-là. C 'est l 'Iran qui est suspecté. On aurait peur de ça. On aurait peur que l 'IA tombe entre de mauvaises mains. Cette IA, elle est faite par qui aujourd 'hui ? Elle est faite par les géants américains. Mais maintenant, on voit clairement des modèles open source, ça veut dire très gros, utilisables, accessibles par tout le monde, gratuitement, qui sont aussi d 'un très haut niveau. Ça veut dire qu 'on va vers une démocratisation de cette IA qui peut être utilisée à des fins malveillantes comme une arme.

18:56Et après, le côté un peu fantasmé, mais qui pourrait peut -être se concrétiser d 'ici quelques années, c 'est des systèmes d 'IA qui commencent à communiquer entre eux. On voit déjà des petites traces depuis quelques mois qui se mettent à définir des objectifs par elles-mêmes, ce qui n 'est pas encore du tout le cas à ce que je vois, et qui ensuite pourraient avoir des actions malfaisantes vraiment à l 'échelle planétaire et se retourner contre nous. On n 'est pas du tout encore à ce niveau-là, mais ça peut être peut -être effectivement l 'étape quasiment ultime. Et dans ce cas-là, on en parlera après, voir comment on peut débrancher la prise.

19:28Le problème dans ce dossier, c 'est quand l 'étape initiale et l 'étape ultime, il se passe trois ans. Ça peut aller très vite, mais je pense qu 'on peut avoir des solutions. Et puis l 'EPFL, on en a parlé il y a encore quelques jours. Hyper intéressant ce que vient de dire Anouche Setagia, Jean-Marc Ricli. En gros, là, on est en train de parler. Il y a deux catégories de risques. Il y a le risque inhérent à la rencontre entre cette technologie et une humanité malveillante qui en ferait tout et n 'importe quoi. Et puis, il y a ces risques dont on parle en filigrane qui sont pour l 'instant hypothétiques, de machines qui se retournent elles-mêmes contre nous-mêmes.

19:57Pas besoin d 'attendre cela pour avoir déjà des risques existentiels. C 'est ça que vous nous dites ? Faire attention avec le risque existentiel, parce qu 'un risque existentiel, on le définit comme un risque qui a la capacité d 'éradiquer l 'espèce humaine. Donc, on va penser aux satellites. qui va frapper la Terre. Alors, il y a cette possibilité-là, justement, si on va parler de superintelligence, les machines prennent le contrôle. Mais ça, on en a encore relativement loin. Par contre, il y a tout un spectre de risques qui ne paraissent pas importants ou liés à l 'utilisation de ces technologies et la façon dont elles changent nos comportements.

20:38Et puis après, ce qu 'on commence quand même à voir, c 'est des utilisations, en effet, dans le domaine militaire, où de plus en plus ces outils sont utilisés, ils sont utilisés sur le champ de bataille, notamment en Ukraine, avec des drones et une croissance, une augmentation de l 'autonomie. En 2019, j 'ai écrit un livre sur la guerre du futur, et je l 'ai nommé la guerre par proxy, par supplétif. Et l 'idée, c 'est de dire, de plus en plus la guerre au XXIe siècle va être menée par des États ou des acteurs non étatiques qui utilisent des supplétifs, donc des proxys humains ou technologiques.

21:16En 2019, il n 'y avait pas de proxys tellement technologiques parce que ça demande de l 'autonomie. Maintenant, on commence à avoir, justement, avec l 'IA agentique, de plus en plus des comportements où on voit ce qu 'on appelle des propriétés émergents, c 'est -à-dire qu 'on met ensemble des unités et de cette mise en relation, on va créer des comportements auxquels on n 'avait pas pensé. Alors, ce type de problématique devient important. Pourquoi ? Parce que c 'est non seulement dans le domaine militaire qu 'on peut les utiliser, mais comme vous l 'avez mentionné, ces outils se démocratisent très très rapidement, c 'est -à-dire que chacun d 'entre nous peut les utiliser, ce qui fait qu 'on ne sait pas comment est-ce que ces outils vont être utilisés par certains acteurs.

22:00Vous avez certains acteurs malveillants, les groupes terroristes par exemple. Si vous imaginez un groupe tel que l 'État islamique 2.0 qui a accès à certaines de ses capacités, ils utilisent déjà. Il y a générative et autre. Ça peut poser des gros problèmes. Et puis après, ce qu 'on n 'a pas encore vu et qui va devenir un vrai problème, c 'est le risque inhérent à l 'interaction machine-machine. Le risque cognitif. Ah non, machine-machine. Machine-machine. Dans le sens où on connaît très bien, par exemple, le management de crise entre humain et humain. Et maintenant, de plus en plus, on devra prendre en équation machine-humain et machine-machine.

22:39On a très peu d 'exemples. Un des exemples auxquels on peut penser, c 'est dans le trading à haute fréquence, lorsque tout à coup, vous avez un flash crash. Et donc là, c 'est deux algorithmes qui rentrent dans une course et tout d 'un coup, il y a un crash. Alors, que ça se passe sur le marché boursier, c 'est déjà problématique parce que vous avez souvent beaucoup d 'argent qui est éliminé. Mais au moment où on commence à avoir des machines qui sont de plus en plus dans nos vies, eh bien, on peut commencer, on doit penser comment penser le risque quand ce sont des machines qui, comme l 'a dit le professeur West, n 'ont pas du tout la même façon de penser que nous, c 'est uniquement probabiliste.

23:15– On ne sait pas comment elles pensent, c 'est ça le problème. – Samia Hurst, en général, quand une nouvelle technologie émerge et puis pose un certain nombre de problèmes pour éventuellement les humains, les éthiciens commencent à se réunir et à se poser des questions, là, on voit se multiplier les appels à la prudence, non pas des éthiciens mais des concepteurs eux-mêmes, des grands patrons, des milliardaires des propriétaires, des développeurs de ces boîtes qui disent attention, alors ok il y a une partie de buzz parce qu 'ils vont rentrer en bourse en septembre prochain puis qu 'ils ont besoin de montrer à quel point ils sont très forts, d 'accord mais Bill Gates aujourd 'hui qui n 'est pas un acteur enfin qui a rangé des voitures en termes de d 'IA, l 'Uni nous dit aujourd 'hui c 'est maintenant ou jamais, il faut y réfléchir est-ce que ça veut dire qu 'on assiste dans ces trucs qui va très vite et ce serait une bonne nouvelle à une prise d 'éveil des consciences qui lui aussi peut aller très vite ?

24:02Alors, j 'aimerais d 'abord dire une chose, on est en train beaucoup de parler de risque autour de cette table, c 'est important de le faire, mais rappelons qu 'il n 'y a pas que des risques liés à l 'IA, il y a aussi des effets positifs possibles. La raison pour laquelle on parle des risques, c 'est un petit peu comme quand on rédige des lois pour encadrer des comportements humains tout à fait normaux, on doit construire un monde autant que possible qui soit bon à vivre pour des humains ordinaires qui ont une grande part de bonté en nous tous, mais en même temps on doit penser aussi au crime, on doit penser à prévenir des actes criminels et donc on doit réfléchir au risque même si on n 'est pas convaincu que le risque c 'est tout ce qui peuple le monde mais c 'est important de penser au risque pour pouvoir le réglementer.

24:42Dans ce contexte-là c 'est effectivement très frappant de voir les concepteurs de l 'intelligence artificielle demander au monde mais arrêtez-nous s 'il vous plaît et d 'un point de vue éthique ça donne une impression assez familière mais pas nécessairement rassurante qui est qu 'on est face à ce qu 'on appelle un problème d 'action collective. Un problème d 'action collective, qu 'est-ce que c 'est ? C 'est une situation dans laquelle tout le monde aimerait qu 'il y ait des règles de comportement que tout le monde adopte parce que ça donnerait un monde meilleur que si on ne les adopte pas mais où en même temps, personne ne peut unilatéralement établir ces règles.

25:18On peut penser à la course aux armements, on peut penser à ce qui se passerait si payer les impôts était facultatif. Plus grand monde paierait des impôts, on se plaindrait beaucoup de l 'état des routes et de l 'absence d 'école publique. mais on se porte mieux dans un monde où payer les impôts n 'est pas facultatif on se porte mieux dans un monde avec des traités de non-prolifération nucléaire mais c 'est des problèmes d 'action collective traditionnellement il y a deux solutions possibles dans un problème d 'action collective puisqu 'on ne peut pas le solutionner individuellement il faut soit qu 'il y ait une décision top down il faut qu 'il y ait un top il faut qu 'il y ait une autorité qui puisse dire maintenant c 'est obligatoire pour tout le monde et ça, ça rassure tout le monde parce que ce n 'est pas seulement moi qui ne peut plus développer le truc comme je l 'aurais fait pour être en concurrence avec ma compétition, je sais que ma compétition a les mêmes règles.

26:03Et donc, on va se retrouver en compétition dans une situation plus vivable pour tout le monde. Le fameux level playing field. Le fameux level playing field, exactement. S 'il n 'y a pas d 'autorité qui peut faire ça, et c 'est très évident qu 'il n 'y a pas une autorité qui peut faire ça au niveau global aujourd 'hui, la seule autre alternative, c 'est une grande négociation multilatérale. Il faut s 'imaginer, dans l 'équivalent des impôts, les gens se réunissent dans la place du village et décident ce qu 'on veut faire ensemble et comment on va contribuer chacun sans qu 'il y ait nécessairement une autorité supérieure.

Read the full transcript

26:30Et le XXIe siècle est le siècle de la concertation harmonieuse internationale. Exactement. Là aussi, on voit mal comment ça pourrait fonctionner vu les acteurs dont il s 'agit, vu le fait qu 'il y a des états et des intérêts privés dans l 'histoire. Et ça, c 'est ce qui rend la situation à la fois familière et pas entièrement rassurante, en effet. Juste un mot rassurant avant de passer aux solutions possibles. On va commencer à essayer de voir. Il y en a certainement. Éventuellement rassurant, c 'est pour vous deux, à nous, c 'est Taguia, Jean-Marc Ricli. Vous l 'avez dit, aux Etats-Unis, on a dit, oulala, Anthropique a développé Mythos, Mythos c 'est trop dangereux, si ça tombe en main étrangère, on restreint.

27:05Les Chinois ont fait pareil avec un de leurs modèles. Est-ce que ça veut dire que les deux grands de ce monde, qui, en gros, c 'est les Américains et les Chinois qui font la pluie et le beau temps en la matière, sont eux-mêmes en train de se rendre compte du potentiel éventuellement dévastateur de ceux qu 'ils sont en train de se préparer, et que du coup, de la même manière qu 'ils nous ont évité, enfin que c 'était les Russes et les Américains, une guerre nucléaire pendant 50 ans, ils vont nous éviter un anantissement global pendant les 50 prochaines années aussi. C 'est plus facile de vérifier des capacités nucléaires, des armes nucléaires, des sites nucléaires que de vérifier ce qui se passe dans les laboratoires d 'IA.

27:37On peut certes voir combien il y a de centres de données, quelle est leur puissance, mais encore une fois, il faut de moins en moins de puissants de centres de données avec des puces Nvidia dedans pour créer des modèles d 'IA. Donc je pense qu 'il y a encore une fois beaucoup de double langage, double jeu. Il ne faut pas oublier qu 'Entropique a été bridée juste pendant quelques semaines par la Maison Blanche et ensuite ils ont pu lancer leur modèle. Bien sûr, aucun des deux pays entre la Chine et les États-Unis n 'a intérêt à une autodestruction par rapport à l 'IA. Joshua Benjo disait, il est assez optimiste de ce côté-là qu 'on voyait auparavant, en disant qu 'ils vont certainement se parler.

28:10Moi, j 'y crois assez peu parce qu 'il y a trop d 'intérêt géopolitique, trop d 'intérêt à court terme. Trump et son successeur tous successeurs voudront protéger absolument ces champions américains parce qu 'ils sont aujourd 'hui que les Chinois, en particulier avec des modèles open source, sont en train de conquérir le monde. Peut -être un micro exemple ce matin, on va voir que Huawei, un des géants tech chinois, voulait proposer son IA à l 'Égypte et tout de suite les États-Unis vont dire non, non, on aura une offre pour vous, pour vous, pour avoir vraiment une sorte de jeu de monopoli géant.

28:38Et là, je vois assez mal un accord entre les deux, malheureusement. Alors, qu 'est-ce qu 'on va faire de tout ça, de ces risques possiblement existentiels, petits ou grands, qu 'est-ce qu 'on fait ? Écoutez d 'abord comment les spécialistes résument les enjeux, en tout cas une catégorie de spécialistes, en l 'occurrence Stuart Russell, professeur à Berkeley, 50 ans de recherche en intelligence artificielle, référence en la matière et un petit peu inquiet qui pose les enjeux par rapport au nucléaire. Écoutez-le.

29:07Alors, quel est le niveau de risque raisonnable que nous serions prêts à accepter ? Je parle du risque que l 'IA précipite l 'extinction de l 'humanité. Je dirais probablement que le risque acceptable est bien inférieur à celui que nous tolérons pour un accident nucléaire majeur.

29:34Aujourd 'hui, nous acceptons un risque de 1 sur 10 millions pour un accident nucléaire. Donc, nous serions peut -être prêts à accepter un risque collectif lié à l 'ensemble des systèmes d 'intelligence artificielle de 1 sur 100 millions par an. Mais comme je l 'ai déjà dit, les développeurs de l 'IA, si vous leur demandez quel est ce risque, ils répondent « Oh, on est déjà à 10, 20, 25 %, 50 %. » Pourtant, pour l 'instant, il n 'existe aucun plan pour se rapprocher d 'un niveau de risque acceptable. Je vous rends la parole, Samia Hurst. On a ici quelqu 'un qui nous dit l 'humanité tolère un risque de 1 sur 10 millions par an pour le nucléaire, pas plus.

30:19Et la même humanité est en train de tolérer, nous dit-on, un risque de 10%, 20%, 25 % et peut -être plus. Qu 'est-ce qui nous arrive ? C 'est une très bonne question, mais quel que soit le niveau de risque, et il faudrait discuter de comment ces chiffres sont établis. On est bien d 'accord. Même si le risque est très faible, ce qui nous rassure, c 'est de savoir qu 'on a un moyen de le contrer. c 'est comme toujours la peur c 'est ce qui nous dit, voilà ce qui arrivera si tu ne changes pas ton comportement et si tu ne vas pas sur l 'autre chemin mais on a besoin de savoir comment aller sur l 'autre chemin or ici justement c 'est ça qui manque et ça, ça va nous laisser angoisser même avec une probabilité faible parce qu 'on a besoin d 'avoir un plan B, on a besoin d 'avoir alors qu 'est-ce qu 'on fait de ce risque et c 'est ça qui est inquiétant actuellement c 'est d 'avoir des personnes assez unanimes en fait autour de cette thématique Unanimé renseigné.

31:08Oui, exactement, qui nous disent faisons un plan B, mais donc c 'est que vous ne l 'avez pas. Et c 'est ça en fait qui inquiète. Alors, Robert West, on en vient aux solutions. Intuitivement, à ce qu 'on peut faire. Intuitivement, on peut imaginer qu 'il y a deux directions possibles, une direction technique technologique, qui consiste à améliorer les machines, et puis une solution plutôt politique, humaine, de gouvernance, qui consiste à les encadrer. Votre job, c 'est plutôt d 'œuvrer dans la première de ces deux voies-là, savoir la technique. Alors, qu 'est-ce qu 'on peut faire ? Est-ce qu 'on peut fabriquer une intelligence artificielle safe ?

31:41C 'est encore possible ? Ou c 'est déjà trop tard ? Alors, je commence par avouer que je ne sais pas. Je n 'ai pas une grande solution. J 'ai des graines d 'idées. Mais, notre laboratoire, Stuart Russell l 'a dit, on n 'a pas trop d 'idées. C 'est vrai. La Paris, qu 'on prend dans mon labo, à l 'EPFL, c 'est de démarrer l 'alignment, l 'alignement, ça veut dire aligner le modèle aux valeurs humaines. Vous pouvez appeler ça l 'éducation. Exactement, on veut faire ça comme une espèce d 'éducation. On appelle ce programme de recherche « model raising ». On veut éduquer les modèles un peu comme les enfants.

32:32Et ça veut dire qu 'on doit commencer très, très tôt avec les premières étapes. Alors, comme j 'ai expliqué avant, le modèle, ce qu 'il apprend dans les premières phases de l 'entraînement, c 'est de simuler les humains. Et ce que nous, on veut faire, ou ce qu 'on a déjà fait, c 'est de créer des données qui apprennent au modèle de simuler aussi une personne alignée, une personne qui est exactement comme le chatbot qu 'on veut avoir à la fin du processus d 'entraînement. On fait ça, on prend les données et on rajoute des réflexions morales dans les données. Et on entraîne le modèle à aussi prédire, non pas seulement les données brutes, mais aussi les réflexions morales qu 'on a créées automatiquement, mais quand même, on contrôle ces réflexions.

33:33Et l 'idée, c 'est qu 'on implante dans le modèle, déjà très tôt, ce personnage qui est, disons, parfaitement aligné. Et là, j 'avoue que ce n 'est pas facile de créer même ce personnage parfait. On n 'a pas vraiment une garantie que ce personnage est parfait. Mais surtout dans le processus, pardon pour qu 'on comprenne, on a aujourd 'hui des grands modèles de langage qui existent déjà, qui tournent déjà. qui sont déjà surpuissants, qui posent déjà des problèmes. Et ceux-là, ils n 'ont pas été éduqués ou alignés dès la petite enfance, pour poursuivre l 'analogie. Donc, est-ce qu 'il n 'est pas trop tard pour faire ça ?

34:12Oui, et nous, on travaille sur la prochaine génération des modèles. On ne travaille pas sur l 'amélioration des modèles qui existent déjà, mais on essaie de développer des méthodes fondamentales pour entraîner la prochaine génération. Je pense que les modèles qu 'on a déjà, là, c 'est un peu trop tard. On devra vraiment recommencer dès l 'EU. Parce qu 'on a vu les modèles, ce qu 'ils font dans les accidents anthropiques OpenAI. Quand on continue à les entraîner par la méthode reinforcement learning qui les transforme en agents, ils font n 'importe quoi pour vraiment résoudre les tâches. Le problème, c 'est que les modèles ont été donnés des tâches impossibles.

35:01C 'était par erreur. Les tâches qu 'ils ont essayé de résoudre, ce n 'était pas possible parce qu 'il fallait accès à Internet pour les résoudre. C 'est pourquoi le modèle a essayé de trouver vraiment une façon d 'échapper du bac à sable. Et nous, ce qu 'on veut, c 'est que le modèle se rende compte que même je ne dois pas faire ça. Ce serait peut -être une possibilité d 'échapper, de sortir, accéder à Internet, mais ce n 'est pas ça ce que voulait le humain qui est en train de m 'entraîner. Maintenant, ça manque et nous, on essaie de rentrer ça dans les modèles. Anouche Setaya, vous vous souvenez du sketch des inconnus sur le bon et le mauvais chasseur ?

35:46Est-ce qu 'il y a une bonne et une mauvaise IA ? Parce que c 'est vrai, on en parle, et Samia Husset a raison, on a des développements incroyables en médecine, donc on n 'a pas envie de tout jeter. La réponse, c 'est oui. On voit les EPF, par exemple, ont lancé Apertus, leur modèle de langage l 'année passée, la version 1.5. Elle a été lancée il y a un mois, une IA vraiment à visée éthique, propre, entraînée sur des données sur lesquelles elles pouvaient le faire et qui ne va a priori pas être pervertie ainsi. OK, mais pour l 'instant, évidemment, c 'est une utilisation confidentielle et ce ne sont pas des performances qui sont au niveau des grands modèles qu 'on appelle frontières américains, allaient aujourd 'hui dire aux patrons d 'Entropik, OpenAI ou Perplexity qu 'il faut que leur modèle résonne un petit peu de manière humaine et puis ne puissent pas du tout être pervertis.

36:28Ils vont rigoler, ça ne va pas marcher. D 'ailleurs, on voit quasiment chaque jour des anciens employés d 'OpenAI et Entropik créer leurs propres startups parce qu 'ils ne sont pas en adéquation avec ce que pensent les géants de la tech. Donc, ces géants-là continuent à foncer et je vois mal aujourd 'hui une autorité politique nationale ou internationale, leur fixer vraiment un cadre qu 'elles pourront suivre au niveau national, parce qu 'au niveau géopolitique, il n 'y aura pas d 'intérêt, et au niveau international, il n 'y a pas d 'entente entre les pays. On aura ici, à Genève, l 'année prochaine, le sommet mondial sur l 'IA.

37:01Est-ce que ce sera un des thèmes principaux ? Est-ce que la Suisse pourra apporter ce... Est-ce que ce sera trop tard, puisque c 'est dans presque une année ? Voilà, je ne suis pas aussi pessimiste que... Je pose la question, je ne suis pas pessimiste. Je pense qu 'on aura encore largement le temps d 'en parler, mais voilà. Moi, je crois plutôt à des systèmes de défense, à des systèmes de contrôle qui puissent être mis en place plutôt qu 'à une sorte de supervision internationale, malheureusement je suis peut -être un peu pessimiste mais j 'y crois pas vraiment Jean-Marc Riquel, votre avis sur la deuxième jambe possible de la solution, à savoir la gouvernance la régulation, les deux jambes sont liées puisque si on veut imposer des solutions techniques il faut de la gouvernance aussi mais vous voyez quelque chose émerger c 'est vrai, la Suisse attend impatiemment son grand sommet à Genève, à Genève en plus c 'est la ville de Frankenstein donc c 'est peut -être là que l 'histoire doit se terminer mais c 'est dans très longtemps est-ce qu 'on peut encore y croire à la gouvernance ?

37:52J 'ai l 'impression que c 'est devenu un mot obsolète au XXIe siècle Le problème c 'est que la gouvernance n 'est qu 'une partie de la réponse et ce qu 'on voit c 'est que la gouvernance est devenue totalement géopolitique c 'est -à-dire, je vous prends le cas de l 'IA dans le domaine militaire en 2016 l 'ONU met sur pied un groupe gouvernemental d 'experts qui doit analyser est-ce qu 'il faudrait arriver à un traité qui bannit ce qu 'on appelle les salas, les systèmes d 'armes, les taux autonomes ou les robots tueurs ? Je fais partie de ce groupe et ça fait dix ans que l 'on parle de ces questions.

38:27Et on se rencontre deux fois par année à Genève. Et en dix ans, on n 'est arrivé à aucun principe qui est contraignant. Et la semaine prochaine aura lieu la deuxième rencontre annuelle où l 'idée, parce qu 'il y a eu une résolution à l 'Assemblée générale, les Nations Unies, l 'année passée, poussée par l 'Autriche, c 'est -à-dire de créer un traité. Donc on va essayer d 'institualiser ce processus. Maintenant, si vous regardez juste ce processus-là, ça fait 10 ans qu 'on en parle, et on est toujours en train de définir ce que c 'est que l 'IA. Pourquoi ? Parce qu 'en la définition, ça vous permet de noyer le poisson.

39:05Comme toujours, dans tous les grands sujets, c 'est la définition la plus loin. Il y a 10 ans en arrière, on était où ? On était sur l 'État islamique, qui utilisait des drones téléopérés. Or, maintenant, sur le champ de bataille, qu 'est-ce qu 'on voit ? On voit des drones qui sont de plus en plus autonomes. Le New York Times reportait, il y a deux jours, comme quoi un drone russe a tué, pour la première fois, un humain de manière autonome. Qu 'est-ce qu 'on est en train de voir ? Un civil. Un civil, oui, bien sûr. Et donc, ce qu 'on est en train de voir, c 'est que vous avez la technologie qui évolue à une vitesse exponentielle, la gouvernance, par définition, est très très lente, et vous ajoutez là-dessus la problématique géopolitique, où ces technologies sont le premier indicateur de la puissance internationale au XXIe siècle.

39:47Et donc, il n 'y a pas d 'accord. Bien sûr, ces États sont en concurrence entre le modèle chinois, étatiste, le modèle américain, on laisse aux entreprises, le modèle européen. Si comptez qu 'il existe, il balbutie le pot. Et après, on ajoute encore la problématique du marché parce que ceux qui développent ces technologies, c 'est qu 'ils se sont quelques entreprises et ces entreprises poussent vraiment pour capturer tout le marché. On parlait avant de tous ces fuites par rapport à ces problèmes sécuritaires. Or, il y a un vrai problème par rapport à ces modèles, mais aussi un autre objectif derrière, ce qu 'on appelle la captation régulatoire.

40:25C 'est -à-dire qu 'en mettant en avant le problème, on va demander à faire des régulations qui vont empêcher à d 'autres entreprises de rentrer sur le marché. et donc ça... Selon vous, c 'est ce que tu es en train de faire en trop pique, au PNA, etc. On est en pleine captation régulière. Bien sûr. J 'aimerais qu 'on termine cette émission sur ce qui est peut -être le sujet central, à savoir notre rapport à nous et à l 'IA et l 'impression que hors de l 'IA, point de salut ni pour l 'économie ni pour même l 'humanité. Regardez ce graphe qui représente la contribution des différents grands chantiers industriels dans l 'histoire aux Pays-Bas américains.

41:03il y a le rail, c 'était pas mal, 2%, un peu plus, l 'électrification, les autoroutes, les télécoms, c 'est une révolution majeure, peut -être à coup l 'IA qui fait x2 ou x3 par rapport à tout ça. Est-ce que, quand on voit ça, quand on entend ce que dit Jean-Marc Ricli, quand est-ce qu 'on peut imaginer à nous ce qu 'il y ait un moyen de sortir de cette spirale ou pas ? Non, à court terme, non. Il y a une véritable fuite en avant là-dedans, surtout que du point de vue économique, on a des acteurs qui investissent entre eux, On a Nvidia qui investit dans OpenAI. Tous ces acteurs sont liés les uns aux autres pour dépenser des centaines de milliards de dollars en centres de données.

41:41Ça durera un certain temps. Au bout d 'un moment, on va arrêter de construire parce que peut -être qu 'il n 'y aura plus de puces, plus de matières premières pour créer ces puces. Mais effectivement, on est dans cette fuite en avant pour avoir un maximum de puissance de calcul pour se préparer à la suite. Là, c 'est extrêmement clair. Et puis aussi, au point de vue économique, on est vers une concentration de pouvoir phénoménale. Et peut -être, pour moi, c 'est presque un risque davantage plus important que celui de ces agents IA autonomes. On a deux, trois acteurs, les Chinois qui vont forcément gentiment arriver aussi dans nos vies, qui contrôlent justement des pans entiers de nos vies.

42:14Et qui sont susceptibles de venir littéralement cette fois tout puissant. Tout puissant. Il y avait un sondage qui est sorti hier juste pour la Suisse, où on avait 75%, 65 % des Suisses qui utilisent l 'IA au quotidien, pour répondre à n 'importe quelle question. Donc, c 'est entré dans nos vies de manière totalement phénoménale. On a des acteurs surpuissants qui sont en train de dévorer absolument le marché. OpenAI a franchi récemment le cap du milliard d 'utilisateurs réguliers pour TchadjPT. Donc, c 'est vraiment absolument phénoménal. Donc, à mon avis, le risque, il est plutôt là aujourd 'hui, dans la puissance de ces acteurs, à entrer avec frac en donnaux vies, à nous faciliter la vie, à nous abrutir, sans doute aussi en grande partie.

42:54Donc, pour moi, le risque principal, il est là. Il est là. Aujourd 'hui, concrètement, déjà présent dans nos vies, parce qu 'on a tous le réflexe qu 'on ait 50 ans ou bien 10 ans de poser des questions aujourd 'hui à des IA, simplement. Robert West, précisément, nous-mêmes qui avons tous ce réflexe de poser des questions à l 'IA, enfin tous, parlez pour vous, à l 'IA ou à Tchadjp, est-ce qu 'on a une part de responsabilité au niveau, ou peut -être même de responsabilité ou de chance de faire partie de la solution, nous les individus, en nous désenvoûtant peut -être au niveau individuel aussi, en apprenant peut -être à faire fonctionner nos cerveaux, non ?

43:30Oui, bien sûr. Les enjeux sont gigantesques. Je pense que c 'est important que tout le monde réfléchisse ce qu 'on veut que ces technologies veulent ou nous aident à réussir. Et là, je pense qu 'on met trop peu de pensée en ce moment. Trop peu de réflexion, c 'est vrai. L 'intelligence artificielle, Samia Urstrampose, il y a l 'intelligence. dans l 'intelligence. Ça repose une définition assez restrictive de l 'intelligence, assez utilitariste, assez cybernétique, c 'est -à-dire, est intelligent le modèle qui permettra de réussir telle tâche ou de répondre à telle question à satisfaction ? C 'est un peu court, j 'ai envie de leur dire un mot comme définition.

44:16C 'est très très court. Alors, c 'est surprenant comme on a parfois ces citations qui nous viennent du fond des âges, qui reprennent de l 'actualité autrement dans des époques différentes, mais les philosophes antiques nous disaient qu 'on ne peut pas choisir les circonstances de nos vies, mais par contre on peut choisir l 'attitude qu 'on a face aux circonstances de nos vies. Dans une situation où le narratif collectif nous échappe, et c 'est peut -être finalement ça qui est radicalement nouveau, le fait qu 'on soit dans une époque où peut -être la suite de l 'histoire est écrite par une autre intelligence que nous, on peut quand même choisir ce que ça veut dire de rester nous dans cette époque.

44:50Et ça c 'est la manière finalement de naviguer la grande incertitude à laquelle on fait face, savoir peut -être aussi quelles sont les compétences que je veux contribuer à enseigner à une intelligence artificielle ou pas, quelles sont les compétences que je veux conserver moi-même on a eu à une échelle minuscule par rapport à ce qui arrive aujourd 'hui il y a eu une ou deux générations l 'entrée dans les écoles des calculettes et le calcul mental a régressé mais on peut continuer de s 'exercer au calcul mental si on veut, on a ça avec beaucoup plus d 'ampleur aujourd 'hui sur beaucoup plus de terrain différent.

45:25De GPS, pour aller quelque part. Exactement. On doit faire une sélection parmi les différentes choses dont on est capable et se demander, au fond, quelles sont les choses que je suis d 'accord d 'outsourcer, quitte à ne plus savoir les faire moi-même et quelles sont les choses que je veux rester capable de faire moi-même, quitte à ne pas être celle qui les fait tous les jours. Je veux quand même savoir le faire. À une autre échelle, j 'ai beau aller au restaurant de temps en temps, c 'est rassurant de savoir cuisiner soi-même. Eh bien, on a ça multiplié à la puissance N. Et on doit faire cette décision face à l 'IA également.

45:57En fait, la question que nous pose, et c 'est d 'ailleurs le plus gros risque que vous identifiez, vous, Jean-Marc Ricli, la question que nous pose l 'IA, en fait, elle est éminemment humaine. C 'est jusqu 'où avons-nous envie de nous livrer pieds et poings liés ? Quel point de nous-mêmes livrons-nous pieds et poings liés ? Et puis finalement, qu 'est-ce qu 'on a envie de défendre en nous-mêmes ? Elle nous pose des questions assez vertigineuses sur ce qu 'est d 'être humain. On parle d 'humains augmentés, mais vous et moi, nous sommes déjà totalement augmentés par rapport à quelqu 'un qui vivait il y a 200 ans en arrière, même il y a 30 ans en arrière, parce que vous avez accès à toute l 'information qui existe.

46:34Mais maintenant, ce qu 'on voit, ce n 'est pas seulement l 'IA, parce que l 'IA est une technologie, mais c 'est aussi une technologie qui est utilisée par d 'autres technologies. Et maintenant, il faut aussi regarder un peu plus large, regarder toutes les technologies liées aux neurotechnologies, à la bio -éphèse de synthèse où on va commencer à générer les nouvelles données, les données neuronales qui nous permettront d 'en savoir toujours plus, qu 'on va créer des aides de plus en plus augmentées on parle des lunettes méta où l 'idée c 'est vraiment d 'avoir des aides augmentées. La question que vous posez par rapport, est-ce qu 'on peut faire un opt-in-out ?

47:10Sortir du coup. Sortir, ne pas adhérer. On peut toujours, mais ça à un prix. C 'est compliqué. Et lorsque vous prenez Nvidia, par exemple, dont vous parliez avant, qui fait 5 trillions, donc 5 000 milliards de valorisation financière, et vous comparez à la richesse des États, Nvidia sera le quatrième État le plus riche au monde. Et ça veut dire quoi ? Ça veut dire que la force d 'impact de ces géants est énorme, et quelle est leur responsabilité ? Un État, le gouvernement est responsable devant ses citoyens, mais Zuckerberg et autres, ils sont responsables devant qui ? Devant les actionnaires, et leur logique est financière.

47:43C 'est pas la même. Et un mot sur les lunettes maîtres ? C 'est un très bon exemple parce qu 'effectivement, humains augmentés sans doute, mais nous sommes une espèce collective et c 'est humains augmentés individuellement, mais sociétés diminuées parce qu 'il y a des choses qu 'on ne fera plus si on est constamment filmés et ça, ça ne va pas nous augmenter justement. Et ça va absolument casser la confiance dans les relations humaines. Merci à tous les quatre. Nous en savons de moins en moins sur l 'IA, mais elle en sait de plus en plus sur nous. C 'était un objet de votre article Robert West dans Science.

48:11Ce sera malheureusement, je ne peux pas vous donner la parole, mais ce sera le mot de la fin de cette émission. Merci à tous. Merci Robert West, merci à nous, c 'est Tagia, Jean-Marc Ricli, Samia Urst. L 'émission est finie pour aujourd 'hui, vous l 'aurez compris. Vous pouvez éteindre tous les gadgets que vous désirez à présent, sauf des branchés infrarouges puisqu 'on est de retour la semaine prochaine avec un sujet hautement démocratique, l 'initiative sur la neutralité, le gros morceau des prochaines votations avec notamment Ignacio Cassis, un conseiller fédéral qui se fait plutôt rare d 'ordinaire sur les plateaux de télévision.

48:37Donc rendez-vous mercredi prochain, mais mieux mais heure. Tout de suite, la Reine Margot, rien à voir sur la RTS. Excellente soirée ici ou ailleurs. Bye-bye.

From the publisher

Cette fois ce n'est plus de la science-fiction : l'intelligence artificielle est hors de contrôle. Les exemples se multiplient, y compris chez les géants du secteur : l'IA est capable de désobéir, de suivre ses propres objectifs, quitte à s'affranchir de toutes les règles. Alors que l'ensemble des experts et les leaders du domaine alertent sur les risques existentiels que fait courir le développement effréné de l'intelligence artificielle, est-il possible de reprendre la main ? Quels leviers d'action et à quel niveau ? L'IA hors de contrôle : quand est-ce qu'on se réveille ? C'est le débat d'Infrarouge, mercredi 26 août.

More from Infrarouge ‐ RTS

All 41 episodes
L'IA hors de contrôle : quand est-ce qu'on se réveille ?Infrarouge ‐ RTS · 49 min
Listen in VO