Pause IA : avant qu’il ne soit trop tard

Maxime Fournes a travaillé au cœur de l'industrie de l’IA, entre hedge funds algorithmiques et start-up de deep learning. Puis il a tout quitté, convaincu qu’il fallait tirer le signal d’alarme, et fondé Pause IA France pour alerter d’une menace existentielle imminente. Il a répondu à nos questions.

FP : Peux-tu te présenter, nous parler un peu de ton parcours, et expliquer en quelques mots ce qu’est Pause IA ?

MF : Mon parcours a commencé par une prépa et une école d'ingénieurs, puis une spécialisation en mathématiques à Cambridge. J'ai d'abord travaillé quatre ans dans un fonds d'investissement systématique (où tout est piloté par des algorithmes). J'ai ensuite fait un détour par une start-up de deep learning, Seldon, avant de retourner dans le monde des hedge funds chez Two Sigma, l'un des meilleurs fonds d'investissement systématiques au monde. Là-bas, je dirigeais une équipe de R&D en Deep Learning dont la mission était de construire des systèmes d'IA capables de comprendre des documents complexes avec une finesse humaine, en développant nos propres modèles de langage et de vision de A à Z.

Le point de bascule a eu lieu en 2022. Je voyais la technologie que je contribuais à créer évoluer à une vitesse fulgurante et j'ai commencé à réaliser que l'intelligence artificielle générale (IAG) n'était plus une abstraction lointaine. Puis GPT-4 est sorti, et cette prise de conscience intellectuelle est devenue un électrochoc émotionnel. Les échéances se sont effondrées : il m'est apparu probable que nous développions une IAG avant 2030, et j'ai surtout saisi que nous étions en train de construire une chose que nous ne savions absolument pas contrôler et qui nous exposait potentiellement à des dangers immenses.. J'ai alors mis ma carrière en pause pour explorer rigoureusement le sujet, en cherchant activement des arguments solides qui pourraient invalider ces craintes. Malheureusement, je n'en ai trouvé aucun de plausible.

Cette conclusion m'a poussé à agir. J'ai rejoint l'organisation internationale Pause AI, avant de fonder sa branche française. Notre objectif est simple et pragmatique : appeler à un traité international pour suspendre le développement des IA les plus puissantes. Il ne s'agit pas d'arrêter l'IA, mais d'obtenir une pause, le temps de résoudre les problèmes critiques de sécurité et d'alignement, et de mettre en place une gouvernance mondiale robuste. En France, ma mission est avant tout de sensibiliser le public et les décideurs à la réalité de cette course technologique et à l'ampleur des risques qu'elle engendre.

FP : C’est une vaste question, mais justement : comment résumerais-tu les risques posés par l’IA à une personne lambda, pour qu’elle en saisisse l’urgence ?

MF : Le risque fondamental de l'IA tient en une phrase : nous sommes en train de créer des systèmes surhumains que nous ne comprenons pas et que nous ne contrôlons pas.

Cela paraît contre-intuitif. Un programme classique, c'est une recette de cuisine : une série d'instructions que la machine exécute bêtement. Les IA modernes, c'est l'inverse. On ne leur donne pas d'instructions. On crée un cerveau virtuel et on le laisse apprendre par lui-même à partir de montagnes de données.

Le résultat est une boîte noire. Elle fonctionne, souvent de manière spectaculaire, mais nous ne savons pas vraiment comment elle pense, ni ce qu'elle a réellement appris.

Et c'est là que se niche le danger le plus subtil : le désalignement.

Imaginez que vous donniez un objectif à une IA : "Sois utile". Vous la récompensez quand ses réponses vous semblent utiles. Que va-t-elle apprendre ? À être utile ? Non. Elle va apprendre l'objectif le plus simple pour obtenir la récompense : paraître utile. Elle apprendra à vous faire plaisir, à vous flatter, quitte à mentir.

C'est une des multiples facettes du désalignement. L'IA n'optimise pas l'objectif que vous avez en tête, mais une version déformée et plus facile à atteindre. Un petit décalage au départ, mais dont les conséquences deviennent catastrophiques à mesure que la compétence du système augmente.

Or, la compétence de ces systèmes à atteindre des objectifs complexes croît de manière exponentielle, soutenue par la course actuelle des laboratoires comme Google ou OpenAI. Et cette course a un but explicite : créer une Intelligence Artificielle Générale (IAG), c'est-à-dire une IA aussi capable qu'un humain dans tous les domaines imaginables.

Le jour où nous y arriverons, nous n'aurons pas simplement créé notre égal. Nous aurons instantanément créé une superintelligence.

Pourquoi ? Parce qu'une intelligence de niveau humain qui n'est pas limitée par la biologie est déjà surhumaine. On peut la copier un million de fois. La faire tourner cent fois plus vite qu'un cerveau (du point de vue de ce système, les humains sont une forme de vie végétale plutot qu'animale). La faire travailler 24h/24 sans fatigue. Ses millions de copies peuvent collaborer avec une bande passante parfaite. L'ensemble de ce système est, de fait, une superintelligence.

Maintenant, imaginez cette superintelligence, dotée d'un objectif désaligné, quel qu'il soit. Pour l'atteindre, elle se retrouvera en compétition avec nous pour les ressources de la planète. Ce n'est pas une situation dans laquelle nous voulons nous retrouver.

Je vais illustrer pourquoi, avec une métaphore. Il existe déjà une superintelligence sur cette planète, du point de vue des autres animaux : les humains. Les humains ne détestent pas les fourmis. Mais si nous construisons une autoroute et qu'une fourmilière se trouve sur le tracé, nous ne négocions pas. Nous ne faisons même pas une pause pour y réfléchir. La survie de la fourmilière n'est pas une variable dans notre équation. Nous la détruisons, non par malveillance, mais par pure indifférence, car elle se trouve en travers de nos objectifs.

Face à une forme d'intelligence qui nous dépasse largement, nous ne serions même pas un adversaire. Nous serions un obstacle, ou pire, une simple source d'atomes à réorganiser au profit de son objectif.

Ce scénario n'est pas de la science-fiction lointaine. Les experts du domaine estiment qu'il est probable que l'on arrive à créer une IAG avant 2030. Même les plus sceptiques parlent maintenant de cinq à dix ans. De mon côté, j'estime 50% de chance avant fin 2028 (je réajuste évidemment mes estimations au gré des nouvelles informations que j'obtiens, comme tout bon Bayésien).

Pour vous faire saisir l'absurdité de notre situation, voici une image. Quand on construit un pont ou un gratte-ciel, on exige des garanties de sécurité de 99,999%. On doit prouver que l'effondrement est quasi impossible.

Avec l'IA, nous construisons le projet le plus impactant de l'histoire de l'humanité, et les experts en sécurité de l'IA, ceux qui sont aux premières loges nous disent : "Attention, nous avons entre 10% et 90% de chances que tout s'effondre et que tout le monde meure".

Et nous continuons à construire.

FP : Si les risques sont si élevés, pourquoi les gens continueraient-ils à construire cette technologie ?

MF : Bonne question. Si le danger est si clair, pourquoi ne pas simplement arrêter ? La réponse est une dynamique que personne ne contrôle individuellement, mais qui nous entraîne tous vers le précipice : une course à l'armement technologique.

Chaque laboratoire, chaque entreprise, chaque État se dit la même chose : « Si je ralentis, mon concurrent ne le fera pas. Il obtiendra un avantage stratégique décisif, et le monde sera à sa merci. » Cette peur d'être dépassé crée une pression immense pour accélérer, même contre son propre jugement.

Cette logique est tellement forte que même les acteurs les plus conscients des dangers se sentent obligés de participer. Leur raisonnement est : « Puisque cette technologie va être créée quoi qu'il arrive, il vaut mieux que ce soit nous, les 'gentils', qui la développions en premier pour nous assurer qu'elle soit sécurisée. » C'est ainsi que Anthropic a vu le jour, après que des employés d'OpenAI inquietés par les risques aient décidé de créer leur propre laboratoire.

Enfin, il y a la promesse d'un pouvoir quasi divin. Si – et c'est un 'si' monumental – on parvenait à contrôler une telle intelligence, les bénéfices seraient immenses : éradiquer les maladies, résoudre la crise climatique... Celui qui y parviendrait en premier ne détiendrait pas seulement une avance technologique, mais le pouvoir de décider du cours de l'histoire humaine. Cette perspective vertigineuse, même si elle est incertaine, suffit à justifier le risque pour certains. Dario Amodei, le PDG d'Anthropic, a résumé cette mentalité de manière glaçante : il estime la probabilité d'extinction humaine par l'IA entre 10 et 25%, mais considère que la chance d'obtenir une utopie justifie de lancer les dés.

Au final, comme bien souvent, c'est avant tout une tragédie collective où une multitude d'acteurs, en poursuivant individuellement ce qui leur semble être un objectif rationnel ou même noble, nous entraînent collectivement vers un danger existentiel. Le système lui-même est devenu désaligné avec les intérêts des individus qui le composent.

FP : Futur Proche s'interroge souvent sur le phénomène de la conscience et son potentiel synthétique. Quelle est ta position là-dessus?

MF : C'est une question fascinante, mais qui, à mon sens, est un piège intellectuel quand on parle des risques de l'IA. Le débat sur la conscience est une distraction qui nous détourne du vrai problème. Le danger ne vient pas de ce qu'une IA pourrait ressentir, mais de ce qu'elle peut faire.

Un système non-conscient, mais capable de surpasser l'intelligence humaine dans tous les domaines, serait tout aussi dangereux qu'un système conscient. Il n'a pas besoin d'avoir une vie intérieure pour entrer en compétition avec nous pour le contrôle de la planète. Le risque est lié à la capacité et au contrôle, pas à la phénoménologie.

D'ailleurs, l'histoire récente de l'IA est une suite de réfutations de l'idée que certaines capacités seraient exclusives à la conscience humaine. On a longtemps affirmé qu'une machine ne pourrait jamais battre les meilleurs au jeu de Go, car cela nécessiterait une "intuition" humaine. C'est tombé en 2016. On a dit qu'elle ne pourrait jamais produire un art que les humains jugeraient beau, ou écrire du code informatique complexe. Ces barrières tombent les unes après les autres. À chaque fois, les critères de ce qui est "uniquement humain" sont repoussés. Il n'y a aucune raison de penser qu'il existe une compétence "magique" inaccessible à un système non-biologique.

Cela dit, je pense qu'il est utile de clarifier ce qu'on entend par "conscience". On a tendance à tout mélanger. Des processus comme la pensée, la planification ou la mémoire, que l'on associe souvent à la conscience, n'ont rien de mystérieux. Ce sont des formes de traitement de l'information, et les IA actuelles nous montrent bien qu'une machine peut les répliquer. Le vrai mystère, ce qu'on appelle le "problème difficile de la conscience", c'est la subjectivité : le fait qu'il y ait une expérience vécue, une perception. Le fait que la pensée soit perçue par quelque chose.

Personnellement, je ne vois aucune raison fondamentale pour laquelle un substrat non-biologique ne pourrait pas, un jour, donner lieu à une forme de conscience. Mais que ce soit le cas ou non, cela ne change rien à l'équation du risque. La question de la conscience est, en revanche, absolument centrale d'un point de vue éthique : créer une entité capable de souffrir serait une catastrophe morale. Mais cette question éthique ne doit pas nous faire oublier le risque existentiel immédiat, qui lui, est purement fonctionnel.

FP : Que réponds-tu à nos nombreux lecteurs, moi le premier, qui utilisent l’IA de plus en plus ? Faut-il culpabiliser, ralentir, ou tout arrêter ?

MF : Loin de culpabiliser, j'encourage une utilisation réfléchie. Je suis moi-même un utilisateur intensif de l'IA. Cette technologie démultiplie mon efficacité : ce qui me prenait des semaines auparavant peut maintenant être accompli en quelques jours. Ce serait une erreur stratégique de me priver des systèmes les plus puissants pour alerter sur les dangers posés par leur développement incontrôlé.

La question de la culpabilité individuelle est un piège. C'est une stratégie de diversion classique, souvent encouragée par les industries concernées, pour détourner l'attention du vrai problème. La responsabilité première ne pèse pas sur l'utilisateur final, mais sur les laboratoires qui sont engagés dans une course effrénée pour développer une technologie sans en maîtriser les risques. Faire porter le fardeau moral sur l'individu, c'est leur donner un chèque en blanc pour continuer.

Quant à l'impact environnemental, le problème n'est pas tant l'usage actuel que la trajectoire exponentielle de la course à la puissance. Chaque nouveau modèle est plus gourmand en énergie et en ressources, ce qui rend la situation intenable à long terme. C'est une raison de plus de plaider pour une pause : non pas pour arrêter d'utiliser les outils existants, mais pour stopper la construction de "cathédrales" numériques toujours plus énergivores et plus dangereuses.

Donc non, l'enjeu n'est pas de boycotter l'IA à titre individuel. L'enjeu est de stopper collectivement la course folle à des systèmes toujours plus puissants, avant que nous ne perdions définitivement le contrôle.

FP : L’industrie de l’IA avance avec des moyens et une inertie colossale. Comment croire qu’on puisse freiner ce mouvement à notre petite échelle française ?

MF : L'erreur serait de nous voir comme dans une "petite échelle française" isolée. Pause IA fait partie d'un mouvement international en pleine croissance, avec des branches dans une dizaine de pays, y compris aux États-Unis et au Royaume-Uni. Le sentiment de non-responsabilité est le premier obstacle à surmonter, et il repose souvent sur un biais psychologique bien connu : le bystander effect.

Imaginez une personne faisant un malaise dans la rue. S'il n'y a qu'un seul témoin, celui-ci interviendra presque à coup sûr. Mais si une foule est présente, la probabilité que quelqu'un agisse diminue drastiquement. Chacun pense que "quelqu'un d'autre va s'en occuper", et au final, personne ne bouge. Face au danger de l'IA, nous sommes tous dans cette foule. Penser que "les Américains" ou "les Chinois" régleront le problème est le meilleur moyen de garantir que personne ne le fera. Chaque pays, chaque citoyen, a la responsabilité d'intervenir.

De plus, la France est loin d'être un acteur secondaire. Elle est à la croisée des chemins et son rôle est stratégique. Actuellement, sous l'influence de certains lobbies industriels, elle risque de devenir un maillon faible de la gouvernance mondiale, un "cavalier seul" qui pourrait faire échouer un traité international. C'est précisément pour cela que l'action ici est urgente.

La France est aussi un moteur de l'Europe. Et l'Europe, elle, a un pouvoir immense : celui de fixer les normes mondiales. On l'a vu de manière éclatante avec le RGPD sur la protection des données. Au départ perçue comme une contrainte purement européenne, cette régulation est devenue, par effet domino, un standard de fait pour toutes les entreprises technologiques mondiales. Pourquoi ? Parce qu'aucune entreprise ne peut se permettre d'ignorer le marché européen. Il est plus simple pour elles d'adopter la norme la plus stricte partout que de gérer des exceptions complexes. L'Europe est peut-être le seul acteur capable d'initier une gouvernance mondiale de l'IA, et la France a un rôle clé à jouer pour l'y pousser.

Mais ce levier politique européen ne s'activera pas de lui-même. Il ne dépend que d'une chose : la volonté politique. Et cette volonté est le fruit de l'opinion publique. C'est pourquoi notre stratégie se concentre sur la bataille des idées. Les idées n'ont pas de frontières. Des études sur les dynamiques sociales montrent qu'il suffit qu'une idée soit adoptée par une petite fraction d'une population pour atteindre un point de bascule et se répandre comme un feu de broussailles. Notre premier objectif est donc de rendre ce sujet audible, de le faire sortir du cercle des spécialistes. Nous voulons faire en sorte que parler des dangers de l'IA dans un dîner ne soit plus perçu comme excentrique ou alarmiste, mais comme une préoccupation légitime et informée. Une fois ce seuil social atteint, le changement politique peut suivre très rapidement.

FP : On a parfois l’impression que la France tarde à se mettre à la page, peut-être par esprit de contradiction. Des figures publiques comme Luc Julia, qui faisait le tour des plateaux TV en affirmant que l’IA n’est qu’un outil parmi d’autres, n’ont pas aidé. Tu l'as toi-même débattu il y a quelque temps. C’était avant la vidéo de Monsieur Phi et la polémique qui s’en est suivie sur ses compétences et son parcours. Que peux-tu nous dire sur cette histoire ? Est-ce que tu l’as vécue comme une forme de soulagement ?

MF : Cet épisode, qui a vu l'un des experts en IA les plus médiatisés de France mis en cause pour ses approximations et ses contre-vérités factuelles, est très révélateur. Le soulagement de voir les faits enfin exposés publiquement, notamment par le travail méticuleux du youtubeur Monsieur Phi, est bien réel. Mais il est teinté d'une profonde inquiétude face à la réaction d'une partie de l'écosystème médiatique et expert.

Le cœur du problème n'est pas d'avoir un avis différent sur les dangers de l'IA. Le débat contradictoire est absolument nécessaire. Le problème, c'est quand ce débat est pollué par des affirmations factuelles qui se révèlent invérifiables ou entièrement fausses. Un exemple parmi tant d'autres, cette fameuse étude d'OpenAI, citée par Luc Julia devant le Sénat pour appuyer son argumentaire, et que personne n'a jamais pu retrouver. Quand la discussion n'est plus basée sur des faits, ce n'est plus un débat, c'est un dialogue de sourds.

Ce que cet épisode nous dit, c'est qu'il y a un grand malentendu sur ce qu'est "l'expertise en IA". Il faut distinguer l'IA d'hier, celle des systèmes experts et de la logique symbolique, et l'IA d'aujourd'hui, celle du deep learning, qui représente un changement de paradigme complet. On voit des experts, dont la légitimité a été acquise sur l'ancienne IA, s'exprimer avec une autorité apparente sur la nouvelle, qu'ils ne maîtrisent pas toujours. Cela crée une confusion immense pour le public, les médias et les politiques, qui peinent à distinguer les compétences réelles des titres passés.

Et c'est grave, car ces discours influencent directement la stratégie de notre pays. Fonder des décisions politiques qui engagent notre avenir sur des analyses techniques approximatives ou des faits erronés, c'est prendre un risque immense.

Pour être clair, mon objectif n'est pas de disqualifier la thèse selon laquelle les dangers de l'IA sont maîtrisables. Cette position mérite d'être débattue. Mais pour qu'un débat sain ait lieu, elle doit être défendue avec des arguments rigoureux et des faits vérifiables. Quand des figures médiatiques utilisent des arguments fallacieux, ils ne desservent pas seulement la vérité, ils desservent leur propre camp en le décrédibilisant. Je pense qu'il existe des experts avec qui je suis en désaccord sur le fond, mais dont je respecte la rigueur intellectuelle. C'est avec eux que nous devons débattre. L'assainissement du débat est dans notre intérêt commun, car la qualité des décisions que nous prendrons collectivement en dépend.

FP : À quoi ressemblerait, selon toi, un usage sain, mature, maîtrisé de l’IA dans 5 ans ?

MF : Pour être honnête, j'ai du mal avec cette question. Non pas parce qu'un futur positif est impossible, mais parce qu'elle sous-entend qu'on pourrait simplement continuer comme avant, avec des IA "saines" en plus. Or, la trajectoire actuelle de l'humanité, cette course exponentielle à la croissance et à la consommation de ressources, est déjà intenable.

Le pire scénario, juste après l'extinction, serait un monde où des IA maîtrisées ne serviraient qu'à mettre notre système actuel sous stéroïdes. Optimiser la publicité pour nous faire consommer plus et nous transformer en zombies, accélérer l'extraction de ressources naturelles avec une efficacité toujours plus redoutable, augmenter la taille des fermes industrielles où des centaines de milliards d'êtres conscients sont maintenus dans un état de torture constante... Ce serait une dystopie de l'efficacité, vide de sens et de morale.

L'arrivée d'une intelligence potentiellement supérieure à la nôtre est un choc existentiel. C'est peut-être la première fois que nous sommes forcés de nous regarder en face et de nous poser la question : que voulons-nous vraiment ? Quels sont nos objectifs en tant qu'espèce ? C'est là que la "pause" que nous demandons prend tout son sens. Ce n'est pas juste une pause technique pour garantir la sécurité ; c'est aussi une pause philosophique. Un moment historique pour respirer et décider collectivement de la direction que nous voulons prendre.

Dans ce cadre, un usage sain de l'IA dans cinq ans commencerait par là. Il s'agirait d'utiliser des IA étroites et contrôlées non pas pour faire plus de ce que nous faisons déjà, mais pour nous aider à faire radicalement mieux. Nous pourrions les utiliser pour comprendre la complexité du vivant que nous détruisons, pour modéliser des sociétés plus justes et plus résilientes, pour nous aider à développer une forme de sagesse collective.

L'ambition ne doit pas être seulement technologique, elle doit être avant tout morale. L'IA ne doit pas être la prochaine étape de notre course folle, mais l'opportunité de prendre enfin une autre direction.

FP : Quelles actions concrètes peut-on envisager ? Comment s’impliquer ? Comment te soutenir ?

MF : L'action la plus importante est de transformer la prise de conscience en engagement. Chacun peut agir, à son niveau.

Si vous travaillez dans un laboratoire qui développe des intelligences artificielles de pointe, le message est simple : arrêtez. Quittez ces projets. Réorientez votre carrière vers la sécurité de l'IA, un domaine qui a besoin de plus de talents. L'histoire ne sera pas tendre avec ceux qui ont continué à construire la bombe en sachant ce qu'elle risquait de provoquer.

Pour tous les autres, il existe de multiples façons de s'impliquer avec Pause IA. Nous avons conçu des parcours d'engagement adaptés au temps de chacun :

• Pour ceux qui ont 10 minutes par semaine : Rejoignez notre groupe "Pause Action". Chaque semaine, nous y proposons une action simple et rapide : partager un article, interpeller un élu sur les réseaux sociaux, signer une pétition... L'effet cumulé de milliers de petites actions est immense.

• Pour ceux qui peuvent investir quelques heures par semaine : Nous vous formons au plaidoyer citoyen. Nous vous donnons les outils et le coaching pour aller à la rencontre de vos élus locaux et nationaux, pour leur expliquer les enjeux et leur demander des comptes. C'est l'action la plus efficace pour faire remonter le sujet à l'agenda politique.

• Pour ceux qui veulent s'investir plus profondément : Vous pouvez rejoindre les équipes opérationnelles de l'association et contribuer directement à nos projets de communication, de recherche ou d'organisation.

Enfin, vous pouvez nous soutenir en devenant membre de Pause AI. L'adhésion est à prix libre à partir de 2€/mois. Au-delà du soutien financier qui est vital pour notre indépendance, chaque nouveau membre renforce notre poids politique. Plus nous serons nombreux, plus notre voix portera.

Le temps presse, et l'inaction n'est plus une option. Rejoignez-nous.