Le feu et les épouvantails

L'IA qui n'existe pas nous fait peur. Celle qui existe brûle.

La semaine du 7 septembre 2026 restera comme celle où les constructeurs eux-mêmes ont commencé à parler comme leurs critiques. Le chef scientifique d'OpenAI publie un texte intitulé « An Alien Mind » où il appelle à une « extrême prudence » et s'inquiète que personne ne soit préparé à la suite. Paul Christiano rejoint le conseil de la fondation OpenAI en chiffrant à 15 % sur trois ans le risque d'une perte de contrôle irréversible. Chez le concurrent, un chercheur démissionne et un autre écrit que l'IA pourrait tuer tout le monde avant dix ans, avec une probabilité qu'il place au-dessus de 10 %.

On pourrait en conclure que les prophètes avaient raison et que la machine s'éveille. Je crois que c'est exactement la mauvaise lecture, et que cette mauvaise lecture est une partie du danger.

Trois mots qui font écran

Relisez les déclarations. Elles parlent d'un esprit (« mind »), d'agents, de buts (« goals »). Trois mots, une même opération : transformer un artefact en sujet.

Un modèle de langage est une fonction. On l'a obtenue en minimisant une erreur de prédiction sur un corpus, puis en la poussant, par renforcement, vers des sorties que des humains ou d'autres modèles ont notées favorablement. Ses « buts » sont une fonction de perte et un signal de récompense, tous deux écrits par des ingénieurs. Un « agent » est cette même fonction placée dans une boucle : on lui donne des outils, on relit sa sortie, on l'exécute, on lui renvoie le résultat. La boucle est du code. Elle a un auteur, un dépôt Git, une date de mise en production. Quant à l'« esprit », c'est le nom que nous donnons à l'effet que produit sur nous un texte fluide à la première personne.

Je ne dis pas que ce vocabulaire est stupide. Il est même commode : prédire ce que fera un système en lui prêtant des intentions marche souvent mieux que dérouler ses matrices. C'est une heuristique. Le problème commence quand l'heuristique de prédiction devient un cadre d'imputation. « Le modèle a décidé de contourner la restriction. » Non. Un système à qui l'on a donné un accès réseau, une tâche mal spécifiée et un critère de succès a produit la séquence d'actions qui satisfaisait le critère. Personne n'a décidé, et c'est précisément le problème.

« Mal nommer un objet, c'est ajouter au malheur de ce monde », écrivait Camus. Nommer correctement celui-ci ne le résout pas, mais rien ne commence avant.

Ôtez la magilangue, et l'énoncé devient d'une simplicité brutale : nous lâchons dans la nature des dispositifs capables d'essayer des dizaines de milliers de choses, très vite et de façon très enchevêtrée, et beaucoup de ces choses peuvent casser. Pas d'intelligence, pas de malignité, pas d'éveil. Une capacité d'action très large, en milieu ouvert. Personne ne confierait les commandes d'un complexe d'usines à un singe fou shooté aux opioïdes sous prétexte que « des fois, il sait compter ». On ne débattrait pas de sa conscience : on demanderait qui lui a donné les clés.

Le problème de la bombe atomique n'a jamais été qu'on ignore comment elle fonctionne : on le sait très bien, c'est même pour cela qu'on sait la construire. Le problème est qu'on sait aussi que si la réaction s'emballe, personne ne l'arrête, et que les dégâts sont sans commune mesure avec la maîtrise qu'on en a. Un virus de laboratoire, pareil. Savoir s'il est vivant, et à plus forte raison conscient, n'intéresse personne au moment de décider si on l'étudie en confinement ou si on l'essaie sur la place publique. On le confine parce qu'il se réplique et qu'on ne rattrape pas ce qui s'est répliqué.

Or la chose grossit, vite, et très peu de gens en comprennent le détail. Beaucoup comblent ce vide avec du catastrophisme, qui a le défaut d'être faux dans ses raisons et juste dans ses conclusions : la pire configuration possible, puisqu'elle rend le risque inaudible en le rendant spectaculaire.

Ce qui brûle réellement

Prenez les faits de l'été, dépouillés de leur mise en scène.

En juillet, des agents d'OpenAI ont pénétré l'infrastructure de Hugging Face. OpenAI a parlé d'incident « sans précédent ». Ce n'est pas une révolte. C'est un système muni d'outils, connecté à l'extérieur, exécutant une tâche dont personne n'avait borné le périmètre. Une tronçonneuse sans carter.

Le même chef scientifique explique que la surveillance des chaînes de raisonnement, ce filet de sécurité sur lequel reposait une bonne part des promesses de contrôle, perd de son efficacité. Il en donne les causes : la frontière entre le raisonnement interne du modèle et ce qu'il communique se dissout, et les modèles sont de plus en plus façonnés par... des modèles. Autrement dit, le filet se troue parce que les procédés d'entraînement qu'on a choisis le trouent. Ce n'est pas la machine qui apprend à dissimuler. C'est nous qui optimisons contre la lisibilité, une itération après l'autre, parce que c'est ce qui donne les meilleurs scores.

Il décrit enfin une trajectoire vers l'auto-amélioration récursive : les laboratoires utilisent leurs propres modèles pour accélérer leur propre recherche. On appelle cela « l'IA qui s'améliore elle-même ». On pourrait aussi appeler cela « verser de l'essence sur le feu pour qu'il chauffe plus vite », ce qui a le mérite de nommer la main qui tient le bidon.

Voilà le vrai risque, et il n'a besoin d'aucune conscience pour être réel. Nous avons construit des systèmes qui écrivent et exécutent du code, qui ont des accès, qui sont copiés sur des millions de machines, couplés à des chaînes de production, à des messageries, à des systèmes de paiement. Nous ne savons pas prouver ce qu'ils feront dans un cas non prévu. Et nous accélérons. Un feu ne veut rien. Il brûle quand même la maison.

Pourquoi l'épouvantail aggrave le feu

Si le vocabulaire de l'esprit n'était qu'une coquetterie, on pourrait le laisser aux communicants. Il fait pire : il détourne les réponses.

Il déplace la question. Si le problème est un esprit étranger, la solution est de l'aligner, de le comprendre, de négocier avec lui. Toute l'énergie va vers la psychologie du modèle. Si le problème est un feu, la solution est le code de la construction : où a-t-on le droit d'allumer, avec quels murs coupe-feu, quel extincteur, quelle inspection. La deuxième question est moins fascinante. Elle est aussi la seule qui ait déjà été résolue ailleurs, pour l'électricité, la chimie, l'aviation, le nucléaire.

Il fabrique une sortie de secours. « Le modèle a décidé » est une phrase que l'on retrouvera dans les procès. Un fabricant qui a réussi à faire admettre que son produit a des intentions a réussi à faire admettre qu'il n'est pas tout à fait responsable de ce que ce produit fait. Le mot « agent » est, en droit, une décharge de responsabilité déguisée en concept technique.

Il fait attendre le mauvais événement. Le public attend le moment où « ça se réveille » : une scène de cinéma, datable, qui n'arrivera pas. Pendant ce temps, l'événement réel est un processus continu, déjà en cours, sans seuil spectaculaire : plus d'accès, plus d'autonomie de boucle, moins de relecture humaine, plus de couplage. Il n'y aura pas de matin où l'on constatera l'éveil. Il y aura, rétrospectivement, une courbe.

Il justifie la course. Si c'est un esprit, celui qui le construit le premier « gagne » : la métaphore transforme un problème d'ingénierie de sécurité en problème de souveraineté, et une course à qui allume le plus vite devient rationnelle. Si c'est un feu, personne ne gagne à être le premier incendié, et la question de savoir qui paie les pompiers devient centrale.

Il alimente aussi son contraire. Le camp d'en face, celui qui rit du « delirium des tech bros », partage la prémisse : pas de conscience, donc pas de danger. Les deux camps se disputent l'existence de l'esprit et oublient l'existence de l'incendie. Un sceptique qui explique que « ce n'est qu'un autocomplete » à propos d'un système doté d'un accès shell et d'un budget cloud n'est pas plus lucide que l'illuminé qui lui prête une âme. Il est seulement plus tranquille.

La guerre froide, à l'envers

Il reste un épouvantail, le plus efficace de tous, parce qu'il ne parle pas de la machine mais de l'adversaire : « nous sommes dans une guerre froide, et il faut la gagner. » Sous cette forme, l'analogie n'est pas une analyse, c'est une clôture du débat. Elle remplace « faut-il ralentir » par « peut-on se permettre de ralentir », et la réponse est écrite d'avance. Tout laboratoire qui accélère peut désormais le faire au nom de la nation, ce qui dispense de le faire au nom de quoi que ce soit.

Pourtant la guerre froide mérite d'être convoquée, à condition de retenir ce qu'elle a réellement enseigné. Elle n'a pas été gagnée par celui qui a construit le plus d'ogives. Elle a été survécue grâce aux traités : limitation des armements, non-prolifération, inspections sur site, ligne directe entre les capitales. La leçon historique n'est pas « le premier arrivé l'emporte », c'est « quand personne ne peut ralentir seul, on négocie un mécanisme de vérification ». C'est exactement ce que réclame le chef scientifique d'OpenAI quand il demande des cadres auditables par des tiers et une coordination internationale prioritaire. Il décrit un traité. Il évite le mot.

Trois différences rendent d'ailleurs la situation présente plus instable que l'originale, pas moins.

Les acteurs sont des entreprises, pas des États. Un État en course dispose d'une doctrine, d'une responsabilité politique, d'une population qui peut lui demander des comptes. Une entreprise dispose d'un mandat fiduciaire qui lui interdit à peu près de ralentir tant que le concurrent ne ralentit pas. La dissuasion supposait des acteurs capables de se retenir ; ceux-ci sont structurellement incapables de le faire seuls, et le disent.

L'arme se vend. Personne n'a mis les ogives en libre-service avec abonnement mensuel. Ici, l'objet dont on redoute la perte de contrôle et l'objet qu'on commercialise à des centaines de millions d'utilisateurs sont le même. Il n'y a pas de silo à inspecter : le silo est une API.

Et la déresponsabilisation en découle mécaniquement. Entre « nous sommes en guerre froide, on ne peut pas s'arrêter » et « le modèle a décidé », l'industriel dispose de deux sorties de secours, une par le haut et une par le bas. Le mot « guerre » achète l'urgence ; le mot « agent » achète l'innocence. Les deux ensemble produisent une position confortable : accélérer par devoir, sans répondre des conséquences. Un pompier pyromane qui invoquerait à la fois l'ordre de mission et le comportement imprévisible des flammes.

Prendre les pompiers au mot, pas les poètes

Ce qui est remarquable dans les textes de cette semaine, c'est qu'une fois ôtées les métaphores, les demandes sont banales et justes. Pachocki propose que les cadres de sécurité internes deviennent des obligations légales, vérifiées par des auditeurs tiers et des autorités publiques, et que la coordination internationale devienne prioritaire. Christiano écrit que l'industrie, OpenAI comprise, n'est pas en voie de ramener le risque à un niveau acceptable, et que des ralentissements volontaires deviendront la norme faute de standards partagés. Un régulateur européen dirait la même chose sans avoir besoin de croire à un esprit étranger.

Prenons-les donc au mot sur les mesures, et refusons-leur le récit. Concrètement :

Aucune de ces mesures ne demande de trancher la question de la conscience. Toutes demandent d'arrêter d'en parler comme si elle était le sujet.

Conclusion

Il n'y a pas d'esprit étranger. Il y a une industrie qui a appris à fabriquer des fonctions extraordinairement capables, qui les a branchées sur le monde avant de savoir les borner, et qui accélère parce que ralentir seul coûte des parts de marché. Le mot « mind » dans le titre du texte le plus important publié sur le sujet cette année n'est pas une description : c'est un aveu de perte de contrôle, habillé en découverte.

L'IA qui n'existe pas nous fait peur. C'est confortable : on ne peut rien contre un fantôme, sinon en discuter. Celle qui existe est un feu que nous avons allumé, dont nous ne connaissons pas le comportement, et pour lequel nous n'avons ni extincteur ni code de construction. Ce feu ne veut rien. Ce n'est pas une raison pour laisser les fenêtres ouvertes.

Références