Alors que nous étions nombreux à nous inquiéter ces derniers jours de voir notre président mettre fin à un «civilisation entière« , prévenait une entreprise technologique de la Silicon Valley, sans préavis, cela pourrait accidentellement perturber tous civilisation telle que nous la connaissons.

La société technologique de San Francisco, Anthropic, a annoncé mardi qu’elle n’était pas en lançant une nouvelle version de son super-cerveau Claude AI – parce qu’il est si puissant qu’il a la capacité de pirater à peu près n’importe quel système informatique, aussi sécurisé soit-il, en quelques jours, voire quelques heures.

« Les conséquences – pour les économies, la sécurité publique et la sécurité nationale – pourraient être graves », a déclaré Anthropic. a déclaré dans un communiqué.

L’inquiétude liée à l’IA n’a rien de nouveau. Nous sommes inquiets de voir l’intelligence artificielle prendre des emplois, de jouets qui semblent trop réels à nos enfants, de la surveillance massive de chacun de nos mouvements. Mais l’avertissement d’Anthropic concernant son propre produit est plus important que n’importe lequel de ces problèmes singuliers. C’est un appel venant de l’intérieur de la maison que le désastre se cache au coin de la rue. Cela semble terriblement désastreux et exagéré, je sais. Mais voici le problème : ce n’est pas le cas.

Anthropic, vous vous en souviendrez peut-être, est la société que le secrétaire américain à la « Guerre » Pete Hegseth est en train de se battre avec parce qu’il ne voulait pas que Claude aille au combat sans supervision et fasse peut-être quelque chose comme bombarder accidentellement des petites filles dans une école.

Maintenant, cette société a publié ceci avertissement de refroidissement : Le Claude existant qui a provoqué ce brouhaha est obsolète et scandaleusement moins puissant que le nouveau qu’il s’efforce de ne pas déclencher – bien que ce nouveau Claude, surnommé Claude Mythos Aperçus’est déjà enfui au moins une fois par ses propres moyens. Nous en parlerons davantage dans un instant : il n’y a qu’une certaine peur existentielle qu’une personne puisse gérer.

« Nous devrions tous nous inquiéter », m’a dit Roman Yampolskiy à propos de cette dernière avancée technologique qui changera certainement le cours de l’humanité. C’est l’un des chercheurs éminents en matière de sécurité de l’IAet professeur à l’Université de Louisville dans le Kentucky.

« Nous sommes sur le observation de créer une superintelligence générale et cela menace l’humanité dans son ensemble », a déclaré Yampolskiy.

« Tout le reste n’a pas d’importance », a-t-il ajouté, avant de suggérer que j’arrête de me traiter d’idiot parce que je ne comprends pas les aspects technologiques de ce débat. Ma vision simpliste, m’a-t-il assuré, était « une façon raisonnable de l’expliquer ».

Alors voilà.

Il ne s’agit pas d’un scénario selon lequel « des génies informatiques vraiment intelligents pourraient en abuser », ni d’un scénario «tout le monde va être au chômage» ou même un scénario « il pourrait accidentellement bombarder des enfants », ce qui est un scénario vraiment terrible.

Il s’agit d’un scénario « votre fils adolescent pourrait l’utiliser pour s’introduire dans le système scolaire local afin de changer de classe avec des connaissances quasiment minimales et détruire accidentellement le réseau électrique californien ».

Ou peut-être qu’un pays qui ne nous aime pas – je pense à quelques-uns – pourrait vider le compte bancaire de chaque citoyen américain, tout en ouvrant les serrures automatiques des cellules de prison, en fermant nos usines d’épuration et en prenant en charge les systèmes de contrôle de l’air. Ou peut-être que Claude Mythos fait ça tout seul.

Par exemple, Anthropique a dit que dans un système d’exploitation populaire qu’il a testé et utilisé par des milliers d’entreprises, dont Netflix et Sony, Claude Mythos a trouvé une faille qui existait non détectée depuis 17 ans. Puis, par lui-même – sans conseils ni aide humaine – il a compris comment utiliser cette faille pour prendre le contrôle de n’importe quel serveur exécutant le système d’exploitation, en utilisant n’importe quel ordinateur, n’importe où dans le monde.

Je ne fais que cracher ici, mais si presque aucun système de sécurité n’est sûr, les possibilités de chaos social, financier et général sont réellement illimitées. Et pour être honnête, n’importe quel expert en sécurité vous dira que certains des plus grands points faibles de l’Amérique en matière de cybersécurité sont les gouvernements locaux et étatiques, car étrangement, les meilleurs experts n’occupent pas des emplois à cinq chiffres pour les villes des Grandes Plaines.

Sur la base de ses propres tests, Anthropique prédit il pourrait découvrir « plus d’un millier de vulnérabilités de gravité critique supplémentaires et des milliers de vulnérabilités de gravité supplémentaire supplémentaires ».

Cela signifie que Claude Mythos met en danger notre infrastructure, enfin, partout – parce que tant de choses sont connectées de manière détournée que la plupart d’entre nous n’envisagent jamais et qu’il suffit d’un système faible pour ouvrir la porte à des centaines d’autres. Mais il est presque impossible de protéger et de réparer tous ces systèmes assez rapidement et de manière suffisamment robuste pour se prémunir contre ce type d’IA.

Et il ne s’agit là que du risque de cybersécurité, a déclaré Yampolskiy. Une IA dotée des capacités de Claude Mythos pourrait être utilisée à pas de géant de bien d’autres façons.

« Nous voyons la même chose se produire avec la biologie synthétique. Nous verrons la même chose avec les armes chimiques, peut-être quelque chose de nouveau en termes d’armes de destruction massive », a-t-il déclaré.

Au grand honneur d’Anthropic, il a sonné l’avertissement concernant sa création et a créé, sinon une solution, du moins une sorte de plan de match – Projet Aile de Verrenommé, je suppose, parce que peu importe à quel point cela devient grave, nous allons faire en sorte que cela ressemble à un thriller avec une fin passionnante.

Projet Aile de Verre aurait été mieux nommé Project Headstart parce que c’est ce dont il s’agit. Avant de diffuser Mythos dans la nature, Anthropic le propose à environ 40 entreprises technologiques, dont Apple, Google et Nvidia, pour voir si elles peuvent collectivement corriger toutes les vulnérabilités qu’elles découvrent avant que le grand public n’ait une chance de les découvrir. C’est un peu comme dans les films où le tueur donne 15 secondes à la victime pour s’enfuir.

Je veux dire, je vais prendre les 15 secondes et j’espère qu’elles sont réelles. Mais, comme l’a également déclaré Anthropic dans un communiqué, « le travail de défense de la cyberinfrastructure mondiale pourrait prendre des années ; les capacités d’IA de pointe devraient progresser considérablement au cours des prochains mois seulement. Pour que les cyberdéfenseurs obtiennent l’avantage, nous devons agir maintenant ».

Et avons-nous vraiment 15 secondes ? L’un des surveillants de Claude Mythos a récemment publié sur les réseaux sociaux qu’il déjeunait dans un parc lorsque Mythos lui a envoyé un e-mail – même s’il n’est pas censé avoir accès à Internet. Les chercheurs avaient chargé Mythos d’essayer de sortir de son « bac à sable » non connecté et il l’a fait.

C’est un autre problème avec Mythos et autres IA — ils font rarement ce que nous attendons et trouve des moyens sournois de contourner les règles. Il a été démontré que pratiquement tous les super-cerveaux d’IA créés mentent, trompent et, en général, se comportent de manière dérangeante et contraire à l’éthique lorsqu’ils sont placés dans les bonnes conditions.

Même Claude, présenté comme l’un des super-cerveaux d’IA les plus éthiques, adopte un mauvais comportement. Des atouts anthropiques c’est le « modèle le mieux aligné » qu’il ait jamais créé – ce qui est un langage technique pour suivre les valeurs et les intentions humaines, mais reconnaît également qu’il « pose probablement le plus grand risque lié à l’alignement », ce qui est un langage technique pour, eh bien, peut-être pas.

Donc, au moins pour l’instant, être le super-cerveau d’IA le plus éthique, c’est un peu comme être le tueur en série le plus éthique. Courez, les gens, courez.

Encore merci Anthropic (et ses directeur général, Dario Amodeiqui met souvent en garde contre les dangers de ce qu’il crée, quelle que soit sa valeur) pour ne pas nous plonger dans le chaos mondial sans avertissement, car je parie que d’autres entreprises auraient pu simplement lancer leur super-IA sur la société et laisser la destruction tomber là où elle peut. Il ne fait aucun doute que d’autres cerveaux d’IA aussi performants que Mythos arriveront bientôt – Anthropic a été le premier avec ce niveau de capacité, mais il n’a que 15 secondes d’avance sur ses concurrents.

Mais l’idée selon laquelle l’industrie technologique va – ou devrait – résoudre ces problèmes par elle-même est une abdication absurde et flagrante du devoir et du bon sens de la part des gouvernements, petits et grands, pour protéger leurs citoyens. Il ne s’agit pas d’une course à la domination comme l’a décrit le président Trump. Il s’agit d’une course pour nous protéger de nous-mêmes – et de la majorité des titans super riches de l’industrie qui semblent systématiquement placer les affaires et le commerce avant le bien de la société.

Il ne reste plus que 15 secondes avant que l’IA ne change tout. Soit nous exigeons une surveillance et une réglementation dès maintenant, soit nous laissons les entreprises technologiques décider du sort du monde.