Altman a continué à vanter l’engagement d’OpenAI en faveur de la sécurité, en particulier lorsque les recrues potentielles étaient à portée de voix. Fin 2022, quatre informaticiens ont publié un bulletin motivé en partie par des préoccupations concernant un « alignement trompeur », dans lequel des modèles suffisamment avancés pourraient prétendre se comporter correctement lors des tests puis, une fois déployés, poursuivre leurs propres objectifs. (C’est l’un des nombreux scénarios d’IA qui ressemblent à de la science-fiction, mais, dans certaines conditions expérimentales, cela se produit déjà.) Quelques semaines après la papier de l’article, l’un de ses auteurs, un doctorat. étudiant à l’Université de Californie à Berkeley, a reçu un e-mail d’Altman, qui se disait de plus en plus préoccupé par la menace d’une IA non alignée. Il a ajouté qu’il envisageait d’engager un milliard de dollars dans ce problème, que de nombreux experts en IA considèrent comme le problème non résolu le plus important au monde, potentiellement en dotant un prix pour inciter les chercheurs du monde entier à l’étudier. Bien que l’étudiant diplômé ait « entendu de vagues rumeurs selon lesquelles Sam était glissant », nous a-t-il dit, la démonstration d’engagement d’Altman l’a convaincu. Il a pris un congé académique pour rejoindre OpenAI.

Mais, au fil de plusieurs rencontres au printemps 2023, Altman a semblé vaciller. Il a arrêté de parler de doter un prix. Au lieu de cela, il a préconisé la création d’une « équipe de superalignement » interne. Une annonce officielle, faisant référence aux réserves de puissance de calcul de l’entreprise, promettait que l’équipe obtiendrait « 20 % du calcul que nous avons sécurisé à ce jour », une ressource potentiellement valant plus d’un milliard de dollars. Cet effort était nécessaire, selon l’annonce, car, si l’alignement n’était pas résolu, l’AGI pourrait « conduire à la perte de pouvoir de l’humanité, voire à son extinction ». Jan Leike, qui a été nommé pour diriger l’équipe de Sutskever, nous a déclaré : « C’était un outil de rétention assez efficace ».

L’engagement de vingt pour cent s’est toutefois évaporé. Quatre personnes qui ont travaillé au sein ou en étroite collaboration avec l’équipe ont déclaré que les ressources réelles représentaient entre un et deux pour cent du calcul de l’entreprise. De plus, un chercheur de l’équipe a déclaré : « la plupart des calculs de superalignement concernaient en fait le cluster le plus ancien doté des pires puces ». Les chercheurs pensaient que le matériel informatique de qualité supérieure était réservé aux activités génératrices de profits. (OpenAI conteste cela.) Leike s’est plaint à Murati, alors directeur de la technologie de l’entreprise, mais elle lui a dit d’arrêter d’insister – cet engagement n’avait jamais été réaliste.

À cette époque, nous a dit un ancien employé, Sutskever « recevait une super pilule de sécurité ». Au début d’OpenAI, il considérait les inquiétudes concernant les risques catastrophiques comme légitimes mais lointaines. Maintenant qu’il en arrivait à croire que l’AGI était imminente, ses inquiétudes devenaient plus aiguës. Il y a eu une réunion à tous, a poursuivi l’ancien employé, « au cours de laquelle Ilya se lève et dit: « Hé, tout le monde, il y aura un moment dans les prochaines années où pratiquement tout le monde dans cette entreprise devra se consacrer au travail sur la sécurité, sinon nous serons foutus. » Mais l’équipe du superalignement fut dissoute l’année suivante, sans avoir achevé sa mission.

À ce moment-là, des messages internes montrent que les dirigeants et les membres du conseil d’administration en étaient venus à croire que les omissions et les tromperies d’Altman pourraient avoir des conséquences sur la sécurité des produits d’OpenAI. Lors d’une réunion en décembre 2022, Altman a assuré aux membres du conseil d’administration qu’une variété de fonctionnalités d’un prochain modèle, GPT-4, avaient été approuvées par un comité de sécurité. Toner, membre du conseil d’administration et expert en politique de l’IA, a demandé de la documentation. Elle a appris que les fonctionnalités les plus controversées – celle qui permettait aux utilisateurs de « peaufiner » le modèle pour des tâches spécifiques et une autre qui le déployait comme assistant personnel – n’avaient pas été approuvées. Alors que McCauley, membre du conseil d’administration et entrepreneur, quittait la réunion, un employé l’a prise à part et lui a demandé si elle était au courant de « la brèche » en Inde. Altman, au cours de nombreuses heures de briefing avec le conseil d’administration, avait négligé de mentionner que Microsoft avait publié une première version de ChatGPT en Inde sans effectuer l’examen de sécurité requis. « Cela a simplement été complètement ignoré », a déclaré Jacob Hilton, chercheur chez OpenAI à l’époque.