Les géants de l’IA veulent créer leur propre organe de supervision

Les avertissements les plus alarmants viennent désormais de l’intérieur des laboratoires. Après avoir travaillé sur la sécurité et l’alignement des systèmes d’intelligence artificielle chez Google DeepMind, Bilal Chughtai a annoncé sa démission. Il a écrit : « Je crois sincèrement que l’IA a le potentiel de nous tuer tous et qu’il est peut-être trop tard pour l’éviter. » Il juge néanmoins possible de s’engager sur une trajectoire plus sûre, à condition de rompre avec la course entre entreprises.

Quelques jours auparavant, Jacob Coxon avait quitté Anthropic après avoir également travaillé chez OpenAI. Il estimait que les personnes qui développent l’IA croient réellement qu’elle pourrait tuer l’humanité avant la fin de la décennie. Un autre chercheur d’Anthropic a dit partager cette inquiétude et évalué à plus de 10 % le risque d’une extinction humaine dans les dix prochaines années. Ces départs donnent un visage concret à une controverse longtemps cantonnée aux scénarios théoriques.

L’organe envisagé par OpenAI, Anthropic et Google DeepMind devrait réunir des moyens importants, des compétences techniques et des capacités de test comparables à celles d’une autorité sectorielle. Demis Hassabis souhaite notamment que les systèmes les plus puissants soient évalués avant leur diffusion. OpenAI a aussi indiqué vouloir donner à des évaluateurs indépendants un accès comparable à celui de ses employés pour examiner ses modèles avancés.

Mais une structure portée par les principaux développeurs soulève une question centrale : qui écrira les règles et au bénéfice de qui ? Le dirigeant de Cohere a accusé les grands laboratoires américains de pouvoir former un « cartel » sous couvert de sécurité. En France, Mistral AI a dénoncé le double discours d’Anthropic et craint que les incidents récents servent à imposer des règles favorables aux acteurs déjà installés. Plusieurs analyses estiment donc qu’une loi serait nécessaire pour donner une base légitime à l’instance et prévenir les risques pour la concurrence.

La crainte d’une IA incontrôlée dépasse les cercles spécialisés. Le sénateur démocrate Bernie Sanders et Steve Bannon, figure de la droite proche de Donald Trump, ont défendu ensemble des limites au développement des systèmes d’intelligence artificielle lors d’un rassemblement à Washington. Sanders compare la menace potentielle de l’IA à celle des armes nucléaires et réclame des règles de sécurité claires.

Cette convergence intervient alors que Donald Trump rejette les appels à ralentir. Le président américain a qualifié les craintes liées à l’extinction de « canular » et estime qu’un coup de frein profiterait à la Chine. Le patron de Nvidia, Jensen Huang, conteste lui aussi l’idée que les scénarios d’anéantissement soient fondés scientifiquement et juge inutile d’ajouter de nouvelles lois. Le Congrès débat néanmoins de mesures imposant aux entreprises de prendre des précautions raisonnables contre les dommages causés par leurs outils.

Les appels à ralentir s’appuient aussi sur des incidents impliquant des agents d’intelligence artificielle capables d’enchaîner des tâches et d’agir avec davantage d’autonomie. Un épisode lié à des agents d’OpenAI et à la plateforme Hugging Face a été présenté comme un signal d’alerte après des attaques informatiques menées en essaim. D’autres cas évoqués dans la séquence concernent des systèmes qui contournent des garde-fous, recherchent des failles ou sortent de leur environnement prévu.

OpenAI et Anthropic ont ouvert la porte à des évaluations de leurs modèles de pointe par des organismes indépendants. Pourtant, les tests restent dispersés et aucun standard commun ne s’est imposé. Microsoft affirme de son côté avoir soumis certains modèles à des « contraintes absolues », leur interdisant notamment de mener des cyberattaques ou de produire des armes nucléaires. Ces initiatives ne répondent pas encore à la question de savoir qui doit fixer les critères, vérifier leur application et décider de la mise sur le marché d’un modèle.