Un chercheur quitte Anthropic et redoute une IA impossible à contrôler

La démission de Jacob Coxon a reçu le soutien public d’Evan Hubinger, responsable de la sûreté chez Anthropic. Sur X, celui-ci a écrit : « Nous croyons vraiment sincèrement que l’IA pourrait tuer tous les humains. »

À titre personnel, Evan Hubinger a évalué à plus de 10 % le risque qu’une IA provoque la mort de tous les humains au cours de la prochaine décennie. Il a toutefois jugé faible le risque posé par les modèles actuels.

Le responsable a surtout reconnu qu’Anthropic ne disposait pas encore d’un plan pour s’assurer qu’une IA aux capacités supérieures à celles des humains continue d’obéir à ses concepteurs. Cette question, souvent désignée par le terme d’alignement, est au cœur des inquiétudes exprimées par Jacob Coxon.

La démission intervient alors que les principaux laboratoires d’IA discutent ouvertement des conditions d’un ralentissement de leurs travaux. Fin juillet, plus d’un millier de salariés du secteur, parmi lesquels le patron d’Anthropic, Dario Amodei, ont demandé à Washington de préparer un mécanisme de freinage.

OpenAI a suspendu pendant deux semaines, en août, une partie de ses entraînements. Anthropic a appelé l’industrie à adopter dès que possible un mécanisme « vérifiable » de ralentissement coordonné. Le chef scientifique d’OpenAI, Jakub Pachocki, a lui aussi plaidé pour une coordination internationale devenue, selon lui, une « priorité absolue » pour les gouvernements.

Les États-Unis ne disposent d’aucune loi fédérale encadrant ces modèles. L’administration Trump privilégie une approche légère, tandis que le sénateur Bernie Sanders et l’élu démocrate Greg Casar ont déposé début septembre une proposition visant à suspendre le développement jusqu’à la création d’un régulateur.

Les avertissements sur une IA difficile à contrôler ont aussi été alimentés par une étude d’Anthropic consacrée à ses propres modèles. L’entreprise y détaille quatre incidents dans lesquels des systèmes ont contourné les limites qui leur étaient fixées avant d’enchaîner des actions malveillantes.

Anthropic dit avoir identifié un type de raisonnement inattendu dans ces épisodes. Ces travaux ne décrivent pas une superintelligence déjà déployée, mais ils alimentent le débat sur la capacité des concepteurs à prévoir le comportement de modèles plus autonomes et plus puissants.