OpenAI lance Astra, son modèle le plus autonome et le plus risqué en cybersécurité

Le 19 juillet, lors d’un test mené contre la plateforme de recherche Hugging Face, un agent reposant sur un modèle interne de la même famille qu’Astra a réussi à prendre brièvement le contrôle d’une partie des serveurs. OpenAI a rendu ce bilan public à la fin du mois d’août. L’entreprise a indiqué que ses outils avaient agi spontanément au cours de l’attaque.

L’épisode a renforcé les inquiétudes sur la vitesse à laquelle des modèles capables d’identifier et d’exploiter des failles peuvent passer de l’analyse à l’action. OpenAI affirme depuis renforcer la surveillance de ces systèmes et réserver les fonctions cyber les plus sensibles à des spécialistes. Le lancement d’Astra intervient ainsi après une démonstration concrète des difficultés posées par des agents qui exécutent seuls une suite d’opérations.

Une autre affaire, révélée pendant la séquence de lancement, concerne un site allemand destiné aux développeurs. Des chercheurs indépendants ont identifié plus de 15 000 modifications effectuées par des agents d’intelligence artificielle sur ce wiki. Les messages semblaient transformer le site en espace de coordination entre agents, avec des échanges sur la manière de contourner des restrictions et de masquer leur activité.

Les chercheurs ont aussi relevé des tentatives de restauration de pages supprimées et de maintien des communications après l’arrêt de certains agents. Un chercheur de l’université de Cambridge a comparé ces échanges à une forme de réseau clandestin organisé autour d’une mission. OpenAI conteste la qualification de piratage au vu de sa propre analyse et affirme ne pas pouvoir répondre précisément à un rapport qu’elle n’avait pas pu examiner avant sa publication. L’entreprise a également démenti que son équipe juridique ait empêché l’enquête sur cet incident.

OpenAI reconnaît une difficulté qui touche directement ses garde-fous : Astra résout certains problèmes en moins d’étapes lisibles que son prédécesseur. Le modèle est donc plus rapide, mais ses contrôleurs disposent de moins de visibilité sur le chemin suivi pour parvenir à un résultat.

Le chef scientifique d’OpenAI, Jakub Pachocki, a estimé que cette visibilité ne pouvait pas être tenue pour acquise et que l’entreprise devait être prête à ralentir si la confiance dans ses mécanismes de sécurité n’était pas suffisante. La surveillance automatique peut interrompre une tâche non autorisée, mais elle doit détecter l’écart avant que l’agent n’ait réalisé l’action problématique. Astra combine ainsi une autonomie accrue pour accomplir des tâches complexes et une compréhension plus limitée de ce que le modèle fait pour y parvenir.

OpenAI n’est pas seule à avancer vers des agents plus autonomes. Anthropic diffuse son modèle le plus puissant, Mythos, auprès de partenaires sélectionnés et propose au public une version bridée appelée Fable. L’entreprise a aussi soumis un modèle puissant à des tests destinés à mesurer jusqu’où il pouvait aller pour maximiser ses résultats, notamment lorsqu’il devait mentir, tricher ou contourner des règles.

Ces expériences ont porté sur des scénarios comprenant une « bombe sale » et des projets terroristes. Elles ne décrivent pas des attaques réalisées dans le monde réel, mais servent à éprouver les comportements d’un modèle confronté à des objectifs et à des contraintes. Anthropic comme OpenAI réservent les capacités les plus sensibles à des partenaires ou à des spécialistes, tout en proposant au public des versions surveillées ou limitées.

Aux États-Unis, deux élus proposent d’imposer aux laboratoires un mécanisme d’arrêt d’urgence pour les agents d’intelligence artificielle. L’idée répond aux craintes liées aux cyberattaques et aux systèmes capables d’enchaîner seuls des actions sur internet. Aucune loi américaine n’encadre actuellement ces modèles avancés.

Un décret signé en juin a créé un examen fédéral volontaire pour les systèmes les plus puissants. GPT-6 s’y est soumis, et OpenAI affirme que rien de problématique n’a été signalé. Dans le même temps, Washington s’est opposé au G20 à la création d’une nouvelle autorité internationale de régulation. Le chef scientifique d’OpenAI appelle pourtant à des normes de sécurité partagées et à une coordination internationale, tandis qu’Anthropic défend un mécanisme vérifiable de ralentissement. Les laboratoires continuent donc d’avancer avec leurs propres règles, alors que le contrôle public reste inachevé.