Le personnel d'OpenAI a alerté le conseil d'administration sur des cyberdéfenses laxistes avant les débuts de ChatGPT, selon des informations

SAN FRANCISCO — Le personnel d'OpenAI a averti les hauts dirigeants et le conseil d'administration de l'entreprise pendant plusieurs années que les protections internes en matière de cybersécurité étaient déficientes, laissant le code logiciel propriétaire accessible à des acteurs externes bien avant les débuts publics de ChatGPT fin 2022, selon des informations rapportées par Ana Maria Constantin. Ces avertissements internes, qui se sont étalés sur plusieurs années alors que le développeur d'intelligence artificielle basé à San Francisco passait du statut de collectif de recherche spécialisé à celui de géant commercial de plusieurs milliards de dollars, ont révélé de profondes inquiétudes au sein du personnel technique quant à savoir qui pouvait consulter, modifier ou exfiltrer les bases de code fondamentales de l'entreprise.

## Key facts

- Le personnel technique a averti à plusieurs reprises la direction exécutive et le conseil d'administration d'OpenAI que les garde-fous de sécurité internes étaient insuffisants pour protéger les systèmes essentiels. - Les avertissements des employés se sont déroulés sur une période de plusieurs années précédant la sortie publique de ChatGPT en novembre 2022. - Des communications internes ont souligné que des contrôles d'accès poreux mettaient le code de modèle propriétaire d'OpenAI à la portée potentielle de parties externes non autorisées. - Les révélations font remonter les vulnérabilités de sécurité à une période où l'organisation fonctionnait selon une philosophie open source avant de commercialiser ses modèles génératifs. - Ces révélations surviennent dans un contexte de surveillance mondiale accrue concernant les implications pour la sécurité nationale des poids de modèles et des algorithmes sources d'intelligence artificielle de pointe.

## What happened

Selon les informations d'Ana Maria Constantin, le personnel d'OpenAI a systématiquement fait remonter des préoccupations techniques à la direction générale et au conseil d'administration de l'organisation, documentant des vulnérabilités dans la manière dont l'entreprise protégeait sa propriété intellectuelle et son infrastructure d'ingénierie. Les révélations ont souligné que les contrôles administratifs de base, les défenses périmétriques et les cadres de gestion des autorisations n'étaient pas suffisamment robustes pour restreindre les intrusions externes ou empêcher des acteurs non autorisés d'accéder à des répertoires vitaux.

Ces avertissements sont intervenus au cours d'une période charnière du développement d'OpenAI, antérieure au lancement de ChatGPT le 30 novembre 2022. Durant cette phase, les équipes d'ingénierie assemblaient les pipelines de données, les poids de modèles et l'infrastructure soutenant la série des Generative Pre-trained Transformer. Des membres du personnel ont averti que les architectures internes de l'entreprise ne reflétaient pas la posture défensive requise pour des technologies aux implications commerciales et géopolitiques profondes.

Loin d'une simple négligence opérationnelle isolée, les employés ont dépeint un environnement où la rapidité de la recherche et du déploiement des modèles prévalait systématiquement sur les contrôles administratifs. Les autorisations internes étaient structurées de manière lâche, accordant un accès étendu à des répertoires contenant du code d'entraînement de modèles propriétaires, des scripts de déploiement et des schémas d'architecture. Le personnel technique a averti les dirigeants que si un adversaire ou un tiers ciblait le réseau de l'entreprise, l'absence d'environnements segmentés et de gestion stricte des identifiants n'offrirait qu'une résistance minime face à la compromission de systèmes sensibles.

## Why it matters

La révélation selon laquelle OpenAI fonctionnait avec des contrôles internes fragiles pendant l'incubation de ses modèles les plus influents entraîne des répercussions aiguës pour la gouvernance d'entreprise, les clients professionnels et les responsables des politiques de sécurité nationale. OpenAI n'est pas un simple éditeur de logiciels ; ses systèmes soutiennent les opérations d'entreprises dans la santé, la finance, la défense et les infrastructures publiques. Lorsqu'une entité détenant certains des poids algorithmiques les plus performants au monde ne parvient pas à mettre en œuvre une sécurité opérationnelle de base, le rayon d'impact d'une violation potentielle s'étend bien au-delà des pertes financières de l'entreprise.

Du point de vue de la sécurité nationale, les modèles d'IA de pointe constituent une technologie à double usage. Des poids avancés et du code d'architecture peuvent accélérer des cyberopérations offensives, des évaluations de conception biologique et des campagnes de désinformation. Les agences de renseignement étatiques, en particulier dans les juridictions soumises aux contrôles d'exportation occidentaux comme la Chine, la Russie, l'Iran et la Corée du Nord, considèrent les paramètres des modèles frontières comme des cibles de premier choix pour l'espionnage industriel. Si le code sous-jacent était stocké dans des environnements peu surveillés, des acteurs étrangers non autorisés ont pu disposer de fenêtres d'opportunité pour examiner ou dérober de la propriété intellectuelle fondamentale.

Pour les entreprises commerciales dépendant d'OpenAI via des interfaces de programmation d'application (API) et des accords d'entreprise, cette révélation fragilise les assurances relatives au confinement des données et à l'intégrité de la chaîne d'approvisionnement. Les responsables de la conformité d'entreprise exigent une vérification rigoureuse garantissant que les environnements des fournisseurs sont conformes aux normes d'entreprise, telles que les certifications SOC 2 Type II et les contrôles ISO/IEC 27001. La preuve que la direction a négligé des alertes internes persistantes concernant les contrôles de périmètre intensifiera la pression de la part des acheteurs d'entreprise, des partenaires commerciaux et des adversaires juridiques qui doivent s'assurer que leurs données d'entrée propriétaires et leurs données d'entraînement sont protégées contre toute exposition collatérale.

## The background

OpenAI a été créée en décembre 2015 en tant que laboratoire de recherche à but non lucratif en intelligence artificielle, fondé par des personnalités telles que Sam Altman, Elon Musk, Greg Brockman, Ilya Sutskever et Wojciech Zaremba. La charte initiale engageait l'organisation à faire progresser l'intelligence numérique au bénéfice de l'humanité, en mettant explicitement l'accent sur la transparence, la publication de code open source et la collaboration. Dans ses premières versions, le partage d'articles de recherche, de répertoires GitHub et de poids ouverts était considéré comme central dans l'éthique institutionnelle, créant une culture d'ingénierie qui privilégiait le partage communautaire au détriment du secret d'entreprise.

Cette posture fondatrice a radicalement changé en mars 2019, lorsque l'organisation s'est restructurée pour introduire une filiale commerciale à « profit plafonné », OpenAI LP, conçue pour attirer les capitaux considérables nécessaires à la location de grappes de supercalculateurs de niveau entreprise. Cette même année, Microsoft Corporation a engagé un investissement initial de 1 milliard de dollars, un partenariat qui s'est élargi d'un montant rapporté de 10 milliards de dollars début 2023. Tandis qu'OpenAI opérait sa transition vers la concurrence commerciale face à Google (filiale d'Alphabet) et Anthropic, elle a commencé à retenir son code source, ses poids de modèles et les architectures spécifiques de ses jeux de données, ce qui a culminé avec la sortie fermée de GPT-4 en mars 2023.

Cependant, l'infrastructure technique ne se transforme pas instantanément au rythme des restructurations juridiques de l'entreprise. Alors que le positionnement externe d'OpenAI s'est métamorphosé en celui d'un mastodonte commercial adepte du secret, la gestion interne des accès a fréquemment accusé un retard sur la croissance de l'entreprise. Des décalages de trajectoire similaires se sont produits dans l'ensemble du secteur à forte croissance de la Silicon Valley. Par exemple, l'ancien responsable de la sécurité de Twitter, Peiter Zatko, a déposé une plainte de lanceur d'alerte auprès de la U.S. Securities and Exchange Commission (SEC) en 2022, détaillant comment des milliers d'ingénieurs conservaient un accès sans entrave à des systèmes de production sensibles et aux commandes centrales de la plateforme sans journalisation adéquate.

Le cadre réglementaire s'est nettement durci face à ces angles morts sectoriels. En octobre 2023, le président américain Joe Biden a publié le décret exécutif 14110 sur une intelligence artificielle sûre, sécurisée et digne de confiance, invoquant le Defense Production Act pour contraindre les développeurs de modèles frontières à partager les résultats de sécurité issus d'exercices de « red teaming » ainsi que leurs mesures de cybersécurité avec le gouvernement fédéral. Dans le même temps, la Cybersecurity and Infrastructure Security Agency (CISA) et des partenaires internationaux ont publié des lignes directrices conjointes exhortant les développeurs d'intelligence artificielle à adopter des principes de sécurité dès la conception (« secure-by-design »), désignant la gestion des menaces internes et les contrôles d'accès basés sur les rôles comme des exigences de base non négociables.

## Reaction

Aucune réponse officielle d'entreprise aux informations spécifiques rapportées par Ana Maria Constantin n'a été publiée par OpenAI ou son conseil d'administration. Lors de précédents cas de critiques opérationnelles, les porte-parole d'OpenAI ont généralement mis en avant leurs investissements continus dans l'ingénierie de sécurité d'entreprise, les programmes de primes aux failles (« bug bounty ») et les mécanismes d'audit interne, bien qu'ils aient régulièrement refusé de débattre sur la place publique des avertissements passés d'employés.

Les commissions du Congrès axées sur la sécurité nationale, le renseignement et le commerce devraient examiner de près ces révélations. La commission sénatoriale spéciale sur le renseignement (U.S. Senate Select Committee on Intelligence) et la commission de la Chambre des représentants sur la science, l'espace et la technologie (House Committee on Science, Space, and Technology) se sont de plus en plus penchées sur la manière dont les développeurs d'IA frontière défendent leurs actifs numériques contre l'espionnage étranger. Compte tenu des enquêtes législatives existantes sur les politiques relatives aux lanceurs d'alerte, le confinement technologique et les contrôles des exportations sur la puissance de calcul avancée, les législateurs sont susceptibles de demander des séances d'information officielles à la direction exécutive afin de déterminer si du code propriétaire a été activement compromis au cours de la période concernée.

Des pairs de l'industrie et des chercheurs en cybersécurité ont exprimé une inquiétude constante quant à la tension entre la commercialisation rapide de l'IA générative et la rigueur défensive. Les organisations de la société civile axées sur la transparence algorithmique et la responsabilité des entreprises devraient s'appuyer sur ces révélations pour réclamer des audits externes indépendants et légalement obligatoires de l'infrastructure d'entreprise des acteurs de l'IA frontière, faisant valoir que l'autorégulation commerciale échoue lorsque les délais de livraison des produits entrent en collision avec l'hygiène des infrastructures.

## What we don't know yet

Plusieurs éléments cruciaux de la situation demeurent non vérifiés. Il n'est pas établi publiquement si des acteurs malveillants externes ou des groupes de menaces persistantes avancées (APT) parrainés par des États ont réussi à accéder, consulter ou exfiltrer les bases de code d'OpenAI à la suite de ces vulnérabilités documentées. Démontrer que les contrôles d'accès étaient faibles ne confirme pas qu'une intrusion active a eu lieu, laissant un écart important entre une vulnérabilité démontrable et une violation tangible.

En outre, l'identité précise des dirigeants et des membres du conseil d'administration ayant reçu ces avertissements, ainsi que la nature de leurs réponses, demeurent confidentielles. Les informations publiées ne précisent pas si la direction a formellement rejeté les avertissements techniques, alloué des budgets d'ingénierie défensive qui se sont révélés insuffisants ou engagé des révisions correctives retardées par des priorités d'ingénierie concurrentes. Surtout, l'étendue des bases de code concernées — qu'elles se soient limitées à des bancs d'essai expérimentaux ou qu'elles aient englobé le code central d'entraînement des transformers et les configurations d'hyperparamètres — reste inconnue. Clarifier si ces défaillances ont été corrigées avant les partenariats commerciaux ultérieurs avec des clients professionnels s'avère indispensable pour évaluer le risque opérationnel actuel.

## What to watch

La portée de cette révélation dépendra de plusieurs étapes réglementaires et institutionnelles imminentes. Il conviendra de surveiller si d'anciens employés soumettent des signalements formels de lanceurs d'alerte aux autorités fédérales, telles que la Federal Trade Commission (FTC) ou la SEC, alléguant des déclarations trompeuses sur les contrôles de sécurité de l'entreprise auprès des investisseurs ou des consommateurs. La SEC applique des règles régissant la manière dont les entités cotées et les cibles d'investissement d'envergure gèrent les risques de cybersécurité et la surveillance du conseil d'administration.

À Washington, les observateurs devront suivre de près si les organes de surveillance du Congrès ouvrent des enquêtes formelles ou convoquent des dirigeants d'OpenAI à témoigner sur les défenses des infrastructures et la sécurité des modèles à double usage. De plus, tout changement de posture publique de la part des principaux soutiens institutionnels, en particulier Microsoft, servira d'indicateur de la réaction des entreprises ; des partenaires commerciaux pourraient exiger des tests d'intrusion tiers indépendants et des audits administratifs obligatoires de l'architecture.

Enfin, le secteur technique surveillera les mises à jour des certifications de conformité publiques et des livres blancs sur la sécurité d'OpenAI. La précision avec laquelle l'entreprise détaillera les modifications apportées à ses cadres de gestion des identités et des accès (IAM), à ses contrôles basés sur les rôles et à ses déploiements « zero-trust » révélera si les pratiques organisationnelles passées ont été définitivement abandonnées.

Ce rapport s'appuie sur des informations originales rapportées par Ana Maria Constantin.