Сотрудники OpenAI предупреждали совет директоров о слабой киберзащите еще до дебюта ChatGPT, свидетельствуют отчеты

САН-ФРАНЦИСКО — Сотрудники OpenAI на протяжении нескольких лет предупреждали высшее руководство и совет директоров компании о недостаточности внутренних мер кибербезопасности, из-за чего проприетарный программный код оставался доступным для внешних лиц задолго до публичного дебюта ChatGPT в конце 2022 года, сообщает Ana Maria Constantin. Эти внутренние предупреждения, звучавшие на протяжении нескольких лет, пока базирующийся в Сан-Франциско разработчик искусственного интеллекта трансформировался из нишевого исследовательского коллектива в многомиллиардного коммерческого гиганта, вскрыли глубокую обеспокоенность технических специалистов относительно того, кто мог просматривать, модифицировать или похищать базовые кодовые базы компании.

## Key facts

- Технические специалисты неоднократно уведомляли руководство OpenAI и совет директоров о неадекватности внутренних мер безопасности для защиты ключевых систем. - Предупреждения от сотрудников поступали на протяжении нескольких лет, предшествовавших публичному релизу ChatGPT в ноябре 2022 года. - Внутренняя переписка свидетельствовала о том, что уязвимый контроль доступа оставлял проприетарный код моделей OpenAI в пределах потенциальной досягаемости неавторизованных внешних сторон. - Обнародованные данные связывают уязвимости безопасности с периодом, когда организация функционировала в рамках идеологии открытого исходного кода, до коммерциализации своих генеративных моделей. - Разоблачения появились на фоне растущего глобального внимания к последствиям для национальной безопасности, связанным с передовыми весами искусственного интеллекта и базовыми алгоритмами.

## What happened

Согласно сообщению Ana Maria Constantin, сотрудники OpenAI систематически доводили технические опасения до сведения высшего руководства и управляющего совета организации, документируя уязвимости в механизмах защиты интеллектуальной собственности и инженерной инфраструктуры компании. В материалах подчеркивалось, что базовые административные механизмы контроля, защита периметра и структуры управления правами доступа были недостаточно надежными, чтобы ограничить внешнее проникновение или предотвратить доступ посторонних лиц к критически важным репозиториям.

Эти предупреждения звучали в ключевой период развития OpenAI, предшествовавший запуску ChatGPT 30 ноября 2022 года. На этом этапе инженерные группы формировали конвейеры данных, веса моделей и инфраструктуру, обеспечивающую серию Generative Pre-trained Transformer. Сотрудники предостерегали, что внутренние архитектуры компании не соответствуют уровню защищенности, необходимому для технологий с серьезными коммерческими и геополитическими последствиями.

Вместо единичной операционной оплошности сотрудники описывали среду, в которой скорость исследований и развертывания моделей неизменно превалировала над административными барьерами. Внутренние права доступа распределялись без должного контроля, предоставляя широкий доступ к репозиториям, содержащим проприетарный код для обучения моделей, скрипты развертывания и архитектурные схемы. Технический персонал предупреждал руководство корпорации о том, что в случае атаки противника или третьих лиц на сеть компании отсутствие сегментации сред и строгой аутентификации окажет минимальное сопротивление компрометации критически важных систем.

## Why it matters

Тот факт, что OpenAI работала с уязвимым внутренним контролем в период создания своих наиболее влиятельных моделей, влечет за собой серьезные последствия для корпоративного управления, корпоративных клиентов и лиц, определяющих политику национальной безопасности. OpenAI — не просто поставщик программного обеспечения; ее системы лежат в основе корпоративных операций в здравоохранении, финансах, обороне и общественной инфраструктуре. Когда структура, владеющая одними из самых совершенных алгоритмических весов в мире, не обеспечивает базовую операционную безопасность, масштабы последствий потенциальной утечки выходят далеко за рамки финансовых потерь компании.

С точки зрения национальной безопасности ведущие модели ИИ представляют собой технологию двойного назначения. Продвинутые веса и архитектурный код могут ускорить наступательные кибероперации, исследования в области биоинженерии и кампании по дезинформации. Государственные разведывательные службы, особенно в юрисдикциях, подпадающих под действие западного экспортного контроля, таких как Китай, Россия, Иран и Северная Корея, рассматривают параметры передовых моделей как приоритетные цели для промышленного шпионажа. Если базовый код хранился в слабо контролируемых средах, у неавторизованных иностранных субъектов могло возникнуть окно возможностей для изучения или кражи фундаментальной интеллектуальной собственности.

Для коммерческих предприятий, использующих решения OpenAI через программные интерфейсы (API) и корпоративные соглашения, это разоблачение подрывает гарантии изоляции данных и целостности цепочки поставок. Специалисты по комплаенсу требуют строгой проверки соответствия сред поставщика корпоративным стандартам, таким как сертификация SOC 2 Type II и средства контроля ISO/IEC 27001. Свидетельства того, что руководство пренебрегало постоянными внутренними предупреждениями о средствах защиты периметра, усилят давление со стороны корпоративных покупателей, партнеров и процессуальных оппонентов, которые обязаны гарантировать защиту своих проприетарных вводных данных и обучающих выборок от сопутствующих утечек.

## The background

OpenAI была основана в декабре 2015 года как некоммерческая исследовательская лаборатория искусственного интеллекта такими фигурами, как Sam Altman, Elon Musk, Greg Brockman, Ilya Sutskever и Wojciech Zaremba. Первоначальный устав обязывал организацию развивать цифровой интеллект на благо человечества, делая явный акцент на прозрачности, публикации открытого исходного кода и сотрудничестве. На ранних этапах публикация научных статей, репозиториев GitHub и открытых весов считалась основой институциональной этики, сформировав инженерную культуру, ставившую коллективный обмен выше корпоративной секретности.

Эта исходная позиция кардинально изменилась в марте 2019 года, когда организация реструктурировалась, создав коммерческую дочернюю структуру с ограничением прибыли — OpenAI LP, призванную привлечь значительный капитал, необходимый для аренды суперкомпьютерных кластеров корпоративного уровня. В том же году Microsoft Corporation выделила первоначальные инвестиции в размере $1 billion; по имеющимся данным, в начале 2023 года это партнерство расширилось еще на $10 billion. По мере перехода OpenAI к коммерческой конкуренции с Google (холдинг Alphabet) и Anthropic компания начала закрывать исходный код, веса моделей и конкретные архитектуры наборов данных, кульминацией чего стал закрытый релиз GPT-4 в марте 2023 года.

Однако техническая инфраструктура не трансформируется мгновенно вслед за корпоративно-правовыми реорганизациями. В то время как внешнее позиционирование OpenAI сменилось на образ скрытного коммерческого гиганта, внутреннее управление доступом зачастую отставало от роста корпорации. Подобные структурные дисбалансы наблюдались по всему быстрорастущему сектору Silicon Valley. К примеру, бывший глава службы безопасности Twitter Peiter Zatko в 2022 году подал жалобу информатора в U.S. Securities and Exchange Commission (SEC), подробно описав, как тысячи инженеров сохраняли неограниченный доступ к конфиденциальным производственным системам и ключевым элементам управления платформой без надлежащего ведения журналов событий.

Регуляторная среда значительно ужесточилась в ответ на эти системные пробелы в отрасли. В октябре 2023 года президент США Joe Biden издал указ Executive Order 14110 о безопасном, надежном и заслуживающем доверия искусственном интеллекте, задействовав Defense Production Act, чтобы обязать разработчиков передовых моделей делиться результатами тестирования безопасности (red-teaming) и мерами кибербезопасности с федеральным правительством. Одновременно с этим Cybersecurity and Infrastructure Security Agency (CISA) и международные партнеры выпустили совместные рекомендации, призывающие разработчиков ИИ следовать принципам «безопасности по умолчанию» (secure-by-design), указав управление внутренними угрозами и ролевой контроль доступа в качестве обязательных базовых требований.

## Reaction

Официальных комментариев компании в ответ на публикацию Ana Maria Constantin со стороны OpenAI или ее совета директоров пока не поступало. В прошлых случаях критики операционной деятельности представители OpenAI обычно указывали на постоянные инвестиции в обеспечение безопасности корпоративного уровня, программы вознаграждения за обнаружение ошибок (bug bounty) и механизмы внутреннего аудита, однако регулярно отказывались публично комментировать прошлые предупреждения сотрудников.

Ожидается, что комитеты Конгресса, занимающиеся вопросами национальной безопасности, разведки и торговли, внимательно изучат эти разоблачения. Специальный комитет по разведке Сената США (U.S. Senate Select Committee on Intelligence) и комитет Палаты представителей по науке, космосу и технологиям (House Committee on Science, Space, and Technology) все чаще изучают, как разработчики передового ИИ защищают свои цифровые активы от иностранного шпионажа. Учитывая существующие парламентские запросы касательно политики в отношении информаторов, технологического сдерживания и экспортного контроля на передовые вычислительные мощности, законодатели, скорее всего, запросят официальные брифинги у высшего руководства, чтобы выяснить, был ли какой-либо проприетарный код скомпрометирован в рассматриваемый период.

Коллеги по отрасли и исследователи кибербезопасности выражают устойчивую озабоченность противоречием между стремительной коммерциализацией генеративного ИИ и строгостью защитных мер. Ожидается, что группы гражданского общества, выступающие за алгоритмическую прозрачность и корпоративную ответственность, воспользуются обнародованными данными, чтобы потребовать проведения независимых, закрепленных законом внешних аудитов инфраструктуры передового ИИ, утверждая, что коммерческое саморегулирование дает сбой, когда сроки запуска продуктов вступают в конфликт с базовой гигиеной инфраструктуры.

## What we don't know yet

Ряд ключевых элементов ситуации остается неподтвержденным. Публично не установлено, получали ли когда-либо внешние злоумышленники или спонсируемые государствами группы постоянных угроз повышенной сложности (APT) успешный доступ, возможность просмотра или выгрузки кодовых баз OpenAI в результате задокументированных уязвимостей. Доказательства слабости контроля доступа не подтверждают факт реального вторжения, оставляя существенный разрыв между доказанной уязвимостью и фактическим взломом.

Кроме того, личности руководителей и членов совета директоров, получивших эти предупреждения, а также характер их реакции остаются нераскрытыми. В материале не уточняется, отклонило ли руководство технические предупреждения официально, выделило ли бюджеты на обеспечение безопасности, оказавшиеся недостаточными, или же инициировало исправительные работы, которые были отложены из-за конкурирующих инженерных приоритетов. Важно отметить, что масштаб затронутых кодовых баз — ограничивался ли он экспериментальными тестовыми средами или охватывал основной код обучения трансформеров и конфигурации гиперпараметров — также остается неизвестным. Прояснение вопроса о том, были ли эти недостатки устранены до заключения последующих коммерческих партнерств с корпоративными клиентами, имеет решающее значение для оценки текущих операционных рисков.

## What to watch

Развитие событий вокруг этой публикации зависит от нескольких предстоящих контрольных точек на регуляторном и институциональном уровнях. Следует следить за тем, подадут ли бывшие сотрудники официальные заявления информаторов в федеральные ведомства, такие как Federal Trade Commission (FTC) или SEC, с утверждениями о введении инвесторов или потребителей в заблуждение относительно корпоративных мер безопасности. SEC обеспечивает соблюдение правил, регулирующих то, как публичные структуры и крупные объекты инвестиций управляют рисками кибербезопасности и осуществляют контроль на уровне совета директоров.

В Вашингтоне наблюдателям стоит следить за тем, направят ли надзорные органы Конгресса официальные запросы или вызовут ли руководителей OpenAI для дачи показаний относительно защиты инфраструктуры и безопасности моделей двойного назначения. Кроме того, любые изменения публичной позиции крупных институциональных инвесторов, в частности Microsoft, послужат индикатором реакции корпоративного сектора; корпоративные партнеры могут потребовать проведения независимого тестирования на проникновение третьими сторонами и обязательного аудита административной архитектуры.

Наконец, технологический сектор будет отслеживать обновления публичных сертификатов соответствия и технических отчетов (whitepapers) OpenAI по безопасности. То, насколько подробно компания опишет изменения в своих системах управления идентификацией и доступом (IAM), ролевом контроле и внедрении модели нулевого доверия (zero-trust), покажет, были ли прошлые организационные практики окончательно ликвидированы.

Данный материал основан на оригинальном репортаже Ana Maria Constantin.