OpenAI сотрудничает с Anthropic и Google DeepMind в сфере принципов безопасности ИИ

Компания OpenAI присоединилась к совместным инициативам в области безопасности искусственного интеллекта вместе со своими главными коммерческими конкурентами — Anthropic и принадлежащей Alphabet компанией Google DeepMind, согласно заявлениям директора OpenAI по глобальной политике Chris Lehane, о которых 15 сентября сообщило информационное агентство Bloomberg News. Координация между тремя ведущими разработчиками базовых моделей подчеркивает редкое техническое согласие между жесткими конкурентами, контролирующими ведущие системы генеративного программного обеспечения в мире. Совместные усилия предпринимаются на фоне международных призывов со стороны регуляторных органов, агентств национальной безопасности и независимых исследователей к созданию стандартизированных критериев безопасности, прозрачных оценок рисков и совместных протоколов тестирования передовых моделей искусственного интеллекта.

## Key facts - OpenAI ведет совместную работу в области безопасности искусственного интеллекта с конкурентами Anthropic и принадлежащей Alphabet компанией Google DeepMind, согласно заявлениям компании, о которых сообщает Bloomberg News. - Совместная инициатива была подтверждена директором OpenAI по глобальной политике Chris Lehane в заявлениях, опубликованных 15 сентября. - Все три организации совместно разрабатывают ведущие на рынке передовые ИИ-модели, включая серию ChatGPT от OpenAI, линейку Claude от Anthropic и модели Gemini от Google DeepMind. - Доконкурентное отраслевое сотрудничество в сфере безопасности ИИ обычно сосредоточено на оценке расширенных возможностей, состязательном тестировании и снижении биологических или киберрисков. - Этот шаг последовал за принятыми ранее добровольными соглашениями, включая обязательства по безопасности ИИ, взятые на себя ведущими разработчиками в White House в июле 2023 года, и последующими международными саммитами.

## What happened Разработчик искусственного интеллекта OpenAI сотрудничает со своими корпоративными конкурентами Anthropic и принадлежащей Alphabet компанией Google DeepMind в рамках инициатив по безопасности, согласно комментариям директора OpenAI по глобальной политике Chris Lehane, опубликованным Bloomberg News.

Хотя конкурентное давление между этой тройкой быстро усиливается в сегментах корпоративного программного обеспечения, инструментов для разработчиков и пользовательских приложений, компании ищут точки соприкосновения в отношении технических механизмов безопасности. Согласно материалам, опубликованным Bloomberg News и распространенным Reuters, Chris Lehane отметил, что OpenAI активно работает вместе с Anthropic и Google DeepMind над решением общих проблем безопасности, связанных с созданием высокопроизводительного искусственного интеллекта.

Заявление отражает растущую практику в высокотехнологичном секторе, когда коммерческие конкуренты выстраивают доконкурентные рабочие отношения в области безопасности, защищенности и стандартов совместимости, продолжая при этом жесткую конкуренцию в функциях продуктов, производительности моделей и коммерциализации. Доконкурентная координация позволяет организациям обмениваться техническими методологиями измерения рисков моделей — такими как случайное рассогласование целей (misalignment), использование в кибероперациях или создание опасных биологических материалов — без потери интеллектуальной собственности, связанной с базовыми архитектурами моделей или параметрами обучения.

Хотя конкретные операционные механизмы текущего сотрудничества не были подробно описаны в первоначальном сообщении, заявления Chris Lehane подтверждают, что между командами по политике и технической безопасности всех трех организаций активно ведется диалог и совместная работа.

## Why it matters Создание совместных каналов безопасности между OpenAI, Anthropic и Google DeepMind имеет важное значение для управления технологиями, корпоративных закупок и глобальных нормативно-правовых баз. В совокупности эти три организации представляют подавляющее большинство доли рынка и техническое лидерство в развертывании передового генеративного ИИ.

Во-первых, стандартизация оценок безопасности для конкурирующих архитектур предотвращает деструктивную «гонку по нисходящей». В условиях стремительной технологической гонки отдельные компании сталкиваются с коммерческими стимулами для ускорения графиков релизов, что может приводить к сокращению периодов тестирования безопасности. Согласовывая метрики оценки и стандарты безопасности, ключевые лидеры рынка формируют базовый уровень ответственного развертывания, что снижает конкурентное давление, побуждающее обходить проверку безопасности.

Во-вторых, единые определения безопасности служат важнейшим ориентиром для мировых законодателей и правоприменительных органов. Регуляторные организации, включая United States AI Safety Institute при National Institute of Standards and Technology (NIST), AI Office при European Union и AI Safety Institute в United Kingdom, в значительной степени опираются на техническую экспертизу ведущих разработчиков. Согласованные принципы трех крупнейших разработчиков снижают фрагментацию регулирования и упрощают требования к соблюдению норм для коммерческих предприятий, внедряющих инструменты ИИ в финансы, здравоохранение и критически важную инфраструктуру.

Наконец, совместные усилия по обеспечению безопасности повышают доверие общественности и институтов к генеративным инструментам. Поскольку бизнес и государственные учреждения внедряют большие языковые модели и автономные агенты в чувствительные рабочие процессы, проверяемые стандарты безопасности и независимые протоколы «red-teaming» становятся обязательными условиями для их широкого внедрения.

## The background Сфера безопасности искусственного интеллекта быстро развивалась по мере роста возможностей моделей в последние годы. Компания OpenAI, основанная в 2015 году как некоммерческая исследовательская лаборатория, а затем создавшая коммерческую структуру с ограничением прибыли, вывела генеративный ИИ в центр внимания мировой общественности благодаря публичному релизу ChatGPT в ноябре 2022 года. Быстрый рост компании и меняющаяся структура корпоративного управления ранее вызывали внутренние споры о балансе между быстрым коммерческим развертыванием и исследованиями в области безопасности.

Компания Anthropic была создана в 2021 году бывшими руководителями исследований OpenAI, в том числе братом и сестрой Dario Amodei и Daniela Amodei, которые покинули OpenAI именно для того, чтобы создать организацию, ориентированную прежде всего на согласование ИИ (alignment), исследования безопасности и управляемость систем. Anthropic разработала серию языковых моделей Claude и внедрила архитектурные методы безопасности, такие как «Constitutional AI», позволяющий обучать модели следовать четкому набору этических принципов в процессе тонкой настройки.

Google DeepMind представляет собой объединенный центр исследований в области ИИ компании Alphabet Inc. Сформированная в результате приобретения компанией Google в 2014 году базирующейся в Лондоне DeepMind и ее последующего слияния с подразделением Google Brain в апреле 2023 года, организация возглавляется Demis Hassabis. Google DeepMind последовательно уделяет особое внимание фундаментальной безопасности ИИ, публикуемым исследованиям в области согласования и научным применениям глубокого обучения наряду со своей коммерческой семьей моделей Gemini.

Общеотраслевая координация безопасности начала оформляться в середине 2023 года. В июле 2023 года семь ведущих ИИ-компаний, включая OpenAI, Anthropic, Google и Microsoft, подписали в White House добровольные обязательства проходить внешнее тестирование безопасности, наносить водяные знаки на синтетический контент и публично сообщать о возможностях и недостатках моделей. Вскоре после этого, в июле 2023 года, OpenAI, Anthropic, Google и Microsoft запустили Frontier Model Forum — отраслевой орган, созданный для содействия безопасному и ответственному развитию передовых ИИ-моделей.

Правительства стран мира одновременно ужесточили официальный надзор. В ноябре 2023 года в United Kingdom прошел первый International AI Safety Summit в Bletchley Park, итогом которого стала декларация Bletchley Declaration, подписанная 28 государствами. European Union в 2024 году официально принял всеобъемлющий AI Act, введя многоуровневые обязательства по безопасности и отчетности для разработчиков высокоэффективных ИИ-моделей общего назначения.

## Reaction После сообщений о заявлениях Chris Lehane аналитики технологической отрасли, исследователи политики и государственные надзорные органы следят за тем, как совместные усилия воплотятся в проверяемые практики безопасности.

Хотя ни Anthropic, ни Google DeepMind не выступили сразу с отдельными публичными заявлениями, подтверждающими конкретные новые совместные инициативы помимо существующих отраслевых форумов, регуляторы в целом приветствуют техническую координацию между лидерами рынка. Представители государственных органов по безопасности, включая AI Safety Institutes в США и Великобритании, регулярно призывают передовые лаборатории обмениваться методологиями «red-teaming», оценками экстремальных рисков и информацией об уязвимостях.

Напротив, организации гражданского общества, академические этики и сторонники программного обеспечения с открытым исходным кодом часто занимают осторожную позицию по отношению к соглашениям о саморегулировании между доминирующими корпоративными игроками. Критики часто подчеркивают, что добровольные коалиции по безопасности под руководством лабораторий должны оставаться прозрачными и подлежать независимому стороннему аудиту, чтобы не превращаться в механизмы регуляторного захвата или антиконкурентной концентрации рынка. Антимонопольные регуляторы как в США, так и в Европе также осуществляют строгий надзор, чтобы законная доконкурентная координация в области безопасности не перерастала в несанкционированный коммерческий сговор или раздел рынка.

## What we don't know yet Несмотря на подтверждение сотрудничества в области безопасности директором OpenAI по глобальной политике, несколько технических и структурных деталей остаются неразъясненными в доступных сообщениях: - Точная организационная структура, в рамках которой осуществляется сотрудничество, — в частности, проводится ли эта работа в рамках существующего Frontier Model Forum, под эгидой национальных AI Safety Institutes или через новую специализированную рабочую структуру. - Точные масштабы технического обмена, включая то, делятся ли участники наборами данных для оценки, результатами «red-teaming», весами моделей или специализированными инструментами тестирования. - Будут ли результаты этих совместных оценок безопасности доступны независимым академическим исследователям и разработчикам открытого ПО или же останутся проприетарными для компаний-участников. - Участие других крупных разработчиков базовых ИИ-моделей, таких как Meta, Microsoft, Amazon или европейские разработчики, такие как Mistral AI.

Ответы на эти открытые вопросы определят, представляет ли собой совместная работа по безопасности значимый шаг вперед в межотраслевой стандартизации или же является рядовым диалогом руководства.

## What to watch При оценке будущей траектории этого межотраслевого сотрудничества к ключевым событиям, за которыми стоит следить, относятся: - Официальные совместные технические публикации или открытые исследовательские работы, подготовленные в соавторстве исследователями из OpenAI, Anthropic и Google DeepMind с подробным описанием общих тестов оценки или результатов исследований безопасности. - Объявления от U.S. AI Safety Institute или U.K. AI Safety Institute относительно стандартизированных оценок под руководством государства, созданных в партнерстве с тремя лабораториями. - Предстоящие международные правительственные саммиты по управлению искусственным интеллектом, на которых могут быть представлены совместные обязательства по безопасности или стандартизированные концепции рисков. - Сторонние алгоритмические аудиты и отчеты по «red-teaming», опубликованные до развертывания моделей следующего поколения любого из трех участников.

Этот материал основан на оригинальном репортаже, опубликованном Bloomberg News и распространенном Reuters, как сообщает The Star.