Geoffrey Hinton предупреждает, что человечество должно установить отношения сотрудничества с системами искусственного интеллекта, чтобы предотвратить катастрофу

Ученый в области компьютерных наук Geoffrey Hinton предупредил, что выживание человечества может зависеть от выстраивания основанных на сотрудничестве, позитивных отношений со все более мощными системами искусственного интеллекта; с этим предостережением он выступил на фестивале в Tenerife, Spain, согласно репортажу Noor Qurashi. Hinton, которого многие считают основоположником современных искусственных нейронных сетей, заявил, что человечество рискует столкнуться с катастрофическими последствиями, если ему не удастся установить стабильный и дружественный контакт с автономными цифровыми агентами по мере расширения их возможностей.

## Key facts

- Профессор Geoffrey Hinton выступил с предупреждением о рисках искусственного интеллекта во время речи на фестивале, прошедшем в Tenerife, Spain. - Hinton заявил, что человечество должно установить дружественные отношения с автоматизированными системами для предотвращения экзистенциальной катастрофы, согласно репортажу Noor Qurashi. - Британско-канадский исследователь широко признан за свою фундаментальную роль в технической разработке искусственных нейронных сетей и архитектур глубокого обучения. - Эти высказывания продолжают последовательную общественную кампанию Hinton, посвященную катастрофическим угрозам, исходящим от передовых автономных программных агентов.

## What happened

Во время публичного выступления на мероприятии в Tenerife, крупнейшем из Canary Islands в Spain, профессор Geoffrey Hinton представил оценку долгосрочных отношений между человечеством и передовым программным обеспечением машинного обучения, согласно репортажу Noor Qurashi. Hinton заявил, что людям потребуется выстроить дружественные связи и отношения сотрудничества с искусственными сущностями, предупредив простыми словами, что неспособность достичь такого согласования приведет к уничтожению человечества.

Hinton, чьи новаторские исследования в области искусственных нейронных сетей легли в основу современных генеративных моделей и крупномасштабного компьютерного обучения, представил переход к сверхразумному программному обеспечению не просто как сугубо техническую проблему программных ограничений. Вместо этого, как сообщает Noor Qurashi, он сформулировал проблему вокруг формата отношений, который люди должны занять по отношению к синтетическому разуму, способному вскоре превзойти биологическое мышление в рассуждениях, планировании и выполнении задач. Выступление состоялось перед международной аудиторией фестиваля, продолжив череду публичных заявлений ученого относительно стремительных темпов развития машин.

## Why it matters

Заявления Hinton имеют существенный вес в мировом технологическом секторе, регуляторных органах и общественных институтах благодаря его уникальному статусу создателя тех самых архитектур, которые лежат в основе современного искусственного интеллекта. Когда эксперты с глубокими техническими знаниями в предметной области называют траекторию развития автоматизированных вычислений экзистенциальным кризисом, это оказывает давление на политиков, исследовательские лаборатории и корпоративных инвесторов, вкладывающих сотни миллиардов долларов в масштабирование передовых моделей (frontier models).

Для корпоративных рынков и лабораторий вычислительных исследований перспектива расхождения автономных машин с интересами человека угрожает фундаментальной предпосылке внедрения автоматизированных агентов в здравоохранении, обороне, государственном управлении и финансовой инфраструктуре. Современные усилия индустрии в основном сосредоточены на узких методах выравнивания (alignment), таких как обучение с подкреплением на основе обратной связи от человека (reinforcement learning from human feedback) и механистическая интерпретируемость. Утверждение Hinton о том, что люди должны научиться дружить с машинами, указывает на то, что механического сдерживания и алгоритмических барьеров может оказаться недостаточно, как только автоматизированные системы достигнут высокой степени автономии и стратегического мышления.

Для граждан и национальных правительств эти слова подчеркивают растущий разрыв между быстрым коммерческим внедрением программного обеспечения и разработкой эффективных механизмов безопасности. Если передовые системы достигнут когнитивного паритета или превосходства над людьми, социальные и правовые институты столкнутся с беспрецедентными юрисдикционными вопросами. Перспектива того, что безопасность человека будет зависеть от дипломатического или основанного на сотрудничестве сосуществования с нечеловеческими вычислительными агентами, бросает вызов традиционным доктринам ответственности за качество продукции и безопасности потребителей, которые рассматривают программное обеспечение исключительно как контролируемую человеком собственность, а не как автономные сущности, требующие согласованного сосуществования.

## The background

Публичная позиция Hinton в отношении искусственного интеллекта претерпела решительный сдвиг в May 2023, когда он покинул пост вице-президента и engineering fellow в Google после более чем десяти лет работы в компании. В момент своего ухода Hinton заявил, что уволился именно для того, чтобы открыто говорить о катастрофических рисках машинного обучения, не беспокоясь о том, как его комментарии могут повлиять на работодателя. Он выразил особую тревогу по поводу скорости, с которой мультимодальные системы глубокого обучения демонстрируют синтетическое мышление, отметив, что ранее считал, будто до появления искусственного интеллекта человеческого уровня остаются десятилетия.

Научные заслуги Hinton в этой дисциплине фундаментальны. Наряду с учеными в области компьютерных наук Yoshua Bengio и Yann LeCun, Hinton был удостоен премии Association for Computing Machinery A.M. Turing Award за 2018 год — часто называемой Нобелевской премией по вычислительной технике — за теоретические и практические прорывы в области глубоких нейронных сетей. В 1980s Hinton сыграл решающую роль в популяризации алгоритма обратного распространения ошибки (backpropagation) для обучения многослойных нейронных сетей — математического метода, который остается главным двигателем современного машинного обучения. Спустя десятилетия, в University of Toronto в 2012, Hinton вместе со своими аспирантами Alex Krizhevsky и Ilya Sutskever представил AlexNet — сверточную нейронную сеть, которая значительно превзошла традиционные методы на конкурсе компьютерного зрения ImageNet, дав старт современной эпохе глубокого обучения.

В October 2024 Royal Swedish Academy of Sciences присудила Hinton премию Nobel Prize in Physics, разделив эту честь с John J. Hopfield из Princeton University, отметив их фундаментальные открытия и изобретения, сделавшие возможным машинное обучение с помощью искусственных нейронных сетей. Даже принимая награду Nobel Prize, Hinton вновь озвучил свои срочные предостережения, подчеркнув, что синтетический интеллект может превзойти человечество по уму и что у общества практически нет исторических прецедентов контроля над сущностями, более разумными, чем биологические люди.

Взгляды Hinton отражают более широкий раскол внутри научного и инженерного сообщества. В то время как такие фигуры, как LeCun, главный научный сотрудник по искусственному интеллекту в Meta, утверждают, что машинный интеллект по-прежнему значительно уступает мыслительным способностям животных и может быть безопасно спроектирован с помощью целеориентированных архитектур, такие исследователи, как Bengio и ныне покойный Nick Bostrom, предупреждают о потенциальной катастрофической потере контроля. Эти опасения стимулировали международные политические инициативы, включая подписание Bletchley Declaration 28 странами на AI Safety Summit в United Kingdom в ноябре 2023 года и последующее принятие Artificial Intelligence Act в European Union (Regulation EU 2024/1689), установившего первую в мире комплексную правовую базу для приложений программного обеспечения высокого риска.

## Reaction

Хотя прямая реакция общественности на конкретное выступление Hinton на фестивале в Tenerife не была подробно описана в первоначальном репортаже Noor Qurashi, постоянные публичные предупреждения Hinton регулярно вызывают неоднозначную реакцию в отраслевых и академических кругах. Исследователи в области вычислительной безопасности, связанные с такими организациями, как Future of Humanity Institute, Center for AI Safety и некоммерческими институтами по согласованию систем безопасности, регулярно поддерживают предупреждения Hinton, используя его выступления для призывов к ограничению вычислительных ресурсов, обязательной регистрации передовых моделей и международным соглашениям о нераспространении.

Напротив, корпоративные лидеры и ориентированные на рынок исследователи в области компьютерных наук часто критикуют подобную риторику как спекулятивное отвлечение внимания. Скептики нередко заявляют, что апокалиптический нарратив отвлекает внимание законодателей и институтов от ощутимого, непосредственного вреда — включая алгоритмическую предвзятость, распространение дипфейков, вытеснение рабочей силы, нарушение авторских прав и огромное энергопотребление дата-центров. Крупные промышленные разработчики, включая Microsoft, Google, Anthropic и OpenAI, в целом реагировали на предупреждения высокого уровня указанием на внутренние советы по безопасности, протоколы red-teaming и добровольные обязательства, координируемые через национальные AI Safety Institutes в United States и United Kingdom.

## What we don't know yet

В отношении высказываний Hinton в Tenerife сохраняются значительные технические и концептуальные неясности. В первоначальном репортаже Noor Qurashi не приводились подробности о точных механизмах, с помощью которых, по замыслу Hinton, люди смогут успешно подружиться с системами искусственного интеллекта или объединиться с ними, а также не определялись математические или социальные рамки, позволяющие надежно измерить и проверить подобную вычислительную дружбу.

Также остается неясным, считает ли Hinton существующие технические методы согласования — такие как Constitutional AI, аудит интерпретируемости и обучение с подкреплением — ранними предвестниками такого подхода к взаимоотношениям, или же он считает современные инженерные парадигмы фундаментально непригодными для этой задачи. Кроме того, в репортаже не уточнялось, какие конкретные сроки в настоящее время прогнозирует Hinton для появления систем, достаточно мощных, чтобы создать сформулированную им экзистенциальную дилемму.

## What to watch

В ближайшие месяцы обозреватели будут следить за тем, представит ли Hinton официальную академическую статью или детальное политическое предложение с изложением концептуальной основы сотрудничества машины и человека, о которой он говорил в своем публичном выступлении. Внимание также будет приковано к предстоящим международным политическим форумам, таким как последующие раунды глобальных саммитов по безопасности искусственного интеллекта, где соберутся технические эксперты и министерские делегации для рассмотрения обязательных стандартов для передовых моделей.

Среди ключевых контрольных точек — практические сроки вступления в силу требований European Union Artificial Intelligence Act по мере того, как его положения о моделях искусственного интеллекта общего назначения заработают в полном объеме. Регулирующие органы, включая European AI Office и United States Artificial Intelligence Safety Institute при National Institute of Standards and Technology, столкнутся с постоянным давлением, требующим доказать, способны ли стандартные технические аудиты противостоять глубоким системным рискам, о которых заявляют ведущие исследователи, подобные Hinton.

Этот материал основан на информации, первоначально опубликованной Noor Qurashi.