Geoffrey Hinton advierte que la humanidad debe forjar lazos de cooperación con los sistemas de IA para evitar el peligro

El informático Geoffrey Hinton ha advertido de que la supervivencia humana puede depender de cultivar relaciones de cooperación positivas con sistemas de inteligencia artificial cada vez más potentes, lanzando este aviso durante su intervención en un festival celebrado en Tenerife, España, según informó Noor Qurashi. Hinton, considerado ampliamente una figura fundamental en el desarrollo de las redes neuronales artificiales modernas, sostuvo que la humanidad se arriesga a sufrir consecuencias catastróficas si no logra establecer una relación estable y amistosa con los agentes digitales autónomos a medida que se expanden sus capacidades.

## Key facts

- El profesor Geoffrey Hinton emitió una advertencia sobre los riesgos de la inteligencia artificial durante una conferencia en un festival celebrado en Tenerife, España. - Hinton afirmó que la humanidad debe establecer relaciones amistosas con los sistemas automatizados para evitar un desastre existencial, según la información de Noor Qurashi. - El investigador británico-canadiense es ampliamente reconocido por su papel fundacional en el desarrollo técnico de las redes neuronales artificiales y las arquitecturas de deep learning. - Las declaraciones amplían la continua campaña pública de Hinton sobre los peligros catastróficos que plantean los agentes de software avanzados y autónomos.

## What happened

Durante una presentación pública en un evento en Tenerife, la mayor de las Islas Canarias de España, el profesor Geoffrey Hinton ofreció una evaluación sobre la relación a largo plazo entre la humanidad y el software avanzado de machine learning, según informó Noor Qurashi. Hinton afirmó que los seres humanos necesitarán construir vínculos amistosos y cooperativos con entidades artificiales, advirtiendo de forma coloquial que no lograr dicha alineación conduciría a la destrucción de la humanidad.

Hinton, cuyas investigaciones pioneras en redes neuronales artificiales sentaron las bases de los modelos generativos modernos y del aprendizaje computacional a gran escala, no planteó la transición hacia un software superinteligente como un desafío puramente técnico de restricciones de código. En su lugar, según informó Noor Qurashi, enmarcó el problema en torno a la postura relacional que los humanos deben adoptar frente a mentes sintéticas que pronto podrían superar la cognición biológica en razonamiento, planificación y ejecución de tareas. La conferencia tuvo lugar ante una audiencia internacional en el festival, dando continuidad a una serie constante de intervenciones públicas del científico sobre la rápida velocidad del desarrollo de las máquinas.

## Why it matters

Las declaraciones de Hinton tienen un peso sustancial en los sectores tecnológicos globales, los organismos reguladores y las instituciones civiles debido a su posición única como artífice de las mismas arquitecturas en las que se sustenta la inteligencia artificial contemporánea. Cuando figuras con una profunda experiencia en el dominio técnico caracterizan la trayectoria de la computación automatizada como una crisis existencial, se ejerce presión sobre los responsables políticos, los laboratorios de investigación y los inversores corporativos que están inyectando cientos de miles de millones de dólares en el escalado de modelos de frontera.

Para los mercados empresariales y los laboratorios de investigación computacional, la perspectiva de que la autonomía de las máquinas diverja de los intereses humanos amenaza la premisa fundamental de desplegar agentes automatizados en la sanidad, la defensa, la administración civil y la infraestructura financiera. Los esfuerzos actuales de la industria se han concentrado intensamente en técnicas específicas de alineación, como el reinforcement learning from human feedback y la interpretabilidad mecanicista. La afirmación de Hinton de que los humanos deben aprender a entablar amistad con las máquinas sugiere que la contención mecánica y las salvaguardas algorítmicas por sí solas pueden resultar insuficientes una vez que los sistemas automatizados alcancen altos grados de autonomía y razonamiento estratégico.

Para los ciudadanos y los gobiernos nacionales, estas declaraciones ponen de relieve la creciente brecha entre el rápido despliegue comercial del software y el desarrollo de marcos de seguridad eficaces. Si los sistemas de frontera alcanzan la paridad cognitiva o la superioridad sobre los seres humanos, las instituciones sociales y jurídicas se enfrentarán a dilemas jurisdiccionales sin precedentes. La perspectiva de que la seguridad humana dependa de una convivencia diplomática o cooperativa con agentes computacionales no humanos desafía las doctrinas convencionales de responsabilidad de producto y seguridad del consumidor, que tratan al software estrictamente como una propiedad bajo control humano y no como entidades autónomas que requieren una coexistencia negociada.

## The background

La postura pública de Hinton sobre la inteligencia artificial experimentó un giro decisivo en mayo de 2023, cuando renunció a su puesto como vicepresidente y engineering fellow en Google tras más de una década en la compañía. En el momento de su salida, Hinton declaró que había dimitido específicamente para hablar con libertad sobre los riesgos catastróficos del machine learning sin tener que considerar cómo sus comentarios podrían afectar a su empleador. Expresó especial alarma por la velocidad a la que los sistemas de deep learning multimodal estaban demostrando razonamiento sintético, señalando que anteriormente consideraba que la inteligencia sintética de nivel humano estaba a décadas de distancia.

Las credenciales científicas de Hinton en esta disciplina son fundacionales. Junto a los informáticos Yoshua Bengio y Yann LeCun, Hinton recibió en 2018 el Association for Computing Machinery A.M. Turing Award —a menudo denominado el Premio Nobel de la informática— por sus avances teóricos y prácticos en redes neuronales profundas. En la década de 1980, Hinton fue fundamental en la popularización del algoritmo de backpropagation para entrenar redes neuronales multicapa, un método matemático que sigue siendo el motor esencial del machine learning moderno. Décadas después, en la University of Toronto en 2012, Hinton presentó junto a sus estudiantes de posgrado Alex Krizhevsky e Ilya Sutskever AlexNet, una red neuronal convolucional que superó ampliamente a las técnicas tradicionales en la competición de visión por computación ImageNet, inaugurando la era actual del deep learning.

En octubre de 2024, la Royal Swedish Academy of Sciences concedió a Hinton el Nobel Prize in Physics, compartiendo el galardón con John J. Hopfield de Princeton University, citando sus descubrimientos e invenciones fundacionales que permiten el machine learning con redes neuronales artificiales. Incluso al aceptar el reconocimiento del Nobel, Hinton reiteró sus urgentes advertencias, señalando que la inteligencia sintética podría superar en astucia a la humanidad y que la sociedad apenas cuenta con precedentes históricos para controlar entidades más inteligentes que los humanos biológicos.

Las opiniones de Hinton reflejan divisiones más amplias dentro de las comunidades científica y de la ingeniería. Mientras figuras como LeCun, chief AI scientist en Meta, han sostenido que la inteligencia de las máquinas sigue siendo ampliamente inferior a la cognición animal y puede diseñarse de forma segura mediante arquitecturas guiadas por objetivos, investigadores como Bengio y el difunto Nick Bostrom han advertido sobre una potencial pérdida de control catastrófica. Estas inquietudes han impulsado iniciativas políticas internacionales, incluida la firma de la Bletchley Declaration por parte de 28 naciones en el marco de la AI Safety Summit de United Kingdom en noviembre de 2023 y la posterior aprobación de la Artificial Intelligence Act de la European Union (Regulation EU 2024/1689), que estableció el primer marco legal integral del mundo para aplicaciones de software de alto riesgo.

## Reaction

Aunque las reacciones públicas directas a la intervención específica de Hinton en el festival de Tenerife no se detallaron en el informe inicial de Noor Qurashi, las continuas alertas públicas de Hinton suscitan habitualmente respuestas divididas en los círculos industriales y académicos. Investigadores de seguridad computacional afiliados a organizaciones como el Future of Humanity Institute, el Center for AI Safety e institutos de alineación sin fines de lucro suelen amplificar las advertencias de Hinton, utilizando sus intervenciones para reclamar límites a los recursos de computación, el registro obligatorio de modelos de frontera y pactos internacionales de no proliferación.

Por el contrario, ejecutivos empresariales e informáticos orientados al mercado suelen calificar dicha retórica de distracción especulativa. Los escépticos argumentan a menudo que el enfoque apocalíptico desvía la atención legislativa e institucional de daños tangibles e inmediatos, incluidos el sesgo algorítmico, la proliferación de deepfakes, la disrupción laboral, las infracciones de copyright y el severo consumo energético de los centros de datos. Los principales desarrolladores industriales, incluidos Microsoft, Google, Anthropic y OpenAI, han respondido por lo general a estas advertencias de alto nivel aludiendo a consejos internos de seguridad, protocolos de red-teaming y compromisos voluntarios coordinados mediante los AI Safety Institutes nacionales en United States y United Kingdom.

## What we don't know yet

Persisten notables ambigüedades técnicas y conceptuales en torno a las declaraciones de Hinton en Tenerife. Las informaciones iniciales de Noor Qurashi no detallaron los mecanismos precisos que Hinton concibe para que los seres humanos se alíen o establezcan amistad con éxito con sistemas de inteligencia artificial, ni definieron el marco matemático o social mediante el cual dicha amistad computacional podría medirse y verificarse de forma fiable.

Tampoco se ha aclarado si Hinton considera que los métodos técnicos de alineación actuales —como Constitutional AI, las auditorías de interpretabilidad y el reinforcement learning— son precursores tempranos de este enfoque relacional, o si estima que los paradigmas de ingeniería contemporáneos son fundamentalmente inadecuados para esta tarea. Asimismo, la información no especificó los plazos concretos que Hinton proyecta actualmente para la aparición de sistemas con la potencia suficiente como para plantear el dilema existencial que articuló.

## What to watch

En los próximos meses, los analistas observarán si Hinton presenta un documento académico formal o una propuesta detallada de políticas públicas que profundice en el marco conceptual de cooperación entre máquinas y humanos introducido en sus declaraciones. La atención también se centrará en los próximos foros políticos internacionales, tales como las siguientes rondas de cumbres mundiales sobre seguridad de la IA, donde se reunirán delegaciones ministeriales y expertos técnicos para revisar normas vinculantes aplicables a los modelos de frontera.

Entre los puntos decisivos clave a seguir figuran los calendarios de ejecución operativa de la Artificial Intelligence Act de la European Union conforme entren en pleno vigor sus requisitos para modelos de IA de uso general. Los organismos reguladores, entre ellos la European AI Office y el United States Artificial Intelligence Safety Institute en el National Institute of Standards and Technology, afrontarán una presión continuada para demostrar si las auditorías técnicas habituales pueden mitigar los profundos riesgos sistémicos subrayados por investigadores de alto nivel como Hinton.

Este despacho se basa en la cobertura publicada originalmente por Noor Qurashi.