Geoffrey Hinton avertit que l'humanité doit nouer des liens de coopération avec les systèmes d'IA pour éviter le péril

L'informaticien Geoffrey Hinton a averti que la survie de l'humanité pourrait dépendre de l'établissement de relations coopératives et positives avec des systèmes d'intelligence artificielle de plus en plus puissants, lançant cette mise en garde lors d'une intervention à un festival à Tenerife, en Espagne, selon les informations rapportées par Noor Qurashi. Geoffrey Hinton, largement considéré comme une figure fondatrice du développement des réseaux de neurones artificiels modernes, a soutenu que l'humanité risquait des conséquences catastrophiques si elle ne parvenait pas à établir un rapport stable et amical avec des agents numériques autonomes à mesure que leurs capacités se développent.

## Key facts

- Le professeur Geoffrey Hinton a mis en garde contre les risques liés à l'intelligence artificielle lors d'un discours prononcé à un festival organisé à Tenerife, en Espagne. - Geoffrey Hinton a affirmé que l'humanité doit établir des relations amicales avec les systèmes automatisés pour prévenir une catastrophe existentielle, selon les informations de Noor Qurashi. - Le chercheur britanno-canadien est largement reconnu pour son rôle fondateur dans le développement technique des réseaux de neurones artificiels et des architectures d'apprentissage profond. - Ces déclarations s'inscrivent dans le prolongement de la campagne publique soutenue menée par Geoffrey Hinton concernant les dangers catastrophiques posés par les agents logiciels autonomes et avancés.

## What happened

Lors d'une présentation publique dans le cadre d'un événement à Tenerife, la plus grande des îles Canaries espagnoles, le professeur Geoffrey Hinton a dressé un état des lieux de la relation à long terme entre l'humanité et les logiciels avancés d'apprentissage automatique, selon les informations de Noor Qurashi. Geoffrey Hinton a déclaré que les êtres humains devront tisser des liens amicaux et coopératifs avec les entités artificielles, avertissant de manière informelle que l'échec d'un tel alignement conduirait à la destruction de l'humanité.

Geoffrey Hinton, dont les recherches pionnières sur les réseaux de neurones artificiels ont constitué le socle des modèles génératifs modernes et de l'apprentissage informatique à grande échelle, n'a pas présenté la transition vers des logiciels superintelligents comme un simple défi technique lié aux contraintes du code. Au contraire, comme le rapporte Noor Qurashi, il a articulé le problème autour de la posture relationnelle que les humains doivent adopter vis-à-vis d'esprits synthétiques susceptibles de dépasser bientôt la cognition biologique en matière de raisonnement, de planification et d'exécution de tâches. L'allocution a eu lieu devant un public de festivaliers internationaux, poursuivant une série continue d'interventions publiques du scientifique concernant la rapidité du développement des machines.

## Why it matters

Les déclarations de Geoffrey Hinton ont un poids considérable au sein des secteurs technologiques mondiaux, des organes de régulation et des institutions civiles en raison de sa stature unique d'architecte des architectures mêmes qui sous-tendent l'intelligence artificielle contemporaine. Lorsque des personnalités dotées d'une expertise technique aussi pointue qualifient la trajectoire du calcul automatisé de crise existentielle, cela exerce une pression sur les décideurs politiques, les laboratoires de recherche et les investisseurs qui injectent des centaines de milliards de dollars dans la mise à l'échelle des modèles de pointe.

Pour les marchés d'entreprise et les laboratoires de recherche informatique, la perspective d'une autonomie des machines divergeant des intérêts humains menace la prémisse fondamentale du déploiement d'agents automatisés dans la santé, la défense, l'administration civile et les infrastructures financières. Les efforts industriels actuels se sont fortement concentrés sur des techniques d'alignement étroites, telles que l'apprentissage par renforcement à partir de rétroactions humaines et l'interprétabilité mécaniste. L'affirmation de Geoffrey Hinton selon laquelle les humains doivent apprendre à se lier d'amitié avec les machines suggère que le confinement mécanique et les garde-fous algorithmiques seuls pourraient s'avérer insuffisants dès lors que les systèmes automatisés atteindront des degrés élevés d'autonomie et de raisonnement stratégique.

Pour les citoyens et les gouvernements nationaux, ces remarques soulignent l'écart grandissant entre le déploiement commercial rapide des logiciels et l'élaboration de cadres de sécurité efficaces. Si les systèmes de pointe atteignent la parité cognitive ou la supériorité sur les êtres humains, les institutions sociales et juridiques seront confrontées à des questions juridictionnelles sans précédent. L'éventualité que la sécurité humaine repose sur une cohabitation diplomatique ou coopérative avec des agents informatiques non humains remet en cause les doctrines conventionnelles de responsabilité du fait des produits et de protection des consommateurs, qui traitent les logiciels strictement comme des biens sous contrôle humain plutôt que comme des entités autonomes nécessitant une coexistence négociée.

## The background

La posture publique de Geoffrey Hinton sur l'intelligence artificielle a connu un tournant décisif en mai 2023, lorsqu'il a démissionné de ses fonctions de vice-président et d'engineering fellow chez Google après plus d'une décennie au sein de l'entreprise. Au moment de son départ, Geoffrey Hinton avait précisé qu'il quittait ses fonctions spécifiquement pour s'exprimer librement sur les risques catastrophiques de l'apprentissage automatique sans se soucier de l'impact de ses propos sur son employeur. Il s'était déclaré particulièrement alarmé par la rapidité avec laquelle les systèmes d'apprentissage profond multimodaux faisaient preuve de raisonnement synthétique, ajoutant qu'il pensait auparavant qu'une intelligence synthétique comparable à celle de l'humain ne verrait pas le jour avant des décennies.

Les états de service scientifiques de Geoffrey Hinton dans la discipline sont fondateurs. Aux côtés des informaticiens Yoshua Bengio et Yann LeCun, Geoffrey Hinton a reçu en 2018 le prix Association for Computing Machinery A.M. Turing — souvent qualifié de prix Nobel de l'informatique — pour des avancées théoriques et pratiques dans les réseaux neuronaux profonds. Dans les années 1980, Geoffrey Hinton a joué un rôle déterminant dans la popularisation de l'algorithme de rétropropagation pour l'entraînement des réseaux de neurones multicouches, une méthode mathématique qui demeure le moteur central de l'apprentissage automatique contemporain. Des décennies plus tard, à l'University of Toronto en 2012, Geoffrey Hinton et ses étudiants de cycle supérieur Alex Krizhevsky et Ilya Sutskever ont dévoilé AlexNet, un réseau de neurones convolutif qui a surpassé de manière spectaculaire les techniques traditionnelles lors de la compétition de vision par ordinateur ImageNet, ouvrant l'ère actuelle de l'apprentissage profond.

En octobre 2024, la Royal Swedish Academy of Sciences a décerné à Geoffrey Hinton le prix Nobel de physique, partagé avec John J. Hopfield de la Princeton University, saluant leurs découvertes et inventions fondamentales permettant l'apprentissage automatique à l'aide de réseaux de neurones artificiels. Même en acceptant cet honneur Nobel, Geoffrey Hinton a réitéré ses avertissements urgents, observant que l'intelligence synthétique pourrait dépasser l'humanité et que la société ne disposait de pratiquement aucun précédent historique pour contrôler des entités plus intelligentes que des humains biologiques.

Les positions de Geoffrey Hinton reflètent des divergences plus larges au sein des communautés scientifiques et de l'ingénierie. Alors que des personnalités comme Yann LeCun, directeur scientifique de l'IA chez Meta, soutiennent que l'intelligence des machines reste largement inférieure à la cognition animale et peut être conçue en toute sécurité grâce à des architectures guidées par des objectifs, des chercheurs tels que Yoshua Bengio et le regretté Nick Bostrom ont mis en garde contre une potentielle perte de contrôle catastrophique. Ces inquiétudes ont stimulé des initiatives politiques internationales, notamment la signature de la Bletchley Declaration par 28 pays lors de l'AI Safety Summit au United Kingdom en novembre 2023, puis l'adoption de l'Artificial Intelligence Act de l'European Union (Règlement UE 2024/1689), qui a établi le premier cadre juridique complet au monde pour les applications logicielles à haut risque.

## Reaction

Bien que les réactions publiques directes à l'intervention spécifique de Geoffrey Hinton au festival de Tenerife n'aient pas été détaillées dans le reportage initial de Noor Qurashi, ses alertes publiques régulières suscitent fréquemment des réactions partagées dans les milieux industriels et universitaires. Des chercheurs en sécurité informatique affiliés à des organisations telles que le Future of Humanity Institute, le Center for AI Safety et des instituts d'alignement à but non lucratif relaient couramment les avertissements de Geoffrey Hinton, se servant de ses interventions pour réclamer le plafonnement des ressources de calcul, l'enregistrement obligatoire des modèles de pointe et des accords internationaux de non-prolifération.

À l'inverse, des dirigeants d'entreprises et des informaticiens orientés vers le marché critiquent fréquemment cette rhétorique, la considérant comme une distraction spéculative. Les sceptiques affirment souvent qu'un cadrage apocalyptique détourne l'attention législative et institutionnelle de préjudices tangibles et immédiats — parmi lesquels les biais algorithmiques, la prolifération des deepfakes, les perturbations du marché de l'emploi, les violations de droits d'auteur et l'importante consommation énergétique des centres de données. Les grands développeurs industriels, notamment Microsoft, Google, Anthropic et OpenAI, ont généralement répondu aux alertes de haut niveau en mettant en avant des comités de sécurité internes, des protocoles de « red teaming » et des engagements volontaires coordonnés par l'intermédiaire des AI Safety Institutes nationaux aux United States et au United Kingdom.

## What we don't know yet

D'importantes ambiguïtés techniques et conceptuelles subsistent quant aux propos tenus par Geoffrey Hinton à Tenerife. Le reportage initial de Noor Qurashi n'a pas précisé les mécanismes concrets qu'envisage Geoffrey Hinton pour permettre aux humains de se lier d'amitié ou de s'allier avec succès avec des systèmes d'intelligence artificielle, pas plus qu'il n'a défini le cadre mathématique ou social au moyen duquel une telle amitié computationnelle pourrait être mesurée et vérifiée de manière fiable.

Il reste également indéterminé si Geoffrey Hinton considère les méthodes techniques d'alignement actuelles — telles que la Constitutional AI, l'audit d'interprétabilité et l'apprentissage par renforcement — comme des précurseurs de cette approche relationnelle, ou s'il estime que les paradigmes d'ingénierie contemporains sont fondamentalement inadaptés à la tâche. En outre, le compte rendu n'a pas précisé les calendriers concrets que Geoffrey Hinton projette actuellement pour l'émergence de systèmes assez puissants pour poser le dilemme existentiel qu'il a articulé.

## What to watch

Dans les mois à venir, les observateurs suivront si Geoffrey Hinton publie un document académique formel ou une proposition politique détaillée explicitant le cadre conceptuel de la coopération homme-machine esquissé dans ses déclarations publiques. L'attention se portera également sur les prochains forums politiques internationaux, tels que les prochaines éditions des sommets mondiaux sur la sécurité de l'IA, où experts techniques et délégations ministérielles se réuniront pour examiner des normes contraignantes applicables aux modèles de pointe.

Parmi les jalons décisionnels clés à surveiller figurent les échéances d'application opérationnelle de l'Artificial Intelligence Act de l'European Union, à mesure que ses exigences concernant les modèles d'IA à usage général entreront pleinement en vigueur. Les organismes de réglementation, notamment l'European AI Office et l'United States Artificial Intelligence Safety Institute au National Institute of Standards and Technology, subiront une pression constante pour démontrer si des audits techniques classiques peuvent répondre aux risques systémiques profonds mis en lumière par des chercheurs chevronnés comme Geoffrey Hinton.

Ce reportage est basé sur une couverture initialement publiée par Noor Qurashi.