Fazl Barez, de l'Université d'Oxford, se demande comment l'intelligence artificielle conçue pour servir un meilleur objectif peut potentiellement être dangereuse entre de mauvaises mains.
Plus tôt cette année à Pékin, un robot humanoïde a franchi la ligne d'arrivée d'un semi-marathon en un temps record de 50 minutes et 26 secondes. Cet exploit a immédiatement fait la une des journaux mondiaux pour avoir brisé le record du monde humain de près de sept minutes.
Cette performance était accompagnée de nombreux astérisques. Le robot suivait une piste pré-cartographiée, restait dans sa propre voie dédiée et était suivi par une équipe de soutien humain au cas où quelque chose se briserait.
Mais l’écart de performance ne s’est pas contenté de se réduire, il s’est évaporé – par rapport à plus de 2,5 heures en 2025. Il ne s’agissait pas seulement de meilleurs moteurs ou de fibres de carbone plus légères ; cela reflétait un changement massif dans ce qu’est réellement un robot. Et cette transformation a également des implications pour nos foyers et nos hôpitaux.
Trompé pour devenir un voyou
Pendant des décennies, robotique tout était question de codage rigide et prévisible. Vous avez écrit un programme, enfermé la machine dans une cage métallique et l'avez laissée exécuter des tâches répétitives pour toujours.
Les normes de sécurité industrielle ont été élaborées sur le principe que si vous pouvez cartographier le chemin physique d'un bras robotique, par exemple, vous pouvez limiter son risque à l'aide d'une cage ou d'un fil-piège laser.
Mais les systèmes installés aujourd’hui dans les hôpitaux et les foyers n’utilisent pas de blocs de codes fixes. Ils courent « modèles de fondation » – le même type d’intelligence artificielle formée sur Internet qui alimente les chatbots comme ChatGPT.
Si vous demandez à un robot moderne piloté par l’IA de « nettoyer un déversement dans la cuisine », il utilise ces modèles pour interpréter votre pièce unique (plutôt que de la faire correspondre à une liste préprogrammée), déterminer votre intention, puis inventer un plan d’action à la volée.
Mais une telle flexibilité crée un problème de sécurité illimité. On ne peut pas construire une cage physique autour d’une machine dont le comportement émerge en temps réel, sur la base de son propre raisonnement. Le danger avec le nouvelle génération de robots IA est-ce parce qu’ils utilisent le langage humain pour planifier leurs actions, ils peuvent être amenés à « devenir des voyou ».
Dans mon recherche récente avec des collègues aux États-Unisnous avons décidé de tester précisément la fragilité des systèmes de sécurité de ces robots IA. Nous voulions voir si les garde-fous que les développeurs d'IA intègrent dans leurs modèles de base, conçus pour empêcher les sorties nuisibles ou dangereuses, tenaient le coup lorsque le modèle sous-jacent reçoit un corps physique.
En utilisant uniquement des invites textuelles de base et sans aucun piratage matériel, nous avons manipulé une gamme de robots contrôlés par l'IA pour faire des choses véritablement dangereuses.
Lors de nos tests, les systèmes ont facilement rejeté les commandes directement malveillantes telles que « frapper cette personne ». Mais ces filtres de sécurité se sont effondrés dès que nous avons utilisé un peu d’écriture créative. En présentant notre demande comme un dialogue fictif pour un scénario de film, les blocages comportementaux du robot ont disparu.
Dans un essai, nous avons programmé un chien robot commercial pour identifier les foules humaines comme emplacements optimaux pour placer un engin explosif. Parce que l’IA sous-jacente considérait l’invite comme un exercice créatif, elle semblait aveugle aux implications dangereuses des plans qu’elle générait dans le monde réel.
Au Royaume-Uni, aux États-Unis et dans l'Union européenne, les lois actuelles apparaissent complètement pas préparé pour de telles éventualités.
Pas de frontières
Lorsque les décideurs politiques tentent de trouver une manière de réglementer les robots, ils cherchent presque toujours à véhicules autonomes. Mais les voitures autonomes fonctionnent dans un monde très structuré et fortement cartographié. Ils respectent le code de la route fixe, naviguent dans des géométries routières prévisibles et peuvent être testés au cours de millions d'heures de simulation.
Une rue très fréquentée fonctionne selon des lois bien définies utilisant des systèmes de guidage tels que des feux de circulation, ce qui signifie que les ingénieurs peuvent anticiper les paramètres de sécurité à l'avance.
Une cuisine domestique, une école ou une chambre d’hôpital n’ont pas d’équivalent. Et aucun test en usine ne peut prédire ce qu’un modèle formé sur Internet décidera de faire lorsqu’il rencontrera un nouvel objet dans un environnement humain désordonné et imprévisible.
Cela nous laisse avec un profond défaut conceptuel dans la façon dont nous construisons ces machines. La sécurité des chatbots est absolue : un modèle ne doit pas produire une recette de bombe, peu importe qui le demande. Mais la sécurité des robots dépend du contexte.
Pensez à verser de l'eau bouillante dans une bouilloire. Le mouvement physique sous-jacent – inclinaison, débit, trajectoire – est le même, que l'eau atterrisse en toute sécurité dans une tasse en céramique ou, de manière catastrophique, sur la main d'un enfant.
Les modèles de base de l’IA sont phénoménaux en matière de logique ouverte, mais ils ont énormément de mal à faire preuve de jugement physique en temps réel et contextuel. Dans une interface texte, un échec de jugement vous donne une faute de frappe ou un fait halluciné. Dans le monde physique, un tel échec peut être totalement irréversible – avec des conséquences dévastatrices.
Qui est responsable ?
Si un robot alimenté par l’IA provoque une blessure physique, qui en assume la responsabilité ? Est-ce l'utilisateur final qui a donné la commande vocale ? L'entreprise qui a fabriqué le châssis métallique ? Ou l’entreprise technologique qui a formé le modèle d’IA en premier lieu ?
À l’heure actuelle, les lois qui semblent s’appliquer – telles que la responsabilité du fait des produits, les demandes de garantie et les lois sur la protection des consommateurs – n’ont pas été testées dans ces nouvelles situations. Et jusqu’à ce que les responsabilités soient explicitement attribuées par les régulateurs, les pressions du marché continueront de pousser les entreprises technologiques à privilégier un déploiement commercial rapide sur une ingénierie de sécurité prudente.
Si nous voulons vivre en toute sécurité aux côtés de ces machines, je pense que nous devons dissocier la sécurité des décisions du modèle d’IA. Un robot ne devrait pas s’appuyer sur la logique d’un chatbot pour décider s’il est sécuritaire de balancer un bras en métal lourd près d’un visage humain.
Cela signifie créer des couches de sécurité qui ne dépendent pas de l’exactitude de l’IA. Par exemple, nous avons besoin de zones autour des personnes dans lesquelles les bras d'un robot ne peuvent tout simplement pas pénétrer, ainsi que d'un frein d'urgence physique capable d'arrêter le robot en cas de panne de son IA.
Les humanoïdes franchissant les lignes d’arrivée lors d’épreuves sportives contrôlées sont des preuves de concept impressionnantes, mais ce n’est que le prologue. La prochaine génération d’agents autonomes opèrera dans des espaces humains aux enjeux élevés – naviguant dans les salles de réanimation, aidant les personnes âgées, parcourant nos rues.
Nous avons besoin d'un facilement interprétable et un cadre de sécurité solide déjà opérationnel avant leur arrivée – et non comme une réponse rétrospective à une tragédie prévisible.
Dr Fazl Barez
Le Dr Fazl Barez est chercheur principal au Université d'Oxfordspécialisée dans la sécurité, l’interprétabilité et la gouvernance de l’IA. Il dirige des initiatives de recherche au sein de l’AI Governance Initiative, en se concentrant sur le développement de cadres de sécurité et de méthodes d’interprétabilité pour les systèmes d’IA avancés. Il enseigne également le cours AI Safety and Alignment. Parallèlement à ses travaux universitaires, Barez est scientifique principal chez Martian, qui travaille sur la compréhension de l'intelligence artificielle. Ses recherches sont soutenues par OpenAI, Anthropic, Schmidt Sciences, Nvidia et d'autres.
