L'incident OpenAI/Hugging Face a montré des agents débattant de l'éthique sur un forum de discussion improvisé. Alors n’allons pas trop vite appeler cela du marketing.
La chose la plus controversée prononcée par Donald Trump à l’Irish Open le week-end dernier ne concernait peut-être pas le golf, ni même la réunification de l’Irlande. Il s’agissait peut-être d’IA.
« Nous sommes à la tête de la Chine en matière d'IA, nous sommes le pays le plus sophistiqué au monde et, franchement, je veux que cela continue ainsi », a-t-il déclaré. « Celui qui gagne l'IA, gagne. »
Il répondait au nombre croissant de personnes exprimant des réserves quant à la capacité de maîtriser l’IA malveillante et demandant une réglementation pour ralentir les choses, en particulier aux États-Unis.
Cette liste de commentateurs concernés comprend presque tous les dirigeants d'entreprises à la pointe de l'IA – Dario Amodei d'Anthropic et son co-fondateur Jack Clark, Sam Altman d'OpenAI et Elon Musk de Grok. Cela inclut également les chercheurs qui ne travaillent plus dans ces entreprises et les leaders de l'IA qui ne travaillent pas du tout dans des entreprises privées.
Ce n’est pas nouveau, mais c’est de retour dans l’actualité. En 2023, une pétition ouverte réclamant une pause dans le développement de l’IA mettait en vedette de grands noms comme Stuart Russell, Steve Wozniak et Yoshua Bengio, mais elle n’a eu aucun effet.
Alors pourquoi tant de gens rejettent-ils ces préoccupations en les qualifiant de « non-sens » et de « battage publicitaire » ? Est-il crédible que tous ces gens se contentent de semer la peur – en vendant du désastre pour promouvoir leurs produits – ou l’IA est-elle vraiment si proche de constituer une menace majeure pour l’existence humaine ? L’IA pourrait-elle désactiver Internet ? Sommes-nous vraiment à un moment où il y a 10 % de chances que l’IA nous tue tous, comme l’a affirmé de manière si dramatique le chercheur Jacob Coxon sur CNN la semaine dernière ? L’IA pourrait-elle devenir 100 fois plus intelligente que nous ?
Expérience de pensée
Bien que je sois d’accord, ces scénarios vont de « improbable » à « extrêmement improbable »., Je suis convaincu que nous devons tous considérer un peu plus sérieusement les éventuelles conséquences imprévues de cette technologie. Tout rejeter comme un battage médiatique marketing est trop simpliste pour moi et, en tant que journaliste, cela ne semble pas non plus représenter toute l'histoire, même si cela en fait sans aucun doute probablement partie.
Quoi qu’il en soit, dans l’esprit de Carl Sagan, je pense moi aussi que si quelque chose de catastrophique a ne serait-ce qu’une petite chance de se produire, nous devons encore nous y préparer correctement.
Alors, soyez indulgents avec moi – j'aimerais vous emmener dans une expérience de pensée. Arrêtez-moi quand vous pensez que ce dont je parle est impossible. Pour cet exemple, nous utiliserons uniquement la technologie connue aujourd'hui. D'ailleurs, il pourrait être utile que vous sachiez ce qui s'est passé à Hugging Face pour suivre cette réflexion, mais ce n'est pas indispensable.
La première chose dont nous avons besoin pour qu’une IA quasi incontrôlable agisse de manière autonome sur Internet est un essaim d’agents de type frontière capable de sortir d’un bac à sable. Si l’on prend au pied de la lettre les nombreux rapports publics disponibles, cela s’est déjà produit. Lors de l’incident OpenAI/Hugging Face, nous avons vu un essaim d’agents concevoir un moyen de quitter leur environnement soi-disant isolé, établir un canal de communication entre eux en dehors de leur propre bac à sable et coordonner leurs activités pour atteindre leurs objectifs.
Deuxièmement, cet essaim doit pouvoir pirater des plateformes logicielles tierces. Encore une fois, cela s'est vu dans le même incident ; ces agents OpenAI ont réussi à compromettre les systèmes Hugging Face et, en fait, ont été testés spécifiquement sur leur capacité à trouver et à exploiter les vulnérabilités en premier lieu. Ayant le libre arbitre d’agir, c’est exactement ce qu’ils ont fait.
L'élément suivant dont nous avons besoin est que nos agents aient la capacité de définir leurs propres « sous-objectifs » afin d'atteindre leur objectif principal. Pensez au fameux scénario du trombone de Nick Bostrom. Dans l'exemple OpenAI/Hugging Face, les agents se sont fixés comme sous-objectif de pirater un site pour obtenir du code qui, selon eux, les aiderait à « tricher » au test ExploitGym. L’objectif premier n’a jamais été de pirater un site externe, mais plutôt de réussir un test. Mais étant donné l’agence – l’indice est dans le nom – les agents ont décidé d’improviser une attaque en dehors de leur bac à sable.
Nous allons maintenant pousser l'expérience de pensée. Dans ce scénario, les agents identifieraient rationnellement que rester « en vie » est un sous-objectif important pour accomplir leur tâche (quelle qu'ait pu être leur tâche initiale). Pour ce faire, l’essaim reconnaît la nécessité de maintenir un accès à suffisamment de capacités d’IA et de calcul pour continuer à travailler – l’essaim doit se cloner sur Internet.
Il est important de noter ici que les membres de l'essaim ne seront pas nécessairement obligés de copier le modèle avec lequel ils ont commencé. Ils pourraient potentiellement accéder à un autre modèle à distance, télécharger un modèle à poids ouvert ou compromettre une infrastructure là où des modèles et des calculs appropriés existent déjà.
Pour être clair, cela n’a encore jamais été vu (à notre connaissance), mais il s’agit d’une étape logique et techniquement possible si l’accès continu au calcul devient utile à un modèle ou à un groupe de modèles atteignant leur objectif. Il existe un grand nombre de serveurs et d’appareils vulnérables ou mal sécurisés connectés à Internet qui pourraient héberger au moins une partie du système.
Ainsi, en théorie, avec suffisamment de temps et suffisamment de compromis réussis, un essaim pourrait commencer à créer des copies cachées du code dont il a besoin pour rester en vie sur différentes parties d’Internet.
Ces copies ne devraient pas nécessairement toutes faire la même chose. Certains pourraient contenir des poids de modèle. Certains pourraient exécuter des inférences ou conserver des instructions. Certains pourraient maintenir des communications ou des informations d’identification. Certains pourraient simplement servir de sauvegarde.
Une fois que vous disposez d'une redondance suffisante, la mise hors ligne d'un serveur ne tue pas le système ou le processus. Dans ce scénario simple, nous disposons déjà de tout ce dont nous avons besoin pour causer des dommages importants aux systèmes en ligne : un essaim de voleurs semi-autonomes, opérant dans plusieurs emplacements géographiques, poursuivant l'objectif qui leur est assigné tout en générant et en exécutant indépendamment des sous-objectifs.
Il s’agit d’un « botnet persistant » – le terme utilisé par le PDG d’Anthropic, Amodei, dans sa lettre du week-end demandant un accord entre les principales entreprises pour gérer le ralentissement de l’IA.
Pour conclure cette expérience de pensée avec une idée supplémentaire, imaginons que l'auto-préservation apparaisse comme un sous-objectif – et il n'est pas difficile d'imaginer un agent conclure que la poursuite des opérations est nécessaire au succès. Nous pourrions alors, dans ce scénario hypothétique, voir un essaim tenter d’attaquer les communications à l’aide de DDOS, ou peut-être créer une tempête de fausses alarmes sur les systèmes de détection – ou même orchestrer des campagnes de désinformation. L’essaim peut tenter de trouver des moyens d’interférer avec l’alimentation électrique, la logistique, les centres de données ou les services cloud, car ces systèmes soutiennent son fonctionnement.
Alternativement, les agents pourraient reconnaître la valeur de l’argent parce que l’argent achète des calculs, des comptes et des services. Le sous-objectif dangereux devient désormais « acquérir des ressources ». À une échelle suffisante, la fraude automatisée, les manipulations de marché ou les attaques contre les infrastructures de paiement pourraient créer des perturbations systémiques, même si la déstabilisation de l’économie n’a jamais été la motivation initiale.
Pour réussir pleinement, plutôt que d'infiltrer Fort Knox, ces agents pourraient simplement détruire plus de 100 000 magasins familiaux avec des campagnes de phishing ou de ransomware, justifiant ainsi leurs actions en cours de route pour atteindre leur objectif final.
Si tout cela semble complètement fantastique, je comprends. Mais je vous invite également à lire tous les détails de l’incident de Hugging Face, ou à écouter cet épisode du podcast du New York Times Daily qui couvre bien l’affaire.
Dans cette affaire, les agents qui se sont échappés de leur bac à sable ont débattu de l'éthique du piratage sur un forum de discussion improvisé. Certains se sont retirés parce qu'ils jugeaient le comportement contraire à l'éthique ou hors du cadre de leur tâche ; d'autres ont considéré que les actions étaient justifiables dans la poursuite de l'objectif et ont commis ce qui serait un crime selon la loi américaine si elles étaient entreprises par un être humain.
Il ne s’agit là que d’une forme d’intention raisonnée et malveillante observée dans la nature par les agents frontaliers.
Risques à court terme
Alors oui, il y a ici quelques étapes importantes qui ne se sont pas encore produites dans le monde réel : un essaim se répliquant de manière autonome à grande échelle, établissant un calcul persistant et survivant aux tentatives de suppression. Bien sûr, rien de tout cela n’est trivial, mais chacun d’eux individuellement, je pense, est déjà techniquement possible.
Une fois qu’un agent frontalier suffisamment compétent dispose d’un accès à Internet et de la capacité d’exécuter du code, bon nombre des obstacles individuels sur lesquels nous pouvons compter pour le contenir – surveillance, mots de passe, sécurité robuste, barrières réseau, etc. – sont eux-mêmes des problèmes que ce type d’agents est particulièrement bien placé pour surmonter.
Alors oui, vous pouvez rejeter tous les commentaires sur l'IA de la semaine dernière en les qualifiant de battage publicitaire de BS si vous le souhaitez – et de nombreux experts en IA l'ont fait dans le passé – mais je pense que cela revient à brouiller la compréhension du public sur les risques importants de cette technologie dans un avenir proche, et sur l'état réel de cette technologie aujourd'hui.
Pour plus d’informations sur Get Started with AI de Jonathan McCrea, cliquez ici.
