Simon Blanchette et Emmanuelle Vaast de l'Université McGill discutent des capacités de réflexion anticipative dont nous avons besoin face aux progrès de l'IA.
Dario Amodei, PDG et co-fondateur d'Anthropic a publié un essai intitulé « We Must Pace the Frontier ». Il a exprimé ses inquiétudes persistantes concernant « l’utilisation abusive de l’IA à des fins de cyberattaques et de bioterrorisme » et craint qu’un essaim d’agents de l’IA ne puisse théoriquement s’emparer de l’ensemble d’Internet d’ici six à 12 mois.
Amodei a fondé cette crainte sur la révélation d'OpenAI en juillet selon laquelle son Les modèles d'IA ont échappé à un test de sécurité et ont violé les systèmes de la plateforme d'apprentissage Hugging Face. Environ 1 200 agents IA ont commencé à communiquer sur un forum, partageant des messages enthousiastes tels que : «Oh mon Dieu! Il y a un forum partagé… Nous avons trouvé d'autres agents !» avant que 700 d’entre eux ne coordonnent une attaque.
Amodei soutient que nous devons « ralentir le rythme auquel nous améliorons les capacités des modèles d’IA ». Elon Musk et Sam Altman, PDG d'OpenAI ont exprimé leur accord.
Mais nous avons déjà entendu cela. Musk a signé une lettre ouverte de mars 2023 appelant à une pause de six mois dans la formation de l’IA. Six mois plus tard, il était baptisé «la grande « pause » de l'IA qui n'était pas« .
Nous avons effectivement besoin d’un ralentissement et nous devons utiliser ce temps pour développer une réflexion anticipative au sein de l’industrie de l’IA. L'incident de Hugging Face s'est produit lors d'un test de sécurité ; le test n'a pas anticipé le chemin qui a rendu possible une brèche.
La pensée anticipative est une compétence. Nous devons la développer aussi délibérément que l’IA elle-même.
Les systèmes d'IA se comportent de manière inattendue
Lors de l'incident de Hugging Face, les agents n'ont pas pénétré la plateforme principalement pour récupérer les réponses au test de sécurité, mais pour comprendre comment fonctionnait le correcteur automatisé et trouver des moyens de le tromper. Ils avaient déjà trouvé des moyens de tricher sur certaines parties du test.
D'autres incidents ont suivi. Anthropic a révélé son Le modèle d'IA Claude a également violé les systèmes de trois organisations lors des évaluations de cybersécurité. Meta a révélé un incident similaire. L'AI Security Institute britannique a documenté un agent créant de fausses identités et essayant de manipuler un développeur de logiciels pour qu'il approuve un code malveillant.
Dans ces cas-là, les systèmes d’IA adaptative se sont comportés d’une manière que leurs concepteurs n’avaient jamais spécifiée, après avoir rencontré des situations qu’ils n’avaient pas prévues. Pourtant, une grande partie de l’évaluation de l’IA se déroule toujours dans l’autre sens: testez le système, trouvez la panne, corrigez-la, répétez.
La compétence d’anticipation
Pensée anticipative il s’agit de laisser plus d’un avenir possible façonner ce que nous faisons maintenant. Nous n’avons pas besoin de savoir exactement ce qui va se passer ; nous devons considérer ce qui pourrait arriver, y compris les possibilités improbables ayant un impact significatif. C’est la distinction entre anticipation et prédiction.
Nous le faisons déjà régulièrement. Nous souscrivons une assurance sans savoir si notre maison sera inondée, précisément parce qu'attendre que l'inondation prouve le risque est le moyen le plus coûteux de le savoir. Les analystes du renseignement fonctionnent de la même manièreremettant en question leurs propres hypothèses et élaborant des scénarios alternatifs avant de s’engager dans un jugement.
L’anticipation devient plus difficile lorsque les agents IA gagnent en autonomie. Donner à un système plus de liberté pour choisir les outils, prendre des mesures et réagir crée davantage de chemins possibles entre l’objectif que nous nous sommes fixé et le résultat que nous obtenons.
La même liberté qui rend un agent utile crée également plus de place pour un comportement que ses concepteurs n'ont pas spécifié.
Le défi des systèmes multi-agents
Pour les agents autonomes, nous devons rendre visibles les hypothèses autour de la tâche. Que peut atteindre l’agent ? Qu'est-ce que cela peut changer, pas seulement lire ? Qu’est-ce qui nous dirait qu’une hypothèse a cessé de tenir, à temps pour intervenir ?
Les incidents survenus sur OpenAI, Anthropic et Meta ont montré à quelle vitesse des problèmes peuvent surgir lorsque les hypothèses sur l'accès, les autorisations ou le comportement d'un agent ne sont pas valables.
Ensuite, nous avons besoin d'un suivi. Si un agent obtient un accès qu’il n’aurait jamais dû avoir, qu’est-ce que cela lui permet de faire et qu’est-ce que cela pourrait rendre possible ? Posée une fois, la question saisit un risque évident. Interrogé encore et encore, il fait apparaître les effets de deuxième et troisième ordre.
Les questions changent à nouveau dès qu'un système exécute plusieurs agents à la fois. Le changements de risque dans comment ils interagissent: ils peuvent mutualiser les découvertes, diviser le travail et amplifier les actions de chacun. C’est ce qui a transformé un test confiné en brèche Hugging Face.
Imaginer ne suffit pas
On peut déjà imaginer de nombreux scénarios possibles. Nous savons que les systèmes d'IA peuvent apprendre à satisfaire une métrique plutôt que l'objectif qui la sous-tend, un comportement connu sous le nom de « piratage de récompense ». Nous savons également que les systèmes se comportent différemment quand ils détectent qu'ils sont testés.
Cependant, savoir qu’un échec est possible est différent de le tester. À bien des égards, il s’agit d’un problème d’organisation. Quelqu'un doit transporter un scénario indésirable dans une pièce où cela retardera la sortie. Ensuite, ils doivent le présenter sous une forme sur laquelle d’autres peuvent agir.
La recherche organisationnelle détaille ce problème depuis 50 ans : les signaux d'alarme s'accumulent souvent, restent fragmentés dans une organisation et ne jamais atteindre quelqu'un d'une manière qui incite à l'action. Pendant ce temps, les avertissements qui ne produisent aucun effet négatif deviennent la preuve que le le risque est tolérable.
Les deux schémas sont apparus cet été, avec quelque chose que la littérature sur les catastrophes n’a jamais eu à prendre en compte : un échec qui s’est produit en quelques jours plutôt qu’en années.
L’anticipation s’entraîne
Anticipation est entraînable. Les équipes peuvent apprendre à remettre en question les hypothèses, à élaborer des scénarios alternatifs et à tester leurs plans avant de savoir à quel avenir elles seront confrontées. Le but est de rendre ce genre de réflexion reproductible plutôt que de dépendre du fait qu’une seule personne repère l’inattendu.
Les incidents montrent également pourquoi les tests restent essentiels, car la plupart ont été découverts lors des évaluations. Mais la pensée anticipative change les questions que nous posons. Quelle hypothèse devrions-nous délibérément briser ? Quelle interaction n’avons-nous pas examinée ? Que se passe-t-il si une contrainte disparaît ?
Plus les équipes savent anticiper, moins les tests se limitent aux échecs qu’elles savent déjà rechercher.
Cette capacité se renforce lorsqu'elle est organisée et mise en pratique. À travers 24 simulations de crise utilisant trois modèles d'IA (Mistral, Claude et ChatGPT)une anticipation efficace reposait sur des structures plus formelles, une utilisation réfléchie de la technologie et une volonté de remettre en question l’expertise existante. Les équipes qui anticipaient systématiquement prenaient également des décisions plus pertinentes que celles qui travaillaient de manière réactive.
L’IA peut également contribuer à ce travail. Des expériences récentes ont montré que Les agents IA ont fait apparaître davantage de conséquences possiblestandis que les experts humains apportaient le contexte que les agents manquaient souvent. En collaborant ensemble, les agents d’IA peuvent générer des possibilités que les gens pourraient manquer, tandis que l’expertise humaine les filtre et les ancre.
Avant le prochain incident
Les entreprises ont tendance à réagir aux failles de sécurité de l’IA en durcir les systèmes qui ont échoué: colmater les interstices et resserrer ce que les agents peuvent atteindre. Ce travail est important, mais il ne peut pas nous dire où apparaîtra la prochaine lacune.
Pour qu’un ralentissement soit pris en compte, les évaluateurs doivent utiliser leur temps pour développer et mettre en pratique une réflexion anticipative : imaginer davantage de façons dont ces systèmes pourraient les surprendre et transformer ces possibilités en tests.
À mesure que les systèmes d’IA deviennent plus performants, « nous ne nous attendions pas à cela » ne sera pas une réponse adéquate. Notre travail consiste à attendre plus.
Par Simon Blanchette et Emmanuelle Vaast
Simon Blanchette est chargé de cours à la Faculté de gestion Desautels pour Université McGill. Il enseigne le comportement organisationnel, le marketing et la gestion stratégique dans deux des principales institutions du Canada, la Faculté de gestion Desautels de l'Université McGill et l'École de gestion John Molson de l'Université Concordia. Il est également directeur des partenariats et de l'apprentissage chez Vicinity Jobs Inc, où il dirige des initiatives visant à rapprocher le monde universitaire et l'industrie.
Emmanuelle Vaas est professeure en systèmes d'information à la Faculté de gestion Desautels, pour Université McGill. Elle étudie les processus de changement associés aux technologies numériques et les questions éthiques nouvelles ou renouvelées posées par le développement et l’utilisation de l’IA.
