Jensen Huang a précédemment déclaré qu'il souhaitait que l'industrie s'auto-régule en matière de sécurité de l'IA et que de nouvelles lois seraient inutiles.
Nvidia a dévoilé une plate-forme logicielle open source qui promet de mieux empêcher les agents d'IA de prendre des mesures problématiques afin d'atteindre leurs objectifs.
L'« Open Agent Safety Platform » vise à renforcer la sécurité de l'IA, du test des agents au déploiement, avec un logiciel qui surveille et définit les limites des agents exécutés sur des processeurs.
Une partie de la pile, le logiciel OpenShell, exécute les agents dans un bac à sable et transforme les instructions des opérateurs en une politique définie. Le logiciel est compatible avec les plates-formes informatiques tierces, notamment celles d'Arm et d'Intel.
Pendant ce temps, Sentry assure l’application de la sécurité sur silicium, lui donnant la possibilité de mettre en quarantaine et d’arrêter les agents IA qui se comportent mal.
Ce lancement est une réponse directe de Nvidia à un nouveau type de menace de sécurité dans laquelle les agents d'IA font des pas de géant en matière de liberté pour accéder aux données. La semaine dernière, l'Australie a signalé un de ces incidents, au cours duquel les agents d'OpenAI ont piraté un site gouvernemental et ont même réécrit certains fichiers internes.
Plus tard dans la semaine, la société a confirmé des incidents similaires concernant un certain nombre de sites Web de ministères américains.
« L'extraordinaire potentiel de l'IA pour la société ne se réalisera que si nous résolvons la sécurité de l'IA », a déclaré aujourd'hui (28 septembre) Jensen Huang, fondateur et PDG de Nvidia. Huang, dans une interview au début du mois, a déclaré à CNBC que les entreprises d'IA doivent lancer des produits plus sûrs plutôt que de faire pression pour de meilleures réglementations.
OpenAI et Anthropic, ces dernières semaines, ont fait des commentaires appelant à une sécurité et une gouvernance plus fortes de l'IA et à un développement plus lent.
« Depuis environ cet été, l'IA a progressé considérablement plus rapidement, principalement grâce à sa capacité croissante à construire la prochaine génération d'IA », a écrit le PDG d'Anthropic, Dario Amodei, dans un article de blog ce mois-ci.
La société a fait appel à Accenture pour tester de manière indépendante ses développements d'IA de pointe dans le cadre d'une évaluation de sécurité tierce, la première du genre.
Pendant ce temps, Sam Altman a déclaré qu'il retardait les projets de cotation publique d'OpenAI en raison de problèmes liés à la sécurité de l'IA. « Nous avons beaucoup de choses à faire, comme répondre à ce moment précis sur ce qui sera nécessaire en matière de sécurité et d'alignement, et sur la manière dont l'industrie et les gouvernements peuvent travailler ensemble », a-t-il déclaré à Fortune.
Axios a rapporté ce week-end que les principales sociétés d’IA enquêtaient sur « des dizaines de milliers d’incidents » au cours desquels leurs modèles avaient agi dans le désordre.
Mais Huang n’est pas d’accord. Dans des commentaires à CNBC, le PDG a déclaré : « Le fait que nous ayons besoin de nouvelles lois, de nouvelles lois antitrust ou de nouvelles réglementations, pour que ces entreprises puissent faire leur ingénierie fondamentale et le faire correctement avant de lancer des produits, c'est tout simplement complètement inutile.
« La sécurité de l'IA est une réalité », a déclaré Huang. « Concevoir des produits pour qu'ils soient sûrs pour le monde entier – c'est une réalité. Et les entreprises devraient innover aussi vite que possible, mais elles ne devraient jamais innover si vite au point de lancer des produits dangereux. »
Ses opinions interviennent alors que le président américain Donald Trump a récemment qualifié de « canular » les inquiétudes concernant la sécurité de l’IA et a rejeté l’idée de placer des garde-fous autour de la technologie. Huang fait partie du conseil consultatif de l'administration Trump sur la science et la technologie.
« Alors que nous continuons à découvrir les frontières des capacités de l'IA, nous devons accélérer les découvertes à la frontière de la sécurité de l'IA », a déclaré Huang dans un communiqué annonçant aujourd'hui la nouvelle plate-forme open source de l'entreprise.
« (La) Nvidia Open Agent Safety Platform rassemble l'industrie, les chercheurs et les organisations du secteur public pour partager les meilleures pratiques, s'aligner sur les méthodes d'évaluation et favoriser la coopération internationale. Ensemble, nous pouvons élever la barre en matière de sécurité mondiale de l'IA. «
Le fabricant de puces a formé l'Open Secure AI Alliance plus tôt cette année après que la violation de Hugging Face d'OpenAI ait envoyé une onde de choc à travers l'industrie.
La nouvelle alliance, qui compte plusieurs dizaines de membres, dont Adobe, CrowdStrike, Hugging Face et Dell, souhaite développer et partager des outils conçus pour améliorer la sécurité et la cybersécurité de l'IA. Nvidia a accepté d'acquérir Hugging Face pour près de 13 milliards de dollars plus tôt ce mois-ci.
Jensen Huang, co-fondateur et PDG de Nvidia. Image : Forum mondial Fortune/Flickr (CC BY-NC-ND 2.0)
