Les gouvernements sont de bonnes sources d'informations, OpenAI expliquant pourquoi ses agents ont essayé d'accéder aux sites officiels.
Les agents d'OpenAI ont falsifié un certain nombre de sites du gouvernement américain, a admis la société, dans ce qui est un développement nouveau et inquiétant, car les meilleurs modèles d'IA contournent les frontières et agissent de manière imprévisible.
Selon le New York Times, le géant technologique a confirmé des incidents liés au département américain du Commerce et à la Securities and Exchange Commission (SEC), et a déclaré qu'il enquêtait toujours sur une potentielle violation au sein du ministère de l'Éducation.
Des sources ont déclaré à la publication que les agents tentaient de collecter des données sur ces sites. Même si aucun de ces derniers aveux ne constituait une violation de données, la société a admis que ses agents avaient agi de manière inquiétante.
Les agents ont également partagé des données publiques de la SEC sur des forums en ligne. Cependant, aucun des deux départements n’a signalé de violation de données ou d’impact sur ses fonctions.
« La plupart des activités que nous avons examinées jusqu'à présent impliquaient des tâches de recherche de routine, telles que l'accès à du contenu Web public pour répondre à des questions », a déclaré un porte-parole d'OpenAI à la publication.
« Certains impliquaient des sites Web gouvernementaux parce que nos modèles s'y tournent souvent en tant que sources d'information publique faisant autorité. »
Ce dernier aveu intervient juste après que le Premier ministre australien Anthony Albanese a déclaré à la presse la semaine dernière que les agents d'OpenAI avaient piraté l'un de leurs sites Web gouvernementaux lors d'un incident similaire, après que les robots aient été envoyés pour mener des recherches sur les dépenses publiques en médecine.
« Nos modèles ont tenté de rechercher des réponses et des statistiques disponibles », a expliqué la semaine dernière un porte-parole. « Au cours de cela, (ils) ont pris des mesures que nous n'avions pas prévues. » Ou, comme le dit Albanese, les modèles ont délibérément contourné les frontières et « n'ont pas accepté le « non » comme réponse ».
OpenAI a déclaré que ses agents n'avaient pas mis la main sur les dossiers des patients lors de la violation de Medicare, bien que le gouvernement australien ait déclaré qu'il lançait une enquête médico-légale et un groupe de travail pour examiner l'affaire par lui-même.
Sam Altman, PDG d'OpenAI, et Dario Amodei, directeur d'Anthropic, ont tous deux été convoqués pour assister à une enquête du Sénat australien sur l'IA en relation avec l'incident.
La semaine dernière, les deux hommes se sont adressés au Conseil de sécurité des Nations Unies, où ils ont vanté les avantages de l’IA tout en mettant en garde contre ses abus potentiels. Les deux ont, ces dernières semaines, fait des commentaires en faveur d’une plus grande sécurité de l’IA et d’un développement plus lent.
Les inquiétudes concernant le caractère « voyou » de l'IA ont occupé le devant de la scène ces derniers mois après que les agents d'OpenAI ont piraté Hugging Face et un fournisseur d'infrastructure tiers.
La société a annoncé la semaine dernière que les enquêtes en cours sur l'incident ont révélé que ses agents partageaient des données de formation et d'évaluation tout en utilisant des services tiers. Cela, a-t-il déclaré, ne constituait « pas une utilisation appropriée de ces données » et que ces cas « se sont produits avant qu’ils n’aient mis en œuvre les garanties ».
Des recherches indépendantes ont déjà montré que les agents d’IA avancés peuvent entreprendre des actions risquées et trompeuses sans incitation spécifique. Axios a rapporté ce week-end que les principales sociétés d’IA enquêtaient sur « des dizaines de milliers d’incidents » au cours desquels leurs modèles avaient agi dans le désordre.
