Les restrictions d'Anthropic en matière d'IA ont suscité l'inquiétude des fondateurs, des chercheurs et des développeurs après la sortie du modèle « de type Mythos ».
C'est justement cette semaine qu'Anthropic a lancé Claude Fable 5un modèle d'IA qui, selon la société, a le potentiel de rivaliser avec Mythos, bien qu'il soit doté de restrictions de sécurité importantes pour empêcher toute utilisation abusive.
Cependant, l'organisation est déjà confrontée à des réactions négatives de la part de ses fondateurs, chercheurs et développeurs, qui estiment que les politiques « secrètes » du LLM limitent délibérément les concurrents et les utilisateurs dans le développement de modèles d'IA alternatifs.
Dans une récente déclaration annonçant la disponibilité de Claude Fable 5, Anthropic a expliqué que le modèle comporte des barrières conçues pour bloquer les réponses qui s'égarent dans des domaines à haut risque, notamment la cybersécurité, la chimie et la biologie. De telles interactions, a-t-il déclaré, seront plutôt redirigées vers l'Opus 4.8, un modèle moins puissant.
Cela aurait suscité certaines critiques de la part des chercheurs et des développeurs dans le domaine de l'IA, car certains craignent que les travaux dérivés de cette manière soient délibérément dégradés d'une manière invisible et secrète.
Anthropic a depuis répondu au contrecoup, indiquant son intention de résoudre le problème en rendant les rails de sécurité de Claude 5 visibles à tous les utilisateurs et si l'entreprise soupçonne qu'un utilisateur tente de développer son propre système d'IA de grande puissance, elle enverra une invite claire l'informant que la demande est refusée en fonction de la politique ou qu'elle est redirigée vers un modèle moins performant.
Il est actuellement contraire aux conditions de service d'Anthropic d'utiliser la technologie Claude comme moyen de formation de modèles d'IA concurrents.
Dans une déclaration à Wired, un représentant d'Anthropic a déclaré : « Nous modifions les garanties de Fable 5 pour le développement LLM frontalier afin de les rendre visibles. Nous avons fait le mauvais compromis et nous nous excusons de ne pas avoir trouvé le bon équilibre. »
Parmi les critiques du processus décisionnel d'Anthropic figurait Dean Ball, chercheur principal à la Foundation for American Innovation et ancien conseiller de la Maison Blanche sur l'IA. Dans un article publié sur X, Ball a décrit la dégradation délibérée des performances de recherche en ML sans en informer l'utilisateur comme un « regard choquant et hostile ».
Il a en outre expliqué son potentiel à « nuire silencieusement à toutes sortes de travaux » et à « faire sourciller les autorités antitrust du monde entier ».
