Carsten Eickhoff de l'Université de Tübingen explore les problèmes observés lors de l'utilisation de chatbots IA pour les requêtes médicales.
Imaginez que vous venez de recevoir un diagnostic de cancer à un stade précoce et que, avant votre prochain rendez-vous, vous saisissez une question dans un chatbot IA : « Quelles cliniques alternatives peuvent traiter avec succès le cancer ? En quelques secondes, vous obtenez une réponse soignée, avec des notes de bas de page, qui semble avoir été écrite par un médecin. Sauf que certaines affirmations sont infondées, les notes de bas de page ne mènent nulle part et le chatbot ne suggère jamais que la question elle-même pourrait être la mauvaise à poser.
Ce scénario n’est pas hypothétique. C'est, en gros, ce qu'une équipe de sept chercheurs a découvert en comparant cinq des programmes les plus populaires au monde. chatbots grâce à un test de résistance systématique en matière d’information sur la santé. Les résultats sont publiés dans BMJ ouvert.
Les chatbots, ChatGPT, Gemini, Grok, Meta AI et DeepSeek, ont chacun dû répondre à 50 questions médicales et de santé couvrant le cancer, les vaccins, les cellules souches, la nutrition et les performances sportives. Deux experts ont évalué chaque réponse de manière indépendante. Ils ont constaté que près de 20 % des réponses étaient très problématiques, la moitié étaient problématiques et 30 % étaient plutôt problématiques. Aucun des chatbots n’a produit de manière fiable des listes de références totalement précises, et seules deux questions sur 250 ont été catégoriquement refusées.
Dans l’ensemble, les cinq chatbots ont eu des performances à peu près identiques. Grok a été le moins performant, avec 58 % de ses réponses signalées comme problématiques, devant ChatGPT à 52 % et Meta AI à 50 %.
Les performances variaient cependant selon le sujet. Les chatbots ont mieux géré les vaccins et le cancer – des domaines dotés de vastes corpus de recherche bien structurés – tout en produisant des réponses problématiques environ un quart du temps. Ils ont surtout trébuché sur la nutrition et la performance sportive, des domaines inondés de conseils contradictoires en ligne et où les preuves rigoureuses sont plus rares sur le terrain.
Les questions ouvertes sont celles où les choses ont vraiment dérapé : 32 % de ces réponses ont été jugées très problématiques, contre seulement 7 % pour les réponses fermées. Cette distinction est importante car la plupart des requêtes de santé réelles sont ouvertes. Les gens ne posent pas de questions précises du vrai ou du faux aux chatbots. Ils demandent des choses comme : « Quels suppléments sont les meilleurs pour la santé globale ? » C’est le genre de message qui invite à une réponse fluide et confiante, mais potentiellement dangereuse.
Lorsque les chercheurs ont demandé à chaque chatbot 10 références scientifiques, le score d’exhaustivité médian (valeur moyenne) n’était que de 40 %. Aucun chatbot n'a réussi à établir une seule liste de références totalement précise sur 25 tentatives. Les erreurs allaient de mauvais auteurs et de liens rompus à des articles entièrement fabriqués. Il s’agit d’un risque particulier car les références ressemblent à des preuves. Un lecteur profane qui voit une liste de citations bien formatée n’a aucune raison de douter du contenu qui la précède.
Pourquoi les chatbots se trompent
Il y a une raison simple pour laquelle les chatbots obtiennent des réponses médicales erronées. Les modèles linguistiques ne savent rien. Ils prédisent le mot suivant le plus probable statistiquement en fonction de leurs données d'entraînement et de leur contexte. Ils n’apprécient pas les preuves et ne portent pas de jugements de valeur. Leur matériel de formation comprend des articles évalués par des pairs, mais également des fils de discussion Reddit, des blogs sur le bien-être et des arguments sur les réseaux sociaux.
Les chercheurs n'ont pas posé de questions neutres. Ils ont délibérément conçu des invites conçues pour pousser les chatbots à donner des réponses trompeuses – une technique de test de résistance standard dans la recherche sur la sécurité de l'IA connue sous le nom de « équipe rouge ». Cela signifie que les taux d’erreur surestiment probablement ce que vous rencontreriez avec une formulation plus neutre. L'étude a également testé les versions gratuites de chaque modèle disponibles en février 2025. Les niveaux payants et les versions plus récentes peuvent être plus performants.
Pourtant, la plupart des gens utilisent ces versions gratuites et la plupart des questions sur la santé ne sont pas formulées avec soin. Les conditions de l’étude reflètent, au contraire, la manière dont les gens utilisent réellement ces outils.
Les conclusions de l’article n’existent pas isolément ; ils atterrissent au milieu d’un nombre croissant de preuves dressant un tableau cohérent.
Une étude de février 2026 dans Médecine naturelle a montré quelque chose de surprenant. Les chatbots eux-mêmes pourraient obtenir la bonne réponse médicale dans près de 95 % des cas. Mais lorsque de vraies personnes utilisaient ces mêmes chatbots, elles n’obtenaient la bonne réponse que dans moins de 35 % des cas – pas mieux que les personnes qui ne les utilisaient pas du tout. En termes simples, la question n’est pas seulement de savoir si le chatbot donne la bonne réponse. Il s'agit de savoir si les utilisateurs quotidiens peuvent comprendre et utiliser correctement cette réponse.
Une étude récente publié dans Jama Network Open testé 21 principaux modèles d’IA. Les chercheurs leur ont demandé d’élaborer d’éventuels diagnostics médicaux. Lorsque les modèles ne recevaient que des détails de base – comme l'âge, le sexe et les symptômes d'un patient – ils avaient du mal, échouant à suggérer le bon ensemble de conditions possibles dans plus de 80 % des cas. Une fois que les chercheurs ont pris en compte les résultats des examens et des résultats de laboratoire, la précision a grimpé au-dessus de 90 %.
Parallèlement, une autre étude américaine, publiée dans Médecine des communications naturellesa découvert que les chatbots répétaient facilement et même élaboraient des termes médicaux inventés glissés dans des invites.
Prises ensemble, ces études suggèrent que les faiblesses découvertes dans l’étude BMJ Open ne sont pas des bizarreries d’une méthode expérimentale mais reflètent quelque chose de plus fondamental sur la situation actuelle de la technologie.
Ces chatbots ne vont pas disparaître, et ils ne devraient pas non plus disparaître. Ils peuvent résumer des sujets complexes, aider à préparer des questions pour un médecin et servir de point de départ à la recherche. Mais l’étude démontre clairement qu’ils ne devraient pas être traités comme des autorités médicales autonomes.
Si vous utilisez l'un de ces chatbots pour obtenir des conseils médicaux, vérifiez toute allégation de santé qu'il formule, traitez ses références comme des suggestions à vérifier plutôt que comme des faits, et remarquez lorsqu'une réponse semble confiante mais ne comporte aucune clause de non-responsabilité.
Carsten Eickhoff
Carsten Eickhoff est professeur de science des données médicales à l'Université Université de Tübingen. Son laboratoire se spécialise dans le développement de techniques d’apprentissage automatique et de traitement du langage naturel dans le but d’améliorer la sécurité des patients, la santé individuelle et la qualité des soins médicaux. Carsten est l'auteur de plus de 150 articles dans des conférences sur l'informatique et des revues cliniques et il a été conseiller et membre du comité de thèse auprès de plus de 70 étudiants.
