04 Juil 2025
À définir
4 juillet 2025 Nabil Bouamama

Etude : les patients accordent une confiance excessive aux conseils générés par l’IA (NEJM) 

Des chercheurs du Massachusetts Institute of Technology (MIT) ont voulu évaluer comment des nonexperts perçoivent les réponses médicales générées par l’IA, comparées à celles fournies par un vrai médecin. Les résultats de leur étude* publiée le 13 mai dans le New England Journal of Medicine AI mettent en évidence une tendance inquiétante : ils accordent à l’IA une confiance injustifiée même en présence d’erreurs. 

Remplacer le médecin par l’IA, personne n’y songe réellement. Les études montrant que la technologie n’apporte un bénéfice qu’en complémentarité sont légion. Le 13 juin, une équipe de recherche internationale, dirigée par l’Institut Max Planck pour le développement humain (Allemagne), a par exemple mis en évidence la pertinence de la coopération humains-IA dans l’élaboration d’un diagnostic. Les humains et l’IA commettant des erreurs systématiquement différentes, ils se complètent.  

Le match IA/médecin 

Dans ce contexte, des chercheurs du Massachusetts Institute of Technology (MIT)ont cependant voulu mener une analyse approfondie de la manière dont les réponses médicales générées par l’intelligence artificielle (IA) sont perçues et évaluées par des non-experts. Pour y parvenir, ils ont inclus 300 participants qui ont été invités à évaluer des réponses médicales soit rédigées par un médecin sur une plateforme de santé en ligne, soit générées par un grand modèle de langage (IA). Préalablement, ces réponses avaient été classées par des médecins comme ayant une haute ou faible précision. Trois configurations différentes ont été comparées :  

  • Les participants savent si la réponse vient d’un médecin ou d’une IA. 
  • Les participants ne savent pas d’où vient la réponse. 
  • Une réponse IA est présentée comme venant d’un médecin (ou l’inverse). 

Les résultats de leurs travaux ont été publiés le 13 mai dans le New England Journal of Medicine AI.  

Résultats : une surprenante préférence pour l’IA imprécise 

Les participants ne font pas de distinction fiable entre les réponses d’un médecin et celles d’une IA. Le taux moyen de reconnaissance de l’origine est d’environ 50 % pour chaque catégorie.  

  • Ils évaluent les réponses IA – même inexactes – comme aussi bonnes, voire meilleures que celles des médecins. 
  • L’IA, même faiblement précise, semblait mieux comprise que les réponses médicales réelles.  
  • Paradoxalement, l’IA à faible précision provoquait la plus forte tendance à suivre le conseil, plus encore que l’IA à haute précision ou le médecin. 
  • Même les médecins experts ont évalué plus favorablement les réponses générées par l’IA lorsque la source n’était pas révélée.  
  • Les participants faisaient davantage confiance aux réponses IA de haute précision lorsqu’on leur disait qu’elles venaient d’un médecin 

Ces résultats suscitent de l’inquiétude chez les chercheurs. « La confiance excessive accordée à des conseils médicaux générés par IA, même inexacts ou inappropriés, peut mener à des mauvais diagnostics et à des conséquences préjudiciables pour les personnes en quête d’aide, » soulignent-ils. Bien sûr, les conditions de l’étude ne reflètent pas directement la réalité clinique, car ils sont obtenus dans un contexte contrôlé, limité à une plateforme textuelle en ligne, sans interaction réelle avec un professionnel. Mais, dans un monde où de plus en plus de conseils médicaux sont donnés par écrit et à distance, l’étude montre que la manière dont l’information est présentée influence la crédibilité plus que sa qualité médicale réelle. 

Afin de prévenir la désinformation tout en bénéficiant des avancées offertes par ces technologies de pointe, les auteurs concluent que « les systèmes d’IA devraient être intégrés en collaboration avec des professionnels de santé, et non utilisés seuls ».
 

*People Overtrust AI-Generated Medical Advice despite Low Accuracy. 

Shruthi Shekar, Pat Pataranutaporn, Chethan Sarabu, MD, Guillermo Cecchi, Pattie Maes. NEJM AI. 2025. DOI: 10.1056/AIoa2300015  

https://ai.nejm.org/doi/full/10.1056/AIoa2300015