Selon une nouvelle étude, ChatGPT surpasse les médecins dans la qualité et l’empathie des réponses aux questions des patients.Les résultats de l’étude ont été publiés dans JAMA Internal Medicine.

Des chercheurs de l’université de Californie à San Diego (La Jolla), de l’université Johns Hopkins (Baltimore) et du collège Bryn Mawr (Bryn Mawr, Pennsylvanie) ont évalué la capacité d’un chatbot assistant avec IA (ChatGPT) à fournir des réponses qualitatives et empathiques aux questions des patients. 

L’étude a utilisé une base de données publique et non identifiable de questions provenant d’un forum public de réseaux sociaux (Reddit's r/AskDocs) pour sélectionner au hasard 195 échanges datant d’octobre 2022 et lors desquels un médecin a répondu aux questions de patients. Les réponses du chatbot ont été générées en introduisant la question initiale dans une nouvelle session les 22 et 23 décembre 2022. La question initiale ainsi que les réponses anonymisées et ordonnées au hasard des médecins et des chatbots ont été évaluées en triple exemplaire par une équipe de professionnels de la santé. Les évaluateurs ont choisi la meilleure réponse et ont évalué à la fois la qualité de l’information fournie (très mauvaise, mauvaise, acceptable, bonne ou très bonne) et l’empathie ou le savoir-faire au chevet du patient (pas empathique, plutôt empathique, modérément empathique, empathique et très empathique). Les résultats moyens ont été classés sur une échelle de 1 à 5 et comparés entre le chatbot et les médecins.

De meilleurs médecins, des patients en meilleure santé 

Sur les 195 questions et réponses, dans 78,6% (IC à 95%, 75,0%-81,8%) des 585 évaluations, les évaluateurs ont préféré les réponses du chatbot à celles d’un médecin.

Les réponses du chatbot ont été jugées significativement plus qualitatives que celles des médecins (t = 13,3 ; P < 0,001). Par exemple, la proportion de réponses jugées de bonne ou de très bonne qualité (≥ 4) était plus élevée pour le chatbot que pour les médecins (chatbot : 78,5%, IC à 95%, 72,3%-84,1% ; médecins : 22,1%, IC à 95%, 16,4%-28,2%). Cela représentait une prévalence 3,6 fois plus élevée de réponses de bonne ou de très bonne qualité pour le chatbot. Les réponses du chatbot ont aussi été jugées significativement plus empathiques que celles des médecins (t = 18,9 ; P < 0,001). La proportion de réponses jugées empathiques ou très empathiques (≥ 4) était plus élevée pour le chatbot que pour les médecins (médecins : 4,6%, IC à 95%, 2,1%-7,7% ; chatbot : 45,1%, IC à 95%, 38,5%-51,8% ; médecins : 4,6%, IC à 95%, 2,1%-7,7%). Cela représentait une prévalence 9,8 fois plus élevée de réponses empathiques ou très empathiques pour le chatbot.

« Cette étude est la preuve que les outils d’IA peuvent rendre les médecins plus efficaces et précis, et les patients plus heureux et en meilleure santé », a déclaré le co-auteur de l’étude, le professeur Mark Dredze, Whiting School of Engineering de la Johns Hopkins University, qui a conseillé l’équipe de recherche.

Le responsable de l’étude, le professeur John W. Ayers, du Qualcomm Institute de l’université de Californie à San Diego, affirme que les résultats donnent un premier aperçu du rôle important que l’assistance en intelligence artificielle pourrait jouer dans les soins de santé.

« Les possibilités d’améliorer les soins de santé grâce à l’IA sont énormes », déclare le professeur Ayers. « Les soins assistés par IA sont l’avenir de la médecine ».

L’empathie est essentielle 

« Bien que cette étude ait montré des résultats prometteurs dans l’utilisation de l’assistance par IA pour les questions des patients, il est essentiel de noter que des recherches supplémentaires sont nécessaires avant de pouvoir tirer des conclusions définitives sur son effet potentiel dans les milieux cliniques. Malgré les limites de cette étude et la promotion excessive dont les nouvelles technologies font fréquemment l’objet, l’étude de l’ajout d’une assistance par IA aux flux de travail relatifs aux messages des patients est prometteuse, puisqu’elle permettrait d’améliorer les résultats pour les cliniciens et les patients », concluent les chercheurs.

« Nous pourrions utiliser ces technologies pour former les médecins à la communication centrée sur le patient, éliminer les inégalités en matière de santé parmi les groupes minoritaires qui recherchent souvent des soins de santé par le biais de messages, construire de nouveaux systèmes de sécurité médicale et aider les médecins en fournissant des soins de meilleure qualité et plus efficaces », a déclaré le Pr Dredze . « Lorsque les médecins sont débordés, l’empathie envers leurs patients peut être la première chose qui disparaît. C’est pourtant un élément essentiel des soins de santé : un patient n’écoute pas un médecin s’il ne se sent pas entendu. Cette étude prouve que l’IA peut aider les médecins à maintenir une communication empathique et précise avec leurs patients. » 

• Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Intern Med. Publié en ligne le 28 avril 2023. doi:10.1001/jamainternmed.2023.1838.