L’IA fonctionne aussi bien, voire mieux, que les ophtalmologistes humains pour diagnostiquer et traiter le glaucome. Il s’accorde également avec les ophtalmologistes dans la prise en charge des maladies de la rétine.
Évaluation des réponses d’un grand modèle de langage à des questions et des cas sur le glaucome et la gestion de la rétine Points clés Un chatbot à grand modèle de langage (LLM) peut-il fournir des réponses précises et complètes par rapport aux ophtalmologistes formés à la prise en charge du glaucome et des maladies de la rétine ? Résultats Dans cette étude transversale, avec des réponses évaluées à l’aide d’une échelle de Likert, le chatbot LLM a démontré une compétence comparative, correspondant largement, voire dépassant, aux surspécialistes du glaucome et de la rétine pour répondre aux questions ophtalmologiques et à la gestion des cas des patients. Signification Les résultats soulignent l’utilité potentielle des LLM en tant que compléments diagnostiques précieux en ophtalmologie, en particulier dans les sous-spécialités chirurgicales et hautement spécialisées du glaucome et de la rétine. |
Importance
Les grands modèles linguistiques (LLM) révolutionnent le diagnostic et le traitement médical, offrant une précision et une facilité sans précédent qui surpassent les moteurs de recherche conventionnels. Son intégration dans les programmes de soins de santé sera essentielle pour les ophtalmologistes en complément de la pratique de la médecine factuelle. Par conséquent, la précision des réponses diagnostiques et thérapeutiques générées par LLM par rapport aux ophtalmologistes qualifiés peut aider à évaluer sa précision et à valider son utilité potentielle dans les sous-spécialités ophtalmologiques.
But
Comparer la précision du diagnostic et l’étendue des réponses d’un chatbot LLM à celles de spécialistes du glaucome et de la rétine formés aux questions ophtalmologiques et à la gestion de cas réels de patients.
Conception, environnement et participants
Cette étude transversale comparative a recruté 15 participants âgés de 31 à 67 ans, dont 12 médecins traitants et 3 stagiaires seniors, issus de cliniques ophtalmologiques affiliées au département d’ophtalmologie de l’école de médecine Icahn du Mount Sinai, New York, New York. Les questions sur le glaucome et la rétine (10 de chaque type) ont été sélectionnées au hasard parmi les questions les plus fréquemment posées par l’American Academy of Ophthalmology.
Des cas non identifiés de glaucome et de rétine (10 de chaque type) ont été sélectionnés au hasard parmi des patients en ophtalmologie vus à l’École de médecine Icahn des cliniques affiliées au Mont Sinaï. Le LLM utilisé était GPT-4 (version du 12 mai 2023). Les données ont été collectées de juin à août 2023.
Principaux résultats et mesures
Les réponses ont été évaluées à l’aide d’une échelle de Likert pour déterminer l’exactitude et l’exhaustivité médicales. L’analyse statistique impliquait le test U de Mann-Whitney et le test de Kruskal-Wallis, suivis d’une comparaison par paires.
Résultats
Le classement moyen combiné des cas de questions pour l’exactitude était de 506,2 pour le chatbot LLM et de 403,4 pour les spécialistes du glaucome (n = 831 ; U de Mann-Whitney = 27 976,5 ; P < 0,001), et l’évaluation moyenne pour l’exhaustivité était de 528,3 et 398,7. respectivement (n = 828 ; Mann-Whitney U = 25 218,5 ; P < 0,001).
L’indice de précision moyen était de 235,3 pour le chatbot LLM et de 216,1 pour les spécialistes de la rétine (n = 440 ; Mann-Whitney U = 15 518,0 ; P = 0,17), et l’indice d’exhaustivité moyen était de 258,3 et 208,7, respectivement (n = 439 ; Mann-Whitney U = 13 123,5 ; P = 0,005).
Le test de Dunn a révélé une différence significative entre toutes les comparaisons par paires, sauf entre le spécialiste et le stagiaire, dans l’évaluation de l’intégrité du chatbot. Des comparaisons globales par paires ont montré que les apprenants et les spécialistes évaluaient l’exactitude et l’exhaustivité du chatbot plus favorablement que leurs homologues spécialistes, les spécialistes notant une différence significative dans l’exactitude et l’exhaustivité du chatbot (z = 3,23 ; P = 0,007) et son intégrité (z = 5,86 ; p < 0,001).
Figure : Dans les boxplots présentés, l’encadré indique l’IQR entre le premier et le troisième quartile ; la ligne centrale indique la médiane de l’ensemble de données ; les moustaches indiquent 1,5 fois l’IQR ; les cercles indiquent de légères valeurs aberrantes (valeurs comprises entre 1,5 et 3 fois l’IQR) ; et les triangles indiquent des valeurs aberrantes extrêmes (plus de 3 fois l’IQR).
Conclusions et pertinence
Cette étude accentue la compétence comparative des chatbots LLM en termes d’exactitude et d’exhaustivité du diagnostic par rapport aux ophtalmologistes qualifiés dans divers scénarios cliniques.
Le chatbot LLM a surpassé les spécialistes du glaucome et a égalé les spécialistes de la rétine en termes de précision du diagnostic et du traitement, confortant ainsi son rôle de complément diagnostique prometteur en ophtalmologie.
commentaires
La nouvelle étude a testé l’IA auprès d’un panel de médecins humains en évaluant 20 cas de patients.
L’intelligence artificielle peut égaler et même surpasser les ophtalmologistes humains dans le diagnostic et le traitement du glaucome, selon une nouvelle étude.
Le système GPT-4 d’OpenAI a fonctionné aussi bien, voire mieux, que les ophtalmologistes dans l’évaluation de 20 patients différents atteints de glaucome et de maladies de la rétine, rapportent les chercheurs dans la revue JAMA Ophthalmology .
"L’IA était particulièrement frappante par sa compétence dans la gestion des cas de patients atteints de glaucome et de rétine, correspondant à l’exactitude et à l’exhaustivité des diagnostics et des suggestions de traitement faites par des médecins humains sous forme de note clinique", a déclaré l’auteur principal de l’étude, le Dr. . Louis Pasquale, vice-président de la recherche en ophtalmologie à l’Eye and Ear Infirmary du Mount Sinai à New York.
Les résultats suggèrent que l’IA pourrait jouer un rôle de soutien important pour les ophtalmologistes lorsqu’ils tentent de traiter le glaucome des patients.
"Tout comme l’application d’IA Grammarly peut nous apprendre à devenir de meilleurs rédacteurs, GPT-4 peut nous donner des conseils précieux sur la façon de devenir de meilleurs médecins, notamment en termes de façon dont nous documentons les résultats des examens des patients", a déclaré Pasquale dans un communiqué. . communiqué de presse sur les soins infirmiers.
Le glaucome est notoirement difficile à diagnostiquer. Selon l’American Academy of Ophthalmology (AAO), environ la moitié des 3 millions d’Américains atteints de glaucome ne savent pas qu’ils en sont atteints.
Le glaucome survient lorsque la pression d’un liquide s’accumule à l’intérieur de l’œil, endommageant le nerf optique et créant des angles morts dans la vision d’une personne, explique l’AAO.
Pour cette étude, les chercheurs ont utilisé un ensemble de 20 questions de base sur le glaucome et les maladies de la rétine pour tester le programme d’IA auprès d’un ensemble de 12 ophtalmologistes traitants et de trois stagiaires seniors.
Les réponses ont ensuite été analysées statistiquement et notées pour en vérifier l’exactitude et l’exhaustivité.
Les résultats montrent que l’IA a surpassé les ophtalmologistes en réponse au diagnostic et au traitement du glaucome. Pour les maladies de la rétine, l’IA a égalé les humains en termes de précision, mais les a surpassés en termes d’exhaustivité.
Les chercheurs ont noté que les outils d’IA avancés comme GPT-4 sont formés sur de grandes quantités de données, de textes et d’images.
Le chercheur principal, le Dr Andy Huang, résident en ophtalmologie au Mount Sinai Eye and Ear Infirmary à New York, a déclaré que les résultats montrent que l’IA peut aider à traiter les maladies oculaires.
« Il pourrait servir d’assistant fiable aux ophtalmologistes en leur fournissant un soutien au diagnostic et en allégeant potentiellement leur charge de travail, en particulier dans les cas complexes ou dans les zones à fort volume de patients », a déclaré Huang.
"Pour les patients, l’intégration de l’IA dans la pratique ophtalmologique conventionnelle pourrait permettre un accès plus rapide aux conseils d’experts, ainsi qu’une prise de décision plus éclairée pour guider leur traitement", a ajouté Huang.
Message final Dans cette étude, un chatbot LLM présentait une précision diagnostique comparative et complète dans le glaucome et la rétine par rapport à des ophtalmologistes qualifiés, à la fois pour les questions cliniques et les cas cliniques. Ces résultats soutiennent la possibilité que les outils d’intelligence artificielle puissent jouer un rôle essentiel en tant que compléments diagnostiques et thérapeutiques. |
SOURCE : New York Eye and Ear Infirmary of Mount Sinai, communiqué de presse, 22 février 2024
