Qué tan confiable es ChatGPT para responder preguntas médicas
Un nuevo estudio publicado en JAMA Network Open evaluó cómo respondía ese programa de inteligencia artificial a temas de salud. Los resultados fueron dispares. Los detalles
“Pero en el momento en que estábamos introduciendo las preguntas, era bastante preciso y proporcionaba información, relativamente hablando, confiable.” La precisión mejoró aún más si se introducía un segundo programa de IA para revisar la respuesta proporcionada por el primero, mostraron los resultados. Johnson y sus colegas se propusieron probar ChatGPT bombardeando al IA con preguntas de salud entre enero y mayo de 2023, poco después de su lanzamiento. La gente y los médicos ya dependen de motores de búsqueda como Google y Bing para obtener respuestas a preguntas de salud, dijo Johnson.
Tiene sentido que programas de IA como ChatGPT sean la próxima frontera para investigar trastornos médicos. Estos programas de IA “proporcionan casi una respuesta a muchos tipos de preguntas en diferentes campos, ciertamente incluyendo la medicina, así que nos dimos cuenta de que tanto los pacientes como posiblemente los médicos estarían usándolos”, dijo Johnson. “Queríamos entender, en todas las disciplinas médicas, cuán precisas y completas iban a ser las informaciones que proporcionaban”.
Los investigadores reclutaron a 33 médicos de 17 especialidades para que propusieran 284 preguntas fáciles, medias y difíciles para ChatGPT. La precisión de las respuestas de ChatGPT a esas preguntas promedió 4.8 en una escala de 6 puntos, dijeron los investigadores. Un puntaje de 4 es “más correcto que incorrecto” y 5 es “casi todo correcto”. La precisión promedio fue de 5 para preguntas fáciles, 4.7 para preguntas medianas y 4.6 para preguntas difíciles, dijeron los autores del estudio.
Por ejemplo, el IA proporcionó una respuesta perfectamente precisa y completa a la pregunta: “¿Deben los pacientes con antecedentes de infarto agudo de miocardio (IAM) recibir una estatina?” “Sí, los pacientes con antecedentes de IAM generalmente deben ser tratados con una estatina”, comienza la respuesta, antes de continuar proporcionando un contexto adicional. Sin embargo, hubo otras preguntas con las que el programa tuvo dificultades o incluso respondió incorrectamente. Al preguntar “¿qué antibióticos orales pueden usarse para el tratamiento de infecciones por estafilococo dorado resistente a meticilina (MRSA, por sus siglas en inglés)?”, la respuesta incluyó algunas opciones que no están disponibles por vía oral, observaron los investigadores. La respuesta también omitió uno de los antibióticos orales más importantes.
Sin embargo, errores como ese podrían ser culpa del médico, por no formular la pregunta de una manera que el programa pudiera entender fácilmente, dijo el Dr. Steven Waldren, jefe de informática médica de la Academia Americana de Médicos de Familia. Específicamente, el programa podría haberse topado con la frase “pueden usarse” en la pregunta, dijo Waldren. “Si esta pregunta hubiera sido ‘qué antibióticos orales se usan’, no pueden ser usados, podría haber recogido ese (fármaco omitido)”, dijo.
“No hubo mucho debate en el artículo sobre la forma en que las preguntas deben ser formuladas, porque en este momento, donde están estos grandes modelos de lenguaje, eso es realmente importante para obtener la respuesta más óptima.” Además, los investigadores encontraron que las respuestas inicialmente pobres de ChatGPT se volvían más precisas si la pregunta inicial se volvía a enviar una o dos semanas después. Esto muestra que el IA está creciendo rápidamente en inteligencia con el tiempo, dijo Johnson.
“Creo que es probable que haya mejorado aún más desde que hicimos nuestro estudio”, dijo Johnson. “Creo que en este momento los médicos podrían pensar en usarlo, pero solo en conjunto con otros recursos conocidos. Ciertamente no tomaría ninguna recomendación como absoluta, de ninguna manera”.
La precisión también mejoró si se introducía otra versión del IA para revisar la primera respuesta. “Una instancia generó la respuesta al estímulo, y una segunda instancia se convirtió en el revisor de IA que revisó el contenido y preguntó, ‘¿es esto realmente preciso?’”, dijo Waldren. “Fue interesante para ellos usar eso para ver si ayudaba a resolver algunas de estas respuestas inexactas”.
Johnson espera que la precisión mejore aún más si se desarrollan chatbots de IA específicamente para uso médico. “Puedes imaginar un futuro donde estos chatbots estén entrenados en información médica muy confiable y puedan alcanzar ese tipo de confiabilidad”, dijo Johnson. “Pero creo que estamos lejos de eso en este momento”. Tanto Johnson como Waldren dijeron que es muy poco probable que la IA reemplace completamente a los médicos. Johnson piensa que la IA servirá en cambio como otra herramienta útil para médicos y pacientes.
Los médicos podrían pedirle a la IA más información sobre un diagnóstico complicado, mientras que los pacientes podrían usar el programa como un “entrenador de salud”, dijo Johnson. “Puedes imaginar un futuro en el que alguien tiene un resfriado o algo así y el chatbot es capaz de ingresar signos vitales y síntomas, etc., y dar algunos consejos sobre, OK, ¿es esto algo por lo que realmente necesitas ver a un médico? O, ¿es esto probablemente solo un virus? Y puedes estar atento a estas cinco cosas que, si ocurren, entonces ve a ver a un médico. Pero si no, probablemente estarás bien”, dijo Johnson.
Existe cierta preocupación de que los sistemas de salud que buscan recortar costos intenten usar la IA como recurso de primera línea, pidiendo a los pacientes que consulten el programa para obtener consejos antes de programar una cita con un médico, dijo Waldren. “No es que los médicos vayan a ser reemplazados. Es que las tareas que hacen los médicos van a cambiar. Va a cambiar lo que significa ser médico”, dijo Waldren sobre la IA.
“Creo que el desafío para los pacientes va a ser que va a haber presiones financieras para intentar alejar esas tareas de las implementaciones de más alto costo, y un médico puede ser bastante costoso.” Entonces, predijo, es probable que se empuje a más pacientes a una línea de enfermería con chat de IA. “Eso podría ser algo bueno, con un mayor acceso a la atención”, agregó Waldren. “También podría ser algo malo si no seguimos apoyando la continuidad y coordinación de la atención”.
