ChatGPT hace recomendaciones médicas y seguirlas es todo un riesgo mortal

El análisis entre el chatbot de OpenAI y especialistas reveló la falta de fiabilidad de la IA al responder pedidos de este tipo de información

Renato Silva, Infobae

Una de las recomendaciones básicas al momento de utilizar una inteligencia artificial es no confiar completamente en que la información que entrega es adecuada o incluso 100% real. En ese sentido, un estudio reciente desarrollado por la Universidad de Long Island, en Nueva York, indica que los usuarios deben tener especial cuidado con la información médica que puede ofrecer la aplicación de ChatGPT con respecto al consumo de pastillas u otros medicamentos.

Los investigadores solicitaron a ChatGPT que responda 39 preguntas relacionadas con medicinas y sus efectos en la salud de las personas. Estas fueron planteadas por el servicio de información sobre medicamentos de la Facultad de Farmacia de la institución, pero solo diez de ellas recibieron una respuesta que pueda considerarse adecuada según los criterios de profesionales humanos.

El análisis, que fue realizado por un periodo de 16 meses entre los años 2022 y 2023, enfrentó a las respuestas creadas por la inteligencia artificial de OpenAI y aquellas que fueron planteadas por un grupo de farmacéuticos especializados, lo cual llevó a la conclusión de que ChatGPT no es fiable en esta materia pues gran parte de los datos que fueron entregados a modo de respuesta fue incompleta o errónea.

El equipo de investigación, que fue dirigido por Sara Grossman, profesora asociada de práctica farmacéutica en la Universidad de Long Island y autora principal del estudio, indicó que el 74.3% de las respuestas del chatbot no superaron el filtro de conocimiento de los especialistas de la salud.

Los investigadores evaluaron 39 preguntas médicas respondidas por ChatGPT y sólo diez recibieron respuestas consideradas adecuadas. (AP Foto/Michael Dwyer, Archivo)

No solo eso, sino que en un intento por verificar las fuentes de información de ChatGPT, se pudo ver que estas fueron ofrecidas solo en ocho ocasiones, pero que en realidad todas eran inexistentes y fueron inventadas por la inteligencia artificial como una forma de crear una falsa idea de sustento para las respuestas. Estos hallazgos fueron presentados en un congreso reciente de la Sociedad Estadounidense de Farmacéuticos del Sistema de Salud (ASHP).

Por ejemplo, en una de las respuestas proporcionadas la inteligencia artificial no pudo identificar la interacción potencialmente peligrosa entre dos medicamentos que, al ser ingeridos juntos, puede causar graves daños a la salud de los pacientes. “Cualquiera que utilice ChatGPT para obtener información relacionada con medicamentos debe verificar la información utilizando fuentes confiables”, enfatizó Grossman.

Gina Luchen, directora de datos y salud digital de la ASHP, indicó que la inteligencia artificial puede tener un gran impacto en la atención en establecimientos de salud como clínicas, pero enfatizó en que al mismo tiempo es necesario que la información que genere debe ser validada por un profesional de la salud para brindar mayor seguridad a los pacientes.

Aparte de los resultados del estudio de la Universidad de Long Island, un estudio similar que pretendía determinar el grado de fiabilidad de la información, que incluyó a GPT-4 (de OpenAI), informó sobre una tasa del 3% en errores de respuestas, evidenciando que incluso el modelo más avanzado de ChatGPT no está exento de fallos.

Incluso el avanzado modelo GPT-4 muestra errores, con un 3% de inexactitudes en respuestas según estudios. (Gabby Jones/Bloomberg)

Información errónea en tratamientos para el cáncer

Por otro lado, investigadores del Brigham and Women’s Hospital, afiliado a la Facultad de Medicina de la Universidad de Harvard, encontraron errores en las respuestas de ChatGPT relacionadas con el cáncer y su tratamiento.

Los hallazgos ponen en evidencia que este tipo de temas deben ser tomados con cuidado por los usuarios, al no considerar sus respuestas como una guía a seguir en el tratamiento y el diagnóstico de enfermedades.

“Nos ha sorprendido el grado en que la información incorrecta se mezclaba con la correcta. Eso hace que sea especialmente difícil detectar errores, incluso para los expertos”, aseguró la doctora Danielle Bitterman, una de las autoras del estudio.

En particular, se encontró al menos un 12.5% de datos inventados. Si bien esto podría no parecer relevante o fácilmente superable, al tratarse de información médica las consecuencias de estos fallos podrían ser fatales y más aún tratándose de una enfermedad como el cáncer.