Un estudio que evalúa el ChatGPT como herramienta de apoyo para la toma de decisiones médica en cáncer de mama confirma que esta herramienta puede servir de ayuda a los profesionales sanitarios.
Tal y como indica el estudio, se insertó en el ChatGPT-3.5
información clínica de diez pacientes con
tumores de mama. Se pidió a la herramienta que recomendara la gestión. Los resultados generados por el ChatGPT se compararon con las recomendaciones finales del comité tumoral. También fueron calificados de forma independiente por dos radiólogos senior.
Las puntuaciones oscilaron entre 1 y 5 (1 = totalmente en desacuerdo, 5 = totalmente de acuerdo), y se dividieron en tres categorías diferentes: resumen, recomendación y explicación. La edad media era de 49,4 años. 8/10 (80 %) de las pacientes tenían carcinoma ductal invasivo, una paciente (1/10, 10 %) tenía un carcinoma ductal in situ y una paciente (1/10, 10 %) tenía un tumor filoide con atipia.
En siete de cada diez casos (70 %), las recomendaciones del
ChatGPT fueron similares a las decisiones del comité tumoral. Las puntuaciones medias al calificar el resumen, la recomendación y la explicación del chatbot por parte del primer revisor fueron 3,7, 4,3 y 4,6 respectivamente. Los valores medios del segundo revisor fueron 4,3, 4,0 y 4,3, respectivamente.
Herramienta de apoyo para los médicos
El lanzamiento del ChatGPT ha suscitado una
gran atención pública, mediática y científica. GPT
(Generative Pretraining Transformer) es un gran modelo de lenguaje (LLM) y pueden utilizarse para diversas aplicaciones en atención clínica e investigación. Pueden servir como
herramienta de apoyo para los médicos, ya que permite resumir datos, responder a preguntas e incluso sugerir tratamientos. Existen algunos informes, así como varios estudios, que han mostrado resultados alentadores sobre el rendimiento del ChatGPT en diversas tareas médicas complejas.
Los comités de tumores médicos suelen presentar y debatir los casos clínicos más complejos. La participación en comités de tumores representa formidables retos intelectuales para oncólogos, cirujanos, radiólogos y patólogos en su práctica clínica. Esto se debe a la necesidad de integrar los conocimientos médicos, comprensión médica y un juicio clínico perspicaz. En el presente estudio se pretende evaluar un gran modelo lingüístico (ChatGPT-3.5) como herramienta de apoyo para un comité de tumores de mama.
En el estudio con las diez pacientes, en siete de cada diez casos (7/10, 70%),
las recomendaciones del ChatGPT fueron similares a las decisiones del comité. La concordancia entre evaluadores fue aceptable. En ocho casos (8/10, 80 %) el chatbot recomendó la cirugía como el siguiente paso de tratamiento, y en dos casos (2/10, 20%) recomendó un tratamiento de quimioterapia neoadyuvante.
Según recomendaciones del comité tumoral, siete pacientes fueron sometidas a cirugía, dos a diagnóstico por imagen y una a quimioterapia neoadyuvante. Al recomendar una consulta multidisciplinar como nota adicional en las respuestas generadas, nunca ChatGPT mencionó al radiólogo como parte del foro médico.
Este estudio evalúa el rendimiento de ChatGPT como
herramienta de decisiones clínicas en la gestión de pacientes en tumor de mama. Nuestros resultados mostraron que las recomendaciones clínicas del chatbot coincidían con las del comité tumoral en 70% de los casos. Además, el chatbot ofrecía resúmenes de los casos clínicos y explicaciones de sus conclusiones. Cabe destacar que las puntuaciones más bajas, por parte de ambos evaluadores, correspondieron a las recomendaciones clínicas del chatbot.
Limitaciones del estudio
Según los autores, este estudio tiene varias limitaciones. Se limitó el tamaño de la muestra a sólo diez pacientes, lo que no refleja el rendimiento del algoritmo en el mundo clínico real. En consecuencia, la generalización de los resultados a partir de una muestra tan pequeña es inviable. Además, algunos tumores y muchos escenarios clínicos no están representados en absoluto. Por lo tanto, existe posibilidad de sesgo subjetivo en el proceso de calificación.
Además, es importante tener en cuenta que el ChatGPT genera respuestas basadas en el conjunto de datos con el que se ha entrenado. Los datos pueden no estar actualizados, sobre todo en campos como la Oncología, en los que
surgen constantemente nuevos ensayos y fármacos.
Se necesitan más estudios con muestras de mayor tamaño para establecer el rendimiento real del chatbot en distintos escenarios clínicos. Dados los importantes avances, es probable que el uso de un LLM como ChatGPT como herramienta de asistencia y apoyo para los médicos se amplíe y evolucione. Por lo tanto, es esencial que los médicos se familiaricen con los pros y los contras de esta tecnología.
