Investigadores chilenos desarrollan un marco para evaluar la robustez de modelos de IA clínica frente a cambios en los datos

El trabajo, publicado en la revista BMC Medical Informatics and Decision Making, propone Clinical-ShiftEval una metodología abierta y reproducible para medir cómo se degradan los modelos de procesamiento de lenguaje natural clínico cuando cambian las condiciones del entorno de salud, y compara estrategias de adaptación usando datos reales del sistema público chileno.

Los modelos de inteligencia artificial que procesan texto clínico —como los que apoyan la priorización de pacientes o la codificación automática de diagnósticos— suelen evaluarse bajo un supuesto poco realista: que los datos y las tareas no cambian con el tiempo. Sin embargo, en la práctica clínica el cambio es la norma. Nuevas enfermedades, actualizaciones de guías clínicas, reestructuraciones institucionales o modificaciones en las políticas de priorización pueden hacer que un modelo que funcionaba bien pierda confiabilidad rápidamente, como ocurrió durante la pandemia de COVID-19.

Para abordar este problema, el investigador de la Pontificia Universidad Católica de Chile Fabián Villena, junto a Felipe Bravo-Márquez de la Universidad de Chile y Jocelyn Dunstan, investigadora de iHEALTH y académica de la Pontificia Universidad Católica de Chile, desarrollaron Clinical-ShiftEval, un marco de evaluación que permite simular de forma controlada los cambios que enfrentan los modelos de lenguaje clínico una vez desplegados en el mundo real.

"Clinical-ShiftEval es un marco de evaluación diseñado para estudiar un problema central de la inteligencia artificial en salud: los modelos pueden funcionar muy bien cuando se evalúan con datos similares a aquellos con que fueron entrenados, pero su desempeño puede disminuir cuando cambian las condiciones clínicas o los datos disponibles", explica Fabián Villena, autor principal del estudio. "Clinical-ShiftEval surge para simular estos escenarios de forma controlada y reproducible, permitiendo medir cómo responden los modelos frente a cambios que se parecen a los que ocurren en contextos clínicos reales".

Dos tipos de cambio, un caso de estudio chileno

El marco formaliza dos tipos de cambio frecuentes en salud: la incompatibilidad del conjunto de etiquetas (LSI, por su sigla en inglés), que ocurre cuando aparecen nuevas categorías de predicción o desaparecen otras —por ejemplo, la creación de una nueva especialidad médica—, y la evolución de la definición de la tarea (TDE), que ocurre cuando cambian los criterios que definen una etiqueta, como sucede cuando se actualizan las políticas de priorización de enfermedades.

Como caso de estudio, el equipo aplicó el marco al Corpus de Lista de Espera Chilena, un conjunto de datos de interconsultas del sistema público de salud escritas en español. Sobre estos datos reales, compararon tres estrategias de adaptación: el reentrenamiento continuo de modelos supervisados, el aprendizaje en contexto con grandes modelos de lenguaje (LLMs) y un método híbrido que combina un modelo supervisado previo con un LLM que actúa como agente de decisión.

Los resultados muestran que los modelos supervisados convencionales son altamente sensibles a estos cambios, con caídas de desempeño de hasta 82% cuando cambian las categorías de predicción y 43% al variar los criterios clínicos. El aprendizaje en contexto redujo esas caídas a 35% y 10% respectivamente, mientras que el enfoque híbrido las limitó a cerca de 8% en ambos escenarios, todo esto sin necesidad de nuevos datos etiquetados. El reentrenamiento continuo, en tanto, solo superó a las otras estrategias tras incorporar al menos un 30% de datos del nuevo período.

"El estudio muestra que Clinical-ShiftEval permite generar escenarios controlados e interpretables de cambio clínico, en los que es posible observar y cuantificar caídas de desempeño de los modelos predictivos", señala Villena. "Esto es relevante porque permite evaluar de manera más realista la robustez de un modelo antes de pensar en su aplicación clínica".

Jocelyn Dunstan, coautora del estudio, valora el origen y la proyección de este trabajo: "Destaco que Fabián Villena haya identificado durante su doctorado un área poco explorada, porque evaluar cómo se comportan los modelos de lenguaje natural frente a los cambios reales del sistema de salud es clave para que estas herramientas sean confiables en la práctica clínica".

Más allá de las métricas agregadas, el análisis de errores reveló modos de falla clínicamente significativos, como derivaciones incorrectas de pacientes ante cambios en las especialidades disponibles, o priorizaciones perdidas cuando evolucionan los criterios clínicos, hallazgos que pueden comprometer tanto la eficiencia como la equidad de las decisiones de priorización.

Sobre los próximos pasos, el autor principal adelanta: "A partir de este trabajo, aprendimos que los grandes modelos de lenguaje pueden ser útiles para abordar problemas asociados a cambios en los datos y contextos clínicos. La siguiente etapa es llevar ese aprendizaje hacia herramientas prácticas que permitan a los proveedores de salud implementar modelos de inteligencia artificial de manera más simple y segura".

Clinical-ShiftEval fue liberado como una librería de Python de código abierto, disponible en GitHub, y los conjuntos de datos utilizados también son de acceso público, lo que facilita que otros equipos de investigación apliquen el marco a nuevos idiomas, dominios y contextos de salud.

Villena, F., Bravo-Marquez, F. & Dunstan, J. "Clinical-ShiftEval: a framework for simulating and evaluating model adaptation in dynamic clinical NLP tasks". BMC Medical Informatics and Decision Making 26, 240 (2026). https://doi.org/10.1186/s12911-026-03538-6

El estudio fue financiado por ANID Chile a través de la Iniciativa Científica Milenio (ICN2021_004 - iHEALTH e ICN17_002 - IMFD), los Fondos Basales FB210017 - CENIA y CIA250006 - AC3E, la Beca de Doctorado Nacional 21220200 y el proyecto Fondecyt 1241825.