El error no es que el modelo falle, sino que falle con el 70% de confianza

Un paciente salió con una dosis de insulina de 80 unidades. El prescriptor había dicho 8. El sistema de reconocimiento de voz entendió ochenta donde había ocho, lo transcribió sin dudar y nadie lo detectó antes de que llegara al historial. Es un incidente real, recogido en el sistema de seguimiento de errores de medicación del ISMP, y es el caso con el que un desarrollador abre su análisis de MedScribe, el pipeline de documentación clínica que construyó con FasterWhisper en la capa de ASR y un LLM para extraer términos médicos.

El problema no es que el modelo se equivoque. Los modelos se equivocan continuamente y eso tiene arreglo mientras el error sea visible. El problema es que se equivoque convencido: nada en el sistema sabía que debería haber dudado. Y no es un caso aislado. Un estudio sobre notas de urgencias generadas con reconocimiento de voz encontró una media de 1,3 errores por nota, de los cuales el 15% se consideraron clínicamente significativos. Otra comparación situó las notas dictadas con ASR en cuatro veces la tasa de error de las escritas sin él. En un ejemplo menos grave, una transcripción registró la alergia de un paciente como XOPENEX, un broncodilatador, cuando el clínico había dicho sulfa: otra clase de fármaco, otro alérgeno, la misma confianza muda.

Los modelos no saben cuándo no saben

El primer reflejo, cuenta el autor, es mirar la puntuación de confianza: por encima del umbral se corrige solo, por debajo se manda a revisión. El fallo es que esas puntuaciones no significan lo que parecen. Un modelo está calibrado si, de todo lo que etiqueta como 70% seguro, acierta alrededor del 70%. Los modelos reales incumplen esto de forma sistemática.

Un estudio de 2025 sobre Whisper, la misma familia de modelos que usa MedScribe, encontró que en condiciones ruidosas entre el 10% y el 20% de los tokens se predecían mal con una confianza superior a 0,7. Y esos errores sobreconfiados aumentan a medida que baja la relación señal-ruido, es decir, justo en una consulta real con ruido de fondo y no en un estudio en silencio. No es una rareza del ASR: en una evaluación de incertidumbre verbalizada, los modelos concentraban casi toda su confianza declarada en la franja del 90% al 100% acierta o no, y uno de ellos midió un error de calibración esperado del 74,8%, lo que viene a decir que su confianza declarada iba por libre respecto a su precisión real.

Los registros de auditoría del propio autor reproducen el patrón sobre un corpus sintético: citigliptin por Sitagliptin, una transcripción que convierte Lisinopril 20mg en algo que suena a una fecha, Fluticusone por Fluticasone, NSA IDS por NSAIDs, torvostat por Atorvastatin. Cada uno de esos casos obliga a un chequeo de similitud a decidir en solitario si está ante un fármaco o ante ruido, y la similitud por sí sola no lleva información suficiente para distinguirlo.

Un umbral único falla por los dos lados

Si el umbral se afloja, pasa el escenario de la insulina. Si se aprieta, se marcan como dudosos términos correctos hasta que el clínico se acostumbra a ignorar los avisos: fatiga de alertas, un modo de fallo conocido en software clínico. Un problema de dos caras no se arregla moviendo un solo número arriba y abajo.

El contexto que se perdió por el camino es el del transcriptor humano, que cazaba lo obviamente incoherente —un informe que habla de ovarios en un paciente varón— antes de que llegara al historial. El software no heredó ese instinto, solo eliminó el punto de control: hay historiales que ahora llevan un descargo avisando de que puede haber sustituciones por palabras que suenan parecido y pidiendo al lector que las detecte a mano. El artículo no vende una solución cerrada; expone el diagnóstico y sus propios registros de auditoría, que es lo que hace útil leerlo antes de montar cualquier capa de autocorrección sobre un LLM.