Javi Ursua

Por qué un modelo alucina, y qué hacer con eso

Por qué inventar forma parte del funcionamiento normal de un modelo de lenguaje, qué se ha descubierto sobre por qué prefiere adivinar antes que callarse, y las seis medidas que reducen el daño.

Un pasajero consultó el asistente conversacional de la web de Air Canada antes de comprar un billete para asistir a un funeral. El asistente le explicó que podía solicitar la tarifa reducida por fallecimiento después de volar. No era cierto: la política de la compañía decía lo contrario, en otra página de la misma web. Cuando el pasajero reclamó, la aerolínea sostuvo ante el tribunal que el asistente era responsable de sus propias respuestas. El tribunal canadiense no aceptó el argumento y responsabilizó a la empresa de la información publicada en su propio sitio.

Ese caso resume el problema mejor que cualquier explicación técnica. Un modelo de lenguaje puede producir una afirmación falsa con exactamente el mismo tono de seguridad con el que produce una verdadera, y la responsabilidad de lo que dice se queda donde estaba: en quien lo puso ahí.

Qué es una alucinación, con precisión

Se llama alucinación a una respuesta que es fluida, coherente y está formulada con seguridad, y que resulta ser objetivamente falsa o directamente inventada.

Va desde lo sutil hasta lo grave: una fecha cambiada, un cargo atribuido a la persona equivocada, una cita textual que nadie escribió, un enlace con estructura perfecta que no lleva a ninguna parte, un artículo académico con autores reales, título verosímil y número de página, que no existe.

El nombre es engañoso, y conviene decirlo. Sugiere una anomalía, algo que le pasa al sistema de vez en cuando. Lo que hay debajo es el funcionamiento normal.

Por qué ocurre: la máquina no está buscando la verdad

El mecanismo lo cuento entero en Qué hace un modelo de lenguaje, sin matemáticas , y aquí basta el resumen: el sistema calcula, fragmento a fragmento, cuál es la continuación más probable del texto que tiene delante. Su criterio de éxito es la plausibilidad estadística, no la correspondencia con el mundo.

Cuando la información existe en abundancia en sus datos, lo plausible y lo verdadero coinciden casi siempre. Ahí el modelo parece un oráculo.

Cuando la información es escasa, muy específica o posterior a su entrenamiento, el mecanismo no se detiene. No hay dentro del sistema un estado de aquí me falta material. Sigue produciendo la continuación que mejor suena, y lo que mejor suena en el hueco de un dato que no tiene es un dato que se le parece.

De ahí se deduce el mapa de dónde va a fallar, y es un mapa muy útil: cuanto más raro, más concreto y más comprobable es el dato, mayor es la probabilidad de que esté inventado. Nombres propios poco frecuentes. Cifras exactas. Citas literales. Referencias bibliográficas. Números de sentencia. Direcciones web. Precisamente lo que un profesional necesita que sea correcto.

Lo que se descubrió después: el sistema aprendió a no decir «no lo sé»

Durante un tiempo la explicación se quedaba ahí. En 2025, un trabajo de Adam Tauman Kalai, Ofir Nachum, Santosh Vempala y Edwin Zhang añadió una segunda capa, y es la que cambia la conversación.

Su argumento: los modelos alucinan porque los procedimientos con los que se entrenan y se evalúan premian adivinar por encima de reconocer la incertidumbre.

La analogía que usan los propios autores es un examen tipo test sin penalización por error. Si dejar la pregunta en blanco puntúa cero y arriesgar una respuesta puntúa cero cuando fallas y uno cuando aciertas, la estrategia óptima es no dejar nunca nada en blanco. Los modelos se optimizan contra baterías de evaluación construidas exactamente así, y aprenden a ser buenos examinandos. Un modelo que respondiera «no tengo información suficiente» cuando no la tiene puntuaría peor en las clasificaciones que deciden qué modelo se considera mejor.

La consecuencia de esto es incómoda y merece la pena retenerla: la tendencia a inventar no se corrige del todo mejorando el modelo, porque en parte está incentivada por cómo se mide el modelo. Los autores proponen cambiar la puntuación de las evaluaciones existentes, no añadir más evaluaciones de alucinaciones.

Es también el motivo de que convenga desconfiar de cualquier proveedor que anuncie haber eliminado el problema.

Las seis medidas que sí reducen el daño

Ninguna elimina el fenómeno. Todas reducen la frecuencia o el coste, y las seis se pueden aplicar mañana.

1. Darle el material en lugar de pedirle que lo recuerde

Es la medida que más efecto tiene, con diferencia. Un modelo que trabaja sobre un documento que le has puesto delante está resumiendo, comparando o reformulando algo real. Un modelo al que le preguntas de memoria está reconstruyendo.

La versión industrial de esta idea se llama generación aumentada por recuperación —RAG, en la literatura, desde un trabajo de 2020—: antes de responder, el sistema busca en una fuente externa y verificable, y se le instruye para responder únicamente con lo recuperado. Es lo que hay debajo de los asistentes que citan documentos internos de una empresa.

La versión doméstica es idéntica en espíritu y no cuesta nada: adjunta el documento.

2. Pedir la fuente, y comprobar la fuente

Pedir referencias mejora poco por sí solo, porque la referencia también se puede inventar, y de hecho es de lo que más se inventa.

Lo que funciona es el paso siguiente: abrir el enlace, buscar el título, comprobar que la persona citada existe y que dijo eso. La verificación no termina cuando el modelo da una fuente. Termina cuando la fuente existe y dice lo que se le atribuye.

3. Hacer que «no lo sé» sea una respuesta admisible

Si la instrucción obliga a producir una respuesta, se producirá una respuesta. Escribir explícitamente «si no tienes información suficiente, dilo y no completes» cambia la salida en una parte de los casos, porque cambia lo que el modelo entiende que se le está premiando.

No es infalible. Es gratis.

4. Separar las tareas por si el resultado se puede comprobar

Esta es la que más ordena el trabajo real.

Hay tareas donde el error se ve solo: redactar un borrador que vas a revisar, reformular un texto tuyo, resumir un documento que conoces, generar cinco alternativas de titular. Ahí puedes trabajar rápido y con poca ceremonia.

Y hay tareas donde el error no se ve: un dato que no conoces, una cifra de un mercado, la interpretación de una norma, el estado de un asunto legal. Ahí el modelo sirve para orientar la búsqueda y no para cerrarla.

La confusión entre estos dos tipos de tarea es la que produce los incidentes que salen en la prensa.

5. Verificar en proporción al coste de equivocarse

Un correo interno mal redactado se corrige. Un dato falso en una propuesta a un cliente cuesta credibilidad. Una cita inventada en un informe pericial cuesta el caso.

El esfuerzo de comprobación se calibra contra esa escala, no contra la sensación de fiabilidad que transmite el texto — que es siempre alta, porque el texto está optimizado para sonar bien.

6. Escribir quién responde

Es la lección del caso del principio y es una decisión de dirección, no de tecnología. Si un sistema habla en nombre de la organización —en la web, ante un cliente, dentro de un proceso—, alguien tiene que ser responsable de lo que dice, y eso se escribe antes de encenderlo. El argumento de que la herramienta es responsable de sí misma ya se ha intentado y ya ha fracasado ante un tribunal.

El tamaño real del problema

Existe una base de datos pública que rastrea resoluciones judiciales en las que un tribunal ha constatado que alguien presentó material generado por inteligencia artificial con contenido inventado, casi siempre citas falsas. Cuando escribo esto, el contador va por cerca de dos mil casos, y sube cada semana.

Son profesionales del derecho. Gente entrenada durante años en verificar fuentes, trabajando en documentos donde una cita falsa tiene consecuencias inmediatas y personales.

Si les pasa a ellos, el problema no se resuelve pidiendo más cuidado. Se resuelve cambiando el procedimiento: qué tareas se le dan, con qué material y qué se comprueba antes de firmar.

La regla

Un modelo de lenguaje es una fuente de borradores, no una fuente de hechos. Cuando se usa para lo primero, es una de las herramientas más rentables que han llegado a un escritorio en veinte años. Cuando se usa para lo segundo, tarde o temprano firma algo que no es verdad, y la firma es tuya.

Fuentes