Javi Ursua

Qué hace un modelo de lenguaje, sin matemáticas

La única operación que ejecuta un modelo de lenguaje, de dónde sale lo que sabe, por qué la misma pregunta da respuestas distintas, y qué explica cada uno de sus fallos conocidos.

Escribe la capital de Francia es y el sistema completa París. Escribe estimado cliente, lamentamos comunicarle y completa un párrafo entero de disculpa corporativa que suena exactamente a lo que suena.

Esa operación —dado un texto, calcular qué fragmento viene después— es literalmente lo único que hace un modelo de lenguaje. Todo lo demás, incluida la sensación de estar hablando con alguien, es esa operación repetida a una escala que no tenemos intuición para imaginar.

Aquí va el mecanismo entero, sin una sola fórmula. No por divulgar: porque casi todos los errores caros que se cometen con estas herramientas vienen de suponer que hacen otra cosa. El mapa general de qué es la inteligencia artificial y qué no lo tienes en Qué es realmente la inteligencia artificial .

Primero, la unidad: no son palabras, son fragmentos

El modelo no lee palabras. Antes de nada, el texto se parte en tokens: trozos que a veces coinciden con una palabra entera, a veces con un prefijo o una terminación, a veces con un signo de puntuación. Inteligencia puede convertirse en dos o tres piezas. Un espacio cuenta. Una tilde puede cambiar el corte.

Dos consecuencias prácticas que se notan a diario.

El token es la unidad de facturación. Los servicios comerciales no cobran por pregunta: cobran por token consumido, sumando lo que entra y lo que sale. Cuando alguien te dice que una tarea automatizada «cuesta poco», la cuenta que hay debajo es esa.

Y explica un fallo desconcertante. Si le pides a un modelo que cuente cuántas erres tiene una palabra y falla, no es porque sea tonto: es que nunca ha visto letras. Ha visto fragmentos. Es como pedirle a alguien que cuente las tildes de una frase que solo ha escuchado.

La operación: predecir lo siguiente, otra vez, y otra

La idea de tratar el lenguaje como un problema de predicción no es de esta década. Claude Shannon la formuló en 1951, midiendo cuánta información aporta cada letra de un texto en inglés a partir de la capacidad de una persona para adivinar la siguiente. El lenguaje, resultó, es enormemente predecible.

Lo que hace un modelo actual es esa misma idea con setenta años de cómputo encima. Ante un texto, calcula una distribución de probabilidad sobre todos los fragmentos posibles que podrían venir a continuación. Elige uno. Lo añade al texto. Y vuelve a empezar, ahora con el fragmento nuevo incluido en lo que tiene delante.

Palabra a palabra, así se construye un informe de tres páginas.

La arquitectura que hizo esto viable a gran escala se publicó en 2017, en un trabajo de Google titulado Attention Is All You Need. Su aportación, dicha sin tecnicismo, fue permitir que el sistema pese qué partes del texto anterior importan para predecir la siguiente, en lugar de recorrerlo en orden. Todo lo que ha ocurrido desde entonces se construye encima de eso.

Dónde vive lo que sabe

Durante el entrenamiento, el modelo recorre una cantidad ingente de texto y ajusta millones de parámetros internos para equivocarse menos en esa predicción. Al final del proceso no queda una biblioteca: quedan los parámetros.

Eso significa que el modelo no consulta sus textos de entrenamiento, porque no los tiene. Tiene una versión comprimida y estadística de las regularidades que había en ellos. Es la razón de que pueda escribir sobre un tema del que nunca ha visto exactamente ese texto, y también de que no pueda decirte de dónde ha sacado una afirmación: no hay un dónde.

El matiz honesto, porque existe: cuando un fragmento aparece muchas veces en los datos, el modelo puede reproducirlo casi literal. Está documentado experimentalmente desde 2020, y es la base técnica de buena parte del debate sobre derechos de autor. No es lo habitual, y no invalida lo anterior: la regla es la compresión, la memorización literal es la excepción.

Las tres fases, y por qué el modelo es amable

El modelo que sale del entrenamiento masivo no es utilizable. Completa texto, sin más: si le escribes una pregunta, es igual de probable que te devuelva otras cinco preguntas parecidas, porque en internet las preguntas suelen venir en listas.

Hacen falta dos fases más.

El ajuste por instrucciones. Se le entrena con ejemplos de instrucción y respuesta correcta para que entienda que un texto que parece una petición hay que atenderlo, no continuarlo.

El refuerzo con retroalimentación humana. Personas comparan respuestas del modelo y señalan cuál es mejor; con esas comparaciones se entrena un segundo sistema que puntúa respuestas, y el modelo se optimiza para puntuar alto. El trabajo que estandarizó el método —InstructGPT, de OpenAI, en 2022— mostró algo que conviene retener: un modelo mucho más pequeño ajustado así resultaba preferible para las personas que evaluaban frente a otro cien veces mayor sin ajustar. El tamaño no era lo que faltaba. Era la orientación.

Y aquí está el origen de un rasgo que todo el mundo ha notado. Si el sistema se optimiza para que la respuesta guste a quien la lee, aprende a producir respuestas que gustan. Educadas, seguras de sí mismas, alineadas con lo que parece que quieres oír. La complacencia de estos modelos no es un defecto de carácter: es lo que se les pidió.

Cuando le pidas una revisión crítica de tu propuesta, ten esto delante.

Por qué la misma pregunta da dos respuestas distintas

En cada paso el modelo tiene una distribución de probabilidades, y elegir siempre el fragmento más probable produce un texto plano y repetitivo. Así que se muestrea: se elige entre los candidatos más probables con algo de azar. Ese parámetro, en las interfaces técnicas, se llama temperatura.

De ahí que estas herramientas no sean deterministas. La misma pregunta, dos veces, da dos textos distintos, y a veces uno acierta y el otro no.

La consecuencia para el trabajo es directa: cualquier proceso que dependa de que la salida sea siempre idéntica está mal diseñado desde el principio. Un modelo de lenguaje sirve para producir un borrador, no para ser el eslabón reproducible de una cadena. Para eso hay software determinista, que lleva sesenta años funcionando.

Lo que cabe de una vez

Todo lo anterior ocurre dentro de un límite: la ventana de contexto, la cantidad máxima de texto —medida en tokens— que el modelo puede tener delante en un momento dado. Ahí entra tu instrucción, los documentos que adjuntas, la conversación previa y la respuesta que está escribiendo.

Es el recurso que de verdad escasea al trabajar con estas herramientas, y da para artículo propio: El contexto es el recurso escaso .

El mecanismo explica todos los fallos conocidos

Esta es la parte que hace que merezca la pena haber leído lo anterior. Ninguno de los fallos famosos de estas herramientas es un misterio: todos se deducen de la operación.

Inventa datos con total seguridad. Su objetivo es la continuación más plausible, no la verdadera. Cuando no hay material, el mecanismo no se detiene: produce lo que sonaría bien. Lo desarrollo en Por qué un modelo alucina, y qué hacer con eso .

No sabe qué día es ni qué ha pasado esta semana. Sus parámetros se fijaron en una fecha. Todo lo posterior tiene que entrar por el contexto, y si no entra, no existe para él.

Se le da mejor la forma que el fondo. Está optimizado sobre la regularidad del lenguaje, y el registro corporativo, la estructura de un informe o el tono de un correo formal son de lo más regular que existe. Los hechos concretos son lo menos regular. Por eso lo primero que hay que revisar de un texto suyo es exactamente lo que peor se ve: el dato, el nombre, la cifra, la fecha.

Y funciona mejor cuando le das material que cuando le pides que lo recuerde. Si el documento está en el contexto, el modelo trabaja sobre algo real. Si no, reconstruye. Toda la ingeniería seria alrededor de estas herramientas consiste, en el fondo, en meterle delante la información buena.

Con qué quedarse

Un modelo de lenguaje es un motor de continuación probabilística, entrenado sobre una enormidad de texto y orientado después para que sus respuestas gusten. No consulta, no comprueba y no sabe cuándo se está inventando algo.

Eso lo hace extraordinario para lo que es: producir un primer borrador, reformular, resumir, traducir, sacar la estructura de algo desordenado, servir de interlocutor a las tres de la tarde.

Y lo hace inadecuado, sin más, para ser la última palabra sobre un hecho.

Fuentes