Javi Ursua

El contexto es el recurso escaso

Qué es la ventana de contexto de un modelo, por qué ampliarla cuesta mucho más de lo que parece, qué le pasa a la información que queda en el medio, y cómo se trabaja sabiéndolo.

Doblar la cantidad de texto que un modelo tiene delante puede cuadruplicar el cómputo necesario para procesarlo. Esa relación —que no es lineal— es la razón de que la capacidad de atender de estas herramientas sea cara, esté limitada y no vaya a dejar de estarlo por mucho que crezcan las cifras del catálogo.

Hay un artículo hermano de este en la otra mitad de esta web: La atención es el recurso escaso , sobre el mismo fenómeno en una persona. Se pueden leer en cualquier orden y el paralelo se sostiene mejor de lo que cabría esperar, incluso donde se rompe.

Qué es exactamente la ventana de contexto

Es la cantidad máxima de información —medida en tokens, los fragmentos en que se descompone el texto— que un modelo puede tener presente en un momento dado. Es su memoria de trabajo, y funciona como tal: lo que no está dentro, para el modelo no existe.

Lo que compite por ese espacio en una sesión normal de trabajo es más de lo que la gente supone:

Cuando ese espacio se llena, algo tiene que salir. En la práctica, lo que sale es el principio de la conversación. Es el motivo de que una sesión larga se vuelva errática y de que el modelo pida algo que ya le habías dado.

Por qué ampliarla no sale barato

Aquí está la parte que no se explica casi nunca, y es la que gobierna el precio de todo lo demás.

El coste de procesar el contexto no crece en proporción a su tamaño: crece más deprisa. El mecanismo que permite a estos modelos pesar qué partes del texto importan compara, en esencia, cada fragmento con todos los demás. Doblar la longitud multiplica esas comparaciones por cuatro.

A eso se suma la otra mitad de la cuenta: el token es la unidad de facturación. Los servicios comerciales cobran por lo que entra y por lo que sale. Un proceso que mete un informe de doscientas páginas en cada llamada tiene una economía completamente distinta de otro que mete un párrafo, y esa diferencia no se ve hasta la factura del tercer mes.

De ahí una regla de diseño que vale para cualquier automatización: lo que se manda al modelo se selecciona, no se vuelca. Casi siempre existe una forma barata de reducir el material —recuperar solo el fragmento pertinente, resumir antes, filtrar por fecha— y casi siempre se salta porque volcarlo todo es más rápido de programar.

Y que quepa no significa que lo use bien

Un anuncio de ventana de un millón de tokens invita a pensar que el problema está resuelto. No lo está.

Un trabajo de 2023 encabezado por Nelson F. Liu, en Stanford, midió cómo aprovechan los modelos la información según dónde esté colocada dentro del contexto. El resultado es una curva en forma de U: el rendimiento es más alto cuando el dato relevante está al principio o al final, y cae de forma significativa cuando queda en el medio de un contexto largo. Ocurría incluso en modelos diseñados expresamente para contextos largos.

La traducción práctica es directa y se puede aplicar hoy:

Lo importante va al principio o al final. Si adjuntas cinco documentos y el bueno es el tercero, tienes un problema que no es del modelo.

La instrucción se repite al final. En una petición larga, cerrar recordando qué quieres exactamente es de las cosas que más mejoran la respuesta por menos esfuerzo.

Un contexto lleno de material irrelevante es peor que uno corto. Cada página que no aporta compite con las que sí, además de costar dinero.

Dónde el paralelo con la atención humana funciona, y dónde se rompe

Funciona en lo esencial. En los dos casos hay una capacidad limitada de tener cosas presentes a la vez, en los dos casos el rendimiento cae cuando el volumen supera esa capacidad, y en los dos casos la decisión que más rinde es la misma: elegir qué entra.

Y se rompe en dos sitios, los dos interesantes.

El primero: la máquina olvida limpiamente y la persona no. Cuando se cierra una conversación, el modelo vuelve a cero, sin residuo. Una persona que cambia de tarea arrastra pedazos de la anterior durante un rato, y ese arrastre es medible. La máquina no tiene ese coste; tiene el contrario, que es no recordar nada de ayer si no se lo cuentas.

El segundo: la ventana de la máquina se puede comprar y la de la persona no. Un contexto mayor está a un cambio de plan de distancia. La capacidad de atención de un equipo no está en venta, y ninguna herramienta la amplía. Lo único que se puede hacer con ella es dejar de gastarla en cosas que no lo merecen.

Cómo se trabaja sabiendo todo esto

Una conversación por asunto. Reutilizar el hilo de ayer para un tema nuevo mete cientos de líneas irrelevantes en la ventana y empeora la respuesta. Abrir uno nuevo es gratis.

Cortar y reiniciar cuando se alarga. Cuando una sesión larga empieza a divagar, la maniobra que funciona es pedirle un resumen del estado, abrir una conversación nueva y empezar pegando ese resumen. Es exactamente el plan de reanudación que se recomienda a una persona antes de soltar una tarea, aplicado a la máquina.

Adjuntar el capítulo, no el libro. Salvo que la tarea sea precisamente recorrer el libro entero.

Y recordar que no es memoria. Lo que hay en el contexto se pierde al cerrar. Lo que tenga que perdurar vive en un documento tuyo, no en un hilo de conversación.

Tres decisiones de organización

De una persona a una organización, el mismo mecanismo se convierte en tres decisiones concretas.

Cuánta información se le da a un sistema y de dónde sale. Es la decisión de arquitectura, y determina a la vez la calidad de las respuestas y el coste operativo.

Qué información no debe entrar nunca. Todo lo que se pega en un contexto sale del perímetro de la organización, y esa es una decisión de gobierno del dato, previa a cualquier prueba piloto.

Y dónde vive la memoria de verdad. Los sistemas de conversación son volátiles por diseño. Si el conocimiento de un equipo empieza a acumularse en hilos de chat, no se está acumulando.

La escasez se ha mudado de sitio, no ha desaparecido. Durante veinte años lo caro fue conseguir la información. Ahora es gratis y lo caro es sostenerla delante —en una cabeza o en una máquina— el tiempo suficiente para hacer algo bueno con ella.

Fuentes