Javi Ursua

Prompting: lo que sirve y lo que es superstición

Qué técnicas de instrucción tienen evidencia publicada detrás, cuáles se han medido y no mejoran nada, por qué las plantillas copiadas fallan, y qué cabe en una tarjeta.

En 2024, un equipo encabezado por Sander Schulhoff publicó el inventario más completo que existe de técnicas para instruir a un modelo de lenguaje: 58 técnicas catalogadas, 33 términos de vocabulario y un metaanálisis de la literatura entera. Ese es el tamaño real del campo.

Al lado circula otro cuerpo de conocimiento, mucho más popular, hecho de plantillas de mil palabras, fórmulas mágicas y consejos sobre ser educado con la máquina. De ese segundo cuerpo, casi nada se ha medido, y varias de sus recomendaciones se han medido y no mejoran nada.

Este artículo separa las dos cosas. El mecanismo que hay debajo —qué hace realmente un modelo cuando lee tu instrucción— está en Qué hace un modelo de lenguaje, sin matemáticas .

Lo que tiene evidencia detrás, y es aburrido

Decir qué quieres, para quién y en qué formato

Es el consejo menos vistoso y el que más rendimiento da. Un modelo produce la continuación más plausible del texto que le das; si el texto es ambiguo, el espacio de continuaciones plausibles es enorme y te toca una al azar.

Especificar el destinatario, la extensión, el formato de salida —una tabla, cinco viñetas, un correo de diez líneas—, el tono y lo que no debe incluir reduce ese espacio. No hay truco: hay precisión.

Poner ejemplos

Dar dos o tres ejemplos de lo que consideras una buena respuesta —lo que en la literatura se llama few-shot— es de las intervenciones más sólidas que existen, y funciona especialmente bien cuando lo que quieres es difícil de describir y fácil de mostrar. Un estilo de redacción. Un criterio de clasificación. La estructura de una ficha interna.

Pedir que razone paso a paso, pero sabiendo dónde sirve

La cadena de pensamiento —pedirle que desarrolle el razonamiento antes de dar la respuesta— es la técnica más estudiada del campo. Se documentó en 2022 y funciona: mejora la precisión en problemas complejos, y basta con añadir «pensemos paso a paso» para activarla.

Y en 2024 llegó el matiz, en un metaanálisis que revisó más de cien trabajos y evaluó veinte conjuntos de datos sobre catorce modelos. La ganancia se concentra en tareas de matemáticas y de lógica formal, y es mucho menor en el resto. En preguntas que no implican operaciones simbólicas, responder directamente daba una precisión prácticamente idéntica.

De modo que la técnica es real y está mal generalizada. Sirve para lo que tiene una cadena de pasos con respuesta correcta; no convierte un texto de marketing en uno mejor.

Y hay que añadir algo que cambia rápido: los modelos que razonan antes de responder ya hacen esto por dentro. Pedírselo encima puede no aportar nada.

Iterar

La literatura es unánime en algo poco romántico: esto es un proceso de prueba y error. La primera instrucción rara vez es la buena, y la mejora viene de leer la respuesta, ver qué falta y ajustar. Quien obtiene buenos resultados no escribe mejores instrucciones a la primera; escribe tres.

Y darle el material

Es la medida que más pesa de todas, y técnicamente no es prompting: es adjuntar. Un modelo que trabaja sobre un documento tuyo está haciendo una tarea distinta de uno que responde de memoria. Lo cuento en Por qué un modelo alucina, y qué hacer con eso .

Lo que se ha medido y no funciona como se cree

«Eres un experto de talla mundial en…»

Es probablemente el consejo más repetido de internet. Se ha comprobado: un estudio evaluó 162 roles distintos sobre 2.410 preguntas factuales en cuatro familias de modelos, y encontró que añadir una persona en las instrucciones no mejora el rendimiento frente a no añadir ninguna.

Conviene precisar el alcance, porque el matiz es útil. Lo que se midió fue la exactitud en preguntas con respuesta correcta. Asignar un rol sí cambia el registro, el vocabulario y el punto de vista de la respuesta, y para eso es perfectamente legítimo usarlo. Lo que no hace es que el modelo sepa más.

Ser muy educado, prometer propinas, amenazar

Un estudio comparó distintos grados de cortesía en inglés, chino y japonés. Los resultados: las instrucciones descorteses tienden a empeorar la respuesta, la cortesía excesiva no garantiza mejorarla, y el punto óptimo depende del idioma.

Es decir: hay un efecto, es pequeño, y lo que se deduce de él es que escribas con normalidad. Ni súplicas ni presión.

Lo de ofrecer propinas imaginarias o amenazar con consecuencias circula muchísimo y no he encontrado trabajo publicado que lo sostenga. Existe un caso vecino que sí tiene literatura —añadir frases de carga emocional del tipo «esto es muy importante para mi carrera», que en un estudio de 2023 mejoraba resultados en determinadas tareas—, y es justamente el que se usa para justificar todo lo demás. Un hallazgo acotado no autoriza el folclore que ha crecido a su alrededor.

Las plantillas de mil palabras copiadas de una publicación

Aquí hay un hallazgo que debería enfriar el entusiasmo por cualquier plantilla ajena. Un trabajo midió la sensibilidad de modelos abiertos a cambios triviales de formato en la instrucción —separadores, mayúsculas, espaciado, cosas que no alteran el significado— y encontró diferencias de hasta 76 puntos de precisión entre dos formatos equivalentes.

Lo importante no es que exista un formato mágico: es lo contrario. El rendimiento de un formato concreto no se transfiere de un modelo a otro, ni de una tarea a otra. Una plantilla que a alguien le funcionó en su caso puede no aportar nada en el tuyo, y no lo vas a saber hasta que compares.

Esa es, de paso, la razón por la que el mercado de plantillas de prompts es lo que es. Nadie mide.

Lo que de verdad separa un buen resultado de uno malo

Está casi todo fuera de la instrucción.

El material. Con el documento delante, la tarea es real. Sin él, es reconstrucción.

La elección de la tarea. Hay trabajos donde estas herramientas rinden extraordinariamente y otros, muy cercanos, donde fallan sin avisar. Distinguirlos vale más que cualquier técnica de redacción de instrucciones: lo cuento en Brillante en una tarea, inútil en la de al lado .

Y la capacidad de juzgar la respuesta. Aquí está el asunto de fondo, y es incómodo: quien no sabe distinguir un buen informe de uno mediocre tampoco lo distingue cuando lo escribe una máquina. Lo desarrollo en Quien más gana con la IA es quien ya sabía hacerlo .

Lo que cabe en una tarjeta

  1. Contexto: quién eres, para quién es, de qué va.
  2. Tarea: un verbo y un objeto, sin ambigüedad.
  3. Formato: extensión, estructura, tono, y qué no incluir.
  4. Material: el documento, adjunto.
  5. Ejemplos: dos, si puedes mostrar mejor que describir.
  6. Y una segunda vuelta: leer, decir qué falta, pedir de nuevo.

Con esos seis puntos se obtiene la práctica totalidad del rendimiento disponible. Lo demás son variaciones, y unas cuantas son superstición.

Por eso el término ingeniería de prompts envejece mal como oficio. Lo que se consolida es un hábito de trabajo: dar buen material, elegir bien la tarea y revisar lo que vuelve. Eso no lo deja obsoleto el modelo siguiente.

Fuentes