Javi Ursua

Brillante en una tarea, inútil en la de al lado

El experimento con 758 consultores que midió las dos cosas a la vez, por qué la capacidad de un modelo no sigue la dificultad humana, y cómo se dibuja el mapa en tu propio trabajo.

En una tarea, los profesionales que usaban inteligencia artificial completaron un 12,2 % más de encargos, un 25,1 % más rápido, y con una calidad más de un 40 % superior a la del grupo de control.

En otra tarea, del mismo tipo de trabajo y con los mismos profesionales, quienes usaban la herramienta acertaron 19 puntos porcentuales menos que quienes no la usaban.

Los dos resultados salen del mismo experimento, y ninguno de los dos es el titular. El titular es que las dos tareas parecían igual de difíciles y no había forma de saber, mirándolas, cuál era cuál.

El experimento, con detalle

En 2023, un equipo de Harvard Business School, Wharton, MIT Sloan y el Boston Consulting Group reclutó a 758 consultores —cerca del 7 % de los consultores de nivel individual de la firma— y los repartió en dos grupos con tareas distintas, diseñadas con la empresa para parecerse al trabajo real. Un directivo sénior de la casa las describió como «muy en línea» con la actividad diaria de esa gente.

385 consultores trabajaron en concebir y desarrollar ideas de producto nuevas: creatividad, análisis, capacidad de persuadir y escritura. Esa tarea se eligió dentro de lo que el modelo hacía bien.

373 consultores trabajaron en resolución de problemas de negocio: datos cuantitativos en una hoja de cálculo, notas de entrevistas con clientes y con personas de dentro de la compañía, y una recomendación escrita para el consejero delegado. Esa tarea se diseñó fuera, a propósito.

El detalle de cómo se construyó la segunda es lo mejor del estudio. La hoja de cálculo parecía completa por sí sola y llevaba a una conclusión. Las notas de las entrevistas contenían información que, leída con cuidado, apuntaba a la conclusión contraria. Quien se quedaba con los números acertaba la respuesta equivocada.

En el grupo de control, sin herramienta, acertaba el 84,5 %. En los grupos con inteligencia artificial, el 60 % y el 70 %.

La frontera es irregular, y esa es toda la idea

Los autores llamaron a esto la frontera irregular de la tecnología —jagged frontier—. La imagen: la capacidad de un modelo no dibuja un círculo limpio de lo fácil dentro, lo difícil fuera. Dibuja una silueta dentada. Hay tareas que a una persona le parecen muy difíciles y el modelo resuelve sin despeinarse, y tareas contiguas, aparentemente más sencillas, en las que falla.

Y la frontera no está señalizada. No la publica el proveedor, no aparece en la interfaz y se mueve con cada versión del modelo.

La razón está en el mecanismo. Un modelo de lenguaje es un motor de continuación probabilística entrenado sobre regularidades del texto —lo explico en Qué hace un modelo de lenguaje, sin matemáticas —, y la regularidad estadística no coincide con la dificultad humana. Escribir un memorando persuasivo es un género hiperrepresentado en sus datos, aunque a una persona le cueste una hora. Reconciliar una hoja de cálculo con seis entrevistas contradictorias es una operación rarísima en cualquier corpus, aunque parezca de sentido común.

Lo que ocurre cuando la herramienta es buena

Hay un segundo hallazgo, de otro experimento del mismo grupo, que explica por qué el error de la tarea de fuera fue tan grande.

Fabrizio Dell’Acqua contrató a 181 seleccionadores profesionales para revisar 44 currículos, dándoles recomendaciones algorítmicas de calidad deliberadamente distinta. El resultado: quienes recibieron recomendaciones de mayor calidad evaluaron peor que quienes recibieron recomendaciones de peor calidad.

El mecanismo es humano, no técnico. Con una ayuda buena, la gente dedica menos esfuerzo, dedica menos tiempo y acepta la sugerencia sin discutirla. Con una ayuda mediocre, se mantiene alerta, aprende a interactuar mejor y mejora su rendimiento. Y el efecto lo impulsaban los seleccionadores más experimentados, que son precisamente los que tenían criterio para detectar el error si hubieran mirado.

El título del trabajo lo dice todo: dormirse al volante.

Esa es la combinación peligrosa. Una herramienta que acierta el 90 % de las veces entrena a quien la usa para no revisar el 10 % restante.

Señales de que probablemente estás fuera de la frontera

Estas son las que se deducen del mecanismo y de los dos experimentos. No son una garantía; son dónde mirar primero.

Hay que reconciliar fuentes que se contradicen. Números por un lado, testimonios por otro, y la respuesta buena depende de cuál pesa más.

La respuesta correcta es contraintuitiva. El modelo tiende a lo plausible, y lo contraintuitivo es, por definición, lo poco plausible.

El dato es local, reciente o privado. Tu mercado, tu cliente, tu cuenta de resultados, la semana pasada.

Hay que contar, ordenar o operar sobre muchos elementos. Cuadrar cifras, comprobar que una lista está completa, seguir una cadena larga de condiciones.

Falta contexto que nadie ha escrito. La política interna, el historial con ese proveedor, por qué aquella decisión se tomó así.

Y la señal de dentro de la frontera, que también conviene reconocer: producir, reformular, estructurar o traducir sobre material que ya tienes. Ahí es donde estaba el 40 % de mejora de calidad.

Cómo se dibuja el mapa en tu propio trabajo

La frontera no se puede leer en ningún sitio, así que se explora. Y es más barato de lo que parece.

Prueba con tareas cuya respuesta ya conoces. Es la única forma honesta de calibrar. Dale un análisis que hiciste el trimestre pasado y compara. Si le pruebas solo con cosas que no sabes, no estás midiendo: estás confiando.

Anota los dos lados. Un documento de tres columnas —tarea, resultado, veredicto— vale más que cualquier formación. En un mes tienes tu propio mapa, y es distinto del de otra persona porque tu trabajo es otro.

Vuelve a probar cuando cambie el modelo. La frontera se mueve, casi siempre hacia fuera y a veces de lado. Lo que fallaba hace seis meses puede funcionar hoy; lo que funcionaba puede haber cambiado de forma.

Y decide dónde no entra. Definir por escrito qué tareas no se resuelven con estas herramientas en tu equipo es una decisión de dirección, y es la única que protege del error caro. Si no está escrita, la dibuja el uso.

Lo que cambia en la práctica

Que la pregunta «¿sirve la IA para esto?» está mal formulada a nivel de puesto y bien formulada a nivel de tarea. El mismo trabajo contiene tareas de los dos lados de la frontera, a veces en la misma tarde.

Que la ventaja se destruye sola si se deja de revisar. El experimento de los seleccionadores señala dónde está el riesgo: en la confianza que se instala después de una racha de aciertos.

Y que el mapa hay que hacerlo. Nadie va a publicarlo, no viene con la licencia, y es específico de vuestro trabajo. Es una tarde de trabajo bien empleada, y es lo que separa a un equipo que usa estas herramientas de uno que las tiene contratadas.

Fuentes