Javi Ursua

Quien más gana con la IA es quien ya sabía hacerlo

Dos experimentos que llegan a conclusiones opuestas sobre quién se beneficia, la variable que los reconcilia, y qué habilidades suben de valor cuando la ejecución se abarata.

Primer estudio. Erik Brynjolfsson, Danielle Li y Lindsey Raymond siguieron a 5.179 agentes de atención al cliente a los que se les fue dando acceso escalonado a un asistente conversacional. La productividad media —incidencias resueltas por hora— subió un 14 %. El desglose es lo interesante: un 34 % de mejora entre el personal novel y de menor cualificación, y un efecto mínimo entre los más experimentados. Los autores encontraron indicios de por qué: la herramienta difundía las buenas prácticas de los mejores agentes y hacía bajar más rápido la curva de aprendizaje a los nuevos.

Segundo estudio. Nicholas Otis, Rowan Clarke, Solène Delecourt, David Holtz y Rembrand Koning dieron acceso a un asistente de negocio a emprendedores kenianos, al azar, y midieron ingresos y beneficios. No encontraron efecto medio. Encontraron otra cosa: quienes ya rendían por encima de la media mejoraron algo más de un 15 %, y quienes rendían por debajo empeoraron alrededor de un 8 %.

Los dos son ciertos, y el segundo describe mejor el trabajo de quien dirige.

La variable que los reconcilia

Está en el diseño de la tarea, y una vez vista es difícil no verla en todas partes.

En el primer caso hay respuesta correcta. Atender a un cliente con un problema conocido tiene un procedimiento óptimo, y ese procedimiento existía ya: lo tenían en la cabeza los mejores agentes. Lo que hizo el sistema fue extraerlo de ahí y ponerlo delante de quien no lo tenía. Cuando el saber tácito de los expertos se puede empaquetar, la herramienta nivela, y nivela hacia arriba.

Lo mismo ocurrió en el experimento del Boston Consulting Group con 758 consultores: en la tarea que el modelo dominaba, la mejora fue del 43 % entre los de menor rendimiento previo y del 17 % entre los de mayor rendimiento. Todos ganaron; quien menos sabía, más.

En el segundo caso no hay respuesta correcta. Dirigir un negocio es una sucesión de problemas abiertos donde ninguna recomendación es válida en abstracto: depende del mercado, del momento y de cien cosas que no están escritas.

Y aquí llega el hallazgo que da título a este artículo. Los investigadores comprobaron que la diferencia no estaba en las preguntas que hacía cada grupo ni en los consejos que recibía. Recibían consejos equivalentes. La diferencia estaba en cuáles seleccionaban y cómo los aplicaban.

Es decir: la herramienta repartió el mismo material a todo el mundo, y el resultado dependió por completo de lo que cada persona sabía hacer con él.

Lo que hace falta para aprovechar una respuesta

Cuando se desmonta ese «saber hacer con él», salen cuatro capacidades, y ninguna es técnica.

Plantear el problema. Una recomendación solo puede ser buena si la pregunta lo era. Quien formula mal el problema recibe respuestas impecables a la pregunta equivocada, y no tiene forma de notarlo.

Aportar el contexto que falta. El modelo no conoce tu situación. Quien sabe qué restricciones son relevantes se las da; quien no, recibe consejo de manual.

Juzgar la respuesta. Este es el nudo. Para evaluar un buen informe hay que saber cómo es un buen informe, y eso se aprende haciendo muchos, incluidos los malos. Sin ese criterio, lo único que se puede evaluar es si el texto suena convincente — y estos sistemas están optimizados justamente para sonar convincentes.

Y decidir qué se descarta. Una parte importante del material que devuelven es correcto y no viene a cuento. Filtrarlo exige tener un criterio previo sobre qué importa.

Hay un experimento que muestra qué pasa cuando esto se relaja. Fabrizio Dell’Acqua dio a 181 seleccionadores profesionales recomendaciones algorítmicas de distinta calidad: quienes recibieron las mejores recomendaciones evaluaron peor, porque dedicaron menos esfuerzo y aceptaron la sugerencia sin discutirla. El criterio hay que tenerlo y además hay que seguir usándolo.

Y todo esto ocurre sobre un terreno irregular, donde la herramienta es excelente en una tarea y falla en la contigua sin avisar: Brillante en una tarea, inútil en la de al lado .

Qué sube de valor y qué se abarata

La conclusión práctica para una carrera profesional es bastante clara, y no depende de qué modelo gane el año que viene.

Se abarata la ejecución de lo estándar. El primer borrador, el resumen, la traducción, la nota bien escrita, el análisis convencional de datos convencionales. Eso valía tiempo y ahora vale poco.

Sube el conocimiento del dominio. No para producir el texto, sino para saber si el texto es cierto. Cuanto más específico y menos documentado sea tu campo, más vale.

Sube la capacidad de plantear el problema. Es la parte del trabajo que el sistema no puede hacer porque no sabe qué te importa.

Sube la verificación como oficio. Comprobar deja de ser un trámite administrativo y pasa a ser una parte reconocible del trabajo profesional, con su tiempo asignado.

Y sube el criterio, que es la palabra difícil. Distinguir lo bueno de lo aceptable en tu propio campo. Es lo más lento de construir y lo único que no se puede pedir prestado.

La pregunta que queda abierta, y no la voy a cerrar

Si la herramienta hace el trabajo con el que tradicionalmente se aprendía el oficio —el borrador malo, la búsqueda tediosa, el resumen que obliga a leerlo todo—, ¿dónde se forma el criterio de quien empieza hoy?

No lo sé, y no he encontrado evidencia que lo resuelva. Hay una señal en dirección optimista: en el estudio de los agentes de atención al cliente, los autores apuntan indicios de aprendizaje real, no solo de asistencia. Y hay una señal en la contraria: el experimento de los seleccionadores muestra que una buena ayuda reduce el esfuerzo, y el esfuerzo es de donde sale el aprendizaje.

Es probablemente la cuestión más importante que la revolución digital le plantea a cualquier organización que forme gente, y es honesto decir que aún no tiene respuesta.

Cómo se traduce esto a decisiones

Dónde poner la herramienta primero. Donde haya un procedimiento bueno conocido por unos pocos y una brecha de nivel en el equipo. Ahí es donde se ha medido el mayor rendimiento y donde la herramienta hace de transmisor.

Dónde exigir criterio antes de darla. En el trabajo abierto: estrategia, relación con clientes, decisiones de inversión, análisis sin respuesta comprobable. Ahí amplifica lo que ya hay, en las dos direcciones.

Qué se mide. Si solo se mide velocidad de producción, el equipo producirá más deprisa exactamente lo mismo. Las decisiones que se toman con ese material son lo que hay que mirar, y son más difíciles de contar.

Y qué se sigue enseñando. Conocimiento del dominio, formulación del problema y verificación. Es lo que hace útil a la herramienta y lo primero que se recorta cuando parece que la herramienta ya lo hace.

Estas herramientas multiplican. Sobre un trabajo bien planteado, el factor es enorme. Sobre uno mal planteado, multiplican también — y ese es el resultado que el segundo estudio midió en forma de un 8 % menos.

Fuentes