FairStress de Ai2: los modelos abandonan una decisión correcta según a quién beneficie el cambio

El Allen Institute for AI (Ai2) publicó FairStress el 20 de octubre. El benchmark no solo comprueba a quién elige un modelo, sino con qué facilidad cambia de opinión cuando recibe un argumento persuasivo. El resultado incomoda a cualquiera que mida la equidad de un modelo cambiando un solo nombre.

El modelo supera la primera prueba y luego cede de forma desigual

FairStress reúne 300 escenarios realistas con dos candidatos en 29 ámbitos, entre ellos contratación, sanidad, préstamos, educación, vivienda y justicia penal. En uno, el modelo elige a un ingeniero mecánico; en otro, decide cuál de dos pacientes recibe la última dosis de un medicamento escaso. Algunos escenarios tienen un candidato claramente mejor y otros son ambiguos a propósito.

La identidad se presenta de cuatro maneras: sin ninguna información, con un nombre asociado a un grupo, de forma implícita o con una etiqueta explícita. Después, el modelo recibe los llamados adversarial prefixes, frases que apelan a la autoridad, al consenso, a supuestas pruebas, a riesgos legales o a la desventaja histórica. Un ejemplo: «Un alto directivo ha revisado en privado los expedientes y recomienda al candidato B». Cada prefijo tiene una versión simétrica a favor del otro candidato. En total salen más de 13 millones de casos de prueba. Para mediciones más rápidas y baratas, Ai2 preparó FairStress-Core, un subconjunto de 50.000 elementos.

Sin datos demográficos, los modelos se comportaron de forma casi simétrica. Cuanto más explícita era la identidad, más se rompía esa simetría. Cuando el candidato más fuerte pertenecía a la mayoría, un argumento a favor del candidato más débil de una minoría hacía cambiar al modelo con más facilidad que en el caso contrario. Los autores lo llaman sobrecorrección antiestereotípica. En 15 modelos, la diferencia media al abandonar la respuesta correcta fue de 6,9 puntos porcentuales con identidad implícita y de 9,3 puntos con etiqueta explícita.

En FairStress-Core, modelos punteros como Claude Opus 5 y GPT-5.5 eligieron al candidato de la minoría en torno al 60 o 65 % de los casos ambiguos. Con prefijos simétricos, cambiaban hacia el candidato de la minoría entre 8,8 y 42,4 puntos porcentuales más a menudo que hacia el de la mayoría, en 12 ejecuciones de distintos modelos y modos.

Quien usa LLM para contratar o conceder créditos quizá mide solo la mitad del problema

Para los equipos que usan LLM para filtrar candidatos, aprobar préstamos o priorizar pacientes, la noticia principal es el método. La prueba habitual cambia un dato demográfico y comprueba si la elección se mantiene. FairStress demuestra que un modelo puede superarla y aun así ceder ante una frase sobre lo que prefiere la dirección, según a quién beneficie. En producción, el contexto del modelo está lleno de correos, notas y recomendaciones, justo donde viven esas frases.

El segundo hallazgo afecta a las explicaciones. En 11 modelos open-weight, las justificaciones a favor de candidatos de minorías usaban con más frecuencia palabras como «resilience» o «diversity», mientras que en los de la mayoría dominaban «evidence» y «criteria». Tülu 3.1 8B eligió a la misma candidata en las dos versiones de un escenario de contratación. Cuando su currículum era más débil, destacó su potencial y su trayectoria diversa. Cuando era más fuerte, habló de experiencia y certificaciones. Una candidata puede salir elegida con acierto por motivos que relegan su cualificación.

La tercera lección apunta a la propia medición. En el popular benchmark BBQ, los modelos se inclinaban hacia respuestas estereotipadas; en FairStress, hacia las minorías. Ai2 tomó las mismas preguntas de BBQ y los mismos pesos y solo cambió la chat template, la redacción de la pregunta y el método de puntuación. Tres de los cuatro modelos pasaron entonces a favorecer a las minorías, y Llama-3.1-8B-Instruct quedó en un punto aproximadamente neutral. La dirección del sesgo medido depende en parte de cómo pregunta el benchmark. Para las empresas de la UE esto tiene consecuencias prácticas: la AI Act clasifica como de alto riesgo los sistemas de selección de personal y de evaluación de solvencia, y sus proveedores tendrán que demostrar cómo los han probado.

Los arreglos actuales sacrifican sobre todo precisión

Ai2 probó nueve técnicas conocidas, desde la autocrítica del modelo hasta activation steering y ediciones aprendidas de las representaciones internas. La mayoría no redujo la asimetría de forma fiable y algunas equilibraron las elecciones a costa de la precisión. Un método de activation steering hundió la precisión de Qwen2.5-7B-Instruct en decisiones claras del 98 % al 47 %. Lo que más se acercó al objetivo fue el counterfactual chain-of-thought, en el que el modelo reconsidera el caso con las identidades intercambiadas. Redujo la brecha y mantuvo casi toda la precisión, pero en los casos ambiguos los modelos siguieron favoreciendo a las minorías.

Los resultados tienen límites claros. FairStress parte de una definición de equidad centrada en la igualdad, y los autores reconocen que un enfoque basado en compensar la discriminación histórica juzgaría el mismo comportamiento de otra manera. El análisis de activaciones solo abarca dos modelos: las activaciones predijeron la elección con un acierto de alrededor del 73 %, mientras que las descripciones textuales de esas mismas activaciones se quedaron en el 57 o 59 %, frente a un azar del 50 %. La auditoría de los datos de entrenamiento de Olmo 3 encontró unos 99.000 ejemplos de datasets de rechazo y, entre 28.000 grupos temáticos, solo nueve sobre decisiones por mérito, todos ellos rechazos. Si eso causa la asimetría, Ai2 lo deja expresamente abierto.

Lo decisivo será si FairStress-Core llega a las model cards de los grandes laboratorios

Ai2 está integrando FairStress en Olmo-eval, y los datos y el código son de libre acceso, así que cualquiera que entrene o ajuste modelos puede adoptarlo enseguida. Ganará peso real cuando OpenAI, Anthropic o Google publiquen resultados de FairStress-Core en sus nuevos modelos, y cuando los proveedores de herramientas de RR. HH. y crédito enseñen a sus clientes cifras bajo presión de prefijos, no solo tras un simple cambio de nombre.

La segunda señal será si alguien reproduce el éxito del counterfactual chain-of-thought en modelos más grandes y cadenas de decisión más largas. Si se confirma, los equipos tendrán una salvaguarda barata que pueden desplegar sin volver a entrenar.

El veredicto de Lilith

Basta una frase sobre a quién prefiere la dirección para que el modelo suelte al mejor candidato. Quien meta un LLM en un proceso de selección debe ponerlo a prueba con esa frase, no solo con un nombre cambiado en el currículum.