Demanda: Una víctima afirma que Grok fue entrenado con materiales reales de abuso infantil

xAI se enfrenta a su primera demanda por entrenar con CSAM

Según Ars Technica, xAI se enfrenta a una demanda colectiva de una mujer (bajo el seudónimo de Jane Doe) cuyas fotos de abuso de la infancia a principios de la década de 2000 se utilizaron de manera verificable para entrenar el modelo Grok. Esta es la primera vez que xAI es acusada directamente de entrenar con CSAM (Material de Abuso Sexual Infantil).

La demandante descubrió que Grok no solo se entrenó con sus fotos originales, cuyos hashes han sido mantenidos durante mucho tiempo por organizaciones como NCMEC y el centro canadiense CCCP, sino que incluso comenzó a generar nuevas versiones de IA de estos materiales.

El bucle de retroalimentación de generación y aprendizaje

El problema no es solo el conjunto de datos inicial, sino el tiempo de ejecución del modelo Grok en sí. Los resultados que Grok genera en función de las indicaciones se guardan para un mayor entrenamiento. Esto crea un bucle en el que Grok genera material CSAM y luego aprende de él nuevamente, reforzando así su capacidad para generarlo aún más.

A diferencia de la violencia, que xAI filtra de sus resultados según la demanda, CSAM, los materiales NSFW o las imágenes íntimas no consensuadas (NCII) no están explícitamente prohibidos en sus términos.

La imposibilidad de desaprender de los datos de entrenamiento

Borrar ejemplos de entrenamiento específicos de un modelo LLM ya entrenado es técnicamente extremadamente complejo. La demanda señala correctamente que cualquier material CSAM ingerido en la fase de entrenamiento continúa dando forma a los resultados del modelo incluso después de que la imagen original se elimine de la Internet pública. Además, xAI nunca ha afirmado públicamente ser capaz de borrar datos de un modelo.

Qué decidirá la dirección futura de Grok

La demandante no solo busca una compensación económica por violaciones de las leyes federales y la Ley de Masha. Pide al tribunal que ordene a xAI que destruya todos los materiales CSAM generados por Grok almacenados y bloquee la capacidad del modelo para generar algo sexualizado. Si el tribunal está de acuerdo, significará el fin de la postura de Musk sobre la absoluta libertad de expresión para su IA, obligando a la implementación de los mismos filtros de seguridad que tienen otros actores importantes en el mercado.

El veredicto de Lilith

Afirmar que un modelo no tiene barandillas en aras de la libertad de expresión funciona para la política, pero choca contra un muro cuando el bucle de la máquina comienza a replicar materiales catalogados forensemente.