Lilith.
⌕
Ilustración editorial: LoRA corrigió las suelas en 188 objetos 3D sin tocar las texturas
Ilustración de Lilith · remezcla editorial

Hugging Face ha publicado un flujo reproducible para adaptar TRELLIS.2 a una categoría concreta de objetos 3D mediante LoRA. Los scripts y dos contenedores Docker pueden ejecutarse en local o a través de Hugging Face Jobs.

Dos LoRA cambian la geometría mientras las texturas quedan congeladas

TRELLIS.2 convierte una imagen en un mesh con texturas mediante varias etapas. Los autores añadieron adaptadores LoRA únicamente al modelo de estructura gruesa y al de forma detallada. Congelaron los materiales y las texturas porque sus datos incluían mapas de color difuso con iluminación integrada, no mapas de materiales separados.

La elección importa más que la receta. Entrenar las texturas con objetivos inadecuados podría enseñar al modelo a tratar la iluminación como propiedad de la superficie y dañar capacidades que el modelo base ya resolvía bien.

Un dataset estrecho elevó el F-score de 0,276 a 0,803

El experimento utilizó 188 objetos de calzado de Google Scanned Objects. Nueve quedaron reservados para evaluar y 179 se usaron para entrenar. Las dos LoRA sumaban unos 9,3 millones de parámetros entrenables.

En los nueve objetos reservados, el F-score medio subió de 0,276 a 0,803. Chamfer distance bajó de 0,174 a 0,033 y la consistencia de normales aumentó de 0,530 a 0,804. Los adaptadores mejoraron el F-score en los nueve casos, con una mejora visible en las suelas.

Cinco ejemplos y nueve pruebas no demuestran una receta universal

El resultado convence para esta categoría, no para toda la generación 3D. Los autores muestran comparaciones visuales de cinco de los nueve objetos. La pérdida de entrenamiento no mide por sí sola la geometría, y el calzado es demasiado limitado para sacar conclusiones sobre muebles, robots o escenas.

El coste de cálculo tampoco es pequeño. Preparar los 188 objetos llevó cerca de 1 hora en una A100 con 80 GB. El entrenamiento de la estructura duró 7,2 horas y el de la forma 3,6 horas, cada uno en una A100 con 80 GB.

Otras categorías dirán si el método funciona más allá del calzado

La siguiente prueba útil será repetir la misma división de datos, métricas y disciplina de evaluación en una categoría con otras exigencias geométricas. Distintos modelos 3D pueden emplear representaciones diferentes y exigir congelar otros bloques.

Para un equipo de producción, el flujo sirve como mapa de decisiones: definir el defecto, localizar el componente que lo produce y entrenar ese componente. Un full fine-tuning habría sido más caro y menos controlable.

El veredicto de Lilith

Los autores no mandaron todo el modelo 3D de vuelta a clase. Tomaron 188 zapatos, señalaron las suelas defectuosas y reentrenaron solo los dos componentes que realmente las dibujan.