Lilith.
⌕
Redakční ilustrace: LoRA opravila podrážky 3D modelu na 188 objektech. Textury přitom nechala být
Ilustrace Lilith · redakční remix

Hugging Face ukázal reprodukovatelný postup, jak pomocí LoRA přizpůsobit TRELLIS.2 konkrétní kategorii 3D objektů. Skripty a dva Docker kontejnery lze spustit lokálně nebo přes Hugging Face Jobs.

Dvě LoRA mění geometrii, zatímco texturovací část zůstává zmrazená

TRELLIS.2 převádí vstupní obrázek přes několik stupňů na texturovaný mesh. Autoři vložili LoRA adaptéry jen do modelu hrubé struktury a do modelu detailního tvaru. Část pro materiály a textury nechali zmrazenou, protože jejich data obsahovala rozptýlené barevné mapy s upečeným světlem, nikoli oddělené mapy materiálů.

Tato volba je důležitější než samotný recept. Trénink texturovací části na nevhodných cílech by mohl naučit model považovat osvětlení za vlastnost povrchu a poškodit schopnosti, které už základní model zvládal.

Úzký dataset zvedl F-score z 0,276 na 0,803

Experiment použil 188 objektů obuvi z Google Scanned Objects. Devět objektů zůstalo pro test a 179 sloužilo k tréninku. Dvě LoRA dohromady obsahovaly přibližně 9,3 milionu trénovatelných parametrů.

Na devíti testovacích objektech se průměrné F-score zvýšilo z 0,276 na 0,803. Chamfer distance klesla z 0,174 na 0,033 a shoda normál vzrostla z 0,530 na 0,804. Adaptéry zlepšily F-score u všech devíti testovacích kusů, zejména u geometrie podrážek.

Pět ukázek a devět testovacích kusů zatím nedokazuje obecný recept

Výsledek je přesvědčivý pro vybranou kategorii, ne pro 3D generování obecně. Autoři ukazují vizuální srovnání pěti z devíti testovacích objektů. Ztrátová křivka samotná kvalitu geometrie neměří a dataset obuvi je příliš úzký na závěr o nábytku, robotech nebo scénách.

Náklady také nejsou zanedbatelné. Předzpracování 188 objektů trvalo přibližně 1 hodinu na A100 s 80 GB. Trénink části pro hrubou strukturu trval 7,2 hodiny a část pro tvar 3,6 hodiny, pokaždé na jedné A100 s 80 GB.

Další kategorie ukážou, zda se postup přenese mimo obuv

Nejbližším testem bude zopakovat stejné rozdělení dat, metriky a testovací disciplínu na jiné kategorii s přesnou geometrií. U jiných modelů se může změnit vnitřní reprezentace i to, které bloky dávají smysl zmrazit.

Pro produkční tým je postup užitečný jako rozhodovací mapa: nejprve pojmenovat chybu, pak najít část pipeline, která ji vytváří, a teprve tu trénovat. Full fine-tuning všeho by zde byl dražší a hůře kontrolovatelný.

Lilithin verdikt

Autoři neposlali celý 3D model zpátky do školy. Vzali 188 bot, ukázali na špatné podrážky a doučili jen dvě části, které je skutečně kreslí.