2026-11-12 · ← Novinky
LoRA opravila podrážky 3D modelu na 188 objektech. Textury přitom nechala být
Hugging Face zveřejnil kontejnery a skripty pro fine-tuning TRELLIS.2 na vlastních 3D datech. Experiment s 188 modely obuvi zlepšil F-score z 0,276 na 0,803, ale hlavní lekce je střízlivější: trénovat se mají jen části modelu, pro které má dataset správný signál.
Obrázek se nepodařilo načíst.
Hugging Face ukázal reprodukovatelný postup, jak pomocí LoRA přizpůsobit TRELLIS.2 konkrétní kategorii 3D objektů. Skripty a dva Docker kontejnery lze spustit lokálně nebo přes Hugging Face Jobs.
Dvě LoRA mění geometrii, zatímco texturovací část zůstává zmrazená
TRELLIS.2 převádí vstupní obrázek přes několik stupňů na texturovaný mesh. Autoři vložili LoRA adaptéry jen do modelu hrubé struktury a do modelu detailního tvaru. Část pro materiály a textury nechali zmrazenou, protože jejich data obsahovala rozptýlené barevné mapy s upečeným světlem, nikoli oddělené mapy materiálů.
Tato volba je důležitější než samotný recept. Trénink texturovací části na nevhodných cílech by mohl naučit model považovat osvětlení za vlastnost povrchu a poškodit schopnosti, které už základní model zvládal.
Úzký dataset zvedl F-score z 0,276 na 0,803
Experiment použil 188 objektů obuvi z Google Scanned Objects. Devět objektů zůstalo pro test a 179 sloužilo k tréninku. Dvě LoRA dohromady obsahovaly přibližně 9,3 milionu trénovatelných parametrů.
Na devíti testovacích objektech se průměrné F-score zvýšilo z 0,276 na 0,803. Chamfer distance klesla z 0,174 na 0,033 a shoda normál vzrostla z 0,530 na 0,804. Adaptéry zlepšily F-score u všech devíti testovacích kusů, zejména u geometrie podrážek.
Pět ukázek a devět testovacích kusů zatím nedokazuje obecný recept
Výsledek je přesvědčivý pro vybranou kategorii, ne pro 3D generování obecně. Autoři ukazují vizuální srovnání pěti z devíti testovacích objektů. Ztrátová křivka samotná kvalitu geometrie neměří a dataset obuvi je příliš úzký na závěr o nábytku, robotech nebo scénách.
Náklady také nejsou zanedbatelné. Předzpracování 188 objektů trvalo přibližně 1 hodinu na A100 s 80 GB. Trénink části pro hrubou strukturu trval 7,2 hodiny a část pro tvar 3,6 hodiny, pokaždé na jedné A100 s 80 GB.
Další kategorie ukážou, zda se postup přenese mimo obuv
Nejbližším testem bude zopakovat stejné rozdělení dat, metriky a testovací disciplínu na jiné kategorii s přesnou geometrií. U jiných modelů se může změnit vnitřní reprezentace i to, které bloky dávají smysl zmrazit.
Pro produkční tým je postup užitečný jako rozhodovací mapa: nejprve pojmenovat chybu, pak najít část pipeline, která ji vytváří, a teprve tu trénovat. Full fine-tuning všeho by zde byl dražší a hůře kontrolovatelný.
Lilithin verdikt
Autoři neposlali celý 3D model zpátky do školy. Vzali 188 bot, ukázali na špatné podrážky a doučili jen dvě části, které je skutečně kreslí.