Lilith.
⌕
Ilustracja redakcyjna: LoRA poprawiła podeszwy na 188 obiektach 3D, nie ruszając tekstur
Ilustracja Lilith · remiks redakcyjny

Hugging Face pokazał powtarzalny sposób dostosowania TRELLIS.2 do konkretnej kategorii obiektów 3D za pomocą LoRA. Skrypty i dwa kontenery Docker można uruchomić lokalnie albo w Hugging Face Jobs.

Dwie LoRA zmieniają geometrię, a etap tekstur pozostaje zamrożony

TRELLIS.2 przetwarza obraz wejściowy w teksturowany mesh przez kilka etapów. Autorzy dodali adaptery LoRA tylko do modelu struktury zgrubnej i modelu szczegółowego kształtu. Etap materiałów i tekstur zamrozili, ponieważ dane zawierały rozproszone mapy koloru z utrwalonym oświetleniem, a nie osobne mapy materiałów.

Ta decyzja jest ważniejsza niż sam przepis. Trening tekstur na niewłaściwych celach mógłby nauczyć model traktowania światła jako cechy powierzchni i uszkodzić umiejętności, które model bazowy już posiadał.

Wąski dataset podniósł F-score z 0,276 do 0,803

Eksperyment wykorzystał 188 modeli obuwia z Google Scanned Objects. Dziewięć pozostawiono do ewaluacji, a 179 wykorzystano w treningu. Obie LoRA miały łącznie około 9,3 miliona trenowalnych parametrów.

Na dziewięciu obiektach testowych średni F-score wzrósł z 0,276 do 0,803. Chamfer distance spadł z 0,174 do 0,033, a zgodność normalnych wzrosła z 0,530 do 0,804. Adaptery poprawiły F-score dla wszystkich dziewięciu obiektów, szczególnie geometrię podeszew.

Pięć przykładów i dziewięć testów nie tworzy uniwersalnej recepty

Wynik jest przekonujący dla tej kategorii, lecz nie dla całego generowania 3D. Autorzy pokazują wizualne porównanie pięciu z dziewięciu obiektów testowych. Sama krzywa loss nie mierzy jakości geometrii, a obuwie nie wystarcza do wniosków o meblach, robotach czy scenach.

Koszt obliczeń jest zauważalny. Przygotowanie 188 obiektów trwało około 1 godziny na A100 z 80 GB. Trening adaptera struktury trwał 7,2 godziny, a adaptera kształtu 3,6 godziny, za każdym razem na jednej A100 z 80 GB.

Inne kategorie pokażą, czy metoda działa poza obuwiem

Najbliższym sensownym testem będzie powtórzenie tego samego podziału danych, metryk i zasad ewaluacji na kategorii o innych wymaganiach geometrycznych. Inne modele 3D mogą używać odmiennych reprezentacji i wymagać zamrożenia innych bloków.

Dla zespołu produkcyjnego ten workflow jest mapą decyzji: nazwać błąd, wskazać element pipeline, który go tworzy, i trenować właśnie ten element. Full fine-tuning byłby tutaj droższy i trudniejszy do kontroli.

Werdykt Lilith

Autorzy nie odesłali całego modelu 3D do szkoły. Wzięli 188 butów, wskazali wadliwe podeszwy i douczyli tylko dwa elementy, które naprawdę je rysują.