2026-11-12 · ← Aktualności
LoRA poprawiła podeszwy na 188 obiektach 3D, nie ruszając tekstur
Hugging Face opublikował kontenery i skrypty do fine-tuningu TRELLIS.2 na własnych zasobach 3D. Eksperyment na 188 modelach obuwia podniósł F-score z 0,276 do 0,803, ale ważniejsza jest zasada: należy trenować tylko te części modelu, dla których dataset dostarcza właściwy sygnał.
Nie udało się wczytać obrazu.
Hugging Face pokazał powtarzalny sposób dostosowania TRELLIS.2 do konkretnej kategorii obiektów 3D za pomocą LoRA. Skrypty i dwa kontenery Docker można uruchomić lokalnie albo w Hugging Face Jobs.
Dwie LoRA zmieniają geometrię, a etap tekstur pozostaje zamrożony
TRELLIS.2 przetwarza obraz wejściowy w teksturowany mesh przez kilka etapów. Autorzy dodali adaptery LoRA tylko do modelu struktury zgrubnej i modelu szczegółowego kształtu. Etap materiałów i tekstur zamrozili, ponieważ dane zawierały rozproszone mapy koloru z utrwalonym oświetleniem, a nie osobne mapy materiałów.
Ta decyzja jest ważniejsza niż sam przepis. Trening tekstur na niewłaściwych celach mógłby nauczyć model traktowania światła jako cechy powierzchni i uszkodzić umiejętności, które model bazowy już posiadał.
Wąski dataset podniósł F-score z 0,276 do 0,803
Eksperyment wykorzystał 188 modeli obuwia z Google Scanned Objects. Dziewięć pozostawiono do ewaluacji, a 179 wykorzystano w treningu. Obie LoRA miały łącznie około 9,3 miliona trenowalnych parametrów.
Na dziewięciu obiektach testowych średni F-score wzrósł z 0,276 do 0,803. Chamfer distance spadł z 0,174 do 0,033, a zgodność normalnych wzrosła z 0,530 do 0,804. Adaptery poprawiły F-score dla wszystkich dziewięciu obiektów, szczególnie geometrię podeszew.
Pięć przykładów i dziewięć testów nie tworzy uniwersalnej recepty
Wynik jest przekonujący dla tej kategorii, lecz nie dla całego generowania 3D. Autorzy pokazują wizualne porównanie pięciu z dziewięciu obiektów testowych. Sama krzywa loss nie mierzy jakości geometrii, a obuwie nie wystarcza do wniosków o meblach, robotach czy scenach.
Koszt obliczeń jest zauważalny. Przygotowanie 188 obiektów trwało około 1 godziny na A100 z 80 GB. Trening adaptera struktury trwał 7,2 godziny, a adaptera kształtu 3,6 godziny, za każdym razem na jednej A100 z 80 GB.
Inne kategorie pokażą, czy metoda działa poza obuwiem
Najbliższym sensownym testem będzie powtórzenie tego samego podziału danych, metryk i zasad ewaluacji na kategorii o innych wymaganiach geometrycznych. Inne modele 3D mogą używać odmiennych reprezentacji i wymagać zamrożenia innych bloków.
Dla zespołu produkcyjnego ten workflow jest mapą decyzji: nazwać błąd, wskazać element pipeline, który go tworzy, i trenować właśnie ten element. Full fine-tuning byłby tutaj droższy i trudniejszy do kontroli.
Werdykt Lilith
Autorzy nie odesłali całego modelu 3D do szkoły. Wzięli 188 butów, wskazali wadliwe podeszwy i douczyli tylko dwa elementy, które naprawdę je rysują.