2026-11-12 · ← News
LoRA reparierte Sohlen bei 188 3D-Objekten und ließ die Texturen unangetastet
Hugging Face hat Container und Skripte für das Fine-Tuning von TRELLIS.2 mit eigenen 3D-Daten veröffentlicht. Ein Versuch mit 188 Schuhmodellen steigerte den F-Score von 0,276 auf 0,803. Die wichtigere Lehre lautet jedoch: Trainiert werden sollten nur Komponenten, für die der Datensatz das richtige Signal liefert.
Das Bild konnte nicht geladen werden.
Hugging Face zeigt einen reproduzierbaren Ablauf, um TRELLIS.2 mit LoRA an eine bestimmte Kategorie von 3D-Objekten anzupassen. Die Skripte und zwei Docker-Container laufen lokal oder über Hugging Face Jobs.
Zwei LoRAs verändern die Geometrie und lassen die Texturstufe eingefroren
TRELLIS.2 wandelt ein Eingabebild in mehreren Stufen in ein texturiertes Mesh um. Die Autoren fügten LoRA-Adapter nur in das Modell für die grobe Struktur und in das Modell für die detaillierte Form ein. Die Material- und Texturstufe blieb eingefroren, weil die Daten diffuse Farbkarten mit eingebackenem Licht statt getrennter Materialkarten enthielten.
Diese Auswahl ist wichtiger als das Rezept selbst. Ein Training der Texturstufe mit ungeeigneten Zielen könnte das Modell lehren, Beleuchtung als Oberflächeneigenschaft zu behandeln, und vorhandene Fähigkeiten beschädigen.
Ein enger Datensatz steigerte den F-Score von 0,276 auf 0,803
Der Versuch nutzte 188 Schuhobjekte aus Google Scanned Objects. Neun blieben für die Auswertung zurück, 179 dienten dem Training. Beide LoRAs enthielten zusammen rund 9,3 Millionen trainierbare Parameter.
Bei den neun Testobjekten stieg der mittlere F-Score von 0,276 auf 0,803. Die Chamfer Distance sank von 0,174 auf 0,033 und die Normalenkonsistenz stieg von 0,530 auf 0,804. Die Adapter verbesserten den F-Score bei allen neun Objekten, besonders sichtbar an den Sohlen.
Fünf Beispiele und neun Testobjekte ergeben noch kein Universalrezept
Das Ergebnis überzeugt für diese Kategorie, aber nicht für die gesamte 3D-Generierung. Die Autoren zeigen visuelle Vergleiche für fünf der neun Testobjekte. Der Training Loss misst die Geometriequalität nicht direkt, und Schuhe erlauben keine Aussagen über Möbel, Roboter oder Szenen.
Auch der Rechenaufwand ist relevant. Die Vorverarbeitung von 188 Objekten dauerte etwa 1 Stunde auf einer A100 mit 80 GB. Das Strukturtraining benötigte 7,2 Stunden und das Formtraining 3,6 Stunden, jeweils auf einer A100 mit 80 GB.
Andere Kategorien müssen die Übertragbarkeit jenseits von Schuhen zeigen
Der nächste sinnvolle Test wiederholt dieselbe Datenaufteilung, dieselben Metriken und dieselbe Evaluationsdisziplin bei einer Kategorie mit anderen geometrischen Anforderungen. Andere 3D-Modelle können andere Repräsentationen und damit eine andere Auswahl eingefrorener Blöcke verlangen.
Für Produktionsteams ist der Ablauf eine Entscheidungskarte: Fehler benennen, die verursachende Pipeline-Komponente finden und genau diese trainieren. Full Fine-Tuning wäre hier teurer und schlechter kontrollierbar gewesen.
Liliths Urteil
Die Autoren schickten nicht das gesamte 3D-Modell zurück in die Schule. Sie nahmen 188 Schuhe, zeigten auf die schlechten Sohlen und trainierten nur die zwei Komponenten nach, die sie tatsächlich zeichnen.