Lilith.
⌕
編集イラスト: LoRAは188個の3D靴モデルで靴底を直し、textureには手を付けなかった
Lilithのイラスト · 編集リミックス

Hugging Faceは、LoRAでTRELLIS.2を特定の3D物体カテゴリに適応させる再現可能な手順を公開した。scriptと2つのDocker containerは、ローカル環境またはHugging Face Jobsで実行できる。

2つのLoRAが形状を変えtexture段階は凍結する

TRELLIS.2は入力画像を複数の段階でtextured meshに変換する。著者は粗い構造と詳細な形状を作るモデルだけにLoRA adapterを入れた。datasetには照明が焼き込まれた拡散色mapしかなく、独立したmaterial mapがないため、materialとtextureの段階は凍結した。

この選択は手順そのものより重要だ。不適切な目標でtexture段階を学習すると、照明を表面特性として覚え、基盤モデルがすでに持つ能力を損なう可能性がある。

狭いdatasetでもF-scoreは0.276から0.803に上がった

実験ではGoogle Scanned Objectsの靴188個を使用した。9個を評価用に残し、179個で学習した。2つのLoRAには合計約930万個の学習可能parameterがある。

9個の評価対象で平均F-scoreは0.276から0.803に上昇した。Chamfer distanceは0.174から0.033に下がり、normal consistencyは0.530から0.804に上がった。全9個でF-scoreが改善し、靴底形状の改善が目立った。

5つの例と9個の評価対象では万能な手順とは言えない

結果は靴というカテゴリでは説得力があるが、3D生成全般を証明しない。著者が視覚比較を示したのは9個のうち5個だ。training lossだけでは形状品質を測れず、靴のdatasetから家具、robot、sceneまで一般化できない。

計算負荷も小さくない。188個の前処理には80 GBのA100で約1時間かかった。粗い構造の学習は7.2時間、形状の学習は3.6時間で、いずれも80 GBのA100を1台使った。

靴以外のカテゴリが手法の移植性を決める

次に必要なのは、異なる形状要件を持つカテゴリで同じデータ分割、指標、評価方法を繰り返すことだ。別の3Dモデルでは内部表現が異なり、凍結すべきblockも変わり得る。

production teamにとって、この手順は判断の地図になる。欠陥を特定し、それを生むpipelineの部分を見つけ、その部分だけを学習する。全体のfine-tuningは、今回の条件では高価で制御しにくい。

Lilithの判定

著者は3Dモデル全体を学校に戻さなかった。188足を並べ、悪い靴底を指し、それを描く2つの部分だけを学び直させた。