Allen InstituteがOlmo 3を公開: モデル調整は純粋な科学ではなく、エラーに満ちた血みどろの作業だ

Allen Instituteの研究者Nathan Lambert氏とScott Geng氏は、オープンモデルOlmo 3のファインチューニングについて詳しく説明したポッドキャストと講義を公開した。これは、通常、レシピを厳重に守り、完璧な結果のみを提示する業界において、稀な率直な瞬間である。

議論の中で、彼らは何がうまくいかなかったのか、学術的なアイデアを最先端の競合他社と競争できるモデルに変えることがいかに難しいかについて公然と語っている。

コミュニティにとって、避けるべき指示が書かれた料理本が開かれる

ほとんどの研究所は、トレーニングプロセスがエレガントで単純であるかのように聞こえる、称賛に値する技術レポートを公開する。Olmo 3で直面した現実の障害を公開することは、小規模なチームにとってゲームのルールを変える。資金が潤沢な機関でさえ、パラメータの調整に何週間も費やし、不良データと戦い、モデルに悪影響を与えたという理由で報酬セット全体を破棄していることを示している。

透明性のレベルは開発の真のコストを示す

このレベルの透明性は極めて重要である。Allen Instituteの研究者がどの行き止まりにぶつかったかをチームが知っていれば、同じ高価な間違いを繰り返して資金を燃やす必要はない。

報酬の調整は、ボタンを押すというより、壊れやすい職人技だ

議論から、ポストトレーニングはすべての問題を解決するために最後に実行する単なるプロセスではないことが明らかになった。間違った答えを厳しすぎるペナルティで罰するとモデルの創造性が破壊され、ペナルティが弱いと幻覚を見るというエコシステムである。このバランスを習得するには、大量のGPUではなく、データをどのように準備するかという信じられないほどの経験が必要である。

ほとんどのスタートアップは、何万ドルものコンピューティングコストを消費し、安定しているが使えないモデルを手に入れたときに初めてこのことに気づく。

真の資産はモデルではなくなり、パイプラインになる

コミュニティにとっての試金石は、他のどれだけの研究所が同様の透明性を採用する勇気があるかということだろう。失敗を公開することがオープンアーキテクチャの開発を加速させることが証明されれば、Allen Instituteは他社に圧力をかける可能性がある。

逆に、閉鎖的な研究所がプロセスを隠し続け、リードを維持するならば、ある事実が確認されるだろう。真の防衛上の堀は、もはやダウンロードされた数ギガバイトの重みではなく、それらを安全かつ正確に完璧に調整する方法に関する正確で未公開の指示にあるということだ。

Lilithの判定

詳細な障害ログなしに基盤モデルのトレーニングに資金を投入することは、レーシングカー用の未知のエンジンを購入し、なぜトラックで火災が発生するのか疑問に思うようなものだ。