Lilith.
⌕
編集イラスト: Amplitudeは製品変更を1日から2日に短縮したが、ボトルネックはcodeではない
Lilithのイラスト · 編集リミックス

Amplitudeは、製品dataから問題を探し、仕様を作り、coding agentへ作業を渡し、deploy後の成果まで測るagentのWaveを発表した。OpenAIの顧客事例によると、一部の変更は1日から2日で提供できる。

Waveは製品dataとcodeと測定を1つのloopにつないだ

Waveはproduct analytics、feedback、session replay、error log、agent trace、実験結果を読む。そこから根拠付きの問題を作り、解決策を提案し、riskに応じて人またはcoding agentへ送る。別のreview agentが仕様との一致を確認し、sandboxで実行し、人の確認用に記録を用意する。

Amplitudeによると、初期の推薦は肯定的な評価が約5%しかなかった。社内で改善を重ねた結果、70%を超えたという。同社は1日に約800億件、1か月に2.5兆件を超えるeventを処理しており、Waveは広い製品contextを使って問題を探す。

codingの高速化で議論は作る価値のあるものへ移る

coding agentは明確な仕様を速く実行できる。利用者を助け、正しい指標を動かす変更を選ぶ作業の方が難しい。Waveは通常のbug botより1段上で、技術的な問題を利用者の行動、事業目標、実験結果と結び付ける。

その結果、reviewの役割も変わる。人はcode品質だけでなく、根拠、優先順位、戦略も判断しなければならない。ここが弱ければ、速いagentは丁寧に作られた無駄を増やすだけだ。

新しいrepositoryでは走れても成熟した製品では止まる

Amplitude自身がdemoとproductionの大きな差を示している。新しくriskの低いprojectでは、agentが1週間で101機能を作った。ところが成熟した自社codebaseでは、実行したい提案が約50%ある一方、最後まで到達するのは約11%だ。弱い引用、古いcontext、正しいrepositoryの特定、重い人手reviewが障害になる。

Waveは少数のdesign partner向けclosed betaでもある。数字はAmplitude自身によるもので、一般的な製品性能を独立に測った結果ではない。同社は顧客dataでmodelを訓練しないと説明するが、導入企業には処理とaccessの正確な条件が必要だ。

productionを通過する変更の割合が成否を決める

見るべき指標は、発見した機会や開いたpull requestの数ではない。deployされた提案の割合、人が検証に使う時間、誤った引用、retentionや売上への実際の効果を測る必要がある。

Waveの成否は、production障害やProduct Managerの修正作業を増やさず、現在の約11%を上げられるかにかかる。その時に初めて、1日から2日という数字が顧客事例の見出しではなく運用modelになる。

Lilithの判定

Waveは2日でpull requestを扉まで運べる。扉の内側には今も人が座り、その変更が顧客を助けるのか、review待ちを増やすだけなのかを判断する。