AIエージェントで計量経済学コードの正答率が79%から97%に、残った誤りは目に見えない

ウォートン・スクールのイーサン・モリック氏はXで、良いStataコードを書くことは自分の学術キャリアにとって非常に重要だったが、そのスキルはいまや大部分が時代遅れになりつつあると書いた。新しい研究がそれをデータで裏づける。エージェントは計量経済学のコードをほぼ誤りなく書ける。問題は、それでも残る誤りがエラーメッセージを一切出さないことだ。

エージェントになるとStataはPythonに追いつき、25ポイントの差が消えた

モリック氏は10月19日、経済学者セバスティアン・ガリアーニ、フェデリコ・A・ロペス、ラウル・A・ソサの3氏がVoxEUに寄稿したコラムを紹介した。著者らは線形回帰、difference-in-differences、操作変数法、回帰不連続デザイン、生存分析、時系列分析など40の計量経済学タスクを用意した。各タスクをStata、R、Pythonで、プロンプトに例を入れた場合と入れない場合の両方で解かせた。

試したモデルはClaude Code上のClaude Sonnet 4.6とCodex上のGPT-5.6 Lunaの2つで、実行回数は計1万4400回に上る。チャットボット形式では、モデルはスクリプトを書くだけで実行結果を見ない。エージェント形式では、自ら実行し、出力を読み、完了と判断するまで修正を続ける。正答率は79%から97%に上がった。Claude Sonnet 4.6は81.4%から99.2%へ、GPT-5.6 Lunaは77.3%から95.1%へ向上した。

最も大きく変わったのは、実証経済学で最も広く使われているStataだ。例なしのチャットボット形式では、Pythonに対しClaudeで25.5ポイント、GPTで30.8ポイント劣っていた。エージェント形式では差がそれぞれ1.3ポイントと6.8ポイントまで縮んだ。

構文は安くなり、いま高くつくのは結果の検証だ

「時代遅れ」というモリック氏の言葉が当てはまるのは、手法をコードに置き換えるという作業の一層だ。Claudeの場合、エージェント化で1回あたりのコストは4.56セントから14.09セントに上がった。追加で得られる正解1件あたりのコストは約0.54ドルで、著者らによれば研究助手の作業0.6〜2.2分に相当する。この値段なら、Stataのマクロを手作業でデバッグし続ける人はいないだろう。

この研究は、どんな誤りが残るかも変える。著者らは、スクリプトが落ちる、あるいは結果を返さない「目立つ誤り」と、正常に動くのに数値の一部が間違っている「静かな誤り」を区別する。目立つ誤りは100回あたり15.8件からゼロになったが、静かな誤りは4.9件から2.9件に減っただけだ。エージェントのもとで残る誤りは、すべて静かな誤りになる。典型例は、手法自体は正しいのにインデックスを取り違えたり、式の項を誤ったりするケースだ。最も成績が悪かったのはシフトシェア操作変数のタスクで、エージェントはすべての推定値を返したが、標準誤差が許容範囲を外れていた。

博士課程の学生と指導教員にとっては、教えるべき中身が変わることを意味する。構文に費やす時間を減らし、もっともらしく見えるのにでたらめを返す回帰を見抜く訓練に時間を使うべきだ。

シミュレーションデータは実験室であり、現実の研究はもっと泥くさい

このベンチマークには明確な限界がある。各タスクは手法を明示し、シミュレーションデータとあらかじめ計算された参照解が付いている。現実の研究では、正解を事前に渡してくれる人はいない。作業の多くはデータのクリーニングと推定モデルの選択であり、そこでは静かな誤りがさらに見つけにくくなる。

モデル間の差も大きい。静かな誤りの減少はほぼすべてClaudeによるもので、100回あたり4.7件から0.8件に減った。GPT-5.6 Lunaは5.1件から4.9件とほとんど変わらなかった。人間が書くコードも完璧ではない。著者らが引用する、有力誌に掲載された110本の研究の監査では、約4分の1にコーディングの誤りが見つかっている。

影響を左右するのは、学術誌が推定内容の検証を求めるかどうかだ

著者らは、コードを再実行するだけでは静かな誤りは見つからないと強調する。スクリプトは公表された数値を再現しながら、意図とは別のものを計算していることがある。注目すべきは、学術誌が再現用パッケージに加えて、スクリプトが実際に何を推定しているかの独立した検証を求め始めるかどうかだ。

もう1つのシグナルはより実務的だ。実行後に最大3回まで修正するself-repair方式でも、完全なエージェントがもたらす改善の68〜73%を達成した。いまだにチャット画面からスクリプトをコピーしている人も、すぐに自律型エージェントを導入する必要はない。モデルに自分のエラーメッセージを見せるだけで、改善の大半は得られる。AIをいまだにチャットボットとして見ている研究者へのモリック氏の皮肉は、まさにここを突いている。

Lilithの判定

夜更けに書いたStataのマクロは、もう学界への入場券にはならない。いま価値があるのは、完成した回帰結果を見て「この標準誤差は怪しいほど小さい」と言える博士課程の学生だ。