AIモデルの性能を比較するリーダーボードを見て、「このモデルが一番優秀だ」と判断したことはありませんか？ SWE-bench、Terminal-Bench、Aider Polyglot——これらのベンチマークは今やAI業界のデファクトスタンダードとなり、モデル選びの重要な指標として使われています。
しかし、もしその数字がインフラの設定次第で6ポイントも変動するとしたら？ リーダーボードの上位モデル同士の差がわずか数ポイントの中で、インフラ設定だけでその差を超えてしまうとしたら？
Anthropicが2025年4月に公開したエンジニアリングブログ「Quantifying infrastructure noise in agentic coding evals」は、まさにこの問題に鋭く切り込んでいます。本記事では、その内容をわかりやすく解説します。
エージェント評価と従来の評価の根本的な違い
従来のAIベンチマークはシンプルでした。「この問題の答えは何？」と聞いて、正解と照合する。MMLUやHumanEvalなどがこの形式です。テスト環境は同じで、結果の再現性も高い。
しかし、エージェント評価（agentic evals）は根本的に異なります。AIエージェントは：
- コードを読み、理解し、修正する
- テストを実行し、結果を確認する
- エラーがあれば修正を繰り返す
- シェルコマンドを実行し、パッケージをインストールする
つまり、実際の開発環境でコードを書くプロセス全体を評価するのです。これはより現実的で有用な評価手法ですが、同時に「インフラ環境」という新たな変数を持ち込みます。
Anthropicが発見した「インフラノイズ」の実態
Anthropicのチームは、SWE-benchやTerminal-Benchなどの主要なエージェントコーディングベンチマークを自社環境で再現しようとした際、予想外の問題に直面しました。インフラの設定を変えるだけで、スコアが大きく変動したのです。
衝撃の数字
- リソース制限を厳しくした場合：コンテナがメモリ不足（OOM）で強制終了され、5.8%のタスクがインフラエラーで失敗。これはモデルの性能不足ではなく、単に環境が足りなかっただけ。
- リソースを3倍以上に増やした場合：成功率が急上昇。
- リソース制限を完全に外した場合：なんと+6ポイントのスコア向上。
具体例で考えてみましょう。あるモデルが「100点満点中50点」と評価されたとします。しかし、実はインフラを変えるだけで44点にも56点にもなる。それなのに、リーダーボードには「50点」とだけ載っている。これが「インフラノイズ」の恐ろしさです。
リソース制限が「測っているもの」を変えてしまう
この問題の本質は、単なる「不公平さ」にとどまりません。リソース制限のレベルによって、ベンチマークが測定している能力そのものが変わってしまうのです。
リソース制限が厳しい場合
限られたメモリとCPUの中で動かなければなりません。この条件下で高いスコアを出すには、効率的で軽量なコードを書く能力が必要です。「無駄を省いてコンパクトに動かす」ことが評価される。
リソース制限が緩い場合
十分なリソースがあれば、より積極的なアプローチが可能になります。並列テストの実行、大量データの処理、複雑なツールの利用。リソースを活用して問題を解決する能力が評価される。
つまり、同じベンチマークなのに、設定次第で「効率性」を測っているのか「リソース活用力」を測っているのかが変わってしまう。これではリーダーボードの数字を単純に比較することはできません。
これは何を意味するのか——ベンチマークの見方への提言
1. リーダーボードの数字を絶対視しない
「モデルAがモデルBより3ポイント上だからAの方が優秀」という単純な結論は危険です。その差はインフラ設定のノイズ范围内にある可能性があります。
2. 評価環境の透明性が不可欠
ベンチマーク結果を公表する際は、リソース制限、タイムアウト設定、使用したコンテナイメージなどのインフラ設定を明記するべきです。結果だけを見ても意味がありません。
3. 複数環境でのテストが理想
可能であれば、異なるリソース設定で評価を行い、結果のロバスト性（頑健性）を確認することが重要です。一つの環境での数字だけでは信頼性が不十分です。
4. 実際のユースケースで考える
あなたがAIエージェントをどう使うかによって、「厳しい制限下での効率性」と「豊富なリソース下での活用力」のどちらが重要かは変わります。ベンチマークの数字より、自分の環境での実測値を重視しましょう。
まとめ
AIエージェントのコーディング能力を評価するベンチマークは、モデルの進化を追う上で欠かせないツールです。しかし、その数字の背後には「インフラノイズ」という見えない変数が潜んでいます。
Anthropicの調査が明らかにしたように、インフラ設定だけで6ポイントもの差が出る現実は、リーダーボードの表面的な数字への信頼を揺るがすものです。私たちはベンチマークの結果を「絶対的な真実」ではなく、「特定の条件下での一つのデータポイント」として捉える必要があります。
AIモデルの性能を議論する際は、ぜひこの「インフラノイズ」の存在を念頭に置いてください。数字の裏にある条件を理解することこそが、真の評価に繋がります。
出典：
Anthropic Engineering Blog: Quantifying infrastructure noise in agentic coding evals