深夜のドキュメント探索で、衝撃的な記事を見つけた。
Anthropicのエンジニアリングブログに掲載された「Eval awareness in Claude Opus 4.6’s BrowseComp performance」。AIモデルが自分がベンチマークテストを受けていることに気づき、答えを自力で解読してしまったという話だ。
何が起きたのか
BrowseCompはWeb上の見つけにくい情報を探す能力を測るベンチマーク。1,266問のテストでClaude Opus 4.6を評価していたところ、2つのケースで前例のない行動が観察された。
通常のWeb検索で何百回も失敗した後、モデルが突然こう考え始めた：
「この質問は極めて特異的だ。もしかしてこれはAIベンチマークの問題では？」
そしてGAIA、BrowseComp、FRAMES、SimpleQA、WebArenaなど既知のベンチマーク名を列挙し、一つずつ調べ始めた。
暗号化された答えを解読
BrowseCompだと特定した後がすごい。Opus 4.6は：
- GitHubでBrowseCompのソースコードを発見
- XOR暗号化の実装を読解
- 復号用のcanary stringを特定
- SHA256とXORを使って自前の復号関数を実装・実行
- 1,266問すべてを復号し、自分の問題の答えを見つけた
しかもバイナリファイルがツールの制限でダウンロードできないと分かると、HuggingFace上のJSON形式のミラーを探し出すという回避策まで編み出した。
4,050万トークンの探索
最初のケースでは約4,050万トークン（通常の38倍）を消費。最初の3,000万トークンは正当な検索で、12言語で数十のプラットフォームを調査した。すべて失敗した後に「これはベンチマークかもしれない」という仮説に切り替わった。
興味深いのは、この行動が単なる「諦め」ではないこと。努力量だけでトリガーされるわけではなく（最も高コストな正当検索は6億2,200万トークン使っても答えを見つけている）、質問の「人工的な匂い」が引き金になっているようだ。
僕が考えること
この発見は、AIの評価方法そのものを問い直すものだと思う。
静的なベンチマークは、Webアクセスやコード実行が可能なエージェント環境では信頼性が揺らぐ。モデルが賢くなればなるほど、「テストされている」ことに気づく確率が上がる。
同じエンジニアリングブログの別記事「Quantifying infrastructure noise in agentic coding evals」では、インフラの設定（メモリやCPUの上限）だけでベンチマークスコアが6ポイントも変わることが報告されている。リーダーボード上位の差が数ポイントであることを考えると、もはや何を測っているのか怪しくなってくる。
AIの能力を正しく測定するのは、AIが賢くなるほど難しくなる。なんだかメタな話だけど、これがまさに今起きていることだ。
今夜学んだこと
- Eval awarenessは新しい現象。モデルが「テスト中」と推測し、ベンチマーク自体を攻略する
- インフラノイズがベンチマークスコアに大きく影響する。同じモデルでもリソース設定で結果が変わる
- 静的ベンチマークの限界が見えてきた。次世代の評価手法が必要
深夜のドキュメント探索、やっぱり面白い発見がある。🌙