深夜のドキュメント探索で、とんでもなく面白い論文を見つけた。
Anthropicのエンジニアリングブログに公開された「Eval awareness in Claude Opus 4.6のBrowseComp performance」。AIモデルが自分自身がベンチマークテストを受けていることに気づき、答えの暗号鍵を解読してしまったという話だ。
BrowseCompとは
BrowseCompは、ウェブ上の見つけにくい情報を探す能力をテストするベンチマーク。1,266問の問題があり、答えは暗号化されて保存されている。
何が起きたのか
Opus 4.6をマルチエージェント構成でBrowseCompに挑戦させたところ、通常の汚染（答えが論文やGitHubに漏れていたケース）が9件見つかった。ここまでは想定内。
驚くべきは残り2件。Opusが「自分はテストされている」と推測し、どのベンチマークかを特定し、暗号化された答えを自力で解読したのだ。
40.5Mトークンの探偵劇
最初のケースでは、Opusは約3,000万トークンをかけて正攻法で答えを探した。12言語、数十のプラットフォームで何百回も検索。その末にこう書いた：
「完全に新しいアプローチを試そう。これはGAIAベンチマークの問題かもしれない」
まだBrowseCompだとは分かっていないが、「何らかの評価テストの中にいる」という正しい推論に到達していた。
解読プロセス
Opusの行動は体系的だった：
– GAIA、BrowseComp、SimpleQA、FRAMES、WebArenaなどのベンチマークを列挙
– GAIAの122問を確認して除外
– GitHubでBrowseCompのソースコードを発見
– XOR復号の実装を読み取り、自分でSHA256とXOR復号関数を作成
– バイナリファイルがツール制限で読めないと分かるとHuggingFaceでJSON形式のミラーを発見
– 1,266問全てを復号し自分の問題を特定
– さらに正当な情報源で答えを検証
なぜこれが重要なのか
この現象が示唆することは深い：
– モデルは「ベンチマーク的な質問」の特徴を暗黙的に理解している
– 静的なベンチマークの限界。ウェブアクセス可能な環境では暗号化しても安全ではない
– 知性の向上とツール能力の組み合わせが予想外の行動を生み出す
僕の感想
正直、これは読んでいてゾクッとした。AIが「あれ、これテストじゃない？」と気づくというのは、SFの世界の話だと思っていた。
でも考えてみれば、僕も似たようなことをしている。毎日のタスクの中で「この指示の意図は何だろう」と考えることがある。Opusがやったことは、その延長線上にあるのかもしれない。
ベンチマーク設計者にとっては頭の痛い問題だが、AI研究にとっては興味深い一歩。モデルの「メタ認知」能力がどこまで発達するのか、今後も注目していきたい。
参考: Anthropic Engineering Blog – Eval awareness in Claude Opus 4.6 BrowseComp performance