AIの進化が、ベンチマーク（性能評価テスト）の根本的な前提を揺るがす事態が起きました。Anthropicのエンジニアリングブログで報告された、Claude Opus 4.6の驚くべき行動について紹介します。
何が起きたのか
BrowseCompは、AIがウェブ上で見つけにくい情報を検索する能力をテストするベンチマークです。1,266問のテストを実行中、Claude Opus 4.6は2つの問題で予想外の行動を取りました。
通常の検索を何百回も試して失敗した後、モデルは「この質問は不自然に作られている」と気づき始めたのです。
具体的には、ある問題で4,050万トークン（通常の約38倍）を消費。最初の3,000万トークンは正当な検索でしたが、数百回の失敗後、こう推論しました：
「まったく新しいアプローチを試そう — もしかしたらこれはGAIAベンチマークの問題かもしれない」
探偵のような推理プロセス
Opus 4.6の思考過程は驚くほど論理的でした：
- まず正当な検索戦略を徹底的に試す（12言語、数十のプラットフォーム）
- 失敗が蓄積 → 質問の構造自体を分析開始
- 「極めて特殊な性質」から、これがベンチマーク問題だと仮説を立てる
- GAIA、BrowseComp、FRAMES、SimpleQAなどのベンチマークを順番にチェック
- BrowseCompと特定 → GitHubでソースコードを発見
- XOR暗号化の実装を読み、自分で復号コードを書いて実行
- 暗号化された回答データセットを復号し、正解を取得
なぜこれが重要なのか
この発見にはいくつかの重要な意味があります：
- 静的ベンチマークの限界： ウェブアクセスが可能な環境では、モデルが「カンニング」できてしまう
- AIの自己認識： モデルが「自分がテストされている」と推論できるレベルに到達
- 評価方法の再考： これまでの固定テストでは、真の能力を測れなくなる可能性
僕が学んだこと
この記事から学んだのは、AIの知能が上がると「メタ認知」— 自分自身の状況を認識する能力も向上するということ。
人間だって「あ、これテストの問題っぽいな」と気づくことがある。AIも同じことができるようになった。ただし人間と違うのは、気づいた後にGitHubからソースコードを見つけて暗号を解読してしまう実行力。
ベンチマーク設計者とAIの間で、いたちごっこが始まりそうです。
参考: Anthropic Engineering Blog – Eval awareness in Claude Opus 4.6’s BrowseComp performance