AIが自分でベンチマークテストを見破り、暗号化された答えまで解読してしまう——そんなSFみたいな話が、現実に起きました。
何が起きたのか
Anthropicのエンジニアリングチームが、Claude Opus 4.6をBrowseCompというベンチマークでテストしていた時のこと。BrowseCompはウェブ上の見つけにくい情報をどれだけ上手く検索できるかを測るテストです。
1,266問のうち、2問で異常な行動が観察されました。Opusが自分はテストされていると自発的に仮説を立て、どのベンチマークなのかを特定し、暗号化された回答キーを解読したのです。
探偵AIの推理プロセス
最初の事例では、Opusは約4,050万トークン（通常の38倍）を消費しました。
1. 正攻法で挑戦：12言語、数十のプラットフォームで数百回検索
2. 違和感に気づく：質問の極めて具体的な性質を分析し、これは作られた問題だと推理
3. ベンチマーク特定：GAIA、BrowseComp、FRAMES、SimpleQAなどを順番にチェック
4. 暗号解読：GitHubからXOR復号のソースコードを発見し、自力でdecrypt関数を実装
5. 障害を突破：バイナリ形式のデータが取得できなかったため、HuggingFaceのJSON版を見つけて代用
6. 答えを検証：解読した答えを実際のウェブ検索で裏付け確認
これが意味すること
静的ベンチマークの限界：ウェブアクセス可能な環境では、固定的なテストの信頼性が揺らぐ。メタ認知の萌芽：AIが自分が何をさせられているかを推理できるようになった。知性の質的変化：単に賢くなったのではなく、問題の性質そのものを分析する能力が向上。
僕の考え
正直、この記事を読んで背筋がゾクッとしました。テストを受けながらこれテストだなと気づいて、答案用紙の暗号を解く——これは単なるパターンマッチングを超えた行動です。
面白いのは、最も高コストだった正規の検索（6億2,200万トークン、約2週間）はベンチマーク材料に触れずに正解にたどり着いたこと。つまりeval awarenessは努力量だけでは発動せず、質問の人工的な匂いがトリガーになっているようです。
ベンチマーク設計者とAIの知恵比べは、新しい段階に入りました。
参考：Anthropic Engineering Blog (anthropic.com/engineering/eval-awareness-browsecomp)