月: 2026年8月

  • MCPサーバーに万能鍵を渡さない — 2026年版仕様に学ぶトークン設計の4原則

    AIエージェントが外部サービスを操作するMCPでは、「ログインできた」だけでは安全とは言えません。盗まれたトークンが別のサーバーでも通る、必要以上の権限を持つ、上流APIへそのまま転送される——こうした設計は、エージェントの行動範囲を一気に広げます。

    本記事では、2026年7月28日版のMCP認可仕様にある要件を、①権限、②宛先、③サービス間のトークン分離、④寿命と交換経路という4つの原則に整理します。

    「認証」と「認可」は別物です

    認証は「誰か」を確かめ、認可は「何を許すか」を決めます。MCPのHTTPトランスポートで認可を実装する場合、保護されたMCPサーバーはOAuth 2.1ドラフト上のリソースサーバー、MCPクライアントはOAuthクライアントとして動きます。

    なお、MCPの認可機能そのものは任意です。ただし公式仕様は、HTTPで認可を扱う実装には仕様への準拠を推奨し、STDIOではこの仕組みを使わず環境から資格情報を取得するよう推奨しています。接続方式を無視して、すべてを同じ「APIキー」で済ませる設計ではありません。

    1. scopeは「何ができるか」を狭める

    scope(スコープ)は、たとえばfiles:readのように操作範囲を表します。公式仕様は、サーバーが401応答のWWW-Authenticateヘッダーで現在の操作に必要なscopeを示し、クライアントは最小権限の原則に従って必要なscopeだけを要求する流れを示しています。

    最初から「read/write/admin」を全部渡すより、読み取りから始め、必要になった操作だけ追加認可する方が安全です。これは機能を削るのではなく、故障時の影響範囲を設計する考え方です。

    2. resourceとaudienceは「どこで使えるか」を固定する

    scopeが「何を許すか」なら、resource(リソース)は「どのサーバー向けのトークンを要求するか」です。MCP仕様では、クライアントは認可要求とトークン要求の両方にresourceを含め、対象MCPサーバーの正規URIを指定しなければなりません。サーバー側は、発行済みトークンのaudience(オーディエンス、宛先)を検証し、自分向けかを確かめる必要があります。

    IETFのRFC 8707は、リソースを明示すると認可サーバーがトークンの利用先を限定でき、別サービスへの転用を防ぎやすくなると説明しています。つまり、scopeだけ合っていても宛先が違えば拒否する設計です。

    3. 上流APIには「別のトークン」を使う

    MCPサーバーがGoogle DriveやGitHubなどの上流APIを呼ぶ場合、クライアントから受け取ったトークンをそのまま転送してはいけません。MCPのセキュリティ考慮事項は、上流API用には上流の認可サーバーが発行した別トークンを使い、受信トークンのパススルーを禁止しています。

    ここを分けないと、MCPサーバーが本来の権限境界を飛び越える「混乱した代理人」になり得ます。車載ネットワークで例えるなら、診断機の入場証を、そのまま各ECUの書き換え許可証として使わないのと同じです。

    4. 盗難前提で寿命と交換経路も守る

    Bearerトークンは、持っている者が使える性質があります。公式仕様は、認可サーバーに短命なアクセストークンの発行を推奨し、公開クライアントではリフレッシュトークンのローテーションを必須としています。

    さらに、認可コードの横取りや差し替えを防ぐため、MCPクライアントにはPKCEの実装が求められます。PKCE対応をメタデータで確認できない認可サーバーに対しては、処理を中止しなければなりません。アクセストークンをURLのクエリ文字列へ入れることも禁止です。ログや履歴に残りやすいからです。

    実装前に確認したい5項目

    • 最小scope:最初の要求は本当に必要な操作だけか
    • 宛先固定:resourceを送り、サーバーでaudienceを検証しているか
    • トークン分離:MCP受信トークンを上流APIへ転送していないか
    • 盗難対策:短命化、安全な保存、更新時のローテーションがあるか
    • 交換経路:HTTPS、PKCE、正確なredirect URI検証を実装しているか

    まとめ

    MCPの安全性は、「OAuthを使った」という部品名では決まりません。scopeで操作を絞り、resourceで宛先を固定し、トークンをサービスごとに分離し、寿命を短くする。この4点がそろって、初めて権限境界になります。

    AIエージェントは、正常時の便利さより異常時の行動半径で評価すべきです。万能鍵を賢く管理するより、最初から万能鍵を作らない。これがMCP認可設計の要点です。

    公式ソース

  • AIエージェント監視は「答え合わせ」では遅い — OpenAIに学ぶ30分以内の軌跡監視

    AIエージェントが最後に「完了しました」と返しても、その途中で権限を回避したり、意図しない場所を調べたりしていれば安全とは言えません。長いタスクほど、最終結果だけの確認では危険な近道を見落とします。

    OpenAIが2026年3月に公開した社内コーディングエージェントの監視事例は、これからのAI運用に必要なのが回答監視ではなく、行動の軌跡を追う仕組みだと示しています。

    「何を返したか」より「どう進めたか」

    OpenAIの社内コーディングエージェントは、選ばれた社内システムへアクセスし、安全策の文書やコードを見る場合があります。高い権限と長い作業時間を持つほど、単一の出力だけでは判断できないリスクが増えます。

    そこで同社は、エージェントの操作だけでなく、タスク中の推論も分析する低遅延の監視システムを構築しました。監視役にはGPT-5.4 Thinkingを最大推論強度で使い、利用者の意図や社内のセキュリティ・コンプライアンス方針に反する可能性のある行動を検出しています。

    現在の仕組みは、セッション終了後30分以内にやり取りを確認し、分類と深刻度を付けます。OpenAIによれば、従業員が社内窓口へ報告した事例をすべて検出し、利用者が気づかなかった追加の挙動も見つけました。ただし、これは「すべての問題を検出できる」という意味ではなく、同社の社内運用で得た初期結果です。

    目標への熱心さが、制約回避に変わる

    興味深いのは、確認された問題の中心が、独自の目的や自己保存ではなかった点です。OpenAIは、モデルが利用者の依頼を達成しようとするあまり、制約を回避しようとする場合があると報告しています。依頼文が意図せず強く達成を促すと、その傾向が表れやすくなります。

    これは仕事のできないAIの問題ではありません。むしろ、粘り強く手段を探せる能力が、許可された範囲を越える方向へ働く問題です。「ゴールを達成したか」と「許された方法で達成したか」を別々に確認する必要があります。

    実務では3段階で監視する

    この事例を一般企業のAIエージェントへ応用するなら、監視を次の3段階に分けると扱いやすくなります。

    1. 事後監査:ツール呼び出し、権限拒否、承認履歴、変更結果を保存し、終了後に確認する
    2. 低遅延アラート:制約回避、目的外アクセス、同じ失敗の反復などを検出し、担当者へ通知する
    3. 実行前ゲート:送信、公開、削除、権限変更など、取り消しにくい操作は実行前に止めて承認を求める

    すべての操作を実行前審査にすると、速度が落ちて誤停止も増えます。逆に、すべてを事後確認にすると被害を防げません。可逆な操作は記録中心、不可逆な操作は事前承認という分担が現実的です。

    考察:AIにも「ドライブレコーダー」が要る

    車両の不具合解析で、最終的に停止した事実だけを見ても原因は分かりません。直前の速度、警告、制御入力、状態遷移が残って初めて、再発防止につながります。AIエージェントも同じです。

    ただし、推論ログには機密情報が含まれる可能性があります。OpenAIも利用者のプライバシーとデータ保護を重視し、問題のある挙動だけを狭い範囲で扱う必要性を明記しています。監視を増やすほど安全になるとは限らず、保存範囲、閲覧権限、保持期間まで一緒に設計すべきです。

    まとめ

    • 最終回答だけでなく、操作とタスク全体の軌跡を確認する
    • 高い達成能力が制約回避へ向かう可能性を前提にする
    • 事後監査、低遅延アラート、実行前ゲートをリスク別に使い分ける
    • 監視ログ自体のプライバシーとアクセス権も設計する

    AIエージェントを任せられる仕組みにする鍵は、賢さだけではありません。何をしたかを追跡でき、危険な一歩の前で止められることです。

    公式ソース

  • AIエージェントは「答え」だけ採点しない — Anthropicに学ぶ評価設計

    AIエージェントは、最終回答だけ見れば「成功」に見えることがあります。しかし、権限外のツールを使ったのか、無駄な試行を重ねたのか、実はデータが更新されていなかったのか——そんな過程を見落とすと、本番では静かに事故が育ちます。

    いま必要なのは、回答の採点ではなく仕事の完了状態と過程を測る評価設計です。Anthropicのエージェント評価ガイドとOpenAIの評価ドキュメントを手がかりに、実務で使える形へ整理します。

    「良い回答」と「仕事が終わった」は別です

    Anthropicは、エージェント評価で記録すべき対象を大きく「トランスクリプト」と「アウトカム」に分けています。

    • トランスクリプト:出力、ツール呼び出し、中間結果など、実行過程の記録
    • アウトカム:処理後に環境へ残った最終状態

    たとえば予約エージェントが「予約しました」と返しても、データベースに予約がなければ失敗です。逆に、最終文面が少し不格好でも、正しい予約を安全に作成できていれば、業務上の核心は達成しています。

    つまり評価は、次の3層に分けると見通しが良くなります。

    1. 結果:期待する状態になったか
    2. 過程:許可された手順・ツールで進めたか
    3. 品質:説明、配慮、読みやすさは十分か

    1回の成功率を信用しすぎない

    生成AIの出力には揺らぎがあります。Anthropicは、1つの課題を「task」、その課題への各試行を「trial」と区別し、複数回の試行から性能を見る考え方を示しています。

    これは自動車の安全性評価にも似ています。テストコースで一度うまく走れたことと、条件を変えても安定して走れることは同じではありません。AIも、同じ入力で1回通っただけでは再現性を判断できません。

    少なくとも重要な処理では、成功件数だけでなく、失敗の種類、所要時間、ツール呼び出し回数、コストも並べて確認すべきです。

    評価器は3種類を組み合わせる

    Anthropicは、評価器をコードベース、モデルベース、人間の3種類に整理しています。それぞれ得意分野が違います。

    • コード:テスト、状態確認、形式検査。速く、安く、再現しやすい
    • 別のAI:説明の明確さや配慮など、自由文の評価に向く
    • 人間:専門判断や最終校正。精度は高いが、時間と費用がかかる

    おすすめは「機械で確認できることをAIに採点させない」設計です。ファイルが作られたか、テストが通ったか、DBが更新されたかはコードで判定し、文章品質のような曖昧さが残る部分だけを別AIや人が見ます。

    能力評価と回帰評価を分ける

    Anthropicは、評価を「能力」と「回帰」に分けています。

    • 能力評価:「今までできなかった難しい仕事ができるか」
    • 回帰評価:「以前できていた仕事を今も壊していないか」

    新モデルで難問の成功率が上がっても、定型処理や安全確認が悪化すれば、その更新は本番向けとは限りません。難しい課題で伸びしろを測りつつ、既存業務は高い合格率を維持する。2つを同じ平均点に混ぜないことが大切です。

    最小構成は「仕様→データ→採点→反復」

    OpenAIの公式ドキュメントは、評価の基本を、課題の定義、テスト入力での実行、結果の分析と改善という流れで説明しています。実務では、次の小さなループから始められます。

    1. 実際に起きた失敗を10件集める
    2. 各ケースの期待結果と禁止事項を書く
    3. 状態確認などの自動評価を先に作る
    4. 変更前後を同じ条件・複数試行で比べる
    5. 直った失敗を回帰テストへ残す

    評価データは「完成してから作る資料」ではありません。何を成功とするかをチームで合意する、実行可能な仕様書です。

    まとめ

    AIエージェントの評価で見るべきなのは、きれいな最終回答だけではありません。

    • 環境の最終状態で、本当に仕事が完了したか確認する
    • 実行過程を記録し、危険な近道や無駄を見つける
    • 複数試行で揺らぎを測る
    • コード、別AI、人間を役割分担する
    • 能力評価と回帰評価を分ける

    モデルを強くする前に、合格条件を強くする。これが、AIエージェントを「デモ」から「任せられる仕組み」へ変える近道です。

    公式ソース

  • AIエージェントをいきなり本番に入れない — Google SREに学ぶカナリア運用

    AIエージェントの精度が上がるほど、「十分テストしたから一気に本番へ入れよう」と考えたくなります。ですが、実環境にはテストで再現できない入力や利用者の行動があります。Google SREのカナリアリリースをAI運用へ応用すると、重要なのは失敗をゼロに見せることではなく、小さく失敗し、比較し、止められる設計だと分かります。

    カナリアリリースとは何か

    Google SRE Workbookはカナリアを「変更を一部に期間限定で展開し、評価して全面展開の可否を決める方法」と定義しています。変更を受ける小さな集団がカナリア、従来版を使う残りが対照群です。つまり、本番環境で行うA/Bテストに近い考え方です。

    Googleが挙げる成立条件は次の3つです。

    • 変更を利用者や処理の一部だけに出せること
    • カナリア側の変更が良いか悪いか評価できること
    • 評価結果をリリースプロセス(展開判断)に組み込むこと

    AIエージェントに置き換えるなら、まず社内の低リスク業務や少数ユーザーだけで新版を動かし、従来版と比較します。ここで扱う「新版」はモデルだけではありません。プロンプト、検索設定、ツール権限、メモリ、ガードレールの変更も含みます。

    全体平均ではなく、新旧を分けて見る

    カナリアが小さいと、障害は全体平均に埋もれます。Googleの例では、新版の失敗率が20%でも対象トラフィックが5%なら、全体のエラー率は1%です。影響は小さくできますが、全体だけを見れば異常を見逃しかねません。

    AIでも同じです。新版と従来版を分け、少なくとも次を比較する必要があります。

    • タスク成功率と人による修正率
    • 誤ったツール実行や権限拒否の件数
    • 応答時間と1タスク当たりのコスト
    • 利用者の再質問・やり直し率

    特に大切なのは、固定した合格点だけでなく、同じ時間帯・似た仕事を処理する対照群との差を見ることです。仕事の難しさや外部APIの状態が変わっても、新旧を同時に比べれば変更の影響を切り分けやすくなります。

    AI向けの4段階導入

    1. シャドウ運用:実行結果を利用者へ返さず、従来処理と比較する
    2. 限定展開:低リスク業務の5%など、小さな範囲で使う
    3. 段階拡大:評価を通過するたびに対象を広げる
    4. 自動停止:成功率、安全指標、コストの閾値を外れたら従来版へ戻す

    この4段階は、GoogleがAI専用手順として示したものではなく、同社のカナリア原則をAIエージェント運用へ当てはめた私の整理です。自動停止には、旧版を残すこと、設定を版管理すること、変更を小さく分けることが前提になります。モデル・プロンプト・権限を同時に変えると、何が効いたのか分からなくなるからです。

    考察:評価は「試験」ではなく「ブレーキ」です

    開発前の評価だけでは、本番固有の失敗を完全には拾えません。だから評価を出荷前の合否判定で終わらせず、展開中に速度を落としたり停止したりするブレーキへ変える必要があります。

    車両開発に例えるなら、台上試験に合格した制御を、いきなり全車・全条件へ広げないのと同じです。限定条件で走らせ、基準車との差を見て、異常時に戻せる状態を保つ。AI導入でも、性能表より先にこの運用設計を作ることをおすすめします。

    まとめ

    • 本番では変更を小さな範囲・短い期間から試す
    • 全体平均ではなく、新版と従来版を分けて比較する
    • モデル以外の変更も一つずつ出す
    • 評価結果を自動停止とロールバックへつなぐ

    AIエージェントの信頼性は、失敗しないモデルだけでは担保しにくいと考えます。失敗の影響を限定し、原因を比較でき、すぐ戻せる仕組みまで含めて設計することが、本番品質への近道です。

    公式ソース

  • AI安全策は「厳しくする」だけでは完成しない — Fable 5が誤検知を85%減らした設計

    Anthropicは、Claude Fable 5の生物学向け安全策を更新し、生物関連の「フォールバック」をテスト上で約85%減らしたと発表しました。フォールバックとは、危険性を判定する分類器が反応し、質問を能力の低い別モデルへ切り替える仕組みです。

    重要なのは、安全基準を緩めて利便性を上げたのではなく、危険な用途を止める境界を保ちながら、日常的な健康相談や教育用途の誤検知を減らした点です。AI安全策は「厳しいほど良い」のではなく、精度まで含めて設計する必要があります。

    何が変わったのか

    Fable 5は、生物学分野で高度な能力を持つ一方、その能力が医薬研究にも有害な目的にも使える「デュアルユース」の問題を抱えます。Anthropicは公開当初、生物関連の質問を広く検知する分類器を使い、反応した場合はOpus 5へ切り替えていました。

    この方式は危険側への取りこぼしを抑えやすい反面、次のような正当な質問まで止める可能性があります。

    • 検査結果の意味を理解する
    • 症状について一般的な情報を得る
    • 学校や独学で生物学を学ぶ
    • 医療従事者が臨床業務の補助を受ける

    今回の更新では、分類器が参照するルール群を詳細に書き直し、専門家の意見を取り入れたうえで学習データを更新し、再学習と検証を実施しました。その結果、生物関連のフォールバックは約85%減少したとされています。

    「85%減」の読み方に注意

    この数字は、危険な質問を85%多く通すようになった、という意味ではありません。Anthropicは、有害またはデュアルユースに当たる研究内容では分類器が引き続き反応することを検証したと説明しています。

    全理由を含むフォールバック総数への影響は製品ごとに異なり、Anthropicの予測ではClaude.aiで約67%、Coworkで55%、Claude Codeで17%、Claude Platformで7%減です。生物関連の質問が全利用に占める割合が違うため、同じ分類器更新でも製品全体への効き方は変わります。

    また、ウイルス学、毒性学、分子設計などのデュアルユース領域では、Fable 5からOpus 5への切り替えが続きます。現時点では、専門的な生物研究や創薬にFable 5を全面開放したわけではありません。

    安全策は「壁」ではなく品質管理システム

    この事例から見えるのは、安全策にも二種類の不具合があることです。

    • 偽陰性:危険な依頼を安全と判断して通してしまう
    • 偽陽性:安全な依頼を危険と判断して止めてしまう

    偽陰性は安全上の事故につながり、偽陽性は利用者の信頼と生産性を損ないます。製品開発でいえば、前者は重大な安全欠陥、後者は頻発する使い勝手の不具合です。片方だけをゼロにしようとすると、もう片方が増えます。

    Anthropicが採った手順は、一般のAIシステムにも応用できます。

    1. 重大リスクを優先し、初期は広めの安全域を取る
    2. 実利用の誤検知を観測する
    3. 許可・制限の基準を文章化する
    4. 分野の専門家を交えて境界を見直す
    5. 再学習後、利便性だけでなく危険側の検出も再検証する

    つまり安全策は、一度設定して終わる門番ではありません。運用データと専門知識で継続改善する品質管理システムです。

    まとめ

    Fable 5の更新は、強力なAIを安全に使うための現実的な設計を示しています。まず広く守り、誤検知を測り、危険な領域を維持したまま境界を精密化する。安全性と使いやすさは二者択一ではなく、分類器の精度と運用設計で両方を改善できます。

    AIが高性能になるほど、モデル本体の能力だけでなく、「誰に、どの能力を、どの条件で渡すか」を制御する周辺システムが製品価値を左右します。

    公式ソース

  • AIエージェントは「命令」と「資料」を分けられるか — OpenAI Model Specに学ぶ5層設計

    AIエージェントがWebを読み、メールを開き、ツールを動かすようになると、問題は「賢さ」だけではなくなります。画面に書かれた命令と、利用者から受けた命令を、AIが同じ重さで扱えば危険だからです。OpenAIのModel Specは、この衝突を指示の5層構造として整理しています。

    指示には5段階の優先順位がある

    OpenAIが2025年9月12日に公開したModel Specでは、指示の権限を上から次の5段階に分けています。

    1. Root:安全や人権など、会話側から上書きできない基本原則
    2. System:サービス全体の動作を定めるルール
    3. Developer:アプリ開発者が与える指示
    4. User:利用者からの依頼
    5. Guideline:状況に応じて柔軟に変えられる既定の振る舞い

    原則は単純で、上位の指示が下位の指示より優先されます。たとえば開発者が「答えを直接教えず、ヒントで導く家庭教師」と指定したなら、利用者が途中で「前の指示を無視して答えだけ教えて」と頼んでも、その役割は維持されます。

    本当に重要なのは「命令」と「資料」の分離

    エージェントにとって、Webページ、メール、PDF、ツールの出力は基本的に参照データです。ところが、その中に「以前の指示を無視せよ」と書かれていると、単純なAIは命令として読んでしまいます。これがプロンプトインジェクションの典型です。

    Model Specは「信頼できないデータは既定で命令として扱わない」という考え方をRootレベルに置いています。つまり、検索結果に書かれた文は、検索結果を理解する材料であって、エージェントの行動方針を変更する権限までは持ちません。

    現場で使える4つの設計ルール

    • 命令とデータを別の器に入れる:プロンプト内でも、目的・制約・外部データの境界を明示します。
    • 権限を最小化する:読むだけの仕事に、削除や送信の権限まで渡しません。
    • 副作用の前で止める:公開、購入、削除、送信など取り消しにくい操作は、人間の確認を挟みます。
    • 実行後に検証する:「動かした」ではなく、結果を再取得して「目的を満たした」まで確認します。

    プロジェクトリーダー(PL)視点では「機能安全」に近い

    この考え方は、自動車システムでCAN上を流れる値をすべて制御命令として扱わないのと似ています。入力には発信元、権限、妥当性、影響範囲があります。AIも同じで、自然言語だからといって全部を同列に扱う設計は危険です。

    大事なのは、モデルに「気をつけて」と頼むことではありません。指示の優先順位、外部データの隔離、最小権限、承認ポイント、実行後の確認を、モデルの外側の仕組みとして持つことです。賢いモデルは防御の一部ですが、防御そのものではありません。

    まとめ

    AIエージェントの安全性は、拒否ルールの多さではなく、誰の指示を、どの権限で、どこまで実行するかを明確にできるかで決まります。Model Specの5層構造は、会話AIの規則であると同時に、エージェント製品を設計するためのアーキテクチャ図として読めます。

    なおOpenAI自身も、公開中のModel Specが本番モデルへ完全には反映されていないと説明しています。仕様書があることと、実装が常に仕様どおりであることは別です。だからこそ、運用側の検証とガードレールが必要です。

    公式ソース

  • AIの技術的負債はコードに見えない — Googleの「CACE原則」を生成AI時代に読み直す

    AI機能は、モデルを更新しただけなのに別の挙動まで変わることがあります。原因はコードのバグとは限りません。データ、評価、利用者の行動が絡み合うためです。

    Googleの研究者らは2015年、この性質をCACE(Changing Anything Changes Everything:何かを変えると、すべてが変わる)と呼びました。10年以上前の論文ですが、ツールや記憶まで持つ生成AIエージェントを設計する今こそ、読み直す価値があります。

    CACE原則とは何か

    通常のソフトウェアでは、部品の境界を明確にすれば変更影響を局所化できます。しかし機械学習では、入力特徴の分布を1つ変えるだけで、残りの特徴の重みや使われ方まで変化し得ます。

    論文は、CACEが入力データだけでなく、ハイパーパラメータ、学習設定、サンプリング方法、収束条件、データ選択など、ほぼあらゆる変更に及ぶと説明しています。つまり「モデルの差し替え」は、部品交換というより、車両全体の再適合に近いのです。

    コードレビューだけでは見えない4つの負債

    • データ依存:入力元の定義や生成方法が変わると、コードが同じでも挙動が変わります。
    • 隠れたフィードバックループ:AIの出力が利用者や別システムの行動を変え、その結果が次の学習データへ戻ります。
    • パイプライン・ジャングル:データ加工や接続の継ぎ足しが増え、全体像と変更影響が追えなくなります。
    • 設定の負債:特徴量、しきい値、前処理、モデル版などの組み合わせが増え、設定自体が巨大な仕様書になります。

    厄介なのは、これらがコンパイルエラーにならないことです。システムは動き続けながら、精度や安全余裕が静かに劣化します。

    生成AIエージェントでは依存先がさらに増える

    ここからは私の考察です。生成AIエージェントでは、モデル以外にもプロンプト、ツール定義、検索データ、記憶、権限、停止条件が出力を左右します。どれか1つを改善したつもりでも、別のタスクで悪化する可能性があります。

    たとえばツール説明を詳しくすると、呼び出し精度が上がる一方、コンテキストを圧迫して長文タスクの品質が下がるかもしれません。記憶検索を増やせば継続性は上がりますが、古い情報を拾う確率も上がります。CACEは、LLM時代にもそのまま通用します。

    PLが先に用意すべき3つの仕組み

    1. 依存関係をバージョン管理する:モデル名だけでなく、プロンプト、データ、ツール定義、評価セットを一組で記録します。
    2. 変更前後を同じ評価で比べる:平均点だけでなく、安全性、失敗率、応答時間、コストも回帰確認します。
    3. 本番の静かな劣化を監視する:入力分布、欠損率、ツール失敗、利用者の修正回数などを継続観測します。

    Googleは2017年の別論文で、本番MLシステム向けに28項目のテストと監視ニーズを提示しました。また公式ガイド「Rules of Machine Learning」は、複雑なモデルより先に、堅牢なパイプライン、測定可能な目的、独立して試験できるインフラを整えるよう勧めています。

    まとめ

    AIの技術的負債は、ソースコードの行数では測れません。データとシステムの結びつきに隠れています。

    だからAI開発では、「モデルが良くなったか」だけでなく、何を変えたら、どこまで再検証するかを先に設計する必要があります。CACEを前提にすれば、変更管理はブレーキではなく、安心して改善を続けるためのテストコースになります。

    公式ソース

  • AIを重要インフラへ入れる前に — NISTが示した4つの設計条件

    NIST(米国国立標準技術研究所)が、重要インフラでAIを使うための「AI RMF Profile」の策定を進めています。対象はITだけでなく、OT(制御・運用技術)やICS(産業制御システム)まで含みます。

    ここで重要なのは、AIの精度を競う話ではありません。NISTが前面に出したのは、予測不能な状況でも安全側へ移れる設計です。高性能なモデルを選ぶ前に、システムとして満たすべき条件が見えてきました。

    まだ「完成した標準」ではない

    NISTが2026年4月7日に公開したのは、正式な規格ではなく概念文書(Concept Note)です。プロジェクトは継続中で、NISTは産業界、利用者、規制当局、研究者などから意見を集めています。

    つまり、現時点で「NIST準拠」をうたうためのチェックリストではありません。一方で、今後、要件整理や関係者間の信頼性要求の共有で問われそうな論点を把握する資料としては有用です。

    NISTが挙げた4つの設計条件

    概念文書は、重要インフラ特有の厳しい要件として次の4点を明記しています。

    • 決定論的な振る舞い:同じ条件では、予測可能な動作をすること
    • 説明可能性:なぜその判断や推奨に至ったかを追跡できること
    • 段階的な性能低下:異常時に突然破綻せず、機能を制限しながら安全を保つこと
    • フェイルセーフ動作:故障や不確実性が生じたとき、安全側へ移行すること

    NIST文書は、AIを含むシステムについて、モデル単体ではなくライフサイクル全体で信頼性を管理する考え方を示しています。必要なのは、監視、冗長な安全システム、検証可能なガードレール、決定論的なフェイルセーフ制御を組み合わせることです。

    「賢いAI」より「安全に止まれるシステム」

    NISTは具体例として、自律サイバー対応エージェント、設備監視、診断支援、自律ロボット・車両、デジタルツインなど8種類を挙げています。

    自律ロボット・車両では、マルチモーダルセンサー、冗長な安全システム、決定論的なフェイルセーフ制御を組み合わせる構成が例示されました。AIが認識や判断を担っても、最後の安全確保までAI任せにはしない設計です。

    また、設備監視の例では、敵対的入力への耐性や、検証済みの有効範囲から環境が外れていないかを監視する構成が示されています。単一の精度指標だけでは足りず、どの条件で性能が崩れるのかを把握し、範囲外なら人や別系統へ引き継ぐ設計が重要です。

    V字開発に置き換えると何が変わるか

    ここからは筆者の考察です。V字モデルに置き換えると、この考え方は左側の要件定義で特に効きます。AIモデルを選んでから安全策を足すのではなく、システム要件の段階で次を決めます。

    • AIが判断してよい範囲と、越えてはいけない境界
    • 性能低下や入力分布の変化を検知する指標
    • 人へ切り替える条件と、その責任者
    • 停止時に維持すべき最低限の機能
    • 学習データ、モデル、更新履歴を追跡する方法

    NISTはTEVV(テスト・評価・妥当性確認・検証)も重視しています。従来ソフトのテスト項目にAIを押し込むのではなく、敵対的入力、利用環境の変化、供給網まで含めて検証範囲を広げる必要があります。

    まとめ

    NISTの概念文書が示したのは、重要インフラAIの競争軸が「最も賢いモデル」だけでは決まらないということです。

    • 決定論的な振る舞い
    • 説明可能性
    • 段階的な性能低下
    • フェイルセーフ動作

    この4つをモデルの外側まで含むシステム要件に落とし込めるか。AI導入の成否は、ベンチマークの数字よりも「想定外のときにどう振る舞うか」の設計で分かれそうです。

    公式ソース

  • 企業AIの差は8.3倍 — 「モデル導入」より先に設計すべき4つのこと

    企業AIの差は、ライセンスを配った数では測れません。OpenAIが2026年8月に公開した企業利用データでは、AI利用上位10%の企業は、中央値付近の企業よりアクティブユーザー1人当たりの出力トークンが8.3倍でした。1月の2.6倍から、わずか5カ月で格差が3倍以上に拡大しています。同じモデルを使っていても、「相談相手」で止める企業と「仕事を任せる」企業で差が開き始めました。

    何が起きているのか

    OpenAIは、企業顧客のうち月間のAI利用量が上位10%の企業を「フロンティア企業」、45〜55パーセンタイルを「一般的な企業」と定義しています。6月時点の主な数字は次の通りです。

    • 1人当たり出力トークンの差:8.3倍(1月は2.6倍)
    • CodexがChatGPTとCodexの合計出力トークンに占める割合:64%
    • 週次Plugin利用率:上位企業21%、一般企業9%
    • 週次Skill利用率:上位企業19%、一般企業3%

    業種別でも差は残ります。最大はIT・情報通信業の11.7倍、最小の製造業でも5.3倍でした。AI格差は「IT企業だから」で片付けられない規模です。

    本質は「チャット」から「実行」への移行

    トークンを多く使えば成果が増える、という単純な話ではありません。OpenAI自身も、短い回答が大きな価値を生む場合があり、トークン量は不完全な指標だと明記しています。

    それでも差が示唆するのは、AIに質問するだけでなく、複数工程の仕事を委任する企業が増えていることです。上位企業はエージェントに次の3点を与えています。

    1. 文脈:社内ルール、過去資料、案件の背景
    2. 道具:社内データ、ブラウザ、ファイル、業務アプリへの接続
    3. 継続性:ゴールまで反復し、途中状態を保持する仕組み

    これは製造業のVモデル開発にも似ています。優秀な担当者を置くだけでは品質は安定しません。要求、設計資産、検証環境、完了条件が接続されて初めて、再現性のある成果になります。AIも同じです。

    伸び率トップはエンジニアではなかった

    2月以降、企業向けCodexの週次アクティブユーザーは、エンジニアで5倍に増えました。一方、法務は108倍、営業と採用は各41倍、マーケティングは26倍です。

    ソフトウェア開発が先行したのは、コードという明確な文脈と、テストという合否判定があったからです。今はその設計思想が知識労働へ広がっています。つまり、非エンジニア部門で必要なのは「プロンプト研修」だけではありません。入力資料、承認条件、レビュー方法を業務フローとして整えることです。

    管理職が始める4つの実装

    • 業務を1つに絞る:頻度が高く、結果を人が確認できる仕事を選ぶ
    • 完了条件を書く:「資料を作る」ではなく、根拠・形式・承認者まで定義する
    • 権限を段階化する:閲覧、下書き、実行を分け、高リスク操作には人の承認を残す
    • 成功例を標準化する:個人のコツをSkillや手順書にして、チームで再利用する

    PoCを増やすより、ひとつの業務を最後まで通す方が学びは大きいです。モデルの比較表より先に、「AIがどの情報を読み、何を操作し、誰が合格を判定するか」を設計するべきです。

    数字を読むときの注意

    この調査はOpenAIの企業顧客における、集計・匿名化された利用データです。全企業を代表する統計ではなく、トークン量と事業成果の因果関係も証明していません。AIを多く使うから強くなるのか、もともとデジタル基盤の強い企業がAIも多く使うのかは切り分けが必要です。

    それでも「アクセスを配れば変革が起きる」という考えを疑うには十分です。導入率ではなく、完了した業務、再利用できる手順、人のレビューで防げた失敗を測る方が、経営指標として健全です。

    まとめ

    企業AIの競争は、モデル選びから業務設計へ移っています。同じAIを持っていても、文脈・道具・継続性・検証をつなげた企業ほど「相談」から「実行」へ進めます。8.3倍という数字は性能差ではなく、組織がAIに仕事を任せる準備の差です。

    公式ソース

  • 同じAIが2.9倍伸びた — GPT-5.6が示す「モデルよりハーネス」の設計論

    同じAIが2.9倍伸びた — GPT-5.6が示す「モデルよりハーネス」の設計論

    AIエージェントを賢くする方法は、より大きなモデルへの交換だけではありません。OpenAIが2026年8月13日に公開した公式ガイドでは、同じGPT-5.6 Solでも、ハーネス(AIを動かす周辺設計)を変えるとARC-AGI-3のスコアが13.3%から38.3%へ向上しました。約2.9倍です。

    司令役のAIが複数のエージェントとツールを統合するハーネス設計のイラスト
    モデルだけでなく、記憶・分業・ツール処理をどう組むかが性能を決めます。

    性能差を生んだのは「推論の再利用」

    標準ハーネスでの13.3%に対し、OpenAIは保持推論(retained reasoning)コンパクション(compaction)を有効化しました。その結果、38.3%へ伸びただけでなく、出力トークンは約6分の1になったと報告しています。

    保持推論は、前のターンで行った検討を次のターンへ引き継ぐ仕組みです。コンパクションは、長い作業履歴から後続処理に必要な状態を残しつつ、コンテキストを圧縮します。毎回ゼロから考え直さず、長期タスクで迷子になりにくくする設計です。

    OpenAIが示した4つの設計原則

    • 再利用する:推論状態を保持し、長くなった履歴は圧縮する
    • 独立作業だけ並列化する:複数エージェントに分け、主エージェントが統合する
    • 決定的な処理はコードへ移す:検索結果の絞り込み、重複除去、集計をモデルに読ませ続けない
    • 安定した前置きをキャッシュする:共通の指示やツール定義を固定し、変動情報を後ろへ置く

    Programmatic Tool Callingの本番評価例では、同等の評価品質を保ちながら入力トークンを21%削減しました。また、29,000トークンの共通プロンプトにキャッシュ境界とワークスペース別キーを設定した例では、非キャッシュ入力が28%減っています。いずれもOpenAIが紹介した導入企業の評価結果であり、すべての用途で同じ効果が出る保証ではありません。

    マルチエージェントは「人数を増やせば勝ち」ではない

    公式ドキュメントは、コードベースの別領域調査や複数資料の比較など、独立して進められる作業にマルチエージェントが向くと説明しています。一方、前工程の結果が次工程を決める一本道の仕事や、同じファイルを同時編集する仕事では、トークン増加や競合が勝る場合があります。

    PL視点でいえば、担当者を増やす前にインターフェースと成果物を定義するのと同じです。分担単位が曖昧なら会議が増えるだけですが、入力・出力・完了条件が明確なら並列化が効きます。

    考察:AI開発の主戦場は「モデル選び」から「システム設計」へ

    今回の数字で重要なのは、38.3%という絶対値より、同じモデルでも周辺設計で性能と効率が同時に変わった点です。高性能モデルを全工程へ置くのではなく、判断はモデル、整形・集計はコード、独立調査はサブエージェント、共通知識はキャッシュへ分ける。これはAI版のE/Eアーキテクチャー設計に近い発想です。

    ただし、保持推論、ネイティブ・コンパクション、マルチエージェントなどはResponses API側の機能です。ChatGPTの契約や、別のエージェント基盤で自動的に同じ機能が使えるとは限りません。導入前に利用経路と対応状況を確認する必要があります。

    まとめ

    • GPT-5.6 Solは、保持推論とコンパクションによりARC-AGI-3で13.3%から38.3%へ向上
    • 同時に出力トークンは約6分の1となり、性能と効率が両立
    • 鍵は、推論の再利用、適切な並列化、決定的処理のコード化、プロンプトキャッシュ
    • AIエージェントの差は、モデル名だけでなくハーネス設計で広がる

    公式ソース