AIエージェントの自律性を「精度が高そうだから」で広げると、失敗が増えた時の判断が人によって揺れます。反対に、失敗を一件も許さない運用では、何でも人間承認にすると、導入効果が止まります。
Google SREのエラーバジェット（失敗予算）をAI運用へ応用すると、自律性を感覚ではなく、実績に応じて広げたり戻したりできます。
失敗予算は「雑に失敗してよい枠」ではない
Google SREでは、SLO（サービスレベル目標）が99.9%なら、残りの0.1%をエラーバジェットとして扱います。公式の例では、4週間に300万件のリクエストがあるサービスなら、99.9%のSLOに対する予算は3,000件です。
重要なのは、予算を使い切った後の行動を先に決めることです。Googleのサンプルポリシーは、直近4週間で予算を超えた場合、最優先障害とセキュリティ修正を除く変更・リリースを止め、信頼性の回復へ集中するとしています。これは罰ではなく、機能追加と信頼性改善の優先順位をデータで切り替える仕組みです。
AIでは「良い処理」を先に定義する
AIエージェントへ当てはめる時は、稼働時間よりも良い処理数 ÷ 全処理数の方が使いやすい場面があります。Google SRE Workbookも、SLI（サービスレベル指標）を「良いイベント数 ÷ 全イベント数」で置く方法を勧めています。
たとえば、社内文書の下書きエージェントなら「必須項目を満たし、事実誤認がなく、一度のレビューで受理された」を良い処理と定義できます。4週間に1,000件を処理し、SLOを98%とするなら、差し戻しなどに使える予算は20件です。
ただし、数字を先に決めてはいけません。利用者にとって何が失敗かを決め、その後で測定方法と目標値を置きます。単なる「API成功」では、内容が誤っていても成功扱いになるからです。
失敗を一つの箱に混ぜない
すべての失敗を同じ重さで数えると、危険な操作が軽微な修正に埋もれます。AI運用では少なくとも次のように分けるべきです。
- 品質：事実誤認、必須項目漏れ、レビュー差し戻し
- 運用：タイムアウト、重複実行、完了通知の欠落
- 安全：権限外アクセス、未承認の送信・公開・削除
品質と運用は予算で傾向を管理できます。一方、安全上の重大事象は「予算内だから許容」としてはいけません。不可逆な操作には事前承認や権限制限を残し、一件で自動停止する条件を別に置きます。エラーバジェットは安全装置の代わりではなく、自律範囲を調整する運用レバーです。
予算残高を権限へつなぐ
実務では、残高に応じて自律性を3段階にすると判断しやすくなります。
- 余裕あり：承認済みの低リスク業務を段階的に拡大する
- 減少中：新しい用途の追加を止め、失敗分類と評価データを見直す
- 超過：自動実行をレビュー付き運用へ戻し、原因対策が確認できるまで拡大を凍結する
先日の記事で扱ったカナリア運用は「変更を小さく試す方法」でした。失敗予算は、その変更を数週間単位で継続してよいかを決める方法です。両者を組み合わせると、小さく導入し、実績が悪化したら自動的に速度を落とせます。
考察：自律性は性能ではなく、信頼残高で決める
モデルのベンチマークが上がっても、自社の文書、権限、例外処理で同じ品質が出るとは限りません。任せられる範囲は、モデル名ではなく、実際の「良い処理」の蓄積で決める方が堅実です。
開発プロジェクトに例えるなら、一度の設計レビュー合格だけで権限を固定せず、その後の品質実績を見て裁量を調整する考え方に近いです。異常が増えたら、人の監督が強いモードへ戻せることが前提になります。
まとめ
- AIのSLOは、利用者視点の「良い処理」で定義する
- 品質・運用・安全の失敗を分けて測る
- 重大な安全事象は予算化せず、一件停止などの条件を置く
- 予算残高を、自律範囲の拡大・凍結・縮小へ直結させる
AIエージェントの自律性は、一度決めた固定値ではありません。信頼を積めば広げ、失えば戻す。その判断を再現可能にするのが失敗予算です。