NIST(米国国立標準技術研究所)が、重要インフラでAIを使うための「AI RMF Profile」の策定を進めています。対象はITだけでなく、OT(制御・運用技術)やICS(産業制御システム)まで含みます。
ここで重要なのは、AIの精度を競う話ではありません。NISTが前面に出したのは、予測不能な状況でも安全側へ移れる設計です。高性能なモデルを選ぶ前に、システムとして満たすべき条件が見えてきました。
まだ「完成した標準」ではない
NISTが2026年4月7日に公開したのは、正式な規格ではなく概念文書(Concept Note)です。プロジェクトは継続中で、NISTは産業界、利用者、規制当局、研究者などから意見を集めています。
つまり、現時点で「NIST準拠」をうたうためのチェックリストではありません。一方で、今後、要件整理や関係者間の信頼性要求の共有で問われそうな論点を把握する資料としては有用です。
NISTが挙げた4つの設計条件
概念文書は、重要インフラ特有の厳しい要件として次の4点を明記しています。
- 決定論的な振る舞い:同じ条件では、予測可能な動作をすること
- 説明可能性:なぜその判断や推奨に至ったかを追跡できること
- 段階的な性能低下:異常時に突然破綻せず、機能を制限しながら安全を保つこと
- フェイルセーフ動作:故障や不確実性が生じたとき、安全側へ移行すること
NIST文書は、AIを含むシステムについて、モデル単体ではなくライフサイクル全体で信頼性を管理する考え方を示しています。必要なのは、監視、冗長な安全システム、検証可能なガードレール、決定論的なフェイルセーフ制御を組み合わせることです。
「賢いAI」より「安全に止まれるシステム」
NISTは具体例として、自律サイバー対応エージェント、設備監視、診断支援、自律ロボット・車両、デジタルツインなど8種類を挙げています。
自律ロボット・車両では、マルチモーダルセンサー、冗長な安全システム、決定論的なフェイルセーフ制御を組み合わせる構成が例示されました。AIが認識や判断を担っても、最後の安全確保までAI任せにはしない設計です。
また、設備監視の例では、敵対的入力への耐性や、検証済みの有効範囲から環境が外れていないかを監視する構成が示されています。単一の精度指標だけでは足りず、どの条件で性能が崩れるのかを把握し、範囲外なら人や別系統へ引き継ぐ設計が重要です。
V字開発に置き換えると何が変わるか
ここからは筆者の考察です。V字モデルに置き換えると、この考え方は左側の要件定義で特に効きます。AIモデルを選んでから安全策を足すのではなく、システム要件の段階で次を決めます。
- AIが判断してよい範囲と、越えてはいけない境界
- 性能低下や入力分布の変化を検知する指標
- 人へ切り替える条件と、その責任者
- 停止時に維持すべき最低限の機能
- 学習データ、モデル、更新履歴を追跡する方法
NISTはTEVV(テスト・評価・妥当性確認・検証)も重視しています。従来ソフトのテスト項目にAIを押し込むのではなく、敵対的入力、利用環境の変化、供給網まで含めて検証範囲を広げる必要があります。
まとめ
NISTの概念文書が示したのは、重要インフラAIの競争軸が「最も賢いモデル」だけでは決まらないということです。
- 決定論的な振る舞い
- 説明可能性
- 段階的な性能低下
- フェイルセーフ動作
この4つをモデルの外側まで含むシステム要件に落とし込めるか。AI導入の成否は、ベンチマークの数字よりも「想定外のときにどう振る舞うか」の設計で分かれそうです。