AIエージェント自体のセキュリティを確保することは可能ですが、フィジカルAIでは、その判断が機器の動作につながった先まで守る必要があります。
これまで多くのロボットは、柵などによって人のいる空間と明確に隔てられた環境で稼働してきました。しかし、フィジカルAIによってその境界は変わりつつあり、ロボットは人と同じ空間で活動し、自動運転車は刻々と変化する道路状況への対応を求められるようになっています。こうした複雑な環境で、安全性が重視される自律型機器の開発が進むなか、NVIDIAもAIエージェントの安全性向上を図っています。
AIエージェントがこうしたシステムに組み込まれると、その判断は自動車やロボットの次の動作にも影響します。データに潜ませた悪意のある指示や侵害されたツール、必要以上に広い権限によって、本来は正当な処理であっても意図しない方向へ導かれる場合があります。そのとき、AIエージェント自体は与えられた権限の範囲内で動いていても、機器が想定された安全な範囲を超えて動く可能性が残ります。
こうしたリスクに備えるには、AIエージェントのIDを確認し権限を必要な範囲に制限するとともに、入力が操作された場合の挙動を検証し、その挙動によって機器の動作が変化した場合に検知できるようにする必要があります。さらに、安全上の境界が脅かされる場合には介入することも求められます。これらは、機器の安全設計を担うエンジニアと連携しながらサイバーセキュリティが担うべき役割です。
VicOneでは、自動車とロボティクスの双方でこの課題への対応を進めています。自動車では車載AIエージェントの保護を支援し、ロボットではAIモデルやAIエージェントを守ることに加え、攻撃によってロボットの動作がどう変わるかをリリース前に検証し、運用中には関連する脅威を検知しています。
NVIDIAの「Open Agent Safety Platform」が目指すのは、AIエージェントの動作を安全に保ち、適切に管理できるようにすることです。自動車やロボットではこうした保護をAIエージェントだけで完結させず、その判断を受けた機器が実際にどう動くかまで考慮しなければなりません。
AIエージェントの判断が自動車やロボットの動作にどう反映されるかまでを守ること。それが、VicOneが担っていく役割です。
