即使機器人一切運作符合預期,仍可能產生不安全的結果嗎?

VicOneVicOne

Boston Dynamics 與 VicOne 對談:當資訊遭到操控,機器人的正常運作也可能引發安全風險

即使機器人一切運作符合預期,仍可能產生不安全的結果嗎?

即使機器人依照接收到的資訊做出符合預期的運作,一旦資訊遭到惡意操控,仍可能導致不安全的結果。網路威脅為傳統安全風險帶來新的挑戰,攻擊者能蓄意製造原本極少發生的異常情境,甚至使其反覆出現。因此,資安不僅是防範網路攻擊的防線,更能協助機器人團隊確認:即使面對惡意操控,支撐機器人安全行為的數位條件,是否依然可靠。

符合預期的運作,不等於安全的結果

機器人收到一道經授權的指令:向左跨一步。

機器人使用正版軟體,指令來自經核准的來源。機器人處理這項資訊,並完全依照預期執行動作。然而,如果這一步讓機器人踏出樓梯或高架平台,即使動作本身符合預期,仍可能造成不安全的結果。

這個情境來自 DEF CON 34 上 Boston Dynamics 與 VicOne 的爐邊對談,凸顯了一項關鍵差異:授權可以確認某個動作是否被允許,卻無法單憑授權判斷該動作在當下的實體環境中是否安全。

對移動式機器人而言,安全並非固定不變的界線,而是會隨著機器人的移動而改變。同樣是向左跨一步,在平坦的倉庫地面上可能毫無風險,在樓梯或高架平台邊緣卻可能造成危險。因此,隨著環境改變,判斷動作是否安全所需考量的情境條件也必須隨之調整。

機器人仰賴攝影機及其他感測器、AI 模型、軟體訊息、機隊管理系統或人為指令,來感知環境並判斷如何行動。攻擊者不一定需要讓機器人停止運作,也不必取得完整控制權;只要操控其中一項關鍵輸入,就可能使原本符合預期的動作產生不安全的結果。

這正是資安能夠強化機器人安全保證(Safety Assurance)的關鍵所在。透過分析蓄意操控可能如何影響機器人的實際行為、協助團隊在模擬環境中重現攻擊情境,並在實際運作條件偏離原先驗證的安全條件時提供運行期間的相關證據,資安能協助機器人團隊更全面地評估與驗證安全風險。

Joman Chu of Boston Dynamics and Jason Yueh of VicOne discuss how cyber threats can change the likelihood of hazardous robot behavior at DEF CON 34.

Boston Dynamics 的 Joman Chu 與 VicOne 的 Jason Yueh 在 DEF CON 34 的爐邊對談中,探討網路威脅如何改變機器人發生危險行為的可能性。

網路威脅改變了危險事件發生的機率

安全工程原本就會透過模擬,研究可能導致不安全狀態的低機率事件。然而,這場爐邊對談指出了一項關鍵差異:攻擊者可以蓄意製造這些原本不容易發生的條件。

在正常情況下,特定影像、軟體狀態或訊息序列出現的機率可能極低。但當攻擊者介入時,事件發生的機率低,並不代表能免於攻擊。

「駭客的目標之一,就是將那些原本發生機率極低的事件,轉變為可預期、高機率且能夠可靠重現的事件。」

Joman Chu,Boston Dynamics 產品安全工程負責人

一旦攻擊者掌握重現特定低機率條件的方法,就可能反覆觸發相同事件,甚至選擇特定時機發動攻擊。這使得資安風險評估不再只是探討「罕見事件是否可能發生」,更必須考量「是否有人能蓄意讓它發生」。

這正是資安為安全分析帶來的關鍵差異:必須考量攻擊者可能蓄意製造危險情境。透過評估輸入資訊或系統元件遭到操控的可能性,資安能協助機器人團隊辨識攻擊者是否可能蓄意製造出安全工程已知的危險情境。

發現漏洞,不代表了解機器人的實際行為

網路攻擊可能讓原本極少發生的危險情境變得能夠反覆出現。然而,即使發現了漏洞,安全團隊仍無法僅憑漏洞資訊判斷,當漏洞遭到利用時,機器人究竟會如何反應:是安全停止、繼續運作,還是越過安全邊界?要回答這個問題,就必須將資安攻擊情境納入既有的安全驗證流程。

資安能透過將合理可能發生的攻擊路徑轉化為測試條件,擴充既有的安全驗證框架。首先,透過威脅與情境分析,辨識機器人可能遭到操控的方式;接著,利用攻擊腳本將這些條件導入既有的功能安全測試環境,比較機器人在正常情況與遭受攻擊時的行為差異。透過測試結果,團隊便能評估攻擊是否導致安全需求遭到違反、可能引發哪些危害,以及原有的安全控制措施在攻擊情境下是否仍然有效。

資安測試在功能安全測試環境中加入蓄意操控的條件,將攻擊路徑與其實體影響連結起來。

資安測試在功能安全測試環境中加入蓄意操控的條件,將攻擊路徑與其實體影響連結起來。

這項流程首先需要釐清三個問題:攻擊者是否能觸及漏洞?漏洞是否能被實際利用?一旦遭到利用,可能改變機器人的哪些行為?可達性分析(Reachability Analysis)能協助確認攻擊者是否存在可觸及漏洞的路徑,卻無法直接判斷漏洞遭利用後可能造成的實體後果。無論是偽造訊息、提示注入(Prompt Injection)、對抗性影像貼片(Adversarial Image Patch),或遭入侵的系統元件,都必須進一步分析其如何影響機器人的實際行為,才能評估相關安全風險。

軟體在環(Software-in-the-Loop, SIL)模擬則能進一步連結資安攻擊與機器人的實體行為。團隊可將機器人模型及實際運行的軟體導入 NVIDIA Isaac Sim 或 MuJoCo 等模擬環境,重現攻擊情境並觀察機器人的反應。透過模擬結果,團隊能進一步評估既有安全控制措施在遭受攻擊時是否仍然有效、機器人能否進入安全狀態,以及是否需要額外導入補償性控制措施,以降低潛在的實體安全風險。

這項驗證流程可從機器人部署前開始,並在實際運作期間發現新漏洞時持續執行。團隊可透過模擬環境,測試已知漏洞、提示注入、對抗性視覺輸入及遭入侵的軟體元件等攻擊情境。當新漏洞出現時,團隊便能重現漏洞利用情境,評估其對現有機器人設計與運作的影響,並在 OTA 修補程式可供部署前,驗證暫時性的風險緩解措施是否有效。

這項流程需要資安、機器人系統工程及安全工程團隊共同參與,各自從不同面向進行評估:資安團隊分析漏洞的利用方式與條件;機器人系統工程師判斷攻擊可能如何改變機器人的實際行為;安全工程團隊則評估這些行為變化可能引發的危害。透過跨團隊協作,將軟體層面的漏洞發現轉化為機器人運作與安全管理的具體決策。

實際部署是安全假設的真正考驗

「因此,機器人本質上需要持續學習與訓練,並不斷接收製造商提供的更新。」

Joman Chu,Boston Dynamics 產品安全工程負責人

這使機器人、實際運作環境與製造商的訓練環境之間,形成持續學習與更新的循環。機器人在實際運作中蒐集的資料會回傳至訓練環境,作為模型或行為策略更新的依據,再透過軟體更新部署至機器人。同樣的運作資料也能作為資安遙測資訊,協助團隊偵測潛在攻擊或異常行為,並將相關發現回饋至威脅建模、模擬測試與安全防護流程。

然而,機器人完成部署,並不代表原先通過驗證的安全條件會始終維持不變。隨著軟體與 AI 模型持續更新、新漏洞不斷出現,以及機器人所處環境的變化,部署前用來驗證安全性的條件,在實際運作時可能已不再成立。

運行期的遙測資料與行為監控,能協助團隊掌握這些變化。透過建立正常運作的行為基準線,團隊可以了解同一機隊中各機器人的運作模式。當某台機器人的行為明顯偏離基準線或其他機器人時,便可能成為進一步調查的依據。然而,偵測異常只是第一步。在工程師完成並發布正式修補程式之前,機器人可能就需要採取適當措施,以降低潛在的安全風險。

因此,具備情境感知能力的邊緣端運行期回應機制,能進一步將異常偵測與安全應對連結起來。邊緣 AI 可設計為即時整合機器人的系統狀態、執行指令、感測器輸入及周遭環境資訊,並根據當下情境,從預先定義且經過安全驗證的回應策略中選擇適當措施。這項機制並非由 AI 即時自行產生新的安全策略,而是依據資安、機器人系統工程及安全工程團隊事先評估與驗證的措施執行回應。

爐邊對談中提出了一個具體例子:當機器人附近有人時,可暫時降低受影響機器人的允許速度,同時由工程團隊準備 OTA 修補程式。這項措施是根據實際運作情境的變化,適度調整機器人被允許執行的動作,以因應當前條件已偏離原先安全驗證情境的情況。

持續性資安循環透過實際運作中發現的問題與風險,持續優化風險評估、安全防護、行為監控及後續工程決策。

持續性資安循環透過實際運作中發現的問題與風險,持續優化風險評估、安全防護、行為監控及後續工程決策。

運行期回應著重於降低當下的安全風險,而持續性資安循環則將這些經驗轉化為長期的安全改善。機器人運作期間偵測到的異常、採取的應對措施及相關環境資訊,都能回饋至工程團隊,作為後續分析與驗證的依據。團隊可透過模擬重現相關情境,重新評估其安全影響、驗證長期防護措施的有效性,並將更新後的安全策略或 AI 模型部署至機器人。

新的異常可能揭露開發階段未曾考量的威脅情境;新發現的漏洞可能需要重新進行可達性分析或模擬測試;在正式修補程式完成前,也可透過暫時性的風險緩解措施降低潛在風險。這些發現與應對經驗,都能進一步提升後續威脅建模、安全驗證、漏洞修補及法規遵循工作的準確性與完整性。

這正是對談中所描述的持續性資安循環:從產品與風險評估、安全防護強化,到實際運作期間的持續監控,再將新的發現回饋至工程流程,形成不斷改善的閉環機制。透過這項循環,團隊能持續累積驗證證據,評估機器人是否仍在原先通過驗證的安全條件下運作,以及是否需要重新檢視或更新既有的安全論證(Safety Case)。

機器人安全需要回答的問題,已經改變

機器人即使持續正常運作,並依照預期執行控制邏輯,仍可能因接收到遭惡意操控的資訊,而做出不安全的行為。因此,機器人運作符合設計預期,並不代表其實際行為一定安全。

資安並非取代功能安全,而是擴大安全團隊能夠評估與驗證的風險情境。透過威脅建模,辨識攻擊者可能操控或誤導機器人的方式;透過模擬測試,在部署前評估攻擊可能造成的實體影響;透過運行期監控,偵測實際運作條件是否偏離原先驗證的安全假設;再透過具備情境感知能力的回應機制,依據當下情境採取預先定義且經過驗證的安全措施,並將新的發現回饋至工程團隊,持續進行評估與驗證。

關鍵不在於以資安檢核清單取代既有的安全論證,而是透過具體證據,建立資安評估與安全論證之間的關聯。機器人安全需要回答的問題,不再只是「機器人是否依照預期運作」,更要進一步確認:「支撐機器人安全行為的資訊與運作條件,是否仍然值得信任?」

觀看 Boston Dynamics 與 VicOne 的完整爐邊對談,深入了解網路威脅如何改變機器人安全驗證的思維。