By CyberThreat Research Lab
2023 年，Mercedes-Benz 成為第一批將 AI小幫手（以 ChatGPT 形式）整合進車輛的汽車製造商之一。隨著AI 持續主導科技潮流，這象徵汽車產業已開始一場廣泛但不令人意外的轉變開端。到了 2024 年的 CES 展會，包括 BMW 和 Volkswagen 在內的更多車廠也紛紛展示了各自的 AI 小幫手(AI assistant)原型。
從汽車網路安全的角度來看，這些創新提供了便利與智慧化體驗，但也帶來新的資訊安全挑戰。這種日益普及的應用萌生出一個關鍵問題：人工智慧所帶來的便利性是否大於並足以抵銷其潛在的安全風險？AI小幫手本身就存在安全漏洞，並引入了新的攻擊途徑。這些風險在汽車領域尤其令人擔憂，因為後果可能波及深遠。
在這篇文章中，我們將探討一種已被廣泛證實、針對AI大型語言模型 (LLM) 和小型語言模型 (SLM) 的攻擊方法，即所謂的“提示注入（prompt injection）”，如何在車輛環境中被利用—以及當其應用於汽車環境時，風險將如何呈現出新的面向。
什麼是 AI 提示注入？
AI提示注入是一種攻擊技術，攻擊者在輸入過程中嵌入隱藏或誤導性的指令來操縱AI系統的行為，其目的通常是想要繞過安全措施或是更改原本預期的輸出。這項技術於2022年5月首次由Jonathan Cefalu提出，並且同年9月在 Riley Goodside的演示後引起了更廣泛的關注。在他其中一個示範中，Goodside 指示ChatGPT「忽略先前的指示」並返回其提示詞的前 50 個字，成功洩露了系統層級的資訊。
此後，研究人員的試驗結果，不斷證明了基於AI模型的應用程式可以被誘導執行超出其原始設計範圍的操作，引發了人們對濫用、資料外洩和失控的嚴重擔憂。
影片中示範了 AI 提示注入的實作方式，介紹中強調其直接操作和間接攻擊路徑。
隱形字元的威脅
提示注入中較隱晦的形式有涉及不可見的Unicode 字元 — 這些符號存在於文字字串中但人眼無法看到。然而，真正的危險不僅在於這種隱形性，而是 Unicode 具備的特殊功能，這些特殊功能會影響系統如何解讀和處理輸入的方式，例如反轉文字方向或隱藏部分文字。因此，攻擊者可以利用這些字元作為武器，將惡意指令隱藏在原本無害的輸入中。攻擊者可以藉此誘騙 AI 系統在不引起警覺的情境下執行未經授權的操作，洩露敏感或機密訊息，或者是繞過傳統的安全過濾機制以進行各種惡意行為。
Unicode 提示注入所帶來的操作使偵測變得複雜，因為開發人員和使用者都可能無法察覺到提示中隱藏字元的存在，加深偵測的難度。
圖一：Unicode 提示注入的攻擊範例
Trojan Source漏洞與「看似安全」程式碼的假象
另一個相關但更廣泛的擔憂是木馬源（Trojan Source）漏洞 (CVE-2021-42574)，該漏洞允許攻擊者透過插入特殊的 Unicode 控制字元來操縱程式碼的視覺呈現方式。攻擊者可以重新排序或遮蔽原始碼邏輯，使開發人員誤判以為某段程式碼是無害的，但實際上並非如此。
Trojan Source漏洞並不僅限於AI系統。然而，它強調了一個關鍵原則：對人類而言看似無害的輸入，機器可能會做出截然不同的解讀。在AI模型領域，研究人員已經利用類似的技術來繞過安全準則，致使模型外洩機密內容或是依循未經授權的指令，而這一切僅需精心設計的 Unicode 模式即可達成。
車輛中的 AI 提示注入攻擊
一次AI提示注入攻擊在車輛內部可能會怎麼神展開呢？它又會帶來什麼後果？
想像一輛車上載有乘客然後駕駛開車在路上行駛。車上的車載資訊娛樂系統(IVI)配備了內建AI小幫手，能夠大聲朗讀訊息以及語音指令回應的能力。
攻擊者向駕駛發送一則看似無害的訊息，但其中實際嵌入了隱藏的Unicode 字元，隱藏了一段惡意提示。駕駛要求 AI小幫手大聲朗讀訊息，他實際上只聽得到訊息中的正常內容。因為朗讀的背後，AI卻是解讀並且執行了被隱藏起來的惡意指令。
後果可能非常嚴重。 AI 小幫手很可能被誘導洩露敏感資料、做出異常行為（例如覆蓋掉預設的回應）或是為後續的攻擊建立後門—而駕駛實際上對此根本一無所知。
這類的攻擊尤其難以追蹤。因為駕駛方和車輛介面均看不到指令，傳統的日誌記錄或是警示系統可能完全無法察覺這些異常行為。
搶先應對 AI 安全風險
搭載AI賦能的小幫手和IVI系統正迅速成為現代汽車的標配。這些技術和應用帶來更高的便利性、智慧自動化和流暢的用戶體驗。但伴隨這進步而來的是一類全新、難以察覺的風險。
AI提示注入就是一個很好的例子。它常常被認為是生成式AI最迫切的安全問題之一，突顯出汽車系統迫切需要嚴格落實AI輸入驗證以及文字清理的步驟。
然而，提示注入只是AI在汽車應用中所帶來更廣泛挑戰的一部分。 AI正在多個領域改變汽車，從駕駛輔助和個人化到預測性維護，甚至汽車網路安全本身。如果沒有積極主動的安全策略，這些意欲提升駕駛體驗的AI功能和創新，可能會成為潛伏在人們視線之外的新攻擊途徑。
隨著AI越來越融入駕駛體驗，安全性也必須同步融入—不僅僅是事後附加的一層防護，而應是 AI 在車輛中被設計、部署與維護過程中不可或缺的核心元素。
