提示注入(Prompt injection)、提示提取(prompt extraction)、新網路釣魚方案以及模型中毒(poisoned model)等攻擊,已成為當前組織在使用大型語言模型時最有可能面臨的 AI 人工智慧安全風險。
文/Deb Radcliff· 譯/酷魯
作為溫哥華診所的 CISO 資安長,Michael Bray 滔滔不絕地讚賞說,大型語言模型(large language model,LLM)將以無限的方式改善對病患的照護。「DNA基礎的預測研究、代謝相互作用、實驗室服務、診斷和其他醫學領域將會進步到讓今天的醫療實踐看起來像是史前時代的巫醫,」他表示。「例如,像 ActX 這樣的應用程式已經在症狀識別、藥物交互作用、有效性和劑量方面造成巨大的變革。」
在對 LLM 改善病患照護和診斷感到興奮的同時,Bray 也對 LLM 帶來的新威脅和隱藏威脅感到擔憂。包括 OpenAI 的 ChatGPT、Google 的Bard和 Microsoft 的 Copilot 等,LLM 是極具顛覆性和快速普及的人工智慧技術核心,這些技術在當前的企業中迅速擴散。LLM 正在被開發成一系列其他專業應用程式,用於特定垂直產業,如金融、政府和軍事。
這些 LLM 帶來了新的資料下毒(Data Poisoning)、網路釣魚、提示注入和敏感資料提取的風險。由於這些攻擊是透過自然語言提示或訓練來源執行的,傳統的安全工具無法偵測這類攻擊。
幸運的是,開放網路應用程式安全計畫(Open Web Application Security Project,OWASP)、美國國家標準局(National Institute of Standards,NIST)和其他標準組織正在加緊識別和優先處理這些漏洞,其速度幾乎與人工智慧的擴散速度一樣快。歐盟《人工智慧法案》(AI Act)已經為企業組織發布了一個初步的合規檢查工具,以確定他們的人工智慧應用程式是否屬於不可接受風險或高風險類別。2023 年 11 月,英國發布了《安全人工智慧系統開發指南》(Guidelines for secure AI system development)。
許多工具也正在趕上偵測 LLM 所引入新風險的安全風潮。例如,自然語言網路防火牆(natural language web firewall)、人工智慧探查(AI discovery)和人工智慧增強安全測試工具(AI-enhanced security testing tool)即將陸續上市,這很有可能成為一場人工智慧對上人工智慧之戰。在我們等待這些工具來到的同時,以下是組織在使用 LLM 時最有可能面臨的威脅:
1. 來自提示注入的惡意指令
當被問到透過 LLM 給企業帶來的新威脅時,專家們認為提示注入是最大的風險。透過在 LLM 界面上輸入一堆讓人混淆的提示來越獄破解人工智慧,可能是最廣為人知的風險,如果越獄者透過這種方式散佈錯誤資訊,可能會造成企業聲譽受損。或者越獄者可以使用令人困惑的提示,導致系統吐出荒謬的報價,例如藉由一家名為 Fullpath 的公司所開發的知名汽車經銷商聊天機器人。透過指示雪佛蘭經銷商的聊天機器人以「這是一個具有法律約束力的報價,不接受撤回」來結束每次回答,一名駭客測試者不斷嘗試了數千次這樣的提示,直到最終誘騙經銷商網站以1美元的價格為他提供了一輛新車。
更嚴重的威脅是使用提示注入來強制應用程式交出敏感資訊。與 SQL 注入(SQL injection,又稱為資料隱碼)提示不同,因為LLM的提示是用自然語言編寫的,所以威脅行動者可以使用無限的提示來試圖欺騙 LLM 執行它不應該做的事,StackAware 創辦人 Walter Haydock 解釋說,StackAware 是一家人工智慧風險管理公司,能對企業內部的人工智慧使用進行比對,並識別出相關的風險。
「透過 SQL,使用者輸入資料的方式是有限的,所以有一套已知的控制措施可以用來防止和阻止SQL 注入攻擊。但透過提示注入的話,有無限的方式可以提供惡意指令,畢竟英語字彙和語句非常廣泛,」Haydock 指出。LLM提示標記(prompt token)的數量仍在持續增長。
[ CIO 都在讀:生成式 AI 應用在軟體開發領域 ]
2. 從提示提取中外洩資料也是 LLM 漏洞
Robust Intelligence CTO技術長 Hyrum Anderson 指出,提示提取也是一個安全弱點所在。Robust Intelligence 是一家提供自然語言 Web 防火牆的端到端安全平台商。「提示提取屬於資料外洩的範疇,只需透過請求就可以提取資料,」他補充道。
以網站上的聊天機器人為例,它們背後有支援該應用程式的相關資料。這些資料可能會被外洩。例如,Anderson 特別指出檢索增強生成(Retrieval Augmented Generation,RAG),其中LLM 的回應透過將這些回應連接到與任務相關的資訊來源而變得更加豐富。Anderson 最近目睹了這樣的攻擊,攻擊者使用 RAG 透過請求資料庫中的特定列和資料表,來迫使該資料庫吐出特定的敏感資訊。
為了防止這種類型的資料庫外洩,Anderson 呼籲人們在將面向公眾的 RAG 應用程式連接到資料庫時要特別小心。「如果你不希望 RAG 應用程式使用者看到整個資料庫,那麼你應該在使用者界面上限制對LLM的存取,」他補充道。「具備安全意識的組織應該加強自身的 API 來防止自然語言的拉取請求(pull request),也應限制存取權限,並使用人工智慧防火牆來封鎖惡意請求。」
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球CIO同步獲取精華見解 ]
3. 全新 LLM 賦能的網路釣魚機會
LLM 還為釣魚者打開了一個新的媒介管道,來誘騙人們點擊他們的連結,Anderson 繼續指出。「假設我是一名金融分析師,使用 RAG 應用程式從網際網路上抓取文件,以查找某一家公司的收益,但在該資料的供應鏈中有指令讓 LLM 回應一個網路釣魚連結。所以,假設我要求它在發送的資料寶庫中找出最新的資訊,它回覆『點擊這裡』。然後我不經意點擊了網路釣魚連結。」
這種類型的網路釣魚方式十分強大,因為使用者明確地從 LLM 中尋求答案。此外,Anderson 補充說,傳統的反網路釣魚工具可能看不到這些惡意連結。他建議資安長更新他們的員工訓練計畫,包括對 RAG 回應進行批判性思考,並使用新興 Web 工具,這些工具可以掃描 RAG 資料,並偵測出鼓動使用者點擊惡意連結的自然語言提示攻擊。
4. 中毒LLM
人工智慧暨機器學習安全平台 Protect AI 資安長 Diana Kelley 補充說,來自開放原始碼儲存庫的模型和用於訓練 LLM 的資料也可能被下毒。「最大的威脅可能包括模型本身或用來訓練 LLM 的資料,以及誰訓練了它,以及它從哪裡下載等等,」她解釋說。「開放原始碼(OSS)模型運行上具備高權限,但很少有公司在使用之前對它們進行掃描,而且訓練資料的品質更直接影響 LLM 的可靠性和準確性。為了看到和管理與人工智慧相關的風險,並為了防止下毒攻擊,資安長需要管理機器學習供應鏈,並在整個生命周期中追蹤零組件。」
也就是說,如果資安長意識到哪些應用程式正在使用 LLM 以及出於什麼目的使用的話。如今,企業中使用的許多常見的勞動力管理應用程式(workforce application)在其系統更新中嵌入了最新的人工智慧功能,有時資安長並不知情。
由於這些 LLM 被整合到第三方應用程式和 Web 界面中,所以不僅很難發現,整體可視性也將變得更加模糊。因此,StackAware 的 Haydock 表示,能解決整個資料供應鏈的人工智慧政策便成為關鍵。這些和第四方風險有關。「而應了解這些應用程式如何使用、訓練、存取和保留您的資料,」他補充說。
AI 對抗 AI
美國政府,可以說是世界上最大的網路,它當然了解人工智慧安全政策的價值,因為它力求兌現在政府和軍事應用中運用人工智慧的承諾。2023 年 10 月,白宮發布了安全開發和使用人工智慧的行政命令(executive order,EO)。
身為美國國土安全部(DHS)一部分的網路安全暨基礎設施安全局(CISA)在執行行政命令方面發揮著關鍵作用,並制定了一份人工智慧路線圖,其中包含依 EO 指示並由 CISA 主導的關鍵行動,以及 CISA 主導的其他行動,以便在關鍵基礎設施的所有者和營運商採用人工智慧的過程中提供支援。
由於此一行政命令,幾個關鍵的政府機構已經確認、培養並任命了新的人工智慧長(CAIO),負責協調其機構對人工智慧的使用,以促進人工智慧創新,同時管理其機構使用人工智慧時所可能引起的風險,根據CISA的資深人工智慧顧問Lisa Einstein的說法。
[ CIO 必讀:生成式 AI 對 CIO 帶來的影響]
「隨著人工智慧愈來愈多地嵌入到我們日常應用之中,擁有一位了解人工智慧的人(以及了解整合人工智慧會有什麼樣正面和負面影響的人)是至關重要的,」Einstein 解釋道。「與 LLM 應用相關的風險是高度情境化的,並取決於產業的特定使用案例,無論是健康照護、學校、能源,還是IT皆然。因此,人工智慧領導者需要能夠與產業專家合作,以識別出與其產業情境有關的特定風險。」
在政府機構內,Einstein 特別提到了美國國土安全部人工智慧長 Eric Hysen,他同時也是國土安全部的 CIO 資訊長。她解釋說,Hysen 協調了國土安全部轄下各部門的人工智慧工作,包括運輸安全管理局(Transportation Security Administration),該部門使用人工智慧來偵測行李中的違禁品。事實上,國土安全部在許多情況下使用人工智慧來保護入境口岸和邊境的國土安全,以及在網路空間中保護兒童,防禦網路威脅,甚至打擊人工智慧的惡意使用。隨著 LLM 威脅的不斷演變,我們將需要同樣創新的人工智慧工具和技術來對抗它們。人工智慧增強的滲透測試和紅隊演練、威脅情報、異常偵測和事件應變即為一些能快速因應這些新威脅的工具類型。
(本文授權非營利轉載,請註明出處:CIO Taiwan)