AI 逐漸成為開發階段系統的一部份,CISO 必須開始考量源自此類系統的網路風險,並以處理所有傳統應用的方式對待它,包括執行紅隊演練。
文/Ericka Chickowski‧譯/Nica
AI 與機器學習(ML)的能力,帶來數位轉型的絕佳契機,卻也開啟其他威脅層面,CISO 與風險專家必須對此密切關注。值此之故,CISO 必須直接要求團隊實施針對 AI 模組與 AI 賦能應用的紅隊演練,就像資安團隊針對所有傳統應用、平台或 IT 系統所做的一樣。
AI 逐漸開始影響營運決策、財務預報、預測性維護與其他數不盡的部門,與企業技術堆疊逐漸交織而密不可分。
這就是 AI 紅隊演練發揮所長之處。有遠見的資安權威認為,AI 風險管理與 AI 保險範疇,將會成為 CISO 與網路安全領導者未來幾年必須處理的成長領域。管理 AI 風險的根本,將會是 AI 佈署中的風險模組化與弱點測試。
AI 紅隊該做什麼?
AI 紅隊經由演練、威脅模組化與風險評估練習,安全化 AI 系統。「你應該對機器學習模組進行紅隊演練。至少應該對自有機器學習系統實施完整性與機密性攻擊,瞭解他們的可能性。」BNH.AI 資料科學家暨 AI 風險與可解釋性專家 Patrick Hall 如此向我們說明。
這可能聽起來很直覺,但 AI 紅隊演練確切該怎麼做卻不是那麼顯而易見。近期報告指出,Facebook 與 Microsoft 這類科技巨擎已成立 AI 紅隊,探索自有 AI 威脅環境存在的風險。資安與風險顧問公司也回報,他們正與某些客戶共同合作瞭解客戶現有的 AI 風險。Hall 共同創辦的法律公司 BNH.AI,近期還參與了國防相關企業探索其 AI 事件應變能力弱點的工作。
不過這些多半都是尖端技術案例,只有極少數標準化產業擁有定義理想 AI 紅隊範疇的最佳實作。事實上,有資源可供研究與測試 AI 威脅與弱點所用。舉例來說,MITRE ATLAS 框架就把重點放在與對抗性 AI 相關的資安研究上。Hall 本身即將出版的書裡《Machine Learning for High-Risk Applications》就有章節討論紅隊演練機器學習。但這些都沒有真的具體化為任何型式的框架,詳細說明企業應如何系統性並持續性測試 AI 模組或 AI 賦能的應用。
[ 2023年企業IT投資重點為何?資安、人才、ESG如何部署?下載 CIO大調查報告 立即揭曉! ]
因此,還在進行定義的工作。對某些人而言,這可能意謂著定義攻擊 AI 模組。對其他人來說,目前為止可能只是代表要通盤考量現有 AI 或機器學習佈署可能帶來的各種風險面向,並記錄下來。
「我想,人們稱這些組織為『AI 紅隊』並不只因為他們確實是紅隊,還因為那些人思考的是:『好,如果我們濫用這個 AI 模組會怎樣?我們可以怎樣攻擊這個模組?』在 2016 年將公司 Cigital 賣給 Synopsys 並成立 Berryville 機器學習研究所(Berryville Institute of Machine Learning,BIML)的軟體資安專家 Gary McGraw 如此表示。BIML 旨在建立機器學習已知攻擊的分類,並處理機器學習系統執行架構風險分析 ─ 威脅模組的工作。 」
他認為「AI 紅隊」,對 CISO 應開始列舉並緩解其 AI 風險這種嚴肅的風險管理演練而言,聽起來可能很蠢。因為這些終究會推動 AI 紅隊做出反應的風險 ─ 無論它們如何被定義,絕對已經存在。
驅動 AI 紅隊的風險
AI 導致的已知風險持續延燒,不過已有資安專家找出可能導致 AI 意外動作或呈現錯誤輸出的可能攻擊或故障情節。同樣地,源自 AI 的風險,還會曝露大量個人身份資訊,或讓有價值的智慧財產公然外洩。
「許多導致 AI 風險的問題不完全都是惡意。」Cybrize 的安全長(CSO)也是長期資安從業人員與分析師 Diana Kelley 如此表示。 「它們有的是設計上的問題,有的是資料沒有正確清除或取消,系統以意料之外的方式運作。許多這類不經意的設計問題現在仍不斷發生。」
無論有意或無意導致,這些 AI 風險都對典型 CIA 鐵三角的三大面向造成威脅:機密型、完整性與可用性【譯註:原文為 assurance,正確應為 availability 】。
「這些都是關於 AI 系統必須格外留意的特殊資安挑戰。」英國一家資安顧問公司 NCC Group 首席科學家 Chris Anley 如此表示,他漸漸將重點放在研究促使 CISO 開始對這些系統進行紅隊演練的 AI 風險種類。「成員推理、模組逆向與訓練資料提取這類的隱私權攻擊,可以讓攻擊者從運作中的系統竊取機敏性訓練資料,而模組竊取攻擊則能讓攻擊者獲得機敏性專利模組的複本。」
他認為這只是開始。深入挖掘 AI 模組內容與支援它們的基礎架構,資安團隊可能會發現一連串其他問題。舉例來說,使用 AI 系統會曝露企業機敏性資料給第三方供應商。此外,模組內含可執行程式碼,這點將導致供應鏈與應用建置的資安問題。AI 系統的分散式訓練,也可能造成資安問題。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球 CIO 同步獲取精華見解 ]
「訓練資料可以人為操控建立後門,而後產生的系統本身就能直接操控。對抗性擾亂與錯誤分類,可導致系統產生不準確甚至危險的結果。」他表示。
此外,驅動 AI 發展的資料科學文化是協同合作與資料共享,以及基礎架構與應用的快速變遷,這些在在都可能是資料外洩的元兇。在 NCC Group 為企業級客戶實施的安全性稽核中,Anely 發現往往是在新興 AI 相關基礎架構中發現 AI 威脅。
他表示,「以訓練及佈署服務、資料科學家實驗的筆記型電腦伺服器,以及各式各樣資料儲存與查詢系統等為例,我們發現筆記型電腦一直都不安全,他們在伺服器上有效地提供遠端程式碼執行,這對攻擊者而言相當方便。這個新的攻擊層面必須被保護,當大型開發團隊與資料科學家必須遠端存取這個基礎架構完成工作時,這點變得相當困難。」
終究,最大隱憂多半在資料方面,Anley 認為資安團隊不會想揭露 AI 相關的資料安全問題。「資料是 AI 的心臟,而資料通常很敏感:財務、個人或受法律保護的其他資料等等。安全地配置大量資料資產是項挑戰,紅隊演練找出實際安全性落差所在 ─ 包括系統與企業組織,才是當務之急。」Anley 表示。
McGraw 認同資料安全考量具備關鍵重要性,並指出當資安領導者煩惱 AI 機器上固有風險時,他們必須體認到「資料就是機器」。最終,他深信即便現在不採取任何具體作為,CISO 至少應該強化對這類型問題的知識。他認為 AI 風險管理整個範疇,就像 25 年前應用程式安全性給大家的感覺。
「究竟誰應該處理這件事至今仍不明確。」他表示。「當你找到人,他們會來自四面八方不同背景:我們有些人來自資料科學領域、有一些電腦科學家、我們還有資安人員。而他們其實都無法用相同的語言對話。」
CISO 何時應該考慮 AI 紅隊
顯然,AI 風險蓄勢待發。許多專家紛紛表示,單此項就該成為 CISO 留意的警訊,開始為 AI 紅隊舖路:尤其是那些使用 AI 的尖端科技公司。
「若只是建構 AI 功能,它們並非營運的絕大部份,那無妨。或許這就不算最重要的事。」Hall 表示。「但若在重大決策支援上使用 AI,或者(請先深呼吸)自動化制定決策的功能,那麼是的,你必須對此成立紅隊演練。 」
不過,AI 風險只是眾多爭奪 CISO 注意力與有限資源的項目之一。他們自然只會問就近期而言,AI 紅隊是否實際有用,再追根究底地說,就利基市場的發展進度來看,它是否值得投資。資安團隊可以透過更便利的方式處理。
「必須特別留意的是:國家民族主義者與威脅行動者一定會想要使用他們熟悉最便宜的工具,用最簡單的方式進入系統。換句話說,用最小阻力造成最大影響。」Optiv 威脅管理工程師 Matthew Eidelberg 如此表示,該公司為客戶進行紅隊演練「涵蓋整個攻擊層面,幾乎總能找到比駭 AI 還輕鬆的方式。」
這對時下大部份 CISO 來說相當困難。適切針對 AI 系統實施紅隊演練,需要資安、AI 與資料科學專家這樣的跨專科團隊,才能對企業使用的 AI 模組有深刻瞭解,包括第三方軟體、AI 佈署的威脅模組,及以紅隊報告結果為基礎的資安改善記錄與規劃方式。這將需要龐大投資,而 CISO 必須就已佈署或已規劃的 AI 實施,在這個誘人新領域,與短期風險態勢而言 AI 紅隊投資報酬率是否值得這麼做的基本現實之間取得平衡。
不過,一如雲端運算或行動 app 交付這類過去數十年層出不窮的新攻擊層面,這絕對已引起 CISO 的注意,Nuspire 的安全長(CSO) J.R. Cunningham 表示。他深信有智慧的領導者不該採用孤注一擲的投資方式,而是應該開始逐步建立測試自有系統的能力。
「一旦 AI/ML 達到某個群聚效應(critical mass),企業就會提升自有能力,我不認為這將是『突然翻轉』時刻,這應該會是現有攻式資安能力的延伸,假以時日漸趨完整而有用。」他表示。「這就是說,針對 AI/ML 的首波大型公開攻擊,將促使大眾關注這個主題,就像 2010 年代早期大量信用卡個資外洩事件,驅動了網路分段與資料保護的投資。」
即便 CISO 不著手開始測試,至少也可以有一些小動作,由建構威脅模組開始。這將有助於瞭解失敗做法與何者最可能破壞或遭到外洩,Kelley 表示。
「重點在於讓團隊的人接受 AI 與 ML 方面的教育,知道什麼會出錯,之後他們便能開始針對你想引進的系統進行威脅模組建置。」她說道。「當他們建立威脅模組建構的應用時,必須瞭解 AI 與 ML 資安風險與問題,就像對應用程式與問題的瞭解那樣。最有可能的情況是,當你為公司的新應用或新工作負載建構威脅模組時,與你的廠商聊聊他們使用 AI 與 ML 的方式。」
(本文授權非營利轉載,請註明出處:CIO Taiwan)