防禦仰賴 AI 運作的攻擊者與強化企業 AI 系統,都需要新的資安技能。威脅獵捕者、資料科學家、開發人員與提示工程師(prompt engineers)都能提供部份解答。
文/Ericka Chickowski‧譯/Nica
隨著人工智慧與機器學習模式逐漸深入企業 IT 結構與網路攻擊基礎架構站穩腳步,資安團隊必須提升他們的技能,迎戰 AI 啟動的網路風險新世代。
有遠見的 CISO 們已被點名要求立即將這個更針對性的生成式 AI 賦能釣魚攻擊,與投毒學習模式扭曲輸出結果的對抗式 AI 攻擊這類新興風險納入考量。而這只不過是未來 AI 主導時代可能突然出現的其他新風險的其中幾例。
是時候為 AI 啟動的攻擊做好準備
還來得及為這類風險做準備。僅有相當微弱的可論證資料顯示攻擊者已開始使用 ChatGPT 這類大型語言模型(LLM)賦能的工具發動攻擊。許多對抗式 AI 的案例仍偏向理論。不過,此類風險只停留在理論上的日子已進入尾聲,是時候開始建立一連串 AI 相關風險專業知識了。
技術領域各行各業對 AI 與機器學習日趨仰賴,預期將迅速改變威脅版圖樣貌。同時,有組織地培訓資安人員,引進能訓練成協助資安業務的 AI 專家,以及宣導強化 AI 系統,皆需要花費很長時間。
專家們分享了資安領導者塑造本身技術基礎所需,與即將面臨不斷提升的 AI 風險兩面:針對 AI 系統的風險與利用 AI 發動攻擊的風險。
每個領域都會有某種程度的重疊。例如,機器學習與資料科學家的技能,彼此相關性日益加深。這兩者在滲透測試、威脅模組化、威脅獵捕、資安工程與資安意識訓練這方面的現有資安技術,一如既往同樣重要但會因為面對的新威脅情況不同而有所差異。然而,對付 AI 與保護 AI 免於攻擊所需的這些技巧,也會有它們自有的獨特差異,這會反過來影響賦與執行這些策略團隊的組成。
時下 AI 發動的威脅情節
Darktrace 研究報告中發現新型社交工程攻擊自 2023 年二月至今增加 135%,應該算是攻擊者可能已利用生成式 AI 增加其社交工程攻擊的數量與複雜度的部份證據。
「雖然從資料來看還言之過早,也深知有所關聯不代表因果關係,但我們確實取得指出方向的一些經驗談。」Darktrace 產品長 Max Heinemeyer 表示。「就生成式 AI 的品質與產量來看,以為他們不會藉此利用就太天真了!因為這麼做能得到大量投資報酬、能擴展攻擊版圖、加速攻擊速度還能同時執行更多攻擊。事已至此,覆水難收。」
[ 推薦閱讀:數位分身帶來的網路安全挑戰和機遇 ]
專家們預期,會有越來越多攻擊者利用生成式 AI 產生小說文字式魚叉釣魚攻擊電子郵件提升速度與擴張版圖,還可能分支延伸出音效生成式 AI,透過電話模仿他人聲音。同樣地,他們也可能利用神經網路過濾社交媒體個人檔案,加速對高價值釣魚攻擊的研究。Heinemeyer 表示,這麼說好了,真正的風險其實就是 CISO 應已相當熟悉的憂慮:攻擊者面更有效率自動化。
「只要稱之為 AI 或機器學習或諸如此類的東西,都代表它們手上握有更好的工具可以自動化更多正進行中的攻擊。而這意謂著攻擊者可以執行更多量身訂作的攻擊:難以偵測也難以阻止。」
抵禦 AI 賦能攻擊的技術
所以,就資安監控中心(SOC)這類單位的技術角度來看這代表什麼?攻擊自動化幾乎不算新想法,但 AI 可能加速並惡化這個問題。從某些角度來看,這不過是會吸引與開發更多明星分析師與威脅獵捕者更嚴陣以待的訓練,他們精於找出並利用工具,協助篩檢偵測更快發現並緩解剛開始發展的攻擊。
這有可能開啟另一場諜對諜網路安全形勢。隨著歹徒提升 AI 與 ML 型式的工具化,資安團隊也要有自己的 AI 自動化套件,搜尋這類攻擊相關的模式。這代表至少整個資安團隊需要對 AI/ML 有「基礎認知」,資料科學家要能對廠商問對問題,瞭解廠商系統背後的運作方式,Heinemeyer 表示。
就大型與成熟的企業組織而言,資安領導者可能會被建議要開發更強大的內部資料科學家與機器學習專業。Forcepoint 的技術長 Petko Stoyanov 表示,有許多全球性 SOC 已開始投入招募資料科學家進行自訂機器學習,其中有許多早在 ChatGPT 出現之前就已經開始。他深信這樣的趨勢會隨著 SOC 試圖讓威脅獵捕者實地參與而加速,威脅獵捕者能在遭惡意 AI 工具加壓的威脅版圖中探險。不過資安領導者在這方面可能面臨人才短缺。「老實說,想要找到從事網路工作又瞭解資料科學的人…若要說海底撈針,這就是了。」Stoyanov 如此說。
這種狀況需要一些創意性的人員調配與團隊建立才能克服。就他個人在這個領域的經驗來看,建議是三個專家一組快速獵捕。團隊組合應是具有豐富資安經驗的威脅獵捕者、懂分析並有機器學習經驗的資料科學家,還有協助產品化與擴展團隊發現的開發人員。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球 CIO 同步獲取精華見解 ]
「通常的情況會是:你需要一個處於前兩者之間的開發人員。你有可以做數學的大腦、有可以找到歹徒的人,接著有個人可以在資安基礎架構上繼續執行他們的任務。」Stoyanov 解釋道。
找一位威脅獵捕者,同時提供資料科學家與開發資源,有助於大幅提升生產力,尋找潛伏在網路裡的敵人。也不必因為找不到同時具有這三種特殊技能的獨角獸而失望。
除了生成式社交工程攻擊,另一個威脅行動者可能利用生成式 AI 引發的風險,是自動化產生惡意程式碼,不當利用各種已知弱點。
WithSecure 研究人員 Andy Patel 表示:「人們認為,既然它可以讓撰寫程式碼更容易,那麼也可以讓建立可利用漏洞變容易。」Patel 的團隊最近為芬蘭運輸與通訊管理局做出一份詳盡的報告,內容指出一些可能由 AI 賦能發動的網路攻擊。其中一例是新出現的 ChatGPT 賦能工具化,可以輕鬆列舉整個開發源碼程式庫內容中可能有安全性風險的資安議題。「這些模組也讓人們容易開始動手。這可能開啟更多弱點,或者意謂著更多弱點可以被修復。」他若有所思說道。「我們不知道事情的走向會是如何。」
所以,就弱點管理面來說,這很可能也會演變成潛在的 AI 軍備賽:資安團隊急著在 AI 賦能攻擊者設計出不當利用前,更快利用 AI 修正漏洞。「企業組織可以讓人們開始留意這些工具,塞住自己的漏洞,尤其是撰寫自有軟體。」 Patel 表示。就廠商面,他預期可能看到「大量新創利用 LLM 執行弱點偵測」。
除了新工具,這種動盪的局面也可能為新資安角色開啟契機,Software AG 技術推廣長 Bart Schouw 表示。「商業組織可能需要提示工程師這類新角色強化團隊。」他說道。提示工程,是熟於自 LLM 設計提示,以便從中產生高品質輸出的熱門新興行業。這對整個企業的弱點列舉與歸類方面,可以產生相當大的助益。
保護企業 AI 的技能
在所有因 AI 賦能攻擊者而起的威脅開始繁衍之際,企業內部其他重大風險也蠢蠢欲動。也就是說,有弱點的 AI 系統(以及這些系統相關的訓練資料)可能遭受攻擊曝露,還有其他機密性、完整性或可用性問題。
「顯而易見的是,過去五到十年來刻劃的是資安從業人員需要內化必須將更多 AI 整合到處理流程裡的想法,然而接下來五至十年,可能會是 AI/ML 從業人員必須內化安全性隱憂應視為處理流程頭號問題的概念。」Vectra 傑出的 AI 研究人員 Sohrob Kazerounian 如此表示。
具資安思維的領導者,已開始成立 AI 紅隊,並將 AI 威脅模組注入開發過程與未來 AI 系統的佈署之中。渴望建立這種能力的企業組織,必須引進 AI 與資料科學人才才能強化紅隊。
「這組紅隊必須有破解 AI 與 ML 系統的專業知識。」Cybrize 資安長暨共同創辦人 Diana Kelley 解釋道。「我們要求領導者將對資安方面有興趣的資料科學人員拉進來,反之亦然。招募資料科學人才進資安領域的方式,就像最佳應用程式紅隊成員都是從應用程式開發人員開始一樣。」
這也是在實踐始於安全的設計(security-by-design),負責建置與佈署企業 AI 與 ML 模組的人,應受資安團隊訓練並與之協同合作,瞭解其中的風險並進行測試。這會是未來強化這些系統的關鍵。
「你必須留住設計與建置系統的 ML/AI 專家。你必須將他們與你的技術駭客整合、與你的資安操作團隊整合。」Anomali 副總裁暨威脅情報總監 Steve Benton 接著解釋,應該將他們集結在一起建立潛在風險場景、測試它們,再根據狀況重新設計。「答案就是紫隊,而不是只有紅隊。要知道,有些測試會涉及『毒藥』,你必須建置能夠回復與一個個場景接著重複測試的參照模型。」
(本文授權非營利轉載,請註明出處:CIO Taiwan)