AI 的必然性迫使許多網路安全領導者必須決定它是敵是友。將它視為隊友可能是最終解決方案,不過有些針對性問題 CISO 應該要提出。
文/Christopher Burgess‧譯/Nica
人工智慧正在改變我們做任何事的方式,無論走到哪,機器都在執行過去應由人類執行的任務。這些 AI 驅動的實例,涵蓋範圍從自動駕駛汽車,到人類接聽前導航的客服機器人。在網路安全領域,AI 已迅速成為敵人的朋友,同時也是力量倍增器。無論是否喜歡,將機器視為隊友似乎成為 CISO 必須學著接受的現實,不過在接受 AI 成為搭擋前,有幾個問題應該要問。
這個概念不新,早在 2019 年,由 65 位協同合作的科學家所組成的國際性團隊就在這個主題上發出 819 個研究性提問,目的是為了「提供協同合作的研究人員可以他們的保留意見為基礎,調查特意設計的機器隊友預期效果的研究議程」無疑,該協同合作科學家團隊所形成的部份研究觀點,被帶進美國國防部人工智慧能力道德發展的五項原則,內容擷取接受使用 AI 前必須有的五大要點:負責(Responsible)、公正(Equitable)、可追蹤(Traceable)、可靠(Reliable)與可治理(Governable)。
讓 AI 成為軍師
設想 AI 為行動隊友的概念,只要看看美國空軍透過與充當自主僚機的戰鬥無人機配對,提升其 F-35 多用途戰鬥機效率的計劃。與用 AI 提升的無人機一同作業,這台飛機可以超越人類能力的速度累積資訊。據退休 CIA 官員暨小說家 J.R. Seeger 指出,此舉「快速又敏捷地透過觀察、理解、決策、行動(OODA) 循環運作,從而使即時資訊接受者更靈活反應。」
AI 將有效成為自動化程序的延伸,還能發掘大幅延伸的資訊寬廣度,有助於越來越快評估複雜度,資安服務供應商 StrikeReady 執行長 Anurag Gurtu 如此表示。「CISO 想提升生產力、強化資深分析師能力、減輕部份工作量與留住員工,AI 效果最好。」
就 AI 而言,決策速度為王
Gurtu 表示,雖然常覺得自己「已全力以赴沒有剎車」,但「AI 還有助於加速演練程序、增強偵測例行性工作,還有可能進行調整為分析師提供被鎖定或攻擊的事件機率。」
過去,決策樹與規則主導的模型,讓威脅與弱點偵測成為相當耗時費力過程,但「有了 AI,我們可以引進全然不同的資料集,提升分析師的『解釋能力』」Gurtu 接著補充,局部可詮釋性模型無關解釋(LIME) 與 SHAP(Shapley 相加解釋)皆有助於完成解釋的例行性工作。
「越來越多實體納入生成式 AI,因為必須為『幻覺』的湧現做好準備,隨著這麼做的實體越多,大量幻覺也隨之出現。」Gurtu 說道,要避免生成式 AI 結果的幻覺,就要使用圖形式 AI 語言模型。
要闡明此點,只需看看最近律師由 AI 聊天機器人協助撰寫提交給法院的意見書,當它找不到現實世界範例時就「幻覺」了不存在的判例法。此舉導致法官發布現行命令,要求任何使用 AI 建立的意見書,皆需由人類識別與驗證。「利用圖形方法,AI 讓使用者能夠充份瞭解環境背景。」Gurtu 表示。「沒有這樣的東西,就會像這裡指出的『結果就是』大量幻覺。」
機器隊友需與人類一致
事實上,幾乎所有的行業最終都將受到AI的影響,團隊中有一台機器隊員將不再是特別的新鮮事。2022 年八月心理學期刊 Frontiers in Psychology 的一篇文章中,作者指出有效團隊合作取決於人類團隊的成功。「領導力、衝突解決、適應性與備援行為這類因子,都是支持團隊成果的團隊合作關鍵。」
作者推斷,要處理未來人機團隊,「有部份將取決於為成功促進與參與和人類隊友團隊合作的機器代理。」
就 AI 的環境背景來說,信任一直都是最主要的考量。有多少實體會確保信任長的責任含括產品與交涉中,以道德、倫理與負責的方式使用 AI ?當 AI 犯錯,由誰回報錯誤?誰改正錯誤?如何衡量機器與人類隊友間彼此關係的信任?
關於 AI,每個 CISO 都要問…
IEEE 成員暨 The Privacy Professor 諮詢顧問公司創立者 Rebecca Herold 表示,將 AI 融入資安技術可以帶來許多潛在優勢:簡化工作流程,縮短專案完成時間、快速做出決策的能力,更快找出問題。
但她也補充,已有許多考慮不周的實例已得到採用,買家「一股腦投入 AI 深處,未對他們視為生意上 HAL 9000 救星 AI 能否一如承諾運作,進行任何仔細審查。」[ 註:HAL 9000 是《2001 太空漫遊》小說中的虛構角色 ]
她還提出警告,當「有缺陷的 AI 嚴重出錯,導致隱私外洩、偏差、資安意外事件與不合規的罰緩,使用 AI 的人就會突然意識到 AI 比較接近 HAL 9000 的黑暗面,而不是曾經認為的:可能性。」
CISO 都該問的八大問題
當你要求精確、無偏見、保障隱私與遵循資料保護要求的結果時,為了不讓你的 AI 隊友說:「抱歉,伙伴,恐怕我不能這麼做。」Herold 建議每位 CISO 提出這 8 個問題:
- 是否已多方測試,確保 AI 演算法運作一如預期?向製造商與/或廠商要求文件,確認這類測試,也確認使用的標準與/或框架。例如 NIST 人工智慧風險管理框架(AI RMF 1.0)。
- 訓練 AI 使用的資料從哪裡來?若內容含括個人資料,相關人士必須同意其個人資料使用在這個目的上。
- AI 演算法設計如何預防,或盡可能減輕結果偏差?要求看文件記錄結果。
- 演算法設計如何減輕幾乎每日浮現的生成式 AI 相關新興與挑戰性風險?要求檢視他們規劃在現有基礎上管理這些議題的文件。
- 廠商是否已全面性處理機器學習相關資安疑慮,如有,方式為何?要求檢視書面記錄政策與程序。
- AI 工程設計是否考量 AI 系統攻擊表面的複雜度,如有,是以哪種方式?要求文件以便驗證提供的資訊。
- 如何審查供應鏈與第三方 AI 元件的資安與隱私風險,以及之後的緩解?確保持續進行 AI 供應鏈與第三方風險管理程序。
- AI 製造商或廠商開發自有 AI 產品是否符合即將販售區域的資料保護合規性?
只是相信業務團隊所說的還不夠,Herold 表示,必須培養查出棘手問題答案的能力,或者找到可信賴又有能力的第三方。
人類必須引導身為夥伴的 AI
投資家暨講者 Barry Hurd 表示,當機器是隊友,人類必須承擔機器決策的問責與相關職責。他繼續說道,「與 AI 隊友共同工作,需要專業人才讓工作關係最佳化而不是破壞。人類生來就無法以機器相同的耐受度執行操作。想像一部科幻電影,機器手臂與虛弱人體相比堅不可摧,我們的邏輯與決策制定能力,與 AI 團隊成員處理速度相比也同樣薄弱。」
Hurd 提醒,機器大幅增加我們的動作,無論對錯。「規模與速度必須與我們的反應時間平衡,以保留道德、法律與倫理時間採取行動。大規模採用 AI,代表大範圍部門領域大規模附帶損害的可能性。」
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球 CIO 同步獲取精華見解 ]
這將為決定人類故障安全層級數帶來挑戰,必須給操作 AI 系統的任何人有時間考慮什麼可以接受。「一旦做出決策,在能夠事後批判剛剛發生了什麼之前,從而發生的動作就完成了。」Hurd 表示。
「然而,與有能力的一群人類夥伴配對,他們瞭解在能夠達成效能加倍之處建立共生關係,讓關鍵思維、主題內容專業與道德,與計算後的動作與規模自動化取得平衡。到那時,風險可以最小化,效率也可以加倍。最優秀的人能實現最優秀的技術,反之亦然。」
顯而易見,當 AI 隊友做出決策,人類隊友「必須能夠解釋為什麼做出這個決策。」Gurtu 表示。
(本文授權非營利轉載,請註明出處:CIO Taiwan)