人工智能的急速成長與發展正挑戰網路安全的界限,而資安長們現在必須帶頭應對多種風險,包括資料洩露、法遵與提示詞注入攻擊(prompt injection attacks)。
文/Maria Korolov‧譯/高忠義
人工智能的快速步伐讓人難以權衡科技的風險與效益,而資安長們不能遲疑,必須積極掌握情勢。可能的風險包括提示詞注入攻擊、資料洩露、治理以及法遵。
所有的人工智能專案在某程度上都面對這些議題,但是生成式人工智能的快速成長與部署也正挑戰現有控管措施的界限,而同時也產生多種新類型的弱點。
如果市場研究中可以找到人工智能運用的發展跡象,資安長們可能預期探索生成式人工智能的組織中有 70% 是受到 ChatGPT 運用的驅動。根據五月份資誠的一項報告,幾乎所有的事業領導者均表示他們的公司在近期內至少會將一項有關人工智能的提案列入優先工作。
大量投資的原因並不只是出於防衛。高盛預測生成式人工智能可以提高全球的 GDP 接近 7%。根據麥肯錫的研究,頂尖的人工智能運用是在客戶營運、行銷與銷售、研發以及軟體工程等領域。舉例來說,就軟體方面,全球策略顧問公司 Altman Solon 一份調查報告顯示,有將近四分之一的科技廠商正使用人工智能進行軟體研發,而還有 66% 可能在下一年採用。
以人工智能進行的網路攻擊
根據 Gartner,有 68% 的高階主管相信生成式人工智能的效益超過風險,相較之下只有 5% 認為風險超過效益。Gartner 的分析師 Frances Karamouzis 在報告中提到,然而,隨著更深入地投資,高階主管的觀點開始轉變。「他們開始開發並部署生成式人工智能後,各組織可能遇到許多有關信任、風險、安全、隱私與倫理的問題」,她這麼說。
最新的風險之一就是「提示詞注入攻擊」,對各組織來說,這是新的威脅媒介,而傳統的安全控管措施不足以因應這種威脅,Gartner 的分析師 Avivah Litan 這麼說。她說,在其他案例中,聊天機器人的用戶已經能夠看到別人的提示詞。
許多「破解」ChatGPT 與其他大型語言模型的公開事例,似乎成了幹壞事的技術,就像是寫惡意程式或提供製造炸彈的指示。一旦企業開始推出他們自己的生成式人工智能,例如為了顧客服務而這麼做,破解技術可能讓一些壞人可以侵入別人的帳戶,或者進行其他有害的行為。
今年稍早時,有關大型語言模型最關鍵的弱點,OWASP 發布了十大清單,而提示詞注入居於首位。攻擊者也可以利用這些模型以執行惡意程式,侵入受限資源,或者在訓練資料中放毒。公司自己部署這些模型時,他們可以在提示詞周邊加上防火牆,並針對輸入環境提高可見度,以及異常偵測機制。Litan 表示「你可以看到目前的情況,而你也可以建立管控機制。」
由第三方供應商部署可能就不是這樣了。即使某個供應商對於最初用來創設模型的訓練資料有最頂尖的安全控制,聊天機器人還是需要進入各功能部門的營運資料。Litan 表示,「傳統的保護措施管不到進入模型的資料,也管不到提示詞注入。」「確實有必要在自己的現場保留這些資料,但你還是需要有些保護措施。」
減緩因為使用人工智能而產生的資料曝險
根據一項訪調超過 9,000 位美國專業人士的 Glassdoor(評論企業網站)調查,員工喜愛 ChatGPT,而且發現有 80% 的受訪者反對限制這項科技。但是 ChatGPT 與類似的大型語言模型持續地基於他們與用戶的互動而受訓練。問題在於,如果用戶要求編輯某份含有許多公司機密資料的文件,人工智能就可能知道那些機密,在未來與其他用戶聊天時說出。「那是非常合理也實在的疑慮,」Forrester Research 分析師 Jeff Pollard 這麼說。
「我們已看到有醫生將病患資料上傳到 ChatGPT,藉此撰寫給病患的信函,」Cyberhaven 的安全長 Chris Hodson 這麼說。
Forrester 的 Pollard 表示,專為企業運用而設計的平台確實已嚴肅看待這項問題。「他們沒興趣保留你的資料,因為他們瞭解那會成為採用上的阻礙,」他這麼說。
部署生成式人工智能最安全的方法就是 ─ 「在自有基礎架構中執行私有模型」。然而,依據 Altman Solon 的調查,這並不是最普遍的選項,只有 20% 的公司偏好這種做法。在部署生成式人工智能的公司中有將近三分之一是選擇供應商自有的環境,並利用公共基礎架構。這是最不安全的方案,組織必須對於生成式人工智能供應商有極大的信賴才行。
最大多數的企業,有將近 48%,在第三方雲端環境中部署,例如虛擬的私有雲。舉例來說,微軟提供安全、隔離的 ChatGPT 部署環境供 Azure 雲端的客戶採用。根據微軟的說法,在三月時,已有超過一千家企業客戶在 Azure OpenAI Service 環境中使用 ChatGPT 與其他的 OpenAI 模型。而在五月中時,這個數字又增加到 4,500 家。運用這項服務的公司包括賓士汽車、嬌生企業、AT&T、CarMax、DocuSign、富豪汽車與宜家家居。
治理與法遵的人工智能風險
生成式人工智能破記錄的使用率增長速度遠遠超過公司管控科技風險的能力。「我知道每週有多少人在工作上節省了大量的時間,但那些企業中卻沒人認知到這點,」跨國法律事務所 Reed Smith LLP 內專注於網路安全與機械學習的合夥人Gerry Stegmaier 這麼說。「各個事業急速地由每一個員工在其個別工作中大幅度地提升生產力,但是卻不太瞭解員工的生產力成長。」
根據二月份發布的 Fishbow 調查報告,43% 的專業人士已用過像 ChatGPT 這樣的工具,但當中有將近 70% 的人是在主管不知情的情況下使用。Stegmaier 表示,那意味著事業可能承擔著法律與規管風險的或有債務,他們對這樣的債務不知情,也因此無法衡量。近期發布的 Netspkope 調查報告顯示,以用量的實際資料為基礎,而不是以訪調為基礎,顯示出 ChatGPT 的使用量逐月增長 25%,每天幾乎有 1% 的受雇者使用 ChatGPT。也因此,現在有將近 10% 的企業阻止員工使用 ChatGPT。
無法掌握員工的行為只是一半的問題。此外,也難以掌握法律與規範的內容。「大企業需要達到某種程度的可預測性。而現在,存在者無法衡量的不確定性,」Stegmaier 這麼說。
關於智慧財產權以及輸入模型內的訓練資料有些不確定性,關於隱私與資料安全規範也有些不確定性,而新的法律與遵循風險不時浮現。舉例來說,日前 OpenAI 因為說某個電台主持人侵吞公款而被告誹謗。因為提供的聊天機器人跟人說的事情而被告的 OpenAI 或其他公司最後可能需要為聊天機器人的言論負責,也可能不需要為此負責。那取決於如何適用產品責任法律。「只要糾紛涉及的金額夠大,人們總是能創造出頗具創意的法律理論,」Stegmaier 這麼說。
根據 Stegmaier 的說法,關於軟體是不是產品的看法已經有些改變了,而潛在的影響可能相當深遠。也可能推出一些關於資料隱私的新法律,包括歐盟的人工智能法。但他並不預期在美國近期會推出類似的法律,因為很難獲得共識,但是貿委會已經發布有關人工智能的聲明。「人工智能對消費者極具吸引力,對企業也具吸引力,對主管機關也具吸引力,」他這麼說。「這三種情況匯集在一起,通常會產生新的執法趨勢或新的規管活動。」
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球 CIO 同步獲取精華見解 ]
要維持領先,他建議組織強化他們的生成式人工智能學習曲線,以利採用目前的最佳實務工具,包括落實隱私保護設計、落實安全保護設計,以及反歧視原則。「就生成式人工智能來說,『快刀斬亂麻』大致上並不是可行的策略,尤其對大企業來說更不能如此,」Stegmaier 如此表示。
不幸的,取決於部署模式,公司可能難以或完全無法掌握生成式人工智能的實際進行情況,即使他們知道正在使用生成式人工智能。舉例來說,如果有個員工尋求 ChatGPT 的協助來寫信給顧客,那麼 ChatGPT 至少會需要一些有關顧客的訊息,才能提供答覆。那表示,至少在某一段期間內,資料會留在 OpenAI 的伺服器裡。而且,如果員工允許 ChatGPT 儲存對話記錄,資料可能無限期地停留在伺服器裡。
在歐洲以及其他訂有資料落地權法律的法域,資料移動的問題特別重要,Carm Taglienti 這麼說,他是 Insight Enterprises 裡一位傑出的工程師。「你實際上並不瞭解正發生的情況,」他這麼說。「你不知道你傳送的資料經歷了什麼樣的程序。一旦超出你的控制,那就成了弱點。」他建議組織審慎思考他們如果計畫使用生成式人工智能,會需要採行什麼樣的控管措施。他建議,有個適合的起點就是 NIST 的人工智能風險管理框架(NIST AI Risk Management Framework,AI RMF)。
在理想的狀況下,企業在挑選平台之前應該先思考治理問題。然而,根據一項 KPMG 的調查,只有 6% 的組織有專責團隊來衡量生成式人工智能的風險,並採取風險緩釋策略。此外,只有 35% 的執行長表示他們的公司未來12個月內計畫聚焦在改善人工智能系統治理,而且只有 32% 的風險管理專業人士表示他們現在已投入生成式人工智能採用的企劃與策略階段工作。最後,只有 5% 訂好成熟而負責的人工智能治理計劃,雖然有 19% 正在努力,而幾乎有半數受訪對象表示他們計畫設定這樣的計劃。
企業應該先做哪件事?我建議安全長們立刻開始教育他們的員工,讓他們瞭解生成式人工智能運用上的潛在風險,Omdia 顧問公司的企業安全管理首席分析師 Curtis Franklin 如此表示。「他們可能無法阻止這樣的事,但他們需要讓員工知道存在著相關的風險。那是很急迫的事。在你讀完這篇文章時,你應該開始思考怎麼做那件事。」
下一步是籌組一個委員會,將不同業務部門的利害關係人都納入,以審視在組織內可以怎樣正當地利用生成式人工智能,並開始權衡這些效益與風險。「你應該有個以風險為基礎的框架,藉此決定如何使用生成式人工智能並保護組織對應可能的誤用或不當使用,」Franklin 這麼說。
(本文授權非營利轉載,請註明出處:CIO Taiwan)