代理式 AI 不只是技術轉變，更是安全治理思維的重新洗牌。目前常見資安事件多半源自於 AI 代理的權限設定錯誤，企業若無法為 AI 建立明確的權限邊界與信任機制，將難以在此波智慧化浪潮中站穩腳步。
採訪／施鑫澤 文／林裕洋
儘管生成式 AI 帶來前所未有的創新與生產力，但也引發全新的資訊安全挑戰。特別是 Agentic AI（代理式 AI）具備自主性、目標驅動和適應性，勢必會引入輸入操縱、數據污染、憑證劫持，以及代理偏差和意外行為等風險。Gartner 建議企業引入保護代理式 AI 相關工具，才能妥善管理風險、確保決策的可信度，且預計 2030 年與代理式 AI 相關資安解決方案，約佔整體市場規模的 10～15%。
Gartner 資深分析師陳延全（Anson Chen）指出，AI 代理出現不只是技術轉變，更是安全治理思維的重新洗牌，未來幾年 AI 安全威脅將急速上升，預估 2029 年將占 50% 以上攻擊事件。分析原因，主要源自 AI 代理的權限設定錯誤，或是被惡意提示內容所利用。這意味著 AI 帶來的不只是技術革新，更是一場安全與治理思維的全面重構，企業若無法為 AI 建立明確的權限邊界與信任機制，將難以在智能化的浪潮中站穩腳步。
代理安全受關注 風險複雜度成倍增加
傳統 AI 應用多為單一模型與應用互動，而代理式 AI 具備自主性與任務分解能力，能在多個代理之間協作完成工作。Gartner 將 AI 代理依自主性與資料存取複雜度，分為四種不同型態。
首先是嵌入式代理，可整合於既有應用中，如 Microsoft Copilot 等，能延用既有的安全設定與加密措施。其次是獨立代理，用於執行單一任務的自動化工具，建議採取「最小權限原則」，並獨立管理帳號憑證。第三是目標驅動代理，能拆解目標、自主執行多步驟任務，需導入 AI 治理與 AI TRiSM 框架。最後則是多代理系統，由多個 AI 代理互相協作的生態系，必須強化代理間的信任認證與速率限制機制。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 linkedIn，與全球CIO同步獲取精華見解 ]
陳延全表示，當代理式 AI 的自主性越高，安全管理複雜度也呈指數上升，使得系統風險遠比傳統應用更難預測。尤其當使用者下達的代理指令不夠清楚時，很可能會自行觸發一連串行動，甚至呼叫其他代理。這意味著企業根本無法完全掌握代理式 AI 會連線哪些 API、交換哪些資料，以及做出什麼決策。
避免共用帳號 提升 AI 代理安全性
AI 代理的授權與身份管理，是企業最容易忽略的安全漏洞之一。Gartner 強烈建議 AI 代理不要共用帳號，AI 服務應該有專屬身份、憑證，並在必要時限期失效。這種做法能避免代理誤用高權限帳號，也便於稽核行為紀錄。Gartner 甚至將機器身份管理列為 2025 年九大資安趨勢之一。
在授權模型上，Gartner 建議企業應由傳統 RBAC（基於角色） 轉向更靈活的 ABAC（基於屬性） 或 PBAC（基於政策） 模型，根據使用者行為、地點、時間與風險分數動態調整權限。然而要達成此種動態授權，企業必須具備高品質的屬性資料與集中化的策略管理平台，畢竟身份管理最難落實是特權帳號與高階主管。
「在身份管理之外，AI 服務普及化後導致「影子 AI」問題浮現，許多員工在未經授權的情況下使用第三方生成式 AI 工具，帶來資料外洩與合規風險，這也代表企業急需導入 AI 治理平台。」陳延全解釋：「AI 治理不只是技術管理，而是一種全新的企業治理框架。此框架必須整合安全、合規、隱私與風險管理，確保所有 AI 資產都能被監控與稽核。」
落實開發週期與安全測試
面對生成式 AI 背後的風險，Gartner 指出 AI 安全測試方式正從「程式碼漏洞」轉向「行為與資料流的安全性」。企業若只依賴 NIST 的「成熟度標準」，往往會誤以為現行 AI 架構安全，其實那只是符合安全的最低門檻，背後挑戰在於實際防禦能力的測試與驗證。
目前市面上出現「Combating fire with fire」新興 AI 安全測試工具，即利用 AI 模型來測試 AI 系統。此類測試工具能模擬上萬種攻擊場景，例如提示注入、惡意 API 調用、資料竊取等，並生成風險評估報告，對照 OWASP、MITRE、NIST 等標準。此外，AI 紅隊已成為市場新趨勢，用於模擬 AI 攻擊行為並檢驗系統反應，這不僅涵蓋應用層，也延伸到模型倉庫與供應鏈安全。
至於 AI 執行時防禦（AI Runtime Defense）被認為是「高效益、快速成長」的技術。該技術能在 AI 系統運行階段，即時偵測提示注入、異常行為與資料外洩，並採取自動化防禦措施。
[ 推薦文章：供應鏈動搖企業防線 資安治理問責全面升級 ]
目前有兩種部署模式，Gateway 型是在用戶與應用、應用與模型之間設立安全閘道，進行輸入與輸出內容過濾。API 呼叫型則是直接將防禦機制寫入應用程式碼中，透過 API 連結服務。
這類工具會在代理式 AI 運行中，即時分析提示內容是否含惡意指令、監測 AI 回應是否含偏見或機密洩漏，並能自動調整模型回覆。企業可以設定策略，若偵測到高風險行為，可選擇阻斷、要求人工審核，或自動補充安全指令。
培養 AI 素養 CISO 新核心能力
AI 技術日新月異，企業若缺乏正確認知，極易落入「AI 漂白」陷阱。AI 素養（AI Literacy） 已成為核心能力，必須理解 AI 代理的真實能力與風險，否則無法在混亂的市場中做出正確決策。
Gartner 推出 AI TRiSM（Trust, Risk and Security Management）架構，從 AI 模型開發、部署到運行階段，提供一套「信任＋風險＋安全」治理機制，目前已逐漸成為市場標準。許多安全廠商已將產品功能對應到該框架，使企業能用一致視角衡量各類 AI 產品的治理能力。
陳延全指出，AI 價值並非取代人，而是讓員工的工作更有效率、更具創造力。雖然多數企業對 AI 素養、AI TRiSM 等仍處於探索階段，但是對於相關概念的接受度非常快。隨著 AI 從工具變成決策參與者，CISO 任務也正從「防禦」轉向「治理」，懂 AI 的資安長，將是下一個企業競爭力的關鍵。
Gartner 建議 CISO 應該時時思考「能清楚辨識所有正在運行的 AI 資產與代理」、「現行 AI 安全與治理架構，能否涵蓋從開發到執行的全生命週期」、「團隊是否具備足夠的 AI 素養來判斷風險與機會」。唯有時時檢視，企業才能運用 AI 工具強化競爭力之餘，同時降低潛在風險。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
