• 登入
  • 註冊網站會員
CIO Taiwan
  • 活動
  • 影音
  • 趨勢分析
  • CIO 雜誌
  • CISO精選
  • 電子報
  • 下載
  • 聯繫我們
沒有結果
查看所有結果
CIO Taiwan
沒有結果
查看所有結果
首頁 專欄

增強 AI 安全性並兼顧使用安全

2024-09-03
分類 : 專欄
0
A A
0
增強 AI 安全性並兼顧使用安全

作者深入分析了生成式人工智慧(GenAI)的優勢與風險。認為 GenAI 在提升網路安全、資料保護和實體安全方面具有巨大潛力,但也提醒人們關注其可能被用於網路攻擊的風險。

文/屠震


200 屠震2g9a8965
◤ 屠震博士,SEMI 半導體資安委員會主席、台灣積體電路製造公司企資訊安全處處長。他在資訊科技和資訊安全方面擁有 30 多年的經驗,過去 12 年中,屠震博士專門從事半導體和製造業資訊科技和資訊安全。

我從未對人工智慧的新進步和潛力感到如此興奮,尤其是生成式人工智慧的快速採用。我的博士研究圍繞著人工智慧和影像機器學習展開,由著名的 Ernest H. Hall 博士指導。

我的論文重點是機器學習和優化中的遺傳演算法。在那段時間,Image AI 被用來協助機器人對 Fernald 場地進行清理和環境整治,該場地曾經是俄亥俄州辛辛那提附近的鈾處理設施。此外,影像人工智慧也用於檢查製造零件是否有缺陷。然而,畢業後,我卻遭遇了當時最大的機器人公司之一辛辛那提米拉克龍(Cincinnati Milacron Inc.)被出售的失望之情。這阻礙了我對影像人工智慧的直接追求。

[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球CIO同步獲取精華見解 ]

但我一直從事人工智慧影像處理領域,並認識到將 Microsoft Vision Studio 平台與 GenAI 結合所產生的巨大潛力。它們共同提供視訊和圖像描述、識別和異常檢測功能,而無需像傳統人工智慧中常見的那樣依賴使用標記資料的預訓練。

Microsoft Vision Studio 平台提供了分析視覺內容的進階功能。它可以描述動態視訊和靜態圖像,並將其轉換為自然語言描述。結合GenAI語意理解能力,它可以提供視訊/影像描述、識別和異常檢測,而無需像傳統人工智慧那樣對標記資料進行任何預先訓練。

GenAI 採用趨勢揭示了重大轉變。 2023 年,只有一小部分公司(不到 5%)在生產環境中使用 GenAI API 和模型。然而,預計到了 2026 年會有超過 80% 的公司將在各種應用中採用 GenAI。

2024 年 Gartner CIO 調查顯示,約 34% 的 IT 領導者(CIO)計劃在未來 12 個月內部署 GenAI。

採用率的激增反映出人們對 GenAI 能力的信心不斷增強。企業正在使用它,安全專業人員正在利用人工智慧進行保護,攻擊者正在利用人工智慧來達到自己的目的。

我們發現自己身處在一個人工智慧賦能的世界,各方都在進行一場貓鼠競賽。正如有人曾經說過的,科技本身並沒有本質上的好壞。這完全取決於我們如何使用它。就像炸藥、核能或網路一樣。

不同平台達到 1 億用戶的過程差異很大,從閃電般的採用(例如,ChatGPT 在 2 個月內)到多年的穩定增長(例如,YouTube 需要 4 年零 1 個月,Facebook 需要 4 年 6 個月)。

內容目錄 隱藏
理解並尊重版權 Copyright and Copyleft
1. 版權(Copyright)與人工智慧:
2. Copyleft 與人工智慧:
AI 應用開發與資料保護指引
1. 存取權限和資料分類:
2. AI準確性和測試:
人工智慧增強安全性
1. 網路安全:
2. 資料保護:
3. 實體安全:
人工智慧增強網路攻擊
最後的想法

關於人工智慧和安全性,需要考慮兩個主要問題:利用人工智慧來增強安全性和人工智慧的安全使用。

  1. 人工智慧的安全使用

本主題涉及確保人工智慧使用的安全性。

  1. 避免在對話中共享敏感或機密訊息

有關限制存取 OpenAI 的 ChatGPT 的公司的新聞報導已被廣泛報導。雖然像 ChatGPT 這樣的人工智慧聊天機器人非常有幫助,但共享敏感資訊確實存在風險。

以下是一些現實世界的例子:

‧三星 ChatGPT 洩漏:三星員工在使用 ChatGPT 工作時意外分享機密資訊。在一個例子中,一名員工將機密原始程式碼貼到聊天中以檢查是否有錯誤。另一位員工與 ChatGPT 共享程式碼並請求程式碼優化。第三位員工甚至分享了會議錄音,並將其轉換為簡報筆記。不幸的是,這些資訊現在已經洩漏出去了。

‧微軟:儘管微軟已經投資了OpenAI,但出於安全和數據的考慮,它短暫限制了員工存取OpenAI的ChatGPT。

‧新聞媒體:例如《紐約時報》、CNN、路透社和澳洲廣播公司(ABC)已阻止 OpenAI 的 GPTBot 存取其內容。

上述行動表明,當人工智慧模型從得到的數據中學習時,公司意識到專有內容可能被濫用或意外暴露。

理解並尊重版權 Copyright and Copyleft

讓我們深入研究版權和公共版權(Copyleft)的概念,特別是在人工智慧和技術的背景下。

1. 版權(Copyright)與人工智慧:

版權是一個法律概念,授予創作者對其原創作品的專屬權。這些作品可以包括文學、藝術、音樂和其他創意表達。

人工智慧(AI)的興起引發了有關版權的有趣問題。例如,當人工智慧系統產生內容(例如文字、圖像或音樂)時,誰擁有版權?

近日,OpenAI 面臨《紐約時報》(NYT)侵害著作權的訴訟。 《紐約時報》聲稱 OpenAI 在未經同意的情況下使用了其內容。 OpenAI 的辯護是基於合理使用的概念。

2. Copyleft 與人工智慧:

Copyleft 授權允許創作者授予其他人在特定條件下使用、修改和分發其作品的權利。

最著名的 Copyleft 授權是適用於軟體的 GNU 通用公共授權(GPL)。

當應用於人工智慧時,copyleft 授權可確保衍生作品(基於人工智慧模型)保持開源且可免費存取。

在某些情況下,公司出於版權問題而限制開源人工智慧的使用,因為公司可能會為開源人工智慧模型添加專有功能或增強功能。如果他們發布這些擴展,他們就有必須在同一個 Copyleft 許可證下共享它們的風險。

AI 應用開發與資料保護指引

1. 存取權限和資料分類:

這是生成式AI與資料(需要知道)控制之間的主要衝突。

●資料治理重點:

‧資料擁有者:權限管理, 需要知道, 遵循資料分類指引。

‧資料使用者:身份驗證與授權。

●產品特性:

‧可追溯性:能夠追溯資料來源與資料擁有者(提供保證)。

‧問責性:具備稽核追蹤以提供AI決策背後的合理性(提供保證)。

‧滿足公司日誌保留要求(包括日誌的處理和銷毀)。

‧遵循公司認證與授權實務(包括資料擁有者與資料使用者)。

‧遵循公司資料分類政策以防止資料外洩。

‧遵守公司資料隱私法規。

●系統間整合重點:

‧API 控制與身份驗證。

‧可追溯性與問責性必須貫徹執行。

2. AI準確性和測試:

人工智慧結果可能並不總是準確的。人工智慧模型從資料中學習,其效能取決於訓練資料的品質和多樣性。

軟體測試(包括人工智慧系統)可以識別錯誤和問題,但並不能保證所有的錯誤將不存在。由於數據中看不見的模式或偏差,人工智慧模型可能會表現出意想不到的行為。

嚴格的測試(包括邊緣案例和對抗場景)對於發現潛在問題至關重要。模糊測試、壓力測試和模型驗證等技術很有價值。

[ 推薦文章:安全管理觀念正確的心態 ]

在生產中部署人工智慧驅動的軟體會帶來安全挑戰。

●使用人工智慧時的其他關鍵考慮因素

‧偏見與公平

‧隱私保護

‧模型可解釋性

‧合乎法規

‧保護人工智慧模型

人工智慧增強安全性

它涉及利用人工智慧來增強商業和生活幾乎各個方面的安全性,在這裡我將分享在網路安全、資料保護和實體安全方面的用法。

GenAI 的語意理解能力擅長辨識情緒分析、實體辨識、關係提取、主題建模和動作辨識等各個面向。

讓我們來詳細分析一下人工智慧如何增強各個領域的安全性:

1. 網路安全:

威脅偵測和預防:人工智慧分析大量數據以識別顯示網路威脅的模式。它透過識別可疑行為來幫助防止攻擊發生。

異常檢測:人工智慧演算法發現系統或網路內的異常活動。例如,異常登入模式或未經授權的資料存取會觸發警報。

預測分析:透過分析歷史數據和趨勢,人工智慧可以預測潛在的漏洞。組織可以根據這些見解主動加強防禦。

自適應安全措施:人工智慧驅動的系統隨著威脅的發展即時動態調整安全協定。

網路安全:人工智慧持續監控網路流量,辨識可疑活動,並自主回應威脅。

2. 資料保護:

GenAI 語意能力:GenAI 可以辨識資料中的情緒、實體、關係、主題,甚至移動動作。這有助於資料分類和保護。

自動錯誤修復:人工智慧可以自動偵測並修復軟體錯誤,減少漏洞。

3. 實體安全:

生物辨識身份驗證:人工智慧透過使用臉部辨識、語音辨識或行為生物辨識等方法準確驗證使用者身分來增強安全性。

行為分析:人工智慧監控人類行為(例如在監視影片中)以檢測異常或潛在威脅。

網路安全(again):人工智慧也透過監控存取控制系統、攝影機和警報在實體安全中發揮作用。

人工智慧增強閉路電視監控的令人興奮的未來

Microsoft Vision Studio 與 GenAI 的結合聽起來像是徹底改變監控系統的有效組合。利用人工智慧進行視訊和影像處理(包括描述、識別和異常檢測)而無需嚴重依賴預定義場景或大量預訓練資料的能力是有前途的。它為更具適應性和反應能力的監控系統提供了可能性,可以更好地處理現實世界的場景。此外,實現出色的「開箱即用」結果表明部署具有高水準的有效性和效率。看到這種整合如何發展及其對依賴監控技術的各個行業的影響將是令人興奮的。

我親眼目睹了出色的「開箱即用」結果。

睡前故事的終結?

有趣的是,人工智慧的進步確實可能改變睡前的例行活動。想像一下,由人工智慧擔任睡前故事圖畫書的講述者!

人工智慧增強網路攻擊

人工智慧(AI)和網路攻擊的交集是一個日益受到關注的議題。讓我們深入探討人工智慧網路威脅的一些要點:

  1. 網路攻擊中的進攻性人工智慧:

網路犯罪分子越來越多地利用人工智慧演算法來增強他們的攻擊。這種現像被稱為「進攻性人工智慧」。

例如使用人工智慧掃描和識別易受攻擊的目標、自動收集資料以及開發可以逃避偵測的惡意軟體。

  1. Deepfakes 和社會工程:

據廣泛報導,一名財務人員透過與「財務長」的深度偽造視訊通話被騙了 2,500 萬美元。

一家未透露姓名的跨國公司的一名駐香港財務員工成為深度造假騙局的受害者。在公司視訊通話中,詐騙者冒充公司財務長和其他幾名員工。該員工確信自己正在與同事互動,於是按照假財務長的指示,透過 15 筆轉帳將資金匯入多個銀行帳戶。

  1. 攻擊人工智慧本身:

駭客不僅針對人類作業系統,也針對人工智慧模型本身。

人工智慧模型(例如大型語言模型, LLM)及其流程很容易受到攻擊。

威脅行為者可能會針對公司甚至個人的人工智慧模型,這可能會擾亂他們的營運。

含有老鼠藥的食物收據

在先前的一場研討會上,主持人在開源人工智慧網站 Huggingface.co上進行了現場示範,展示了一個中毒的人工智慧模型在食品收據中回覆了「老鼠藥」為其中一個成分,突顯了相關風險。

最後的想法

生成式人工智慧為各領域開闢了新的可能性。然而,其快速成長也伴隨著電力消耗和運算能力方面的重大挑戰。它可以持續嗎?有什麼代價?


(本文授權非營利轉載,請註明出處:CIO Taiwan)

標籤: AICIO版權生成式AI網路攻擊資料安全
上一篇文章

英特爾落敗 大家可以學到什麼教訓?

下一篇文章

NETGEAR 多元產品齊發 搶攻 AI 商機

相關文章

AI 代理人應用於銀行法遵的價值與導入關鍵
專欄

AI 代理人應用於銀行法遵的價值與導入關鍵

2026-11-20
AI 會寫程式,誰還需要工程師?
專欄

AI 會寫程式,誰還需要工程師?

2026-11-14
人工智慧與資料品質
專欄

人工智慧與資料品質

2026-11-13
下一篇文章
1200x630 Netgear (1)

NETGEAR 多元產品齊發 搶攻 AI 商機

2026 Elite Vendor

追蹤我們的 Facebook

近期文章

  • AI 代理人應用於銀行法遵的價值與導入關鍵
  • AI 自己會寫程式,未來真的不需要工程師了嗎?解析軟體開發的大變革!
  • 半導體擴廠人才荒 Profet AI 助企業擴大專家量能
  • 中華電信建置 30 處備援站臺 強化雲林防救災通訊韌性
  • 雲林培育 2,900 人次智慧農業人才 推動 AI 導入與產業升級

📈 CIO點閱文章週排行

  • AI 自己會寫程式,未來真的不需要工程師了嗎?解析軟體開發的大變革!

    0 分享
    分享 0 Tweet 0
  • 平台業者個資外洩 消費者問責品牌商

    0 分享
    分享 0 Tweet 0
  • 強化金融資安韌性 金管會:聚焦 AI 攻擊與代理 AI 安全

    0 分享
    分享 0 Tweet 0
  • 國科會定調九大科技議題 推動 AI 產業化與供應鏈韌性

    0 分享
    分享 0 Tweet 0
  • 台灣數位資產與未來資本市場協會成立 布局代幣化金融基礎設施

    0 分享
    分享 0 Tweet 0
  • 【調查報告】GTIG 首度揭露無人介入漏洞利用 AI 代理自主發動攻擊

    0 分享
    分享 0 Tweet 0
  • 【專訪】合作金庫銀行電子金融部協理潘雲霞:以信任與治理 邁向可信賴 AI

    0 分享
    分享 0 Tweet 0
  • 【專訪】國泰金控數位數據暨科技發展中心副總經理陳維銘

    0 分享
    分享 0 Tweet 0
  • 【專訪】台北富邦銀行執行副總經理暨數位金融總處長陳弘儒:全行 AI 能力,打造金融生態圈

    0 分享
    分享 0 Tweet 0
  • AI 網攻擴大企業受害 72 小時內應變成資安關鍵

    0 分享
    分享 0 Tweet 0

數位及平面

  • CIO Taiwan 網站
  • CIO 雜誌紙本
  • CIO 雜誌 HYREAD 版
  • CIO 雜誌 Zinio 版

關注社群

  • Line 加入好友
  • Facebook 粉絲頁

合作夥伴

  • CIO 協進會

關於我們

  • 公司介紹及工作機會
  • 隱私權政策

旗訊科技股份有限公司|統編:84493719|台北市 100 中正區杭州南路一段 15-1 號 19 樓|TEL: 886-2-23214335
Copyright © Flag Information Co.,Ltd. All Rights Reserved.

CIO Taiwan 歡迎你回來!

可用 使用者名稱 或 Email 登入

忘記密碼 註冊

歡迎註冊 CIO Taiwan 網站會員

請設定 Email 及 使用者名稱(使用者名稱不接受中文、將來無法更改)

欄位皆為必填 登入

找回密碼

請輸入 使用者名稱 或 Email 以重設密碼

登入
  • 登入
  • 註冊
沒有結果
查看所有結果
  • 活動
  • 影音
  • 產業速報
  • 新聞速寫
  • 風雲人物
  • 產業瞭望
  • 專欄
  • 精選文章
  • 原生現場
  • 供應商視野
  • 線上調查
  • CIO 雜誌
  • 電子報
  • 下載
  • 聯繫我們

© 2020 CIO Taiwan 版權所有

7/28 活動延期通知

因高雄市政府於7/28早上宣布全日停班停課,因此「智慧醫療研討會高雄場」活動延期舉辦。主辦單位將另行公告研討會相關訊息,歡迎報名參加!

您已閒置超過 3 分鐘了,為您推薦其他文章!點擊空白處、ESC 鍵或關閉回到網頁

【影】自駕車商用化還缺哪一哩路?從法規沙盒到全生命週期安全管理

整理/鄭宜芬 當 AI、感測器與車聯網加速改寫交通樣貌,自駕車能否真正走進日常,

2027 CIO Insight 調查報告(4)科技採用:科技採用指數越高者 AI 越看得見導入效益

依據科技採用指數分群,前段企業特徵:設有 AI 負責人、治理框架較早到位、做不下

SBOM 都備齊了,判定產品未受影響就能結案嗎?

判定產品未受影響,要說得出為什麼,也要知道哪些變動會讓原來的結論失效 文/游政卿

數據治理為 AI 規模化的基礎

產業別之數據治理特性:製造業 台灣約有超過半數企業尚未完全建立能支撐 AI 規模

2027 CIO Insight (2) AI 就緒與效益:八成 CIO 看好 AI,只有一成認為已準備好

對 AI 前景樂觀的 CIO 占八成,認為公司已準備好規模化的只有一成二;效益多

AI Agent 帶動攻擊自動化 台灣資安通報應變年會聚焦攻防新戰局

整理/鄭宜芬 隨著生成式與代理式 AI 快速發展,資安攻擊手法正朝自動化、精準化

強化金融資安韌性 金管會:聚焦 AI 攻擊與代理 AI 安全

整理/鄭宜芬 金融監督管理委員會於 12 日召開 2026 年度第 2 次金融機

【專訪】合作金庫銀行電子金融部協理潘雲霞:以信任與治理 邁向可信賴 AI

「沒有治理的 AI 是風險,有治理的 AI 才是資產。」合作金庫高度重視相關治理

鴻海科技日揭示 AI Factory 布局 從超級運算、AI Agent 到智慧製造

採訪/鄭宜芬 2026 鴻海科技日(Hon Hai Tech Day,HHTD2

文章分類

  • 產業速報
  • 專欄
  • 影音
  • 風雲人物
  • CXO分享
  • 產業瞭望
  • 原生現場
  • 精選文章
  • 趨勢分析
  • 供應商視野
  • 新聞速寫
  • 下載
  • Sponsors

熱門標籤

  • 最新文章
  • 雲端運算
  • 人工智慧
  • 數位轉型
  • 製造業
  • 物聯網
  • 資料與分析
  • 資安
  • 區塊鏈
  • 5G
  • 儲存
  • 基礎架構

活動

  • CIO價值學院 四堂課
  • 智慧醫療研討會 台北/高雄場
  • 金融科技高峰會 春季/秋季場
  • 製造業CIO論壇 台北/台中/高雄場
  • 商業服務科技論壇
  • 亞太CIO論壇
  • CISO資安學院 金融/醫療/新竹場
  • CIO Insight 調查

影音

  • 影音