作者深入分析了生成式人工智慧（GenAI）的優勢與風險。認為 GenAI 在提升網路安全、資料保護和實體安全方面具有巨大潛力，但也提醒人們關注其可能被用於網路攻擊的風險。
文／屠震
我從未對人工智慧的新進步和潛力感到如此興奮，尤其是生成式人工智慧的快速採用。我的博士研究圍繞著人工智慧和影像機器學習展開，由著名的 Ernest H. Hall 博士指導。
我的論文重點是機器學習和優化中的遺傳演算法。在那段時間，Image AI 被用來協助機器人對 Fernald 場地進行清理和環境整治，該場地曾經是俄亥俄州辛辛那提附近的鈾處理設施。此外，影像人工智慧也用於檢查製造零件是否有缺陷。然而，畢業後，我卻遭遇了當時最大的機器人公司之一辛辛那提米拉克龍（Cincinnati Milacron Inc.）被出售的失望之情。這阻礙了我對影像人工智慧的直接追求。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ，與全球CIO同步獲取精華見解 ]
但我一直從事人工智慧影像處理領域，並認識到將 Microsoft Vision Studio 平台與 GenAI 結合所產生的巨大潛力。它們共同提供視訊和圖像描述、識別和異常檢測功能，而無需像傳統人工智慧中常見的那樣依賴使用標記資料的預訓練。
Microsoft Vision Studio 平台提供了分析視覺內容的進階功能。它可以描述動態視訊和靜態圖像，並將其轉換為自然語言描述。結合GenAI語意理解能力，它可以提供視訊/影像描述、識別和異常檢測，而無需像傳統人工智慧那樣對標記資料進行任何預先訓練。
GenAI 採用趨勢揭示了重大轉變。 2023 年，只有一小部分公司（不到 5%）在生產環境中使用 GenAI API 和模型。然而，預計到了 2026 年會有超過 80% 的公司將在各種應用中採用 GenAI。
2024 年 Gartner CIO 調查顯示，約 34% 的 IT 領導者（CIO）計劃在未來 12 個月內部署 GenAI。
採用率的激增反映出人們對 GenAI 能力的信心不斷增強。企業正在使用它，安全專業人員正在利用人工智慧進行保護，攻擊者正在利用人工智慧來達到自己的目的。
我們發現自己身處在一個人工智慧賦能的世界，各方都在進行一場貓鼠競賽。正如有人曾經說過的，科技本身並沒有本質上的好壞。這完全取決於我們如何使用它。就像炸藥、核能或網路一樣。
不同平台達到 1 億用戶的過程差異很大，從閃電般的採用（例如，ChatGPT 在 2 個月內）到多年的穩定增長（例如，YouTube 需要 4 年零 1 個月，Facebook 需要 4 年 6 個月）。
關於人工智慧和安全性，需要考慮兩個主要問題：利用人工智慧來增強安全性和人工智慧的安全使用。
- 人工智慧的安全使用
本主題涉及確保人工智慧使用的安全性。
- 避免在對話中共享敏感或機密訊息
有關限制存取 OpenAI 的 ChatGPT 的公司的新聞報導已被廣泛報導。雖然像 ChatGPT 這樣的人工智慧聊天機器人非常有幫助，但共享敏感資訊確實存在風險。
以下是一些現實世界的例子：
‧三星 ChatGPT 洩漏：三星員工在使用 ChatGPT 工作時意外分享機密資訊。在一個例子中，一名員工將機密原始程式碼貼到聊天中以檢查是否有錯誤。另一位員工與 ChatGPT 共享程式碼並請求程式碼優化。第三位員工甚至分享了會議錄音，並將其轉換為簡報筆記。不幸的是，這些資訊現在已經洩漏出去了。
‧微軟：儘管微軟已經投資了OpenAI，但出於安全和數據的考慮，它短暫限制了員工存取OpenAI的ChatGPT。
‧新聞媒體：例如《紐約時報》、CNN、路透社和澳洲廣播公司（ABC）已阻止 OpenAI 的 GPTBot 存取其內容。
上述行動表明，當人工智慧模型從得到的數據中學習時，公司意識到專有內容可能被濫用或意外暴露。
理解並尊重版權 Copyright and Copyleft
讓我們深入研究版權和公共版權（Copyleft）的概念，特別是在人工智慧和技術的背景下。
1. 版權（Copyright）與人工智慧：
版權是一個法律概念，授予創作者對其原創作品的專屬權。這些作品可以包括文學、藝術、音樂和其他創意表達。
人工智慧（AI）的興起引發了有關版權的有趣問題。例如，當人工智慧系統產生內容（例如文字、圖像或音樂）時，誰擁有版權？
近日，OpenAI 面臨《紐約時報》（NYT）侵害著作權的訴訟。 《紐約時報》聲稱 OpenAI 在未經同意的情況下使用了其內容。 OpenAI 的辯護是基於合理使用的概念。
2. Copyleft 與人工智慧：
Copyleft 授權允許創作者授予其他人在特定條件下使用、修改和分發其作品的權利。
最著名的 Copyleft 授權是適用於軟體的 GNU 通用公共授權（GPL）。
當應用於人工智慧時，copyleft 授權可確保衍生作品（基於人工智慧模型）保持開源且可免費存取。
在某些情況下，公司出於版權問題而限制開源人工智慧的使用，因為公司可能會為開源人工智慧模型添加專有功能或增強功能。如果他們發布這些擴展，他們就有必須在同一個 Copyleft 許可證下共享它們的風險。
AI 應用開發與資料保護指引
1. 存取權限和資料分類：
這是生成式AI與資料（需要知道）控制之間的主要衝突。
●資料治理重點：
‧資料擁有者：權限管理, 需要知道, 遵循資料分類指引。
‧資料使用者：身份驗證與授權。
●產品特性：
‧可追溯性：能夠追溯資料來源與資料擁有者（提供保證）。
‧問責性：具備稽核追蹤以提供AI決策背後的合理性（提供保證）。
‧滿足公司日誌保留要求（包括日誌的處理和銷毀）。
‧遵循公司認證與授權實務（包括資料擁有者與資料使用者）。
‧遵循公司資料分類政策以防止資料外洩。
‧遵守公司資料隱私法規。
●系統間整合重點：
‧API 控制與身份驗證。
‧可追溯性與問責性必須貫徹執行。
2. AI準確性和測試：
人工智慧結果可能並不總是準確的。人工智慧模型從資料中學習，其效能取決於訓練資料的品質和多樣性。
軟體測試（包括人工智慧系統）可以識別錯誤和問題，但並不能保證所有的錯誤將不存在。由於數據中看不見的模式或偏差，人工智慧模型可能會表現出意想不到的行為。
嚴格的測試（包括邊緣案例和對抗場景）對於發現潛在問題至關重要。模糊測試、壓力測試和模型驗證等技術很有價值。
[ 推薦文章：安全管理觀念正確的心態 ]
在生產中部署人工智慧驅動的軟體會帶來安全挑戰。
●使用人工智慧時的其他關鍵考慮因素
‧偏見與公平
‧隱私保護
‧模型可解釋性
‧合乎法規
‧保護人工智慧模型
人工智慧增強安全性
它涉及利用人工智慧來增強商業和生活幾乎各個方面的安全性，在這裡我將分享在網路安全、資料保護和實體安全方面的用法。
GenAI 的語意理解能力擅長辨識情緒分析、實體辨識、關係提取、主題建模和動作辨識等各個面向。
讓我們來詳細分析一下人工智慧如何增強各個領域的安全性：
1. 網路安全：
威脅偵測和預防：人工智慧分析大量數據以識別顯示網路威脅的模式。它透過識別可疑行為來幫助防止攻擊發生。
異常檢測：人工智慧演算法發現系統或網路內的異常活動。例如，異常登入模式或未經授權的資料存取會觸發警報。
預測分析：透過分析歷史數據和趨勢，人工智慧可以預測潛在的漏洞。組織可以根據這些見解主動加強防禦。
自適應安全措施：人工智慧驅動的系統隨著威脅的發展即時動態調整安全協定。
網路安全：人工智慧持續監控網路流量，辨識可疑活動，並自主回應威脅。
2. 資料保護：
GenAI 語意能力：GenAI 可以辨識資料中的情緒、實體、關係、主題，甚至移動動作。這有助於資料分類和保護。
自動錯誤修復：人工智慧可以自動偵測並修復軟體錯誤，減少漏洞。
3. 實體安全：
生物辨識身份驗證：人工智慧透過使用臉部辨識、語音辨識或行為生物辨識等方法準確驗證使用者身分來增強安全性。
行為分析：人工智慧監控人類行為（例如在監視影片中）以檢測異常或潛在威脅。
網路安全（again）：人工智慧也透過監控存取控制系統、攝影機和警報在實體安全中發揮作用。
人工智慧增強閉路電視監控的令人興奮的未來
Microsoft Vision Studio 與 GenAI 的結合聽起來像是徹底改變監控系統的有效組合。利用人工智慧進行視訊和影像處理（包括描述、識別和異常檢測）而無需嚴重依賴預定義場景或大量預訓練資料的能力是有前途的。它為更具適應性和反應能力的監控系統提供了可能性，可以更好地處理現實世界的場景。此外，實現出色的「開箱即用」結果表明部署具有高水準的有效性和效率。看到這種整合如何發展及其對依賴監控技術的各個行業的影響將是令人興奮的。
我親眼目睹了出色的「開箱即用」結果。
睡前故事的終結？
有趣的是，人工智慧的進步確實可能改變睡前的例行活動。想像一下，由人工智慧擔任睡前故事圖畫書的講述者！
人工智慧增強網路攻擊
人工智慧（AI）和網路攻擊的交集是一個日益受到關注的議題。讓我們深入探討人工智慧網路威脅的一些要點：
- 網路攻擊中的進攻性人工智慧：
網路犯罪分子越來越多地利用人工智慧演算法來增強他們的攻擊。這種現像被稱為「進攻性人工智慧」。
例如使用人工智慧掃描和識別易受攻擊的目標、自動收集資料以及開發可以逃避偵測的惡意軟體。
- Deepfakes 和社會工程：
據廣泛報導，一名財務人員透過與「財務長」的深度偽造視訊通話被騙了 2,500 萬美元。
一家未透露姓名的跨國公司的一名駐香港財務員工成為深度造假騙局的受害者。在公司視訊通話中，詐騙者冒充公司財務長和其他幾名員工。該員工確信自己正在與同事互動，於是按照假財務長的指示，透過 15 筆轉帳將資金匯入多個銀行帳戶。
- 攻擊人工智慧本身：
駭客不僅針對人類作業系統，也針對人工智慧模型本身。
人工智慧模型（例如大型語言模型, LLM）及其流程很容易受到攻擊。
威脅行為者可能會針對公司甚至個人的人工智慧模型，這可能會擾亂他們的營運。
含有老鼠藥的食物收據
在先前的一場研討會上，主持人在開源人工智慧網站 Huggingface.co上進行了現場示範，展示了一個中毒的人工智慧模型在食品收據中回覆了「老鼠藥」為其中一個成分，突顯了相關風險。
最後的想法
生成式人工智慧為各領域開闢了新的可能性。然而，其快速成長也伴隨著電力消耗和運算能力方面的重大挑戰。它可以持續嗎？有什麼代價？
(本文授權非營利轉載，請註明出處：CIO Taiwan)
