AI 扮演驅動全球經濟成長的重要核心引擎。然若要真正釋放完整潛能，無法單僅依靠強大模型與硬體，軟體才是關鍵中的關鍵。Arm 正從多元方向著手，並將 AI 功能融入 Armv8/v9 等架構之中，達到降低開發門檻的目的。
採訪／施鑫澤‧文／林裕洋
隨著被譽為 AI 2.0 的生成式 AI，在搭配大語言模型之後的驚人效益，成為各產業推動數位轉型的重要核心。想要真正釋放 AI 的完整潛能，無法單僅依靠強大模型與硬體，軟體才是關鍵中的關鍵。
從模型訓練、部署到日常運行與治理，軟體扮演連接演算法與真實世界的樞紐角色，以更輕量、更有效率的方式，達到降低整體耗能。在 Arm 公布「Why software is crucial to achieving AI’s full potential（為何軟體對實現 AI 完整潛力如此重要）」報告中指出，隨著 AI 推論工作負載持續快速成長，CIO 必須思考工程與營運團隊是否能夠以夠快的速度，推出具備 AI 和機器學習能力並以客戶需求為導向的新產品，而軟體正扮演重要關鍵。
Arm 應用工程總監徐達勇說，目前 AI 已走出預測性文字、分析及影像處理等熟悉領域，跨入內容生成、AI 智慧代理，以及自駕車與智慧工廠等嶄新場景。應用開發人員站在創新的最前線，即透過以 AI 推論為基礎，讓服務與產品脫穎而出，從大量的音訊、影像與文字資料中挖掘洞察。
徐達勇進一步說明，我們也察覺到現行 AI 應用服務開發流程，存在支離破碎、專有軟體堆疊導致綁定與效率低、跨平台搭配等問題，所以 Arm 正全力推動標準化、開源、模組化的軟體開發流程，透過 KleidiAI、GitHub Runners、Linaro OneLab、PSA Certified 等工具與生態協作方式，達到簡化開發流程，同時將 AI 功能融入 Armv8/v9 等 CPU 架構之中，達到降低開發門檻的目的。
建構開源開發架構 推 KleidiAI 函式庫
過去十年間 CPU 架構的演進，已能處理各類 AI 工作負載，例如 Armv8 與 Armv9 架構，無論部署於雲端或邊緣裝置，都能提供穩定效能。儘管 AI 與 ML 應用中常見的 GPU 與 NPU 運算加速器等具備強大效能，卻也面臨代價高昂、開發門檻高。
若進一步分析現今 AI 應用開發挑戰，還有開發流程、硬體兼容性與生態系整合的三重壓力。首先，開發者在跨平台部署 AI 模型時，經常面臨 INT8、BF16 等資料類型不相容問題。若這些新型資料格式無法被不同平台支援，不僅會導致模型移植失敗，也會延宕產品上市時程。這代表開發者必須額外編寫專用程式碼或綁定特定供應商，使得整體軟體堆疊複雜度增加。
其次，由於 AI 處於應用初期，不同硬體供應商尚未整合成主流平台，導致開發者無法「一次開發、多處部署」，如同早期 Kubernetes 在雲端平台兼容性不佳時的痛點。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 IG，與全球CIO同步獲取精華見解 ]
徐達勇指出，若企業開發團隊採用高度客製化的開發流程，那最終可能會被某個特定供應商綁住。與其如此，不如避免依賴某項特定硬體、雲端服務供應商（CSP）或軟體平台，採用具備良好硬體抽象能力的開源 AI 框架，能最大程度降低靈活性的損失。如 Arm KleidiAI 函式庫可整合 PyTorch、MediaPipe、ExecuTorch 等多個主流 AI 框架，協助開發者在高效能 CPU 平台上實現 AI 加速，無需額外投入人力。
AI 部署模式改變 強化邊緣架構安全
AI 真正價值不在於「能做什麼」，而在於「部署在哪裡」。過往企業多將 AI 模型運行於雲端平台，但如今邊緣部署（Edge AI）正迅速崛起，如智慧型手機、筆電到工廠內部伺服器等，也帶動部署架構的改變。此種多層次部署模式雖可提升運算效率與即時反應能力，也讓資料控制邊界變得更模糊，對企業 IT 架構與資安策略帶來新挑戰。
因此，不少公司開始將大語言模型部署到本地端，避免發生將機密資料送上公有雲端，只是後續也得面臨設備維護與安全更新的長期成本。
目前多數臺灣企業仍處於部署策略調整期，即從由 ERP 為核心轉向超融合架構與 API 化服務，SaaS 模式日益普及。這帶來「Shadow IT／ AI」風險，即員工可能私自使用雲端工具、傳送資料至 AI 模型，違反內部資安政策。因此，CIO 不僅需建置技術防線，也需推動制度教育與風險意識管理。
「未來大量 AI 模型將部署在壽命長達數年的邊緣裝置上，因此採用一致、標準化的方法部署與維護模型變得至關重要。」Arm 首席應用工程師林宜均解釋：「Arm 在其 Armv9 架構中導入硬體級可信任執行環境（TEE），能將資料與應用程式隔離，即使系統層出現風險，資料仍可安全防護。」
打造開放生態系 滿足企業發展需求
隨著 AI 投資加速成長，企業領導者對「軟體投資」的重視程度已大幅提升。根據去年中 IDC 發布「Worldwide Artificial Intelligence and Generative AI Spending Guide」指出，在全球 AI 與生成式 AI 支出中，軟體支出將占比高達 57%，這代表 AI 價值核心轉向「軟體層」。
面對軟體角色日益吃重，Arm 建議企業從三大面向著手。首先是「選擇正確的工具與平台」，企業應避免過度客製化或綁定某一家雲端供應商。開源框架（如 PyTorch）搭配支援度高的平台（如 Arm CPU）能提升靈活性與延展性。再者，Arm 不僅整合硬體功能，也與開源社群緊密合作，確保軟體最佳化執行效能。
其次則是「依應用場景進行硬體最佳化配置」。由於不同 AI 應用對硬體資源的需求差異極大，為因應這些多樣化需求，Arm 提出「特定運算（Specialized Computing）」策略，讓企業能根據自身工作負載配置最合適的資源。
徐達勇表示，最後則是落實「跨部門協作與風險治理」。在 AI 與大數據應用高度重疊的背景下，CIO 必須打破部門界線，與研發部門共組資料治理與資安規範。這不僅涉及開源使用（如管理 S-BOM），也關乎資安長如何管理「產品」與「集團」的雙重安全任務。AI 軟體開發本質已非單一部門任務，而是涵蓋從基礎建設、應用設計、資安治理到業務整合的全方位挑戰，企業成功關鍵在於讓 IT 架構支援業務彈性、讓軟體工程師專注創造價值，並讓 AI 更安全落地。
[ 推薦文章：組織轉型 驅動企業 AI 規模化 ]
面對軟體重要性日增，Arm 技術與生態系以開放標準、硬體抽象以及對新興框架的相容性為核心，協助企業為未來的 AI 開發做好準備，讓企業能順利因應 AI 工作負載與基礎架構的未來演進。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
