文／鄭宜芬
矽智財大廠 Arm 控股 26 日發布全球首個 Armv9 邊緣 AI 運算平台，以全新 Arm Cortex-A320 CPU 和領先的邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心，支援運行超過 10 億個參數的邊緣端 AI 模型，將 AI、ML 處理技術及安全功能擴展至邊緣端，涵蓋高效能設計到電源效率最佳化的裝置，吸引AWS、西門子和瑞薩電子等多家企業合作。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ，與全球 CIO 同步獲取精華見解 ]
看準邊緣端的 AI 運算需求，Arm 資深副總裁暨物聯網事業部總經理 Paul Williamson 表示，AI 的革新已不再侷限於雲端。隨著世界的互聯和智慧化水準的日益提升，從智慧城市到工業自動化，在邊緣端處理 AI 工作負載不僅帶來顯著的優勢，其必要性更是不可或缺。專為 IoT 打造的 Armv9 邊緣 AI 運算平台，代表此發展進入重要的里程碑。
隨著 IoT 愈來愈普及，帶動運算需求上升，例如自動駕駛汽車精準導航、智慧相機功能升級，以及更自然的 AI 人機界面。
此次發佈的運算平台整合了全新高效率 Armv9 CPU—Cortex-A320 和支援 Transformer 運算子網路的 Ethos-U85 NPU。相較於去年推出的基於 Cortex-M85 的平台，新平台的 ML 效能提高了 8 倍。適用於工業自動化、智慧相機等領域。Arm Kleidi 也擴展至 IoT 領域，效能提升 70%，協助2,000 多萬名開發人員簡化邊緣 AI 開發流程。
[ 推薦閱讀：Arm執行長Rene Haas將在COMPUTEX 2024聯名活動發表主題演講 ]
為下一代智慧 IoT 裝置提供安全基礎
Cortex-A320 擁有 Armv9 架構的優勢，例如針對 ML 效能的 SVE2，與前代 Cortex-A35 相比，Cortex-A320 的 ML 效能提升十倍，純量效能提升 30%。
該平台所採用的 Armv9.2 架構為最小的 Cortex-A 裝置，引入了指標驗證 （PAC）、分支目標識別（BTI）和記憶體標籤擴充（MTE）等安全功能，有助於在暴露環境中保護邊緣裝置處理的敏感資料。
邊緣 AI 普及面臨的最主要障礙之一就是軟體發展和部署的複雜性。Arm 將 Arm Kleidi 擴展到IoT，簡化 AI 和 ML 工作負載的部署，無需開發人員額外操作。KleidiAI 已整合至 Llama.cpp、ExecuTorch 和 LiteRT 等 AI 框架中，提升Meta Llama 3 和 Phi-3 模型效能達 70%。
該平台能夠支援在基於代理人的 AI 應用上運行經過調校的 LLM 和 SLM，開闢全新的邊緣應用場景。在未來的場景中，智慧決策將更接近資料獲取源頭，可減少延遲時間，解提升隱私保護水準。
Arm 亞太區 IoT 市場資深經理黃晏祥表示，邊緣 AI 目前主要應用於非 LLM 領域，例如影像辨識或線性模型，但預估 1 年半到 2 年內，基於 LLM 的邊緣 AI 會越來越普及，能夠以文字或語音指令操作邊緣 AI 裝置，或透過聲音辨識進行安全監控。
Arm 應用工程總監徐達勇表示，A320 定位於邊緣 AIoT 市場，適用於智慧零售、智慧工廠、智慧城市及智慧家庭等多種場景，A320 的推出助於加速邊緣 AI 的普及。
亞馬遜網路服務公司 IoT 技術負責人 Yasser Alsaied 表示，新平台為 AWS 的客戶實現在 Armv9 技術上運行 AWS IoT Greengrass 的輕量裝置運作環境— Nucleus Lite，幫助邊緣裝置以較低記憶體需求運行，適用於精準農業、智慧製造和自動駕駛的異常檢測等應用場景。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
