當前市場從 AI 訓練（使用正確資料準備 ML 機器學習模型的做法）大幅轉向推論（在生產環境中使用模型來應用知識或進行預測的實務）的趨勢，帶動了邊緣 AI 的成長。不僅如此，集中式雲端基礎設施難以避免之單點故障災難性風險，更加速了邊緣 AI 的發展之勢。
編譯／酷魯
在 2025 年 10 月，AWS 因單一技術故障而導致停機近 24 小時，數千家公司陷入黑暗。僅初步估計的保險損失就可能達到 5.81 億美元，預計總財務影響可能高達數千億美元。
除了中斷風險外，據調查，此後一年內，共價值 640 億美元的新資料中心專案，還會因電力限制、互連瓶頸和監管障礙而被阻止或延遲。在高達 1/5 的資料中心計畫面臨重大延遲後，勢必會對市場殷切期盼的 AI 算力需求造成嚴重衝擊。
正因為如此，一場大規模的轉變正在進行：預計在未來幾年內，近 2/3 的運算將轉移到邊緣。今後會有更多資料交由邊緣 AI 處理，並在資料生成和最需要的地方（例如物聯網感測器、5G 路由器、本地端裝置）運行 AI 模型，而不是在遙遠的資料中心。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 LinkedIn，與全球CIO同步獲取精華見解 ]
與其將大量資料流發送到遠端資料中心，不如在靠近終端使用者端的裝置（無論是智慧型手機、車載系統還是客戶端的伺服器）上進行 AI 訓練和部署。這種近接性（Proximity）有許多優點：它縮短了延遲，保證了在惡劣環境中的韌性，並透過將敏感資料保留在本地來強化隱私，同時實現即時決策。除了營運效益外，邊緣 AI 對電力使用也有重大影響。避免了向雲端傳輸資料，也限制了耗電基礎設施的使用，也有助系統碳足跡的降低。
尤其在自駕車中，這些系統必須在僅僅幾毫秒內分析來自多個感測器的資料、檢測障礙物、分類物體並計算軌跡。雲端無法安全地滿足這種快速處理的需求。透過在車輛上或附近資料中心執行的邊緣 AI 推論，能夠實現延遲最小化並確保資料完整性，同時減少網路流量，進而降低能源使用。
不論如何，對於會將停機視之為災難的產業來說，邊緣 AI 就是生存之道。預計未來十年將有超過 7 兆美元投資於 AI 基礎設施，今後這些錢顯然不會像過去一樣全部傾注在雲端運算上，勢將會有愈來愈大的比重投放在邊緣運算上。
安全主權邊緣 AI 克服當前數位 Infra 四大趨同的崩潰點
當前數位基礎設施正面臨四大崩潰點，傳統雲端運算無法解決，唯有安全、主權式邊緣 AI 才能有效因應。
首先，AI 運算容量的需求正在爆炸式增長，但來自資料中心的供應卻因為電網限制及監管要等因素將面臨長達數年的延遲而導致停滯不前。透過分散運算並將其放置在更靠近需要的地方，安全邊緣 AI 能以指數級速度更快地擴充容量，同時主權式 AI 並且能讓人們擁有自己的 AI。
如今數位生態系統即使擁有強健的混合架構，但關鍵服務仍然依賴於共享的雲端平台和網路基礎設施，這使得中斷難以避免。透過安全主權式邊緣 AI，便能將工作負載分散到許多本地節點或專用節點，進而減少中斷事件的影響範圍。
再者，當瞬間決策決定結果時，基於雲端的處理會帶來昂貴的延遲。安全的邊緣處理能將運算保持在來源處，實現集中式雲端模型無法實現的真正即時決策。
最後，儘管國家級攻擊者不會區分超大規模資料中心和微型邊緣運算節點，但安全邊緣 AI 則能透過將實體分散與同步式微邊緣備援叢集的結合來加強防禦。這限制了任何單一站點中斷的影響，並減少了協同攻擊的可操作影響範圍。當與國家安全級網路保護相搭配時，安全邊緣環境將獲得更強大的防禦模型，該防禦可從邊緣資料中心延伸到為它們提供資料的端點和裝置。其結果打造了一個更具韌性，且將分散式基礎設施和為現代先進威脅設計之下一代數位安全相結合的架構。
邊緣 AI 成長之促因
Red Hat 邊緣專案管理資深總監 Joshua David 表示：「邊緣 AI 熱潮背後的主要驅動力是對即時資料處理的關鍵需求。」這有助於在來源處直接做出即時決策。
企業資料管理暨整合公司 Informatica 產品管理副總裁 Sumeet Agrawal 持同樣意見地表示：「對邊緣 AI 的興趣正在經歷大規模成長。」降低延遲是其中一個關鍵因素，特別是在工業或汽車產業中，毫秒級的決策至關重要。
開源應用平台供應商 Temporal Technologies 資深軟體工程師兼 AI 技術主管 Johann Schleier-Smith 表示：「隱私是一個強大的驅動力。」對於醫療保健或金融等受到嚴格監管的行業，在本地處理此類敏感資訊，有合規上的必要性。
開源軟體公司 SUSE 邊緣業務部門副總裁兼總經理 Keith Basil 表示，製造業正在探索邊緣 AI 的各種使用案例，從為生產線運行大型伺服器到處理來自小型感測器的資料。
根據 Rockwell Automation 的資料，95% 的製造商已經投資或計劃在未來五年內投資 AI/ML、GenAI 或因果 AI（causal AI）。根據 2024 年 Intel 贊助的 CIO 報告，74% 的製造業領導者表示 AI 有潛力幫助他們增加營收。
此外，本地 AI 運算能帶來更重要的結果，那就是降低成本。Agrawal 解釋道：「這導致顯著的成本和頻寬最佳化，因為需要傳輸的資料更少。」
市值預估
Red Hat 的 David 表示，全球邊緣 AI 市場正處於陡峭的上升軌道，邊緣 AI 市場預計到 2034 年將攀升至 1,430 億美元的估值。
Informatica 的 Agrawal 表示：「強大、節能的 AI 處理器的進步，加上 IoT 裝置的激增也在推動這一趨勢，使複雜的 AI 模型能夠直接在邊緣裝置上運行。」
摩根士丹利官網一篇部落格文章也呼應這樣的趨勢指出，AI 產業正在進入「一個新的且可能更大的階段：AI 推論」。
相對於雲端 AI 推論，David 表示：「邊緣 AI 提供了幾個關鍵優勢，例如降低延遲、降低成本、增強安全性和隱私。」
有鑑於資料中心端較高的 AI 成本，IDC 預測，到了2027年，80% 的 CIO 資訊長將轉向雲端供應商提供的邊緣服務，以滿足 AI 推論的需求。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
