生成式 AI 從模型訓練邁向大規模推論，企業雲端基礎架構必須突破超集中式資料中心限制，朝核心至邊緣的混合分散式架構演進
文／Akamai
隨著生成式人工智慧（Generative AI）快速融入企業應用、數位服務與日常工作流程，AI 所帶來的基礎架構需求也正從模型訓練，進一步轉向高頻率、即時且分散的推論工作負載。Akamai 指出，傳統以大型集中式資料中心與密集 GPU 叢集為核心的雲端架構，雖然適合訓練大型基礎模型，卻未必能有效支援未來遍布終端裝置、企業系統與全球網路的 AI 推論需求。
Akamai 執行副總裁暨技術長 Robert Blumofe 表示，AI 不會取代雲端，但將從根本改變雲端的設計方式。尤其當大型語言模型、影像與影片生成模型，以及自主式 AI 代理逐漸成為應用程式的核心，雲端必須從高度集中化的運算模式，轉向更具彈性、分散性與工作負載導向的架構。
集中式 GPU 擴建難以承接全面性的 AI 推論需求
目前市場投入大量資本興建大型 AI 資料中心，並部署高密度 GPU 叢集，以支援大型模型的訓練與推論。然而 Akamai 認為，若將所有 AI 工作負載一律導向少數集中式運算中心，不僅成本與能源需求難以持續，也將受到網路距離、延遲與資料傳輸效率等物理限制。
當每一次生成式 AI 呼叫都必須跨越數千公里網路，再經過擁有數十億甚至上兆參數的模型處理，使用者將面臨更長的回應時間與更高的運算成本。這種架構若持續擴張，可能形成新一代的 AI 效能壅塞，使即時互動式應用難以規模化。
Akamai 指出，大型集中式 GPU 叢集仍然是訓練基礎模型，以及執行部分大型模型推論的重要基礎設施；但對多數具體、範圍明確的企業應用而言，採用規模較小的專用模型，並部署於成本較低的 GPU、CPU、企業私有環境或鄰近使用者的雲端節點，往往更符合效能與成本效益。
例如，汽車內用於控制空調與娛樂系統的 AI，並不需要具備回答所有知識問題的能力；協助病患預約牙醫的 AI 代理，也不需要使用能夠創作詩歌或分析大量影視內容的超大型模型。針對這類任務採用上兆參數模型，不僅增加成本，也將浪費大量運算與能源資源。
AI 代理的真正價值來自模型與工具協作
Akamai 認為，生成式 AI 的真正突破不僅是大型語言模型本身，而是模型能夠呼叫各種工具，進一步搜尋資訊、讀寫檔案、執行程式、查詢資料庫及串接應用程式介面（API）。
一個完整的 AI 代理並非單一大型模型，而是由語言模型、專用 AI 模型、傳統應用工具、資料庫、儲存系統及外部服務共同組成。大型語言模型主要負責自然語言互動、推理與任務協調，其他功能則應交由效率更高的既有工具處理。
例如，算術運算可由計算器完成，文字格式比對可使用正規表示式，路線規劃則可採用已成熟的最短路徑演算法。若所有工作都交由大型模型處理，可能以百萬瓦等級的基礎架構，執行原本僅需極少能源即可完成的任務。
因此，企業建置 AI 代理時，應將可由傳統軟體、演算法或 API 完成的功能保留於工具層，讓 AI 模型專注處理語意理解、決策與複雜推理等最具價值的任務。
Agentic AI 基礎架構本質上就是混合式架構
由於 AI 代理必須同時使用大型語言模型、企業應用、資料庫、API、儲存系統及網路服務，其基礎架構需求不可能由單一硬體或單一雲端環境滿足。
大型模型可能需要 GPU 加速，但代理所呼叫的企業工具多半仍運行於 CPU；存取歷史交易、使用者偏好或產品庫存時，需要大量儲存與資料庫資源；與外部網站、API 或其他 AI 代理互動，則需要持續且低延遲的網路連線。
因此，AI 代理的運算足跡本質上是 GPU、CPU、儲存與網路的動態組合。企業不應將所有 AI 工作負載強制部署至 GPU，也不應讓基礎架構限制應用設計，而應依據不同工作負載選擇最適合的模型、硬體與部署位置。
AI 代理將遍布裝置、桌面、企業雲端與網路邊緣
AI 代理不會只存在於少數大型資料中心。現有代理框架已可部署於個人電腦、企業環境、不同公有雲與邊緣裝置，並依需求連接集中式基礎模型或在本地執行的專用模型。
企業所建置的 AI 代理，也可能分別部署於內部資料中心、私有雲、公有雲、分支據點及鄰近客戶的運算節點。單一使用者指令背後，可能觸發語言模型、本地工具、遠端 API、資料庫與其他 AI 代理之間多次往返通訊。
隨著多代理協作與多模態互動逐漸普及，全球將形成高度互聯、持續運作且大規模分散的 AI 通訊網路。基礎架構必須部署在模型運行、工具執行以及使用者互動的實際位置，才能提供所需的低延遲、高頻寬與穩定連線。
未來雲端將形成從核心延伸至邊緣的分散式運算架構
Akamai 強調，集中式資料中心並不會消失。密集 GPU 叢集仍將持續支援模型訓練與部分高負載推論工作，但必須搭配高度分散的邊緣基礎架構，才能支援未來 AI 應用的實際運作模式。
未來的雲端不再只是位於少數核心資料中心的集中式資源，而將形成從核心、區域雲端、企業環境到網路邊緣的彈性運算連續體。不同規模的模型、工具與資料服務，可依效能、成本、資料主權及延遲需求，部署於最適合的位置。
Robert Blumofe 表示：「AI 時代所需要的雲端，必須更加智慧、靈活且高度適應不同工作負載。企業需要能夠自由組合 CPU、GPU、儲存與連線能力，並將這些資源部署在最符合應用需求的位置。雲端必須進化，以支援 AI 天生分散的運作模式，否則將難以承接快速成長的推論需求。」
Akamai 認為，面對 Agentic AI 帶來的新一波運算與通訊需求，產業不能只依賴持續擴建超大型集中式資料中心，而應以更具效率的模型選擇、混合運算及分散式雲端架構，建立能夠真正支援大規模 AI 推論的基礎設施。
