Akamai Inference Cloud 是業界首個全球規模的 NVIDIA AI Grid 實作，透過智慧化路由將 AI 工作負載分配至其邊緣、區域及核心基礎架構，以平衡延遲、成本與效能
文／Akamai
Akamai Technologies 於人工智慧發展歷程中達成重大里程碑，推出全球首個 NVIDIA AI Grid 參考設計的規模化實作。藉由將 NVIDIA AI 基礎架構整合至 Akamai 的基礎設施，並運用其網路上的智慧化工作負載編排，Akamai 旨在推動產業從孤立的 AI 工廠，邁向統一且分散的 AI 推理網格。
此舉標誌著 Akamai 於去年底推出的 Inference Cloud 演進過程中的重要一步。作為首家將 AI Grid 付諸營運的企業，Akamai 正部署數千個 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU，提供一個平台，使企業能夠以本地運算的即時響應性和全球網路的擴展規模，運行代理式 AI (agentic AI) 與實體 AI (physical AI)。
「AI 工廠是專為模型訓練和前沿模型工作負載而建的 — 而集中式基礎架構將繼續為這些應用場景提供最佳的 token 經濟效益，」Akamai 營運長兼雲端技術集團總經理 Adam Karon 表示。「但即時影像、實體 AI，以及高度並行的個人化體驗，要求在接觸點進行推理，而非往返於集中式叢集。我們的 AI Grid 智慧編排為 AI 工廠提供了一種向外擴展推理的方式 — 利用曾徹底改變內容傳遞的相同分散式架構，將 AI 工作負載路由至 4,400 個位置，在適當的時間、以適當的成本完成任務。」
『Token 經濟學』的架構
AI Grid 的核心是一個智慧編排器，作為 AI 請求的即時調度者。Akamai 將其應用程式效能優化的專業知識應用於 AI，此工作負載感知的控制平面透過顯著改善每個 token 的成本、首字響應時間 (time-to-first-token) 和吞吐量，來優化「token 經濟學」。
Akamai 的一大差異化優勢在於，客戶可透過其龐大的全球邊緣網路，存取經過微調或稀疏化的模型，這為長尾 AI 工作負載提供了巨大的成本和效能優勢。例如：
- 規模化成本效益：企業可透過自動將工作負載匹配至適當的運算層級，大幅降低推理成本。編排器應用語意快取和智慧路由等技術，將請求導向適當規模的資源，將高階 GPU 運算週期保留給真正需要的負載。其底層由 Akamai Cloud 提供支援，該雲端基於開源基礎架構建置，並提供慷慨的資料傳輸額度，以支援大規模、資料密集的 AI 作業。
- 即時響應能力：遊戲工作室可提供 AI 驅動的非玩家角色 (NPC) 互動，在毫秒內維持玩家的沉浸感。金融機構能在使用者登入至首頁畫面的關鍵時刻，執行個人化詐欺偵測和行銷推薦。廣播業者能即時為全球觀眾轉碼和配音內容。這些成果均由 Akamai 全球分散式邊緣網路驅動，該網路擁有超過 4,400 個配備整合式快取、無伺服器邊緣運算和高效能連線的位置，能在使用者接觸點處理請求，繞過依賴源站的雲端所帶來的往返延遲。
- 核心層級的企業級 AI：大型語言模型、持續後訓練和多模態推理等工作負載，需要只有專用基礎架構才能提供的持續性高密度運算。Akamai 由 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 驅動的數千個 GPU 叢集，為最繁重的 AI 工作負載提供集中的強大運算能力，以集中式規模補充分散式邊緣。
運算連續體：從核心到遠端邊緣
Akamai 基於 NVIDIA AI Enterprise 構建，並利用 NVIDIA Blackwell 架構和 NVIDIA BlueField DPU 實現硬體加速聯網與安全，能夠管理橫跨邊緣和核心位置的複雜服務層級協議 (SLA)：
- 邊緣（超過 4,400 個位置）：為實體 AI 和自主代理提供快速響應時間。它將利用語意快取以及 Akamai Functions（基於 WebAssembly 的運算）和 EdgeWorkers 等無伺服器功能，在使用者接觸點實現模型親和性與穩定效能。
- Akamai Cloud IaaS 與專用 GPU 叢集：核心公共雲基礎架構為大規模工作負載提供可攜性與成本節約，而由 NVIDIA RTX PRO 6000 Blackwell GPU 驅動的叢集則能實現高強度的後訓練與多模態推理。
「新興的 AI 原生應用需要可預測的延遲和在全球規模上更佳的成本效益，」NVIDIA 全球副總裁 – 業務開發 – 電信部門 Chris Penrose 表示。「透過將 NVIDIA AI Grid 付諸營運，Akamai 正在為生成式、代理式和實體 AI 構建連結的橋樑，將智慧直接轉移到資料所在之處，以解鎖下一波即時應用。」
驅動下一波即時 AI 浪潮
Akamai 已觀察到 Akamai Inference Cloud 在運算密集型、延遲敏感型產業中獲得強勁的初步採用：
- 遊戲：工作室正在為 AI 驅動的 NPC 和即時玩家互動部署低於 50 毫秒的推理。
- 金融服務：銀行依賴該網格，在客戶登入的關鍵時刻提供超個人化行銷和快速建議。
- 媒體與影音：廣播業者使用分散式網路進行 AI 驅動的轉碼和即時配音。
- 零售與商務：零售商正在採用該網路，用於店內 AI 應用和銷售點的員工生產力工具。
在企業需求的驅動下，該平台也已獲得主要技術供應商的認可，包括一項價值 2 億美元、為期四年的服務協議，用於在專為都會區邊緣企業 AI 基礎架構設計的資料中心內，建置一個數千 GPU 的叢集。
將 AI 工廠從集中式擴展至分散式
第一波 AI 基礎架構的特色是在少數集中化位置部署大規模 GPU 叢集，並針對訓練進行優化。但隨著推理成為主導性工作負載，且各行各業的企業都專注於構建 AI 代理，這種集中式模型正面臨與早期網際網路基礎架構在媒體傳遞、線上遊戲、金融交易和複雜微服務應用中所遭遇的相同擴展限制。
Akamai 正透過相同的基本方法解決所有這些挑戰：分散式聯網、智慧編排，以及將內容與情境盡可能帶到數位接觸點附近的專用系統。其結果是改善了使用者體驗，並為採用該模型的企業帶來了更強的投資報酬率。Akamai Inference Cloud 將此一經過驗證的架構應用於 AI 工廠，透過將密集運算從核心分配至邊緣，推動下一波的擴展與成長。
對企業而言，這意味著能夠部署具有情境感知和適應性響應能力的 AI 代理。對整個產業而言，它代表了 AI 工廠如何從孤立安裝演進為全球分散式公用事業的藍圖。
