文／鄭宜芬
人工智慧已從「模型訓練競賽」轉向「推論經濟」時代。黃仁勳在 NVIDIA GTC 2026 大會演講中指出，隨著生成式 AI 大規模導入營運流程，資料中心正從 IT 基礎設施，轉型為以 Token 為單位持續產出的「AI 工廠」，並牽動企業在能源效率、系統架構與 IT 投資策略上的全面重構。
[ 加入 CIO Taiwan 官方 LINE與 Facebook，與全球 CIO 同步獲取精華見解 ]
從模型訓練到推論競賽 AI 價值被「量產」
過去兩年，AI 產業的焦點集中在模型訓練。企業與雲端服務商競逐更大規模的參數、更高精度的模型，以及更強的算力基礎。然而，隨著生成式 AI 逐步導入企業營運流程，AI 的價值開始從「模型能力」轉向「實際產出」。
黃仁勳在演講中提出關鍵觀點：AI 已進入推論轉折點（Inference Inflection Point），運算需求在短時間內呈現數量級成長。企業競爭力不再只是擁有模型，而是能否高效率地將模型轉化為持續產出的生產力。
Token經濟崛起 資料中心成為「AI工廠」
隨著 AI 推論成為主要運算模式，AI 的核心產出單位被重新定義為「Token」。
黃仁勳將資料中心重新定義為「AI 工廠（AI Factory）」。這意味著資料中心從過去以儲存與計算為主的 IT 架構，轉型為將資料轉化為 Token，並進一步轉化為商業價值的生產系統。
在此架構下，「每瓦 Token 產出（Tokens per Watt）」成為關鍵指標，用於衡量算力效率與能源效率，也直接反映 AI 系統的經濟效益。評估 AI 投資的標準，正從硬體規模轉向整體產出效率。
同時，企業亦開始將 AI 算力視為生產力資源的一部分，納入內部資源配置與營運效率評估體系。
基礎設施重構 AI 叢集走向 AI 工廠
為支撐推論經濟，AI 基礎設施正發生結構性升級。NVIDIA 持續推動以加速運算為核心的架構，並以 NVIDIA Blackwell 為基礎，結合 CPU、GPU、高速互連與高頻寬記憶體（HBM），打造高度整合的 AI 平台。
此外，下一代 Rubin 架構亦已在路線圖中浮現，顯示 AI 運算平台將持續朝更高整合度與推論效率演進。
在系統層面，AI 基礎設施不再只是 GPU 堆疊，而是涵蓋運算、記憶體與網路的整體設計。例如透過 NVLink 等高速互連技術，提升資料傳輸效率，確保大規模推論運算的穩定與低延遲。
這使資料中心架構從「AI 叢集（Cluster）」進化為「AI 工廠（AI Factory）」，強調資料流動效率、系統協同運作、延遲控制與可擴展性。其核心本質，是一個整合算力、網路與記憶體的生產系統，而非單一硬體設備的升級。
[ 推薦閱讀：GTC 2026 揭幕 AI 新戰場 從資料中心走向實體世界 ]
解構式推論 AI 系統進入分工優化時代
推論需求的爆發，也促使 AI 架構本身發生轉變。當前主流推論流程可拆分為兩個階段：Prefill（預填充）負責將輸入轉為 Token，Decode（生成）則負責逐步產出結果。
在大規模部署情境中，不同階段對運算特性的需求不同，促使系統在高吞吐與低延遲之間進行優化分工。這種架構設計，使 AI 系統能在效能、延遲與成本之間取得平衡，並進一步提升整體推論效率。
每瓦 Token 成為新 KPI
AI 資料中心的電力需求持續攀升，高密度 GPU 運算對散熱與電力基礎設施帶來巨大壓力。在此背景下，「每瓦 Token 產出」逐漸成為企業衡量 AI 投資效益的核心指標。
在相同電力條件下，能產出越多 Token，即代表更高的商業價值轉換能力。能源效率因此直接影響 AI 營運成本與投資回報。
為因應高功率密度需求，NVIDIA 持續推動液冷技術與系統級優化設計，使 AI 系統能在提升運算密度的同時，維持整體能耗與穩定性。
未來 AI 投資的核心，不再只是 GPU 數量，而是整體基礎設施效率，包括電力配置、冷卻技術與系統整合能力。
從 SaaS 到 Agentic AI 典範轉移
過去十年，企業 IT 架構以 SaaS 為主。然而在生成式 AI 與大型模型的推動下，代理型 AI（Agentic AI）正快速崛起，成為具備自主執行能力的數位工作者。
黃仁勳預期，未來軟體產業將從 SaaS（Software as a Service）演進為以 AI 代理為核心的服務模式。企業需重新思考應用架構，從單一功能系統轉向由多個 AI 代理協作的工作流程。
在企業導入層面，NVIDIA NeMo 與 NeMo Guardrails 等平台，提供模型開發、部署與治理機制，協助企業在導入 AI 的同時，兼顧安全性、可控性與合規需求。
Physical AI 從數位邁向實體世界
當 AI 能力持續提升，從數位世界延伸至實體場域，形成所謂的 Physical AI。
透過 NVIDIA Omniverse 與數位雙生技術，企業可在虛擬環境中模擬現實世界，並透過合成數據訓練 AI 模型，再部署至實體場景，顯著降低 AI 導入成本與風險。
黃仁勳亦指出，在此趨勢下，未來每一家工業公司，都將成為 AI 公司。從製造、物流到交通運輸，AI 將直接參與實體世界的運作與決策。
主權 AI 與開放生態 企業自主性關鍵
在地緣政治與法規壓力下，「主權 AI」逐漸成為企業與政府的重要議題。企業需在資料安全、法規遵循與技術自主之間取得平衡。
NVIDIA 持續推動開放生態策略，讓企業能在公有模型與私有部署之間靈活選擇，並透過軟硬整合架構，建立可控且可擴展的 AI 能力。
同時，以 CUDA 為核心的軟體生態系，已成為 AI 發展的重要門檻。企業如何在享受成熟生態優勢的同時，避免過度依賴單一平台，將成為關鍵決策議題。
從推論經濟、AI 工廠，到 Agentic AI 與 Physical AI，當資料中心轉型為生產系統，AI 從工具轉變為基礎設施，企業競爭力將取決於其整合算力、資料與軟體生態的能力。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
