全新 VMware Private AI Foundation With NVIDIA 幫助企業為生成式 AI 在業務中的應用做好準備；該平台將在資料隱私性、安全性和可控性方面進一步提供支持
VMware 和 NVIDIA 於今日宣佈擴展雙方的戰略合作夥伴關係，幫助成千上萬使用 VMware 雲端基礎架構的企業做好準備，迎接 AI 時代的到來。
VMware Private AI Foundation with NVIDIA 將使企業能夠自訂模型並運行各種生成式 AI 應用，如智慧聊天機器人、助理、搜尋和摘要等。該平台是全整合式解決方案，採用 NVIDIA 提供的生成式 AI 軟體和加速運算，基於 VMware Cloud Foundation 構建，並針對 AI 進行了優化。
VMware 執行長 Raghu Raghuram 表示：「生成式 AI 與多雲兩者是完美的搭配。客戶的資料無處不在，遍佈其資料中心、邊緣、雲端等多處。我們將與 NVIDIA 一同協助企業放心地在資料附近運行生成式 AI 工作負載，並解決其在企業資料隱私、安全和控制方面的問題。」
NVIDIA 創辦人暨執行長黃仁勳表示：「世界各地的企業都在競相將生成式 AI 整合到自身業務中。透過與 VMware 擴大合作，我們將能夠為金融服務、醫療、製造等領域的成千上萬客戶提供其所需的全棧式軟體和運算，使其能夠使用基於自身資料定制的應用，充分挖掘生成式 AI 的潛力。」
全棧式運算大幅提升生成式 AI 的效能
為更快實現業務效益，企業希望簡化並提高生成式 AI 應用的開發、測試和部署效率。根據麥肯錫的預測，生成式 AI 每年可為全球經濟帶來多達 4.4 萬億美元的成長。
VMware Private AI Foundation with NVIDIA 將協助企業充分利用其效能，定制大語言模型，創建供內部使用的更加安全的私有模型，將生成式 AI 作為一項服務提供給使用者，並更加安全地大規模運行推理工作負載。
該平台計畫提供的各種整合式 AI 工具，將幫助企業高效益地運行以其私有資料訓練而成的成熟模型。建立在 VMware Cloud Foundation 和 NVIDIA AI Enterprise 軟體上的平台預計能夠提供以下方面的優勢：
- 隱私：將透過能夠保護資料隱私並確保訪問安全的架構，使客戶能夠在任何資料所在地輕鬆運行 AI 服務。
- 選擇：從NVIDIA NeMo到Llama 2等，企業在構建和運行其模型的位置上，將擁有廣泛的選擇空間，包括領先的 OEM 硬體設定以及未來的公有雲和服務提供者解決方案。
- 效能：近期的行業基準測試表明，某些用例在 NVIDIA 加速的基礎設施上運行的效能與裸機效能相當，甚至超過了裸機效能。
- 資料中心規模：虛擬化環境中的 GPU 擴展優化使 AI 工作負載能夠在單個虛擬機器和多個節點上擴展到最多 16 顆 vGPU/GPU，從而加快生成式 AI 模型的微調和部署速度。
- 更低的成本：將最大程度地利用 GPU、DPU 和 CPU 的所有運算資源以降低總體成本，並創建可在各個團隊間高效共用的池化資源環境。
- 加速儲存：VMware vSAN Express Storage Architecture 提供效能經過優化的 NVMe 儲存，並支援透過 RDMA 實現 GPUDirect 儲存，從而無需 CPU 即可實現從儲存到 GPU 的直接 I/O 傳輸。
- 加速網路：vSphere 與 NVIDIA NVSwitch 技術之間的深度整合，將進一步確保多 GPU 模型的執行不會出現 GPU 間瓶頸問題。
- 快速部署和價值實現時間：vSphere Deep Learning VM 鏡像和影像庫（image repository）將提供穩定的一站式解決方案影像，該影像預先安裝了各種框架和效能經過優化的庫，可實現快速原型開發。
該平台將採用的 NVIDIA NeMo是 NVIDIA AI Enterprise（NVIDIA AI 平台的作業系統）中包含的端到端雲原生框架，可協助企業在幾乎任何地點構建、自訂和部署生成式 AI 模型。NeMo 集自訂框架、護欄工具包、資料整理工具和預先訓練模型於一身，使企業能夠以一種簡單、經濟且快速的方式來採用生成式 AI。
為將生成式 AI 部署到生產中，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），以加速並優化 NVIDIA GPU 上最新 LLM 的推理效能。透過 NeMo，VMware Private AI Foundation with NVIDIA 將使企業能夠導入自己的資料，並在 VMware 混合雲基礎架構上構建和運行自訂生成式 AI 模型。
在VMware Explore 2023大會上，NVIDIA與VMware將重點介紹企業內部的開發人員如何使用全新 NVIDIA AI Workbench 提取社群模型（例如 Hugging Face 上提供的 Llama 2），對這些模型進行遠端自訂並在VMware環境中部署生產級生成式 AI。
生態鏈對 VMware Private AI Foundation With NVIDIA 的廣泛支持
VMware Private AI Foundation with NVIDIA將得到戴爾、慧與和聯想的支持。這三家企業將率先提供搭載 NVIDIA L40S GPU、NVIDIA BlueField-3 DPU 和 NVIDIA ConnectX-7 智慧網卡的系統，這些系統將加速企業 LLM 定制和推理工作負載。
相較於 NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU 可將生成式 AI 的推理效能和訓練效能分別提高 1.2 倍和 1.7 倍。
NVIDIA BlueField-3 DPU 可加速、卸載和隔離 GPU 或 CPU 上的巨大運算工作負載，其中包含虛擬化、網路、儲存、安全，以及其他雲原生 AI 服務。
NVIDIA ConnectX-7 智慧網卡可為資料中心基礎設施提供聰明且加速的網路，進而大幅加快全球最高要求的 AI 工作負載。
VMware Private AI Foundation with NVIDIA 建立在兩家公司長達十年的合作基礎之上。雙方的聯合研發成果優化了 VMware 的雲基礎架構，使其能夠以媲美裸機的效能運行NVIDIA AI Enterprise。VMware Cloud Foundation 所提供的資源及基礎架構管理與靈活性將進一步惠及雙方共同的客戶。
推出時程
VMware 計畫於 2024 年初推出 VMware Private AI Foundation with NVIDIA。
