NVIDIA 創下人工智慧推論紀錄

MLPerf 是業界公認的基準測試，用以衡量涵蓋電腦視覺、醫療影像、推薦系統、語音辨識和自然語言處理等各種作業負載的 AI 效能。

首次進行 MLPerf 測試的 NVIDIA A30 及 A10 GPU，同時擁有高效能及低功耗，為企業提供主流伺服器產品選擇，以處理多樣化的 AI 推論、訓練、繪圖及傳統企業運算作業負載。思科 (Cisco)、戴爾科技 (Dell Technologies)、慧與科技 (Hewlett Packard Enterprise; HPE)、Inspur 與聯想 (Lenovo) 預計將於今年夏天開始，將這些 GPU 搭載至旗下最大容量的伺服器中。

NVIDIA 充分利用 NVIDIA AI 平台的各項優勢以取得如此優秀的成績。該平台具備多種 GPU 和包含 TensorRT 及 NVIDIA Triton 推論伺服器的 AI 軟體，目前微軟 (Microsoft)、Pinterest、Postmates、T-Mobile、美國郵政署 (USPS) 與微信 (WeChat) 等領先企業皆已部署此平台。

NVIDIA 加速運算部門副總裁暨總經理 Ian Buck 表示：「人工智慧持續為各行各業帶來改變，企業若想針對 IT 基礎建設投資做出明智的決策，MLPerf 這項工具的重要性將日漸增加。如今各大 OEM 業者紛紛提出 MLPerf 基準測試結果，NVIDIA 與合作夥伴重視的不僅是提供領先全球的人工智慧運算效能，更重要的是透過推出新一波搭載我們全新 A30 和 A10 GPU 的企業伺服器，讓人工智慧的應用更加普及。」

MLPerf 基準測試結果

NVIDIA 是唯一在資料中心和邊緣類別均提出每項測試結果的公司，並在所有 MLPerf 作業負載中提供最佳的效能。

多項提交內容亦使用 Triton 推論伺服器，這款伺服器支援來自所有在 GPU 與 CPU 上運行的主要框架的模型，同時針對各類查詢內容進行最佳化調整，包括批次、即時和串流，進而簡化了在應用程式中部署 AI 的複雜性。在配置相當的情況下，Triton 所提出的效能表現接近於經過最佳化調整的 GPU 執行與 CPU 執行。

NVIDIA 利用 NVIDIA Ampere 架構的多執行個體 GPU 功能，同時在單一 GPU 上使用七個多執行個體 GPU，以運行七個 MLPerf Offline 測試內容，這是提交內容中的全新創舉。該配置與單獨運行的單一多執行個體 GPU 相比，效能幾乎完全相同。

這些提交的內容展現出多執行個體 GPU 的效能及多功能，使得基礎架構管理員能夠為特定的應用程式配置適量的 GPU 運算，進而從每個資料中心的 GPU 獲得最大的輸出量。 除了 NVIDIA 提交的資料，NVIDIA 的合作夥伴阿里雲 (Alibaba Cloud)、戴爾科技 (Dell Technologies)、富士通 (Fujitsu)、技嘉 (GIGABYTE)、慧與科技 (HPE)、Inspur、聯想 (Lenovo) 及美超微 (Supermicro)，共提交超過 360 項採用 NVIDIA GPU 進行測試的結果。