文／Red Hat
世界領先開放原始碼軟體解決方案供應商 Red Hat 今日宣布推出 Red Hat AI Inference Server，邁出生成式 AI（gen AI）普及至混合雲的重要一步。作為 Red Hat AI 的全新企業級推論伺服器，此解決方案不僅源自於強大的 vLLM 社群專案，更透過 Red Hat 整合 Neural Magic 技術加以強化，提供更快的速度、更高的加速器效率與更佳的成本效益，促進實現 Red Hat 的願景，亦即能於任何雲端環境、任何 AI 加速器上執行各種生成式 AI 模型。無論是獨立部署，或是作為 Red Hat Enterprise Linux AI（RHEL AI）及 Red Hat OpenShift AI 的整合元件，此突破性平台賦能企業能更自信地在生產環境中部署與擴展生成式 AI。
推論（Inference）是 AI 的關鍵執行引擎，預先訓練模型得以借助此步驟將資料轉化為實際影響的結果。推論作為使用者互動的樞紐，需要迅速且準確的回應。隨著生成式 AI 模型日益複雜，加上生產環境部署規模擴增，推論可能成為一大瓶頸，不僅會消耗大量硬體資源，更可能導致回應速度遲緩並提升營運成本。為了大規模釋放 AI 真正的潛力，並且更從容地應對其潛在的複雜性，強大的推論伺服器已不再是奢侈品，而是必要條件。
為應對上述挑戰，Red Hat 全新推出 Red Hat AI Inference Server，該開放式推論解決方案是專為高效能設計，並搭配頂尖的模型壓縮（model compression）與最佳化工具。此創新能提供反應更加靈敏的使用者體驗，同時企業在選擇 AI 加速器、模型及 IT 環境時得以享有前所未有的自由度，進而充分釋放生成式 AI 的轉型動能。
Red Hat 副總裁暨AI 事業部總經理 Joe Fernandes 表示：「推論是生成式 AI 真正展現價值的地方，在這個階段，特定的模型能為使用者互動提供快速、準確的回應，但這個過程必須以有效且具成本效益的方式實現。Red Hat AI Inference Server 旨在滿足大規模、高效能、高回應性推論的需求，同時維持低資源耗用，進而提供通用推論層，支援在任何環境、任何加速器上執行的任何模型。」
vLLM：擴充推論創新
Red Hat AI Inference Server 是建置於引領業界的 vLLM 專案之上。此社群專案是由加州大學柏克萊分校於 2023 年中啟動，可提供高傳輸量的生成式 AI 推論、支援大型內容輸入、多 GPU 模型加速並支援連續批次處理等眾多功能。
vLLM 不僅廣泛支援公開可用的模型，更能從 Day 0 即整合 DeepSeek、Gemma、Llama、Mistral、Phi 等模型，以及開源企業級推理模型（reasoning models）如 Llama Nemotron，推動其成為未來 AI 推論創新的實質標準。頂尖模型的供應商正積極擁抱 vLLM，進一步鞏固 vLLM 在塑造生成式 AI 未來時扮演的關鍵角色。
