• 登入
  • 註冊網站會員
CIO Taiwan
  • 活動
  • 影音
  • 趨勢分析
  • CIO 雜誌
  • CISO精選
  • 電子報
  • 下載
  • 聯繫我們
沒有結果
查看所有結果
CIO Taiwan
沒有結果
查看所有結果
首頁 新聞速寫

Red Hat 推出 Red Hat AI Inference Server,為跨混合雲的模型與加速器釋放生成式 AI 潛力

2025-05-27
分類 : 新聞速寫
0
A A
0
Red Hat 推出 Red Hat AI Inference Server,為跨混合雲的模型與加速器釋放生成式 AI 潛力

Red Hat 推出 Red Hat AI Inference Server,為跨混合雲的模型與加速器釋放生成式 AI 潛力

文/Red Hat

世界領先開放原始碼軟體解決方案供應商 Red Hat 今日宣布推出 Red Hat AI Inference Server,邁出生成式 AI(gen AI)普及至混合雲的重要一步。作為 Red Hat AI 的全新企業級推論伺服器,此解決方案不僅源自於強大的 vLLM 社群專案,更透過 Red Hat 整合 Neural Magic 技術加以強化,提供更快的速度、更高的加速器效率與更佳的成本效益,促進實現 Red Hat 的願景,亦即能於任何雲端環境、任何 AI 加速器上執行各種生成式 AI 模型。無論是獨立部署,或是作為 Red Hat Enterprise Linux AI(RHEL AI)及 Red Hat OpenShift AI 的整合元件,此突破性平台賦能企業能更自信地在生產環境中部署與擴展生成式 AI。

推論(Inference)是 AI 的關鍵執行引擎,預先訓練模型得以借助此步驟將資料轉化為實際影響的結果。推論作為使用者互動的樞紐,需要迅速且準確的回應。隨著生成式 AI 模型日益複雜,加上生產環境部署規模擴增,推論可能成為一大瓶頸,不僅會消耗大量硬體資源,更可能導致回應速度遲緩並提升營運成本。為了大規模釋放 AI 真正的潛力,並且更從容地應對其潛在的複雜性,強大的推論伺服器已不再是奢侈品,而是必要條件。

為應對上述挑戰,Red Hat 全新推出 Red Hat AI Inference Server,該開放式推論解決方案是專為高效能設計,並搭配頂尖的模型壓縮(model compression)與最佳化工具。此創新能提供反應更加靈敏的使用者體驗,同時企業在選擇 AI 加速器、模型及 IT 環境時得以享有前所未有的自由度,進而充分釋放生成式 AI 的轉型動能。

Red Hat 副總裁暨AI 事業部總經理 Joe Fernandes 表示:「推論是生成式 AI 真正展現價值的地方,在這個階段,特定的模型能為使用者互動提供快速、準確的回應,但這個過程必須以有效且具成本效益的方式實現。Red Hat AI Inference Server 旨在滿足大規模、高效能、高回應性推論的需求,同時維持低資源耗用,進而提供通用推論層,支援在任何環境、任何加速器上執行的任何模型。」

vLLM:擴充推論創新

Red Hat AI Inference Server 是建置於引領業界的 vLLM 專案之上。此社群專案是由加州大學柏克萊分校於 2023 年中啟動,可提供高傳輸量的生成式 AI 推論、支援大型內容輸入、多 GPU 模型加速並支援連續批次處理等眾多功能。

vLLM 不僅廣泛支援公開可用的模型,更能從 Day 0 即整合 DeepSeek、Gemma、Llama、Mistral、Phi 等模型,以及開源企業級推理模型(reasoning models)如 Llama Nemotron,推動其成為未來 AI 推論創新的實質標準。頂尖模型的供應商正積極擁抱 vLLM,進一步鞏固 vLLM 在塑造生成式 AI 未來時扮演的關鍵角色。

標籤: Red HatvLLM推論生成式 AI
上一篇文章

展場亮點紀實|讓AI與光學為永續時尚把脈

下一篇文章

HPE與NVIDIA深化合作,強化在AI工廠產品組合上的整合

相關文章

半導體擴廠人才荒 Profet AI 助企業擴大專家量能
新聞速寫

半導體擴廠人才荒 Profet AI 助企業擴大專家量能

2026-11-19
中華電信建置 30 處備援站臺 強化雲林防救災通訊韌性
新聞速寫

中華電信建置 30 處備援站臺 強化雲林防救災通訊韌性

2026-11-19
台灣最爛密碼還是「123456」奪冠!從「metallica」到「skibiditoilet」流行文化讓帳號秒破解
新聞速寫

台灣最爛密碼還是「123456」奪冠!從「metallica」到「skibiditoilet」流行文化讓帳號秒破解

2026-11-18
下一篇文章

HPE與NVIDIA深化合作,強化在AI工廠產品組合上的整合

2026 Elite Vendor

追蹤我們的 Facebook

近期文章

  • AI 代理人應用於銀行法遵的價值與導入關鍵
  • AI 自己會寫程式,未來真的不需要工程師了嗎?解析軟體開發的大變革!
  • 半導體擴廠人才荒 Profet AI 助企業擴大專家量能
  • 中華電信建置 30 處備援站臺 強化雲林防救災通訊韌性
  • 雲林培育 2,900 人次智慧農業人才 推動 AI 導入與產業升級

📈 CIO點閱文章週排行

  • AI 自己會寫程式,未來真的不需要工程師了嗎?解析軟體開發的大變革!

    0 分享
    分享 0 Tweet 0
  • 平台業者個資外洩 消費者問責品牌商

    0 分享
    分享 0 Tweet 0
  • 強化金融資安韌性 金管會:聚焦 AI 攻擊與代理 AI 安全

    0 分享
    分享 0 Tweet 0
  • 國科會定調九大科技議題 推動 AI 產業化與供應鏈韌性

    0 分享
    分享 0 Tweet 0
  • 台灣數位資產與未來資本市場協會成立 布局代幣化金融基礎設施

    0 分享
    分享 0 Tweet 0
  • 【調查報告】GTIG 首度揭露無人介入漏洞利用 AI 代理自主發動攻擊

    0 分享
    分享 0 Tweet 0
  • 昕力資訊攜手 HPE 深化策略結盟 布局主權 AI 「智算力」服務

    0 分享
    分享 0 Tweet 0
  • 【專訪】合作金庫銀行電子金融部協理潘雲霞:以信任與治理 邁向可信賴 AI

    0 分享
    分享 0 Tweet 0
  • 【專訪】國泰金控數位數據暨科技發展中心副總經理陳維銘

    0 分享
    分享 0 Tweet 0
  • AI 網攻擴大企業受害 72 小時內應變成資安關鍵

    0 分享
    分享 0 Tweet 0

數位及平面

  • CIO Taiwan 網站
  • CIO 雜誌紙本
  • CIO 雜誌 HYREAD 版
  • CIO 雜誌 Zinio 版

關注社群

  • Line 加入好友
  • Facebook 粉絲頁

合作夥伴

  • CIO 協進會

關於我們

  • 公司介紹及工作機會
  • 隱私權政策

旗訊科技股份有限公司|統編:84493719|台北市 100 中正區杭州南路一段 15-1 號 19 樓|TEL: 886-2-23214335
Copyright © Flag Information Co.,Ltd. All Rights Reserved.

CIO Taiwan 歡迎你回來!

可用 使用者名稱 或 Email 登入

忘記密碼 註冊

歡迎註冊 CIO Taiwan 網站會員

請設定 Email 及 使用者名稱(使用者名稱不接受中文、將來無法更改)

欄位皆為必填 登入

找回密碼

請輸入 使用者名稱 或 Email 以重設密碼

登入
  • 登入
  • 註冊
沒有結果
查看所有結果
  • 活動
  • 影音
  • 產業速報
  • 新聞速寫
  • 風雲人物
  • 產業瞭望
  • 專欄
  • 精選文章
  • 原生現場
  • 供應商視野
  • 線上調查
  • CIO 雜誌
  • 電子報
  • 下載
  • 聯繫我們

© 2020 CIO Taiwan 版權所有

7/28 活動延期通知

因高雄市政府於7/28早上宣布全日停班停課,因此「智慧醫療研討會高雄場」活動延期舉辦。主辦單位將另行公告研討會相關訊息,歡迎報名參加!

您已閒置超過 3 分鐘了,為您推薦其他文章!點擊空白處、ESC 鍵或關閉回到網頁

2027 CIO Insight (6) CIO 影響力:積極投入 AI 策略,把地基搭得更穩固更安全

35.7% 的 CIO 投入 AI 策略的時間占工作時間 10% 以下;多位受訪

【研究報告】逾 19,000 個 MCP 儲存庫近 20% 存在漏洞 代理式 AI 形成影子工作流程

整理/鄭宜芬 隨著企業將代理 AI串接雲端、資料庫與營運流程,企業對於組織內資安

【調查報告】GTIG 首度揭露無人介入漏洞利用 AI 代理自主發動攻擊

整理/鄭宜芬 AI 代理在系統入侵與漏洞利用過程中承擔更多工作,不僅大幅降低對人

TLS 憑證亂數強度未達國際標準 企業應檢視憑證安全

整理/鄭宜芬 國際社群 Bugzilla 於 10 月 30 日通報,臺灣網路認

【威脅分析】CrowdStrike:網攻滲透律師事務所,實體攻擊風險升高

攻擊者招募人員滲透律師事務所,竊取客戶機密資訊,進一步進行資料竊取與勒索。CHA

AI 代理人應用於銀行法遵的價值與導入關鍵

銀行法遵資料分散、比對頻繁,AI 代理把多步驟作業組織成可執行流程,銀行應先選值

2027 CIO Insight 調查報告 (1) 科技採用 / AI治理成熟度,兩重點指數定位產業現況

今年 CIO Insight 調查首度以「科技採用指數」與「AI 治理成熟度指數

SBOM 都備齊了,判定產品未受影響就能結案嗎?

判定產品未受影響,要說得出為什麼,也要知道哪些變動會讓原來的結論失效 文/游政卿

從告警到可決策:企業還要 4 小時

《網路韌性法》的 24 小時通報時限一啟動,差距就在於團隊能否在時限內,從一個受

文章分類

  • 產業速報
  • 專欄
  • 影音
  • 風雲人物
  • CXO分享
  • 產業瞭望
  • 原生現場
  • 精選文章
  • 趨勢分析
  • 供應商視野
  • 新聞速寫
  • 下載
  • Sponsors

熱門標籤

  • 最新文章
  • 雲端運算
  • 人工智慧
  • 數位轉型
  • 製造業
  • 物聯網
  • 資料與分析
  • 資安
  • 區塊鏈
  • 5G
  • 儲存
  • 基礎架構

活動

  • CIO價值學院 四堂課
  • 智慧醫療研討會 台北/高雄場
  • 金融科技高峰會 春季/秋季場
  • 製造業CIO論壇 台北/台中/高雄場
  • 商業服務科技論壇
  • 亞太CIO論壇
  • CISO資安學院 金融/醫療/新竹場
  • CIO Insight 調查

影音

  • 影音