NVIDIA (輝達) 推出第八代人工智慧 (AI) 軟體 TensorRT 8，讓語言查詢的推論時間減半，並讓開發人員得以打造全世界最高效能的搜尋引擎、廣告建議與聊天機器人，並能從雲端到邊緣提供這些服務。
TensorRT 8 的優化只需要 1.2 毫秒就能在 BERT-Large 上達到破紀錄的語言應用速度，而 BERT-Large 是全世界最被廣泛使用的 Transformer 模型之一。企業以往只能縮小模型的大小，但也因此造成較低的精準度，如今有了 TensorRT 8，企業可以把模型的大小擴增兩倍或三倍，並大幅提升精準度。
NVIDIA 開發人員計劃事業部副總裁 Greg Estes 表示：「AI 模型正以指數級的速度變得越來越複雜，而全球各地對於使用 AI 的即時應用需求也隨之高漲。這讓企業迫切地部署最新的推論解決方案。最新版本的 TensorRT 導入全新的功能，可以讓企業把對話式 AI 應用交付給客戶，並達到過去無法企及的品質水準和反應速度。」
來自醫療照護、汽車、金融與零售業等各領域的 2.75 萬家公司、超過 35 萬名開發人員，在過去五年已經累積近 250 萬次的 TensorRT 下載量。TensorRT 的應用可以部署在超大規模資料中心、嵌入式或汽車產品平台。
這篇文章對您有幫助嗎?
👍👎
