為助企業打造更佳的 AI 專案，在甫落幕的 Birthday Week 2024 中，Cloudflare AI 平臺功能時序進化，除採用 NVIDIA H100 晶片之外，服務範圍涵從 90 個城市擴大到 180 個城市，可為用戶提供更佳服務，滿足多元應用服務所需。
文／林裕洋
企業推動 AI 過程中面臨前所未有的挑戰，Cloudflare 則推出 Cloudflare AI 平臺，協助企業打造更佳的 AI 專案。而在甫落幕的 Birthday Week 2024 中，更進一步推出多項功能更新。首先在 AI 平臺部分，Cloudflare AI 推論資料中心將原本使用的 NVIDIA A100 晶片升級到 H100 晶片，服務範圍涵從 90 個城市擴大到 180 個城市，可為用戶提供更佳服務，滿足多元應用服務所需。
Cloudflare Solution Engineer 姜景懷指出，在運算速度更快、功能更強大的 GPU 晶片加持下，Cloudflare AI 推論資料中心的推論速度可快，乃至於更靈活、更強大。除此之外，無伺服器推斷平臺 Workers AI 的 Llama 3.1 AI 模型，也從原本 8B 升級到 70B，讓用戶可選擇更廣泛的模型進行建構。目前我們管理和控制的開源模型超過 60 種以上，能為不同產業用戶提供更經濟實惠的價格，滿足部署 AI 應用程式的需求。企業可在 Cloudflare AI inference 資料中心運行任何模型，目前已開放給部分用戶在平臺上部署共享模型，未來會進一步開放私有模型。
Cloudflare AI Gateway 進化，支援多家主流 AI 供應商
在 Cloudflare AI Gateway 方面，則是一個全面的代理，包括記憶體、限流、請求重試、分析以及追蹤 AI 使用情況，以防止資料丟失並確保 AI 的完整性。為讓企業用戶更方便使用這項工具，Cloudflare 提供集中式的 AI 應用監控與管理平臺，除支援即時分析、成本控制和錯誤檢查等功能之外，也與 OpenAI、Hugging Face 和 Anthropic 等多家主流 AI 供應商整合，讓企業享有多供應商監控、統一管理等功能。
姜景懷表示，現今企業面臨應用程式運作異常，勢必需要分析流量暴增或流量異常時。對資訊人員來說，最大挑戰莫過於需建立篩選器來隔離問題的根本原因，這往往需要對平臺非常熟悉。為此，我們特別推出 AI Assistant 服務，協助管理人員查詢安全事件資料，以便能更快地發現異常情況和潛在的安全攻擊。AI Assistant 服務可以在單個圖表上繪製多個系列的資料，以幫助資訊人員進行比較，可擺脫傳統儀表板帶來的限制，快速找出問題根源。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
