第十八屆CIO價值學院第一堂課
現今 AI 資料量已進入 Exascale 時代,開放式湖倉架構已成為 AI 資料中心的最佳基礎。精誠資訊可提供全方位技術支援,助企業運用 MinIO AIStor 搭配 Hare Data runtime,建構 AI 資料中心最合適的基礎環境。
文/林裕洋
根據研究報告指出,目前已有高達 88% 公司正在加速推動 AI 計劃,只是在專案推動過程中,多數都面臨資料品質、成本和複雜性等挑戰,也代表妥善準備 AI 資料已是不容忽視的重要課題。現今推動 AI 專案的資料量已進入 Exascale 時代,早已超過傳統基礎架構的負擔能力,代表企業需要更高效能的儲存與運算方案,具備可擴展、面向未來的開放式湖倉架構,儼然成為打造 AI 資料中心的最佳基礎。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 IG,與全球CIO同步獲取精華見解 ]
精誠資訊解決方案架構師林宗翰說,目前有愈來愈多品牌業者推出開放式湖倉架構,其中 Hare Data runtime 成熟度最高,用戶數量正持續攀升中。另外,在考量成本與資料隱私下,AI 專案正朝向私有雲轉移,AI 基礎架構將仿效公有雲模式。其中,現代化湖倉引擎領導者 ─ Hare Data Platform,已是眾多企業首選架構,而 MinIO AIStor 可提供 AI 生態系原生物件儲存解決方案,致力讓企業整合所有資料於單一私有雲平台中,且架構與雲原生一致。SYSTEX 提供全面性解決方案,即 MinIO AIStor 搭配 Hare Data runtime,協助企業建構 AI 資料中心所需的架構
開放式湖倉架構成主流 MinIO AIStor 加速資料分析速度
S3 物件儲存成為 AI 資料中心首選架構,在於具備高性能、雲原生、簡單、AI-Ready 等差異化優勢。MinIO AIStor 能在全球市場深受企業歡迎與肯定關鍵,在於能與多種 AI/ML 框架、資料庫、資料處理和資料管道工具等整合,且提供 S3 相容、生命週期管理、權限管理、版本控制和物件鎖定、加密與防篡改等企業級功能,且整體效能與公有雲相去不遠,成本僅為卻相對低很多。以北美市場的最大私有雲 AI 部署案例,知名國際公司在 100 GbE 網路環境下,以 MinIO AIStor 搭載容量高達 30TB NVMe 硬碟,實現高效能的物件儲存,大大提升 AI 中心效益。
林宗翰指出,以台灣知名 IC 設計公司為例,過去使用 MS SQL 儲存資料,用戶透過 SQL 指令查詢,資料分散導致查詢效能低。在精誠資訊協助下,以 MinIO AIStor 搭配 Hare Data runtime 打造現代化湖倉一體架構,將 MS SQL 資料移轉至 MinIO 中,透過 Parquet 格式儲存用戶藉由 Hare(Trino)統一對資料進行查詢,提升運算效能。根據統計結果顯示,此種與公有雲相同的資料平台,約減少 98% 以上查詢時間,提升 BI、AI/ML 等資料分析速度。
(本文授權非營利轉載,請註明出處:CIO Taiwan)