作為一個強大的容器編排平臺，Kubernetes 提供了開發和管理 AI 應用程式所需的基礎架構和工具，可以為 AI 工作負載（特別是大規模的 AI 模型如大型語言模型，LLMs）提供高效的管理和支援。
文／Daryush Ashjari（Nutanix 亞太及日本地區技術長暨解決方案工程副總裁）
近兩年 ChatGPT 讓生成式 AI 成為主流，許多企業以不同程度採用並部署 AI 解決方案。有些企業已經成功掌握了這股浪潮，並開始體驗到投資的回報，但仍有許多企業正努力加入。隨著業界對於 AI 的發展掌握程度逐漸成熟，仍有一項武器可以幫助企業實現 AI 潛力，那就是 Kubernetes。
根據 EDGE DELTA 數據顯示，目前全球已有超過三分之二的企業已經採用 Kubernetes，因為它能夠有效管理大量的工作負載，協助企業擴展其 IT 基礎架構並提升成本效益，因此成為許多數企業採用的先決條件。
[ 推薦閱讀：烏克蘭無人機實戰經驗談 ]
以印尼日惹市（Yogyakarta）政府為例，日惹市政府將 Kubernetes 視為其數位轉型計畫中的一項關鍵，他們使用了運行在 Nutanix 平台上的微服務和 Kubernetes，以簡化其政府便民服務應用程式 Jogja Smart Service （JSS）的開發與編排，這不僅幫助他們提升了系統性能、縮短了回應時間，還有效應對用戶增長超過兩倍的挑戰，節省了 50% 的總擁有成本（TCO）。
隨著 AI 已經成為工作中不可缺少的工具，Kubernetes 對於已訓練的大型語言模型（LLM）來說變得格外重要。它提供了在核心、邊緣或雲端部署 AI 解決方案的自由和靈活度。綜觀來說，Kubernetes 提供了開發和管理 AI 應用程式所需的基礎架構和工具。
在 Kubernetes 上導航 AI 工作負載
在 AI 的領域航行可能充滿挑戰，需要謹慎選擇一艘合適的船隻，而 Kubernetes 便是企業可靠的選擇。它是一艘強大且組件配置複雜的船隻，企業需要確保 Kubernetes 叢集設置得當，包含節點、網路和安全性等面向，以確保企業環境已做好航行的準備。
企業首先要面臨的是操作的複雜性，尤其是許多企業仍在運行和管理老舊的系統。而現在的市場環境如同風高浪急，需要一艘現代化的船隻，與配備具備深厚專業知識的團隊來運作每一個細節。眾所皆知，AI 專案需要大量的預算投入，而這些複雜性將給企業的 IT 團隊帶來龐大的壓力，迫使他們必須在最有效率的狀態下運作。然而，AI 可以成為一個強大的工具，幫助企業辨識營運過程中的效率低落的問題並自動化繁重的流程，從而節省預算，將資源用於應對其他挑戰。
對此，最理想的情況會是能夠使用相同的員工、營運模式、流程和日常操作來管理整個「艦隊」。並將越多關鍵業務的程式轉移至 Kubernetes 平台，企業則將朝著集中化管理的方向發展，使得開發人員不需再個別管理，但這一步轉型需要深入的規劃和精心準備。
[ 加入 CIO Taiwan 官方 LINE 與 Facebook ，與全球CIO同步獲取精華見解 ]
另外，AI 的工作負載通常是屬資源密集型，並需要強大的基礎設施支撐，就像一艘船如果沒有可靠的推進系統就無法航行一樣。企業也需要穩定的系統來有效運行 AI。Kubernetes 提供了可擴展性、靈活性及資源優化能力，確保了容錯性並自動化了部署過程，讓管理複雜的工作流程變得更加單純。此外，Kubernetes 支持多雲和混合雲環境，這不僅提供了靈活性，還能避免廠商鎖定。這些強大的基礎設施將有效滿足 AI 工作負載對性能的苛刻需求。
最後，從概念驗證（PoC）到規模擴展的過渡期可能會使人氣餒。雖然很多企劃還無法從 PoC 階段往下走，但對於已成功的方案來說，處理現實環境中的資料和應用則是一個全新的挑戰。這不僅需要擴展計算資源，還要確保部署系統的穩定性、可靠性和安全性。Kubernetes 能夠自動擴展、有效管理資源，並與持續整合和持續部署（CI/CD）管道順利整合，這些特點可以幫助企業順利從 PoC 過渡到穩定的生產系統。
AI 發展的策略
企業在開始 AI 旅程時，需要一個清晰的導航系統，才能夠成功地利用 AI 和 Kubernetes 的強大功能。雖然 AI 已經存在數十年，但過去三年來讓我們學到三個關鍵因素，有助於企業揭開 AI 的神秘面紗。
一、首先，採用多雲策略可以幫助企業管理和擴展 Kubernetes 上的 AI 工作負載。透過在公有雲中訓練模型並在本地部署，企業可以優化成本、效能和安全性。利用不同雲端服務提供商的優勢，確保更好的效能，同時維持對機密資料的控制和安全。
二、其次，隨著企業工作負載的增加，對統一平台的需求變得更加重要。一個統一、開放且靈活的基礎設施，能夠跨越地端、私有雲和公有雲，讓我們可以根據需求靈活地運行虛擬機和 Kubernetes，提供更多的彈性和選擇。
三、最後，對於 AI 工作負載來說，一個穩健的資料管理和保護策略至關重要。Kubernetes 可以協調複雜的資料處理流程，確保資料高效地收集、處理和儲存。AI 結果的品質在很大程度上取決於資料的可用性、完整性和安全性。Kubernetes 能提供穩定且可靠的資料儲存與保護，確保資料被安全地保存，同時能夠有效地被存取，從而保持資料的準確性和完整性。
通往 AI 成功的道路並不會一帆風順。Kubernetes 的靈活性使它能夠在不同的基礎設施上運行，並部署各種軟體，但這種多功能性也意味著，並沒有一種通用的基礎設施部署方法，因此採用統一且開放的平台變得相當關鍵。
每個企業都需要評估組織內的實體資源及虛擬資源，以及工作負載的具體需求，制定專屬的 Kubernetes 策略。這樣的規劃能有效避免過度配置，從而幫助管理雲端成本，並協助企業更清楚地理解和部署 AI，充分發揮其潛力。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
