目前生成式 AI 已成為企業資訊架構的核心關鍵。然若要安心使用此技術，CIO、CTO 需要妥善管理改變 IT 組織、實現業務轉型等兩大議題，同時思考保護料安全的方式，才能善用生成式 AI 威力，進而在競爭激烈市場勝出。
文／林裕洋
應用範圍快速擴大的生成式 AI，正以前所未有速度改變著各行各業的運作模式，從生產力提升到業務創新等均有前所未有的影響。不光如此，生成式 AI 作為企業技術變革的核心驅動力，也在重新定義資訊部門的角色與運作方式，除需將該技術與企業流程結合之外，也需為業務部門選擇正確模型與部署，才能達到提升整體業績與競爭力的目的。
眾所皆知，生成式 AI 帶來效益非常多元，如縮短 PoC 專案時間、自動生成程式碼提升開發人員工握效率，以及自動合成資料等。正因如此，帶動全球市場的蓬勃發展，根據研究報告指出2024年生成式 AI 市場規模約為 150 億美元，預估2030年將成長至約 1200 億美元，年均增長率高達 35%。
BCG 董事總經理暨全球合夥人馮博堅說，目前生成式 AI 已成為企業資訊架構的核心關鍵，然若要安心使用此技術時，技術單位必須要思考保護料安全的方式，如妥善管理 AI 模型、提示與資料輸入等功能，以及難以預期的新風險控制 。我們建議 CIO、CTO 需要妥善管理「改變 IT 組織」、「實現業務轉型] 等兩大領域，才能達到推動 AI 專案的目標。
生成式 AI 普及速度快 5 天破百萬用戶
2022年底 ChatGPT 問世至今約2年，在眾多領域都有非常多成功案例，大致上可分成三大類，在「業務價值創造」方面即更快生成內容、新藥物研發及提升零售轉換率。第二種則為「營運效率提升」，如削減 30%以上營運成本，並減少 IT 費用支出。 第三種則是「生產力增強」，即開發者報告稱效率提高了 88%，並能將更多時間投入到創造性專案中。
以汽車產業為例，在生成式 AI 技術協助下能在幾天內整理出長達11年研究成果，作為研究人員的參考。在生物製藥領域方面，過往要找出有用 IPF 藥物得花上數年以上時間，現今透生成式 AI 技術進行藥物測試，僅需 21 天即可找出有發展潛力候選藥物。
馮博堅表示，生成式 AI 發展速度應該是歷史上普及速度最快的創新技術，以 ChatGPT 為例，在短短 5 天內便達到百萬用戶，比 IG 的 75 天、Spotify 的 150 天要短。不光如此，2023年1月23日 ChatGP 用戶數量以超過 1 億，是成長最快的消費者應用程式，且在短短6個月即擁有數千個第三方外掛軟體，以及一個專屬的應用程式市場，堪為軟體發展的歷史里程碑。
生成式 AI 應用多元 驅動各產業進化
隨著市場對相關技術更為熟悉，目前生成式 AI 應用範圍也持續擴充，如文件分析、需求預測、內容生成和 3D 模型建置等，並於不同產業有成功案例。除前述的生技產業之外，科技產業也有運用 GitHub Copilot 等作為程式碼助手，提高約 88%開發者生產力。在消費零售領域也運用 AI 快速產生產生模特兒時尚影像 ，進而提升 1.5 倍零售轉化率。而金融機構也在生成式 AI 技術協助下，提升詐欺檢測準確率至 98%。
生成式 AI 身受企業歡迎關鍵在於三大核心能力，首先是「理解複雜上下文」，幫助理解複雜資料並生成摘要或趨勢，如識別文件、線上主題監控、趨勢分析等。其次則是「從指令生成高品質內容」快速產生高品質內容，如自動化 DevOps 和 MLOps、程式碼生成、3D 模型評估等，第三點則是「從上下文解讀生成最佳解決方案」提出最佳方案，支持創新設計和決策 ，即生成 CAD 設計、合成資料生成、預測性分析。
「生成式 AI 在 IT 領域中影響程度也非常驚人， 帶來成本節省和效率提升的雙重優勢。首先是有助於提高應用開發和維護的效率，節省高達 20% 的成本。而在基礎設施與營運方面，約能節省 10%-20%費用。整體來說，約能節省 10% IT 費用支出。」馮博堅解釋：「在技術的潛在影響方面，生成式 AI 以展現在程式碼專褻的能力，可扮演提升軟體專案開發效率的好幫手。另外，同樣也能協助 IT 管理人員撰寫 自動化腳本、程式碼和性能監控等，達到降低營運成本支出的目的。」
改變軟體開發流程 緩解人才不足困境
在全球陷入人才荒的時代，企業積極推動生成式 AI 專案的原因，即是希望藉此提高員工的工作效率，進而讓有限人力發揮最大效益。根據 GitHub 公布的研究資料顯示，企業引進 GitHub Copilot 之後，開發團隊在程式碼開發速度可提高 44%，平均任務完成時間從 161 分鐘縮短至 72 分鐘，其中 JavaScript 開發環境中提高 HTTP 伺服器速度達 56%。
軟體開發工作流程在整合生成式 AI 之後，已經帶來前所未有的極大變化。首先是軟體提交次數、專案合併、部署等頻率均顯著增加，代表企業有更多時間針對軟體品質進行檢查，乃至於更快回應市場需求。其次，當專案完成效率和速度大幅提升後，減少開發者的重複工作負擔，有更多人力可用於其他新專案之中。
馮博堅指出，從前述資料可知，生成式 AI 正在徹底改變開發者的工作方式，成為提升生產力的重要工具。尤其在軟體開發工程師尋覓不易的狀況下，當程式開發、測試時間縮短時，不光有助於提高整體軟體專案品質，也能讓有限人力專注於更高價值的任務。 至於傳統繁瑣、重複的工作，則可透過自動化機器人處理，團隊僅需做最後檢視與審核工作。
發展 AI 模型雙管齊下 模型微調與提示工程並行
若要妥善發揮生成式 AI 效益，企業需要有一定技術能力的團隊或外部協力廠商協助，才能選擇自身合適的 AI 技術和框架，正也是轉型成功與否的關鍵。目前 AI 模型部署方式，大致上分成內建 AI 模型的 SaaS 服務，如 Salesforce ）、API 串連（如 GPT-4 API ）、自建或微調模型等，企業在選擇時應該要從三大面向進行考量。首先是「AI 模型可行性」，即自身技術是否支持該架構，以及市場的解決方案成熟度狀況。其次，「服務商的資料政策」是否符合法規要求。第三點則是「業務影響」，即生產力提升、任務完成時間縮短和成果質量的改善程度。
目前市面上各種 AI 模型或 API 等都有合適的應用面向，如 Jasper AI 用於文案撰寫、GPT-4 API 支持多種業務用例，以及 PaLM 2 在企業部署中應用。企業唯有選擇正確的模型部署架構，方能有效展現生成式 AI 的潛力，同時滿足安全性、可擴展性和業務價值的需求。
馮博堅說，當企業 AI 模型需要高度專業化或特定模式時，可選擇進行模型微調，如客服中心的自動回應生成。但是對多數應用情境來說，並不一定需要進行模型微調，而是可以透過提示工程（ Prompt Engineering ）和外部連接器（ External Connectors ）等解決。舉例來說，企業可使用零樣本學習（僅依靠查詢）或少樣本學習（查詢加範例）開始設計提示，結合額外的背景資訊以增強提示效果，進而以滿足特定用例需求。
BCG 建議企業可優先在高階 AI 模型上進行提示工程實驗，以便可快速適用於多數情境，並於在效能較弱的模型上實施微調，以增強檢索能力。藉由兩種模式之間搭配，企業能夠有效應對大多數業務需求，而無需進行昂貴且耗時的模型微調，達到提高效率、降低技術實施的複雜性和成本。
專屬資料與結構層 搭配安全控制策略
前面提到， 企業發展 AI 模型時可透過模型微調、提示工程之間搭配，滿足多元應用情境。然若要發揮生成式 AI 技術最大價值、確保安全應用，則需要重新設計完善的資料與系統架構層，結合安全控制措施後，才能兼顧效能、安全與工作效率。
BCG 建議應該從兩大方面著手，首先是打造可支撐生成式 AI 穩定運作的資料層，即涵蓋資料整合與匿名化功能，且需考量 AI 模型的特殊要求，為非結構化資料、模型輸出，設計一套合適的儲存與檢索策略。其次，在安全性與合規性方面，則需要整合內容審核、模型監控、風險降低等策略，確保生成式 AI 應用方式符合政府的法規與道德規範。
「企業在積極推動生成式 AI 發展過程中，也應該重新審視人才需求與組織結構。隨著資訊單位逐步推廣生成式 AI 工具時，可望大幅提升員工的生產力和工作品質，但不同經驗的員工將面臨不同影響。」馮博堅解釋：「在生成式 AI 協助下，新手、中階工程師等可望快速提升技能。至於資深工程師在提升工作效率之外，還能負責更複雜任務。 可預期，愈來愈多企業也會設立 AI 架構師和倫理合規專案等職位，專注於負責任的 AI 部署，確保符合政府法規規範。 」
IT、業務轉型並進 實現負責任 AI
CIO/CTO 向來是主導生成式 AI 專案的關鍵角色，BCG 認為必須妥善管理該技術在 IT、業務等兩個重要領域的相關事項。首先在 IT 組織轉型方面需從三大面向著手，在「提高開發效率」方面，需利用生成式 AI 節省時間、提升生產力，並改進軟體開發的質量。 其次則是「重新定義角色與活動」，藉此讓開發者和業務團隊在整個產品生命周期中完美協作。最後在「資料管理與規範」部分，則需妥善整理、管理資料，為生成式 AI 建立新規則和 IT 政策。
馮博堅指出，CIO/CTO 在推動業務轉型方面，企業同樣需要關注四大重點，首先在「技術堆疊升級」部分，即更新技術和資料基礎架構，以滿足未來業務對生成式 AI 的需求。 在「選擇合作夥伴與模型」部分，則需挑選適合的模型和合作夥伴，才能滿足生成式 AI 方案的部署、建置、營運所需。第三點是「技能提升與擴充團隊」部分，則需提升現有員工技能，並增強團隊的生成式 AI 能力。 最後在「負責任 AI 應用」方面，需將 AI 原則納入現有治理和風險管理框架，才能實現將負責任 AI 的目標。
生成式 AI 已成為企業推動業務轉型、IT 轉型的重要核心，從提升工作效率到業務創新模式等，都有非常優異成果與案例。CIO/CTO 除將生成式 AI 與企業流程整合之外，也須藉由負責任 AI 治理實現可持續發展，才能在提升營運效率之外，也同步接軌 ESG 趨勢。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
