愈來愈多的企業透過機器學習與 AI 工具持續分析資料以產出洞察，然而左右資料分析最終效益的先決條件在於資料品質。但吊詭的是，隨著資料愈蒐集愈多，人們卻不太信任所擁有資料的品質，而且 CXO 高層與身處資料最前線主管間存在極大的資料信心落差。
編譯／酷魯
根據美國舊金山資料管理與分析方案供應商 Monte Carlo 的一份調查顯示，雖然有 91% 的資料專業人士正在積極開發 AI 應用，但只有三分之一的人信任他們所使用的資料。
再就 IT 顧問公司 Softserve 最近的一項調查發現，越是接近實際數據的 IT 領導者，對資料品質的信心反而越低。
該調查發現，近一半的大型企業高階主管（包括 IT 領域的 CXO 高層）認為其組織的資料已達到完全成熟的程度，而擔任資料與 AI 領域總監層級的主管，只有 37% 持相同看法。
此外，68% 負責 AI 或資料管理的副總裁表示，他們的公司「經常或大多數時候」是基於錯誤資料做出決策；相較之下，抱持同樣看法的 CXO IT 高層只有 47%。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 IG，與全球CIO同步獲取精華見解 ]
專家警告，CXO 高層與身處資料第一線的 IT 領導層之間存在資料信心水準的極大落差，可能會在訓練 AI 模型或推動其他以資料為導向的專案時造成重大問題。
密西根大學創新與科技學院的教授 Timothy Bates 表示，這樣的落差並不令人意外，因為 C-Level 高層通常只看到簡報層級的 IT 問題摘要，包括資料品質問題。換言之，高層看到的是經彙整、修飾過的乾淨儀表板畫面。總監級主管看到的是斷裂分散且定義不一的後端原始資料。
Bates 曾任聯想與通用汽車兩家公司的技術長，他回想通用汽車內部指出，他們對 IT 問題的觀察視角有明顯差異，總監級 IT 主管經常能指出 CXO 高層未能察覺的問題。由於 IT 主管置身在這些系統裡，而不是僅僅閱讀彙整後的摘要，所以他們對資料品質的評估往往更準確。
生成式 AI 導入潮，讓資料品質控管問題更嚴重
Softserve 大數據與分析部門的副總裁助理 Rodion Myronov 表示，過去兩年，隨著許多公司急於導入生成式 AI 工具，資料品質問題變得更加嚴重。
IT 解決方案供應商 TEKsystems 的技術長 Ram Palaniappan 表示，當企業在未收集與清理資料的情況下就啟動 AI 專案，將容易產生 AI 幻覺（hallucination），進而導致重大的業務錯誤。
AI 驅動人資軟體供應商 Aidora 共同創辦人暨技術長 Anant Agarwal 表示，缺乏良好的資料會導致多種問題。即便是 CXO 高層（包括 CIO）也可能在資料尚未準備好時就要求開發新產品，導致 IT 領導者因反覆推遲時程而顯得無能，或是將壓力往下轉嫁給員工。
[ 推薦文章：川普2.0來襲：長期韌性、短期彈性的供應鏈新趨勢 ]
為了修補資料品質信心的落差，Palaniappan 建議企業應該在組織架構內強化透明度。基層 IT 領導者可以透過建立詳盡的 IT 專案藍圖，幫助 CIO 與高層理解企業對資料準備度的需求。
Myronov 建議，組織在進行 AI 或其他資料驅動專案時，應該安排持懷疑態度的人參與，以指出潛在的資料問題。
改革資料品質的 6 大趨勢方向
由此可見，當前資料治理的重心已從單純的資料收集，轉向資料完整性與資料品質的確保。多年來，資料的數量與複雜度持續成長，因此我們處理資料的方式也必須改變。以下即為企業可以嘗試改變的方向與趨勢：
- 多雲資料架構
當今絕大多數資料都儲存在雲端，為了優化成本並降低停機風險，企業正逐步採用多雲端架構（包含公有雲與私有雲）。調查發現，有 89% 的公司採取這種架構。此法有助於避免廠商綁定問題，亦使得平台間的資料互通性與欄位標準化成為資料品質管理中的關鍵要求。 - 擴展性成為焦點
企業需優先考量具擴展性的資料品質機制，於是乎自動化資料品質工具將派上用場。Monte Carlo 於今年4/17日正式揭開代理式 AI 序幕，發表能協助企業確保資料品質的 Observability Agents 可觀測性代理程式，另一款用於調查資料品質問題之根本原因並提供解決建議的故障排除代理程式，預計7月前全面上市。該公司原本就提供根本原因分析功能，新代理程式可將原本冗長的作業流程大幅縮短至幾乎即時完成。 - 對即時分析的需求日益增加
一項研究顯示，能夠即時維運的企業，其營收成長比反應較慢的競爭對手高出 62%，利潤率也提高 97%。由於可靠的資料是即時維運的基礎，因此企業必須具備即時偵測與處理資料品質問題的能力。如今資料處理模式正從傳統批次處理轉向即時處理，這一趨勢將隨著企業對即時分析需求的持續上升而加速推進。邊緣運算與物聯網設備的崛起也將推波助瀾。 - 資料貨幣化市場持續成長
資料本身已成為一項產品。無程式碼（no-code）與低程式碼（low-code）解決方案讓更多非技術使用者能夠存取資料，並減少對 IT 部門的依賴，這使得業務單位能更快速地做出決策並獨立開發資料解決方案。資料貨幣化市場預估到2030年將達到 155 億美元，年均成長率達 20%。 - 倫理性 AI
一項研究指出，AI 對全球經濟的貢獻可能在2030年超過 15.7 兆美元。隨著 AI 的使用越來越廣泛，企業也更需重視這些模型背後的倫理原則。AI 模型必須避免偏見，因此今後企業將更加關注輸入 AI 系統資料的品質，並整合檢查機制，以確保處理流程的透明性。 - 更強健的資料治理框架
一套良好的資料治理計畫能為組織提供一個框架，以確保資料被妥善處理。它也建立了一套共通語言，作為有效協作的基礎。資料治理還能讓企業避免違反隱私法規。未來一年，企業可能會加強其資料治理框架，並採納「隱私始於設計」（privacy by design）等政策。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
