資料工程師在各行各業的企業中任職，協助管理與儲存企業營運所需的資料。一方面，所有 AI 願景都離不開資料工程；另一方面，生成式 AI 技術與大型語言模型（LLM）的結合，將帶來資料工程的效能提升與營運效率的改善。
編譯／酷魯
雲端運算、AI、無伺服器運算以及分散式運算系統等現代技術的進展，正推動這資料工程領域發生根本性的變革。資料工程是一個迷人而混亂的領域，因為其本質上就存在於一種無序之中。由於涉及眾多不同的資料來源，這個領域至今仍缺乏一套標準化的企業架構。如今，LLM 正帶來新一波的衝擊，顛覆資料工程領域。
何謂資料工程師
資料工程師的工作是設計、建構並優化可大規模蒐集、儲存、存取與分析資料的系統。他們建立資料管線（data pipeline），將原始資料轉換為資料科學家、資料導向應用程式、AI 平台以及其他資料使用者可使用的格式。他們的主要職責是確保資料是可用的、可存取的且安全無虞的。
然而，可觀測性公司 Dynatrace 技術策略長兼開放原始碼負責人 Alois Reitbauer 卻認為，「資料工程師」的定義其實是流動性的，因為資料工程師這個角色本身正在轉變，因為我們需要業務專家與各類「技術實務」（例如資安、效能、除錯等）專家組成一個統一的跨領域團隊來共同合作。
根據 Dynatrace 的觀察發現，當前客戶正在進行資料工作流程的整合與「營運化」（亦即 DataOps 資料營運）。這表示資料工程團隊必須採用新的現代化營運做法，例如導入網站可靠性工程（Site Reliability Engineering，SRE）的思維；而營運人員則需學會管理一種以資料為核心之全新類型的工作負載。而 Kubernetes 似乎正成為這一整合過程的關鍵平台。
資料工程師技能、角色及職權
資料工程師需要具備大量技術能力，包括對了解 SQL 資料庫設計並熟悉多種程式語言。他們也必須具備跨部門協作與溝通的能力，能理解企業領導階層希望從龐大資料集中獲得哪些洞見，同時也要負責撰寫演算法以存取原始資料。此外，資料工程師必須懂得如何優化資料檢索流程，以及如何為利害關係人開發儀表板、報告和其他視覺化工具。視企業規模而定，他們有時也需負責解釋資料趨勢。
線上學習平台Coursera 建議，想從事資料工程師，應具備紮實的程式設計、統計學及大數據分析能力。對於 Hadoop、Spark 等分散式系統，以及 Azure、AWS 等雲端平台的了解非常有幫助，並且至少要精通一種程式語言，例如 Java、Python 或 Scala。另外建議熟悉關聯式資料庫或 NoSQL 資料庫，如 MongoDB 或 Cassandra，同時對機器學習原理、統計學、演算法與數學有深入的理解。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 IG，與全球CIO同步獲取精華見解 ]
根據全球第一大求職網站 Indeed 的說法，目前資料工程師最常見的工作職責包括：組合大型複雜資料集；設計並實作內部流程改善措施；建置 ETL 所需基礎設施；建立分析工具；與各團隊協作解決資料相關技術問題。
除了資料工程師熱門之外，線上學習平台 Dataquest 並列出當前市場上需求量最大的幾種資料工程相關職位，包括大數據工程師、機器學習工程師、資料架構師、雲端資料工程師、ETL 擷取/轉換/載入開發人員、DataOps 工程師及 AI 資料工程師。
資料工程幫助 AI
如同前述，想要展現 AI 成果，就必須仰賴現代化資料工程系統。Dell Technologies 全球技術長暨 AI 長 John Roese 表示，當代資料系統建立了一個網路結構或網格，讓現代工具能從多個來源存取資料，並創造真正的組合式洞見。資料工程就是定義、實作並營運現代資料系統進而實現 AI 應用願景的關鍵技能。
AArete 管理顧問公司旗下技術服務團隊董事總經理 Bhrugu Pange 表示，面對當前 AI 應用，資料工程師必須懂得如何將資料置入合適的資料管線中，以便將資料注入到 LLM 進行訓練、微調與 RAG 嵌入。總之，資料工程師必須具備多面向的能力。
卡內基美隆大學（Carnegie Mellon University）作業研究與計算機科學教授 R Ravi 表示，在資料平台準備好支援 AI 的過程中，必須做好安全性與法規遵循等基礎工作。要成為 AI 資料工程師，重要的是能提出倫理方面的問題，以便扮演好控管倫理第一道防線的角色。
AI 幫助資料工程
LLM 能提升資料工程在基礎資料專案需求，以及資料團隊進行框架開發等進階需求上的整體效能。對資料工程師與資料科學家而言，為了導入新的解決方案，閱讀已記錄的使用案例與各類論文始終是一項重大挑戰，對此，LLM 可以提供無與倫比的一臂之力。
雖然目前 LLM 技術尚無法滿足所有資料工程需求，但它已能在多項應用上提供有價值的支援。首先，透過 LLM 能快速合成與整合資料集，便能在營運上獲得更大的靈活性。其次，LLM 具備提升資料洞察力的能力。企業還可以利用 LLM 偵測資料中的異常、遺漏、錯誤及不一致。該技術並具備與人類類似的隱藏資料擷取能力，但處理速度更快。更重要的是，LLM 賦予資料工程師自動化日常作業的能力。
「現在只要輸入一個提示，AI 就能幫你完成許多困難的工作，」資料服務與顧問公司 Indicium 資料長 Daniel Avancini 表示。「事實上，很多工作已經是由 AI 執行。在某些領域，有 20% 的新開發工作都是靠 AI 完成的。」
[ 推薦文章：AI 轉型下的企業如何拆解人才難題？ ]
這也意味著，對初階資料工程師的需求將減少，他指出，但對資深人才的需求將會上升。因為資料工程師現在需要掌握更複雜的技術領域，例如資料血緣追蹤（data lineage）、資料治理（governance），以及那些難以診斷的資料架構與資料管線問題。這項趨勢已經反映在數據上：根據 PayScale，初階資料工程師的薪資下跌了 19%，而有經驗的資料工程師薪資則上漲了 32%。
「公司會淘汰初階工程師，而資深工程師的生產力將提升五到六倍，因為他們能讓 AI 幫他們完成那些工作，」他說。
LatentView Analytics 資料工程部門主管 Sunil Kalra 表示，他親眼見證這一變化。「過去，如果一家大型企業要從 Hadoop 遷移至資料湖，這是個龐大的工程，可能要花上三年，」他說。而生成式 AI 已經能將這樣的時程縮短大約 20%。「但你仍然得驗證生成式 AI 給你的結果是否正確，」他補充。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
