有一段時間，提示工程（prompt engineering）感覺像是一種策略。只要製作完美的輸入，就能解鎖完美的輸出。在這裡添加一些詞元（token），在那裡調整一下語氣，突然間你的聊天機器人立馬搖身一變成為資深行銷人員。但事實並非如此。
編譯／酷魯
提示工程之所以流行，不是因為它真的奏效，而是因為那是唯一可用的工具。它給了我們一種可掌控的幻覺，卻掩蓋了一個更重要的事實：不理解你業務情境的 AI，永遠無法交付你的策略。該是認清提示工程侷限，開始擁抱情境工程（context engineering）的時候了。
並非打造更好的提示，而是打造在正確時機提供正確情境的系統
情境工程是對輸入至大型語言模型（LLM）的情境進行設計、組織和操控，以最佳化 LLM 效能的一門學科。傳統提示工程所關注的是對模型權重或架構進行微調，情境工程關注的則是包括提示語、系統指令、檢索到的知識、格式，甚至資訊排列順序等輸入。情境工程並不是要打造更好的提示，而是要構建能在正確時機提供正確情境的系統。
這個新興實踐正在逐漸受到重視，原因在於人們對基於提示之模型（例如 GPT-4、Claude 和 Gemini）的依賴日益增加。這些模型的效能往往與其規模大小的關聯性較低，反而更多取決於所接收的情境品質。從這個意義上說，情境工程相當於智慧型代理與檢索增強生成（RAG）時代的提示程式設計。
從戰術性提示轉向策略性系統，將知識轉化為營收的世代重置
基於提示的工具能擴大的是內容，而不是相關性。這種基於 AI 幻覺的即興發揮，有可能讓風險成倍放大。麥肯錫在 2024 年的一份報告指出，78%的企業正以某種形式試行生成式 AI，然而只有 10% 的公司回報其對損益表有實質正面影響。
之所以會如此，是因為沒與業務目標未達成一致的大規模部署，只會帶來表面活動，而不會產生財務上的重大成果。不僅如此，在早期的提示工程實驗中出現了許多狀況：安全團隊遭遇許多違反法規的事件，董事會質疑投資報酬率，而行銷主管則發現產出的多半是沒什麼影響力的內容。
多年來，工業界長期存在「如何在正確的時間，將正確的資訊傳送到正確的地方」的挑戰，人們嘗試尋求新的架構典範來克服這個挑戰。最初圍繞生成式 AI 的炒作表明，答案就是「提示工程」。然而，該方法在充滿複雜、多步驟工作流程的工業環境中顯得綁手綁腳，所以我們顯然需要一種更強健、更系統層級的學科，它就是情境工程。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 IG，與全球CIO同步獲取精華見解 ]
再者，當今多數的 AI 實作常把情境視為一個固定大小的緩衝區，在處理前先用相關資訊填滿。這在早期的聊天機器人與問答系統中還算可用。然而，隨著 AI 應用被納入工作流程而變得愈來愈複雜，這種以緩衝區為核心的方法已被證明遠遠不夠。最根本的問題莫過於把情境看成靜態的，然而在人類對話中，情境是可變動的，會隨著對話或工作流程的進展而移動與演變。
由此可見，我們已觸及第一代企業 AI 應用的天花板，而這個天花板並非技術上的，而是架構上的。面對通用型 AI 只會提供通用而非專屬輸出的問題，市場推廣領導者必須主導這個架構，否則會由別人來決定它將變成什麼樣子。
所以我們面臨的是從戰術性提示轉向策略性系統的架構轉變，同時也是一場如何將知識轉化為營收的世代重置大戰。下一個 AI 時代不是從更好的提示開始，而是從更好的設計開始
改變建構 AI 系統的方式，尋求有效情境管理非常重要
情境工程展現了我們建構 AI 系統的方式有了根本性改變，也就是從「思考檢索」轉向到「思考情境編排」。與其問「哪些資訊與這個查詢最相似？」，我們不如問「什麼資訊的組合，以什麼順序提供，才能促成最有效的決策？」
因為情境不是相加性的，而是組合性的。往情境視窗裡丟更多文件，並不會以線性方式提升表現。反而會在許多情況下因為「注意力稀釋」（attention dilution）而降低表現。
[ 推薦閱讀：以多模態 AI 精實臨床作業流程(一) ]
總之，企業必須打造出基於公司專屬智慧而訓練的 AI 系統，如此一來，企業將不再僅僅追逐生產力，而能提供精準性。想要達成這一點，無法透過更好的提示來實現，而需要透過專業訓練的 AI 來完成。更重要的是，訓練有素的專業模型，靠的不是更多的資料，而是正確的資料與情境工程。
以下再列舉當前企業需要擁抱情境工程的因素：
- 精確性與相關性：LLM 對雜訊非常敏感，愈是針對性的提示、愈是合理的邏輯安排，那麼輸出的準確性就愈高。
- 最佳化 RAG：在 RAG 系統中，外部資料多半即時獲取。情境工程有助於決定檢索外部資料、如何對其進行分組，以及如何表示。
- Token 效率：隨著情境視窗（context window）長度的擴展（例如 GPT-4-Turbo 的 128K），有效的情境管理變得至關重要。結構不良的情境會浪費寶貴的 token。
- 適應特定領域：微調代價高昂，構建更好的提示或檢索管道，可以讓模型在零次或少次學習的專業任務中表現良好。
- 代理工作流程：使用 LangChain 或 OpenAgents 這類工具時，自主代理依賴情境來維持記憶、目標和工具使用。糟糕的情境反而會導致規劃失敗或產生幻覺。
情境工程需要新工具，也需發掘舊工具的新用法
發展有效的情境工程需要新工具，也需要用新方法來思考舊工具。每個月都有新開發及可用的新工具，但最終在生產中起作用的策略似乎與熟悉的模式相契合。
例如情境路由器會根據辨識查詢元素來動態做出決策。情境壓縮器借鑑自資訊理論，創造出所謂的「最大邏輯」，以便在情境視窗中盡可能引入最大化的密度因數。至於情境狀態管理器會發展出關於對話狀態與工作流程狀態的結構化表示，進而讓 AI 系統能夠學習，而不是在每一次新介入或互動元件中重新誕生。
隨著自主代理工作流程普及，掌握情境工程正變得與模型選擇同等重要。AI 的未來並不是打造能理解所有事物的系統，而是打造能準確理解系統該注意什麼、何時注意，以及如何將這份注意力轉化為行動與洞見的系統。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
