隨著生成式 AI（GenAI）的進步以驚人的速度改變業務運作與流程，各組織正處於關鍵時刻。儘管大型語言模型（LLM）一直是媒體焦點，企業如今越來越重視小型語言模型（Small Language Models，SLM）在導入 AI 時所能帶來的策略價值：更聚焦、更有效率，也更具成本效益。
編譯／酷魯
麥肯錫（McKinsey）在 2024 年 5 月發佈的一份最新報告顯示，如今 65% 的受訪者已在至少一個業務職能中定期使用 GenAI，這一比例幾乎是十個月前的兩倍。儘管一些公司已經初步獲益，其他企業則仍在努力應對實施上的複雜性。
世界經濟論壇所成立的 AI 治理聯盟（AI Governance Alliance）近期剛發布一系列旗艦白皮書《AI 時代的產業轉型》（Transformation of Industries in the Age of AI），探討各產業在 AI 採用上的情況。其中一篇《AI 實戰：從實驗走向產業轉型》（AI in Action: Beyond Experimentation to Transform Industry）指出，結合 AI 手持裝置、先進邊緣 AI（edge AI）與「微型」語言模型，具備徹底改變工作方式的潛力，能自動處理任務、管理行程，並即時提供資訊。由此可見，這場 SLM 變革很可能會像網際網路一樣，徹底重塑個人與企業的運作方式。
並非所有企業都玩得起成本高昂的 LLM
儘管對許多公司來說，LLM 仍然是特定專案的最佳選擇。然而，仍有不少企業認為，LLM 在運行成本上過於昂貴，除了實質金錢支出外，還包括能源與運算資源的消耗。根據 IDC 的計算，全球 AI 支出在未來四年內將增加一倍，達到 6320 億美元，其中 GenAI 的增長速度最快，將佔所有 AI 支出的 32%。
由於 LLM 需要數千顆 AI 處理晶片（GPU）來處理數千億個參數，建構成本可能高達數百萬美元，特別是在訓練階段，以及日後運行時的查詢處理。資料科學家協會（Association of Data Scientists，ADaSci）指出，單單訓練擁有 1750 億個參數的 GPT-3，就消耗了約 1,287 MWh（百萬瓦小時）的電力，這相當於一個普通美國家庭 120 年的電力消耗，這還不包括模型公開後的持續能耗。該協會進一步指出，相比之下，將一個擁有 70 億個參數的較小型模型部署給 100 萬名用戶，僅需消耗 55.1 MWh（不到 LLM 總能耗的 5%）。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 IG，與全球CIO同步獲取精華見解 ]
LLM 通常需要遠超個別設備可提供的運算資源，因此大多數情況下會在雲端運行。由於資料必須上傳雲端，導致企業失去對資料的實體控制權，其次是上傳過程可能增加延遲。再者，由於 LLM 涵蓋的知識範圍極廣，增加了使用不當或不準確資訊的可能性，因而容易出現「幻覺」（hallucination）。
專為特定任務與資源有限打造的 SLM
如同支援 OpenAI ChatGPT 的 GPT-4 等 LLM，SLM 是以 LLM 所使用人工神經網路為基礎，進行簡化後所建構而成，也具備理解與生成自然語言的能力。只不過，SLM 的設計重點在於擅長執行特定任務，它們透過更聚焦的資料集來進行訓練，因此在處理像是顧客回饋分析、產品描述撰寫，甚至是特定產業術語等任務時，表現非常高效。
所有語言模型都使用「參數」，也就是可調整的設定來學習並提升預測的能力。SLM 的參數數量遠少於 LLM，這反而使得它們在運算速度與效率上具備優勢。當前 GPT-4 動輒包含超過 1,750 億個參數，反觀 SLM 通常只有數千萬至 300 億不到的參數。
這樣簡化的架構讓 SLM 能以遠低於大型模型的運算資源，在特定領域中執行自然語言處理任務，例如客服聊天機器人與虛擬助理。SLM 的微型設計是透過像是知識蒸餾（knowledge distillation）、剪枝（pruning）與量化（quantization）等技術實現的。這些方法能讓 SLM 在保留大型模型核心能力的同時，大幅降低運算需求，非常適合包括邊緣裝置與行動應用等資源有限的環境。
極具成本/節能優勢，但無法滿足複雜及通用任務需求
如同前文所述，動輒包含數十億個參數的 LLM，訓練起來往往型需要極長的時間與大量的能源消耗，這一點可以從微軟重啟著名的三哩島核電廠，以及 NVIDIA 市值飆升的現象中看出。大多數公司無法負擔這類模型所需的龐大基礎設施投資，因此，風險投資開始資助 SLM，例如 Arcee 最近獲得的 2400 萬美元 A 輪融資，這也說明了 SLM 之所以將大幅增長的最大原因，在於其具備成本效益與資源節約的優勢。
除此之外，由於 SLM 專注於較少的變數，因此能更果斷地得出良好答案，產生幻覺的可能性較低，且運作上更加高效。而且 SLM 不需要與 LLM 相同規模的 AI 處理晶片叢集，它們可以在本地運行，某些情況下甚至可以在單一設備上執行。它也減少了對雲端運算的依賴，讓企業能夠更好地控制自身的資料與合規性。
[ 延伸閱讀：加速 AI 從雲端到邊緣的全面進化 ─ Arm COMPUTEX 2025 主題演講 ]
2024 年 12 月，微軟推出 Phi-4 作為其 Phi 系列最新的 SLM，聲稱其在數學推理方面「表現優於同類甚至更大型的模型」，同時也能處理一般的語言處理任務。微軟總結了 SLM 的優勢，包括訓練與回應速度更快、降低能源消耗、具成本效益、在特定領域任務中表現更佳，以及支援邊緣裝置部署。該公司同時也列舉出當前 SLM 具備處理複雜語言的能力有限、在複雜任務中的準確度較低、效能受限，以及應用範圍狹窄等限制。
為今後企業應用帶來顛覆性影響
在分析 SLM 的部署時，各個產業都能看到其帶來的顛覆性影響，包括：
- 客服：SLM 可用於快速分析客戶情緒與投訴，能生成有價值的摘要，並整合到客戶關係管理（CRM）系統中，以改善問題解決的方式。
- 健康照護：在分析醫生診療紀錄以及增進醫病互動關係方面開始展現價值，這是一個具有重要隱私考量的資料處理領域。
- 金融：企業可透過 LLM 為涉及法規遵循或公司治理的郵件或文件進行標記，這類任務甚至可以在存放資料的相同伺服器上運行，有效降低額外儲存、運算與網路傳輸成本。
- 零售：提供基於 AI 的產品推薦已成為零售業的一項關鍵業務功能，SLM 能夠更精準地限定處理資料類型、輸出內容以及所需運算資源，並整合到 AI 工具套件中，進而提供高效客製化的解決方案。
總而言之，SLM 的出現，標誌著當前企業 AI 策略出現重大的典範轉移，組織正從實驗性的導入，轉向更具策略性、目標導向式的精準實施方式。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
