口述／孫培然‧彙整／CIO 編輯室
儘管多模態 AI 如前面幾期的文章，可以帶來許多好處，但目前醫院在導入多模態 AI 到臨床的過程中，仍然面臨許多挑戰。常見的幾個挑戰首先是資料整合困難，因為不同醫院系統格式不一致，要做跨系統 AI 分析不容易；其次是資料品質參差不齊，不是每個影像、報告都有完整標註，模型訓練也會有落差；再其次是部分醫師對 AI 建議還是持保留態度，臨床信任度還有待提升，以及法規跟倫理議題，包括 AI 責任歸屬、使用邊界、病人知情權等。
隱私與資安風險
但在推動多模態 AI 的同時，面對資安與隱私的風險也不能忽視。首先要了解，多模態 AI 處理的不只是文字，還包含聲音、影像、檢查報告、身份資訊等，這些都是高度敏度資料，一旦外洩，後果會非常嚴重。
目前國際上其實已經出現一種針對 AI 的攻擊方式，叫做「Prompt Injection」攻擊，簡單來說，就是有人會在圖片或報告中偷偷藏指令，這種技術被稱為 Sub-visual prompts，AI 模型就可能被誘導做出錯誤判斷，甚至洩漏病人的個資。
所以我們必須要有一個三層防護機制。
第一層是平台層級比對，輸入時就要檢查文字跟影像是否一致，確認沒有被偷偷地植入訊號；
再來是內容過濾與監控，把疑似惡意的字串或引導語給過濾掉；最後是人工審核機制，AI 自己做的結論，並不代表就能信，還是要有「人」來做審核把關。最終目的是確保 AI 能發揮效能，但也不會變成駭客鑽漏洞的工具。
模型偏見與幻覺
AI 很強，但也不是萬能。我們要特別注意「模型偏見跟幻覺」的問題。多模態 AI 如果在訓練時只看特定族群、特定病症的資料，就很可能會忽略其他樣態。一旦 AI 在分析影像加文字的過程中出現「幻覺」，也就是看錯、想太多，或憑空補資料，結果就會出現錯誤診斷，甚至讓醫護人員誤信誤用。
這種情況其實在國際研究中不算少見，但也不是無解。目前已知有三種方式，可以大幅改善這些偏誤或幻覺問題。
- 擴大數據多元性：建置跨醫院系統、涵蓋多族群的訓練資料集，藉此提升模型對真實臨床情境的適應力與泛化能力。
- 導入 Visual RAG 機制：整合視覺檢索增強生成（Visual RAG）模組，藉由影像與文字的雙重溯源，有效抑制模型幻覺，確保診斷基礎皆源於真實病例。
- 落實醫護人工審核：堅持「人機協作」原則，所有 AI 診斷結果須經醫護人員最終覆核，嚴禁 AI 獨立決策，以守護醫療倫理與病患安全。
根據實際驗證，這些做法能讓模型幻覺的機率下降 3560%，偏誤率減少超過 50%，大幅地提高整體診斷的可信度。
黑盒與可解釋性缺失
現在的 AI，特別是深度學習、多模態模型，的確可以幫助醫師做決策，但有一個大問題－醫師常常不知道 AI 是怎麼做出判斷的，也就不敢信、不敢用。像這樣不透明、內部機制無法被解釋的 AI，我們就叫它「黑盒子」。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 LinkedIn，與全球CIO同步獲取精華見解 ]
要解決這個問題，有幾種常見的方法。
- 導入可解釋性 AI 運算架構：運用 SHAP、LIME 或反事實解釋（Counterfactual Explanations）技術，拆解模型決策邏輯，精準定位影響診斷的輸入端關鍵因素。
- 視覺化特徵貢獻分析：在影像診斷介面整合「熱點圖層（Heatmap）」或特徵貢獻圖，即時標示影響 AI 判斷的病灶區域，輔助醫師快速驗證影像重點。
- 建立回饋機制與解釋合規性：定期追蹤 AI 預測與臨床實際結果的差異，並建構標準化審查制度，確保每項 AI 決策皆具備合理的解釋依據，進而強化醫師信任感並加速臨床落地。
根據研究數據顯示，導入 可解釋 AI（XAI） 能有效提升 15% 的診斷精確度，並將臨床信任度大幅提高 45%。更重要的是，XAI 能有效抑制過度推論與模型幻覺，避免資訊誤導或醫療濫用。在推動醫療 AI 臨床落地的過程中，XAI 是構築醫療安全與醫病信任不可或缺的關鍵拼圖。
過度依賴與成本不均
AI 固然能夠提升醫療效率，但如果醫護人員過度依賴，長期下來，專業判斷能力會慢慢的被削弱，臨床經驗也會被取代。再來，AI 設備不是人人都買得起，尤其是中小型醫院常常負擔不起，結果就是資源集中在少數財力雄厚的大醫院，造成整個醫療系統的資源落差及城鄉落差。
那怎麼辦呢？我們可以這樣做：
平常就要進行 AI 素養訓練與能力評估，確保使用者有正確觀念，而不是盲信或誤用；採用開源模型、模組化部署，讓技術更容易導入，降低建置成本；推動跨院共享平台、使用雲端 AI 資源，讓大家有公平的工具可以使用。
只有這樣，AI 才不會只屬於有錢的大醫院，而是能夠真正廣泛推廣到各個醫院，提升整體醫療品質。AI 要助攻，不是主控；要普及，不是排他。
未來策略與發展
過去我們講 AI 是「輔助工具」，但其實未來要走得更遠，AI 應該要成為臨床決策流程中的智慧夥伴。要這麼做有四個關鍵策略：
建構可解釋性與責任歸屬機制：賦予 AI 模型決策透明度，確保每一項診斷建議皆具備可追溯的邏輯依據。這不僅是建立臨床信任的基礎，更是釐清醫療法規中責任界線的關鍵。
落實多模態數據融合（Multimodal Fusion）：突破單一數據限制，整合語音、影像、生理訊號及電子病歷（EMR）等異質資料，模擬全人醫療診斷思維，提升診斷的全面性與精準度。
[ 推薦文章：【專訪】羅氏集團亞太區數位科技主管吳明杰 ]
異質系統與國際標準無縫介接：支援 FHIR、HL7、PACS 及各式醫療文件格式（如 PDF），確保 AI 解決方案能與現有醫院資訊系統（HIS）高度相容，擺脫「單點示範」的限制，實現規模化落地。
推動聯邦學習與協同演進架構：運用聯邦學習（Federated Learning）技術，在保護病患隱私、資料不外流的前提下，實現跨院際的模型共同訓練。藉此持續優化模型性能，並有效抵銷數據偏誤，提升系統的公平性與穩定性。
AI 在未來，不是誰先上，而是誰用得穩、整合得深、信任度高，這才是競爭力的關鍵。AI 不是取代醫師，而是能接下那些繁瑣、重複、資訊密集的瑣碎工作，讓醫護人員能夠回到「判斷」與「人性」的核心本質。
[ 閱讀 孫培然 所有專欄文章]
AI 要扮演的不是主角，而是理想的夥伴，它能自動處理語音記錄、文書、影像分類，甚至幫你做預警訊號；它能幫助醫護爭取時間，用來專注在病人的互動上；它也能當成安全網與決策助手，避免錯誤發生。
同時透過衛福部負責任 AI落地管理三大策略、九大透明性原則及可解釋性分析等監控機制，確保它不越界、不失控，一切最終指向的核心是，未來的AI 醫療，不僅是高效，同時也是可信的、公平的、有溫度的貼近人性。
(本文授權非營利轉載，請註明出處：CIO Taiwan)
