COVID-19疫情流行後，醫院手術前需要做COVID-19篩檢，以及民眾普遍擔憂染疫風險，進而造成部分非急迫性的住院手術與門診手術相繼取消，外科相關教學也受其影響。面臨這樣的時事限制，HoloLens 2的混合實境技術給臨床醫學的應用帶來新的啟發。大家也許熟知虛擬實境(Virtual Reality，VR)和擴增實境(Augmented Reality，AR)，前者模擬出一個真實感很強的虛擬空間，後者則是以真實世界為主，並增加相關的數位細節。而HoloLens 2是一款使用混合實境(Mixed Reality，MR)技術的頭盔，它能把虛擬和現實世界的元素完美地融合成一方世界，讓使用者不必脫下頭盔，即可在與虛擬環境交互的同時也能察覺到周圍的現實環境。
臺北醫學大學附設醫院骨科部脊椎骨科吳孟晃主任表示，在2013年時這樣的技術在脊椎手術領域中已開始應用於手術影像導引及臨床教學，現在也有臨床相關產品可用於脊椎椎釘放置，然而對於目前發展最迅速的脊椎內視鏡手術，仍未見該創新技術用於臨床應用。吳孟晃主任2019年由北醫大派往美國史丹佛大學Biodesign進行國際培訓講師訓練時觀察到脊椎內視鏡手術的臨床需求具有極大市場潛力，遂提出利用創新科技於脊椎內視鏡手術教學指導的構想，並與矽谷工程師討論，開啟混合實境於脊椎內視鏡手術的應用研發，結合人工智慧手術規劃及擬真手術訓練模組，期能發展出能幫助患者更安全有效、快速復原的智慧超微創脊椎內視鏡手術。透過HoloLens 2與人工智慧結合，吳孟晃主任希望能夠邁入新階段也因此他積極向微軟取經，並與慧術科技李宇捷執行長進行合作，讓臨床醫師的需求，在透過資訊工程師的技術轉化後，能制定策略與國際人工智慧醫療產業接軌，最終期望能實現商品化。
源自矽谷的史丹佛Biodesign生醫設計創新訓練強調跨領域人才的碰撞與交流，因此促成北醫附醫吳孟晃主任、萬芳醫院神經內科陳兆煒醫師、雙和醫院骨科陳致宇醫師、黃中廷工程師、姚漢彬專案經理與慧術科技李宇倢博士合作。相關構想後於北醫大SPARK計畫中成型，並進一步向工研院量測技術發展中心及台灣微軟提案，主要內容為配合脊椎病患就醫歷程來進行全方位智慧內視鏡手術解決方案，初期與伊雲谷公司開發醫療資料去識別化模組用於雲端資料庫人工智慧訓練，並應用HoloLens 2混合實境結合人工智慧辨識及擬真教學建立手術訓練方案，解決脊椎內視鏡手術學習曲線陡峭之困難。其中關鍵處為HoloLens 2作為醫師與儀器交流最重要之互動平台，作為符合臨床需求之教學及臨床工具，混合實境影像資料需要用到人工智慧協助醫學影像做深度學習的影像辨識，影像分割完成後，還需降低噪音處理，如此才能在臨床上提供正確清楚的資訊/訊息以利醫師判斷病情，譬如心臟外科手術中需要立體影像觀察心臟結構，進一步應用機器運算了解血管及心臟結構改變對血流及手術之影響，提供手術建議及相應策略，或是在脊椎手術中能以手術前影像分析，進行安全路徑規劃，並進一步使用內視鏡或機器人來達成手術任務，在這些不同臨床場景下的高階技術規格需要醫療團隊與工程師們協力合作來完成。此外運用HoloLens 2能帶給醫學生及年輕醫師3D空間無死角的學習，例如觀察手術部位不同角度樣貌，或透過第一視野了解醫師如何執行手術，同時也能以立體透視方式了解骨骼肌肉神經血管分佈，解決傳統解剖學上無法達到的學習效果。混合實境的技術還能夠形成解剖生理的動畫，讓醫學生們能觀察人體執行各動作的時候，骨骼、肌肉，以及器官之間連動的關係，更可補足大體解剖中無法提供之動態資訊。此跨領域團隊運用HoloLens 2結合已開發完成之手術教學模組，目前正進行北醫大深耕研究計畫，在不久將來可望用於臨床手術指導。
吳孟晃主任指出，現有醫療設備實際運用在手術進行時，往往使用各自獨立之螢幕，使得治療所需資訊分散於醫療場域中不同位置，在缺乏整合性的影響下，醫療資訊、醫療影像、手術導航指引、及病患手術視野無法結合於同一視角，進而造成手術醫師無法準確辨認手術實際狀況，可能因此忽略重要訊息而無法即時處理而導致如植入物放置錯誤或造成出血等併發症。現今智慧手術室強調資訊整合，但因為造價高昂及場地設計需求高，而無法普及化，吳孟晃主任認為Hololens2 可以解決這樣的痛點，讓醫師的視野回到病人術野並提供更多強化資訊，讓治療與手術可以更快速的完成及得到更安全有效的成果，也讓每個手術室都成為智慧手術場域。由於醫療臨床場域變化性高，吳孟晃主任認為未來產品可望依照醫療中各科別需求發展得更貼近專業並用於各類臨床手術操作。台灣微軟首席營運長陳慧蓉表示，結合不同的醫療器材專長公司的應用，以HoloLens 2為平台，更客製化、專業化，來針對特定手術做混合實境的產品優化。譬如美敦力 (Medtronic)使用HoloLens 2來開發一套融合了擴展現實的技術，結合 3D 模擬器讓心臟外科醫師們能在非常逼真的模擬下練習植入世界上最小的心臟節律器 Micra。事實上，加拿大魁北克的猶太總醫院(Jewish General Hospital)的心臟專家團隊以此技術在多倫多的一名培訓專家的帶領下成功地完成了經導管主動脈瓣植入術 (transcatheter valve implantation，TAVI)。 戴上HoloLens 2，透過頭盔顯示器，讓執行手術的醫師能夠看到覆蓋在他視野中臨床路徑逐步的3D 渲染，而同時在異地多倫多的專家能同步監控和給予即時的建議。對於外科醫師來說，這種體驗就像在手術室裡有培訓專家在旁，而且改進後的技術提供極佳整合之好處，在手術過程中不必抬頭看各種屏幕，所有需要的影像與資訊，都同時出現在執刀醫師的視野中。位於遠端的專家可以監測患者的重要體徵，並準確查看執刀外科醫師實時所看到的內容。陳慧蓉營運長表示，北醫團隊透過混合實境及人工智慧讓脊椎手術智慧化之願景，藉Biodesign方法學結合臨床醫師、資訊工程師及產業跨界的齊心努力，不久將來可落地實現並拓展國際，展現台灣醫療BioICT產業實力。
