在日本偏遠的島嶼和農村地區，沒有大型醫院提供專門護理。為了縮小醫療保健方面的差距，長崎大學把目光投向了擁有巨大潛力的混合現實和3D技術。

    2021年，研究團隊開發了長崎大學類風濕關節炎遠程醫療系統（Nagasaki University Rheumatoid Arthritis Remote Medical System；NURAS），而這是日本第一個用于治療類風濕關節炎的遠程醫療系統。同年3月，長崎大學和位于長崎縣離島的五島中央病院開始了示范實驗，并以Microsoft Azure Kinect DK和Hololens2作為基礎。未來，遠程醫療將在日本各個地區的偏遠島嶼和偏遠地區實現。

    1. 消除醫療保健方面的差距

    長崎縣擁有大量的離島。出生率下降和人口老齡化導致醫療人員長期短缺。特別是，在急需專家的地區，與市中心的醫療差距已成為一個重大問題。

    由于風濕性關節炎治療需要高水平的專業知識，島上居民一般會前往本島醫院咨詢專家。但是，長途旅行是患者的主要生理和心理負擔，而且自新冠疫情爆發以來，長途旅行變得更加困難。

    長崎大學大學院醫齒藥學綜合研究科的離島醫療研究所助教野中文陽表示：“很多患者都希望在五島中央病院完成治療。”

    類風濕性關節炎是一種難以治療的疾病。不過，生物制劑和其他治療劑已使早期診斷和適當治療成為可能。為了幫助偏遠島嶼居民以及主島居民能夠接觸到相關專家，長崎大學選擇了微軟的混合現實和3D技術。

    野中文陽指出：“我們曾嘗試通過可穿戴的攝像設備向遠程專家發送圖像和聲音。但是，專家很難看到受影響的區域，而且患者無法直接與專家溝通。”

    2. 使用HoloLens 2來實現遠程診療

    2019年春天，微軟日本的首席技術官榊原彰在日本風濕病學會主辦的演講會中介紹了使用HoloLens和Azure Kinect DK的診療技術。長崎大學大學院醫齒藥學綜合研究科的講師川?真也有參加所述活動，并確信3D影像的巨大信息量可以用于離島偏僻地區的關節風濕診療。后來，HoloLens 2的技術演示給川?真也帶來了靈感。

    川?真也回憶道：“真實世界和全息圖能夠融合在一起，你仿佛就是在科幻小說的世界里。在臨床實踐中使用混合現實設備將在不久的將來實現。”

    在2020年的春天，作為一個行業-學術聯合項目，研究團隊開始將HoloLens 2和Azure Kinect DK用于開發遠程醫療系統NURAS。

    系統開發由Rocket Studio和微軟日本提供支持。2020年夏天，由于疫情影響，團隊選擇通過Microsoft Teams舉行了在線會議，討論了一系列的重要事項。2020年10月，原型測試在長崎大學和五島中央病院遠程進行，并于12月完成。2021年3月，這所大學開啟了實驗演示。

    川?真也指出：“項目開發的重點是，偏遠地區的專家是否能夠像面對面護理那樣提供醫療護理。我們已經構建出一系列的原型，而每次我們都要求他們進行改進，例如調整手指圖像，并使其能夠盡可能精確地表達皮膚皺紋和不規則表面。我們能夠快速做出反應，并獲得比預期更好的結果。”

3. 重新發現成功的概念驗證，Microsoft Teams帶來了有效溝通

    在遠程醫療中，偏遠地區的患者和當地醫師，以及遠程專家之間的成功合作非常重要。

    團隊在位于離島的五島中央病院安裝了一臺攝影儀器，然后三臺Azure Kinect DK設備設置在患者周圍，從而在三個方向同時成像病理情況。成像設備本身約為半平方厘米，而患者與當地醫師之間的距離非常接近，這能夠減少患者的不適感。

    圖像實時傳輸到長崎大學，并允許專家使用HoloLens 2查看圖像。病理區域的全息3D圖像可以從不同角度查看，并且可以使用手指操縱移動。在檢查周圍區域的同時能夠在辦公室內移動是混合現實設備的一個重要優勢。

    另外，團隊使用Microsoft Teams來幫助患者、當地醫師和遠程專家進行實時溝通。

    野中文陽解釋道：“通過Teams，病人可與他們的當地醫師及遠程專科醫生溝通，從而實現安全感和滿意感。當地醫師可以在專家的適當建議下診查病人。三方通信是這個系統的吸引人之處之一。”

    4. 使用人工智能支持遠程專家

    2018年，日本風濕病學會成立了人工智能醫學促進委員會，而委員會的第一任主席是長崎大學的風濕病和自身免疫/炎癥疾病領域教授川上純。

    川上純解釋道：“AI在診斷成像和癌癥基因組學研究方面已經取得了顯著的成果。我們相信AI可以用于類風濕性關節炎領域的標準化數據，并通過超聲波、患者檔案和血液檢測對關節進行圖像分析。”

    類風濕性關節炎的診查必不可少，患者報告的結果（PROs）同樣重要。目前的衡量標準包括評估身體功能的健康評估問卷和與健康相關的生活質量量表。然而，人工智能對PROs信息的分析將有助于醫生發現細微變化，并為患者提供更為合理的醫療護理。

    野中文陽希望“人工智能能夠檢測出醫生難以判斷的細微面部變化”，他進一步指出：“（人工智能）有助于在測量患者滿意度或總結重新考慮治療的必要性等方面提供支持。”

    作為下一步，川上純將大力推廣實施Microsoft Azure AI技術。

    第一，Azure Cognitive Services（AI）可用于Azure Kinect DK評估患者的面部表情，并自動衡量患者的情緒。

    第二，Azure Custom Vision用于從病理圖像中檢測腫脹的關節，從而提高混合現實診查的準確性。

    第三，Teams中的語言識別功能用于會診期間的文本對話，然后保存在醫療圖表中。理想情況下，從對話中收集信息的能力將提高系統層面的醫療質量，并減少醫療咨詢所需的時間。

5. 將遠程醫療業務擴展到日本各地

    川上純指出：“風濕性關節炎遠程診療在日本是第一次，而在世界范圍內同樣是一次非常先進的實驗。我們希望我們在這項實驗測試中的經驗能夠幫助所述系統推廣到更廣泛的地區。同時，我們希望將這個系統應用于其他醫療領域，如神經系統、運動神經系統、或者皮膚病。”

    野中文陽則表示：“通過推廣遠程醫療，我們可以提高偏遠島嶼和偏遠地區患者的生活質量。”

    川上純進一步補充道：“到目前為止，與不同部門的合作尚不充分。為了提升研究成果，我們必須與不同領域的人合作開發這一項目。”他觀察到，沒有不同部門之間的合作，創新就不會發生。

    在日本進行的首次實驗演示反映了相關人員的熱情以及不同行業之間的合作。如今，人們普遍認為生活質量的提升是由各種技術的發展所支撐，而這顯然包括醫療領域。但當然，長崎大學這群先驅者將繼續致力于解決前方的挑戰，從而為患者帶來真正的福音。