·“手術機器人未來的發展就是要讓一些普通手術變成‘傻瓜式’的，無論是誰來做這個手術效果都一樣。只有這樣才能實現病人的分流，大家才愿意去基層醫院看病。”

·“我覺得數據的分享問題需要從政府層面推動監管，還要讓醫院有動力來分享，醫院在提供數據后，訓練的模型提高了他們的工作效率，實現了好的手術效果，他們才會更樂意去分享。”

腦部是人體最為復雜和重要的器官之一，這使得腦部手術十分復雜、風險極高。多年來，許多醫生提出了腦部手術的解決方案，但限于技術原因仍停留在理論階段，AI大模型等新技術和機器人的結合，則為復雜的腦科手術提供了一種解決路徑。

“增強現實技術和機器人的結合可以為醫生呈現三維建模的仿真畫面，還可以使用AI算法識別人體解剖學結構。”中國科學院香港創新研究院人工智能與機器人創新中心執行主任劉宏斌告訴澎湃科技（www.kxwhcb.com），“通過AI大數據模型，醫生可以讓機器輔助他判斷目前的手術進行到哪一階段，有哪些需要注意的事項，進行實時提醒。”

劉宏斌主持研發了該中心的Embodied AI多模態手術大模型和MicroNeuro微創腦手術柔性機器人系統，以實現AI與機器人協作，輔助醫生進行微創腦手術。這兩款產品在剛剛結束的2023世界人工智能大會上進行了展示。

不過，大模型在手術領域的應用仍然任重道遠。劉宏斌指出，就目前大模型的水平來說，仍然需要真人醫生把控。此外，要實現質量更高的大模型訓練，必須打通和強化數據分享，比如一些罕見病，在某個地方病例很少，而在另一個地方可能有多得多的病例。

劉宏斌還提出，AI可以助力分級診療的實現。“我們研發這些AI算法并不是為了幫助閱歷豐富的臨床專家，而是為了幫助一些缺少練手機會的醫生。”他說，“手術機器人未來的發展就是要讓一些普通手術變成‘傻瓜式’的，無論是誰來做這個手術效果都一樣。只有這樣才能實現病人的分流，大家才愿意去基層醫院看病。”

MicroNeuro微創腦手術機器人展示。

延伸醫生的手、眼、腦

澎湃科技：能否介紹一下中科院香港創新院人工智能與機器人創新中心目前從事的研究？

劉宏斌：目前主要聚焦醫療健康領域，包括基于AI的腦手術現實增強及導航技術、Embodied AI多模態手術大模型、未來具身智能手術室以及MicroNeuro微創腦手術機器人。其中未來具身智能手術室是較為長遠的總體目標，將集成創新中心各類人工智能、機器人技術。

MicroNeuro是國際上第一個用于微創神經外科的柔性機器人系統。腦外科醫生可以操作機器人到達腦部深處，并進行穩、準、可見的智能化微創手術，同時將腦組織損傷降低50%以上。MicroNeuro還集成了AI多模態手術大模型，能夠在手術過程中實時融合視覺、觸覺等多模態信息，協助醫生對手術場景進行實時推理判斷。該模型不止有語言功能，還有分析實時影像信息的多模態能力，比如內窺鏡超聲等功能模塊已經集成到了大模型里，專門面向手術垂直應用領域。

澎湃科技：如何解釋未來具身智能手術室的概念？

劉宏斌：未來具身智能手術室是一個集成性的概念，現在的手術室只是醫生做手術的空間，但未來的手術室其本體可能就是一個機器人，或者說一個智能的技術集合體。它的組成部分包括：微創手術機器人，是醫生手的延伸；各種各樣的成像設備，比如內窺鏡、手術室監控攝像頭、超聲等實時影像設備，是醫生眼睛的延伸；AI大模型，部署在一個邊緣計算系統上，是醫生大腦的延伸。

澎湃科技：未來具身智能手術室目前發展情況如何？

劉宏斌：目前仍在起步階段，由于技術限制，沒辦法將所有技術集成在一個真正的手術室中，但很多子模塊的功能已經開始實施。

其中有手術大模型Embodied AI在神經內鏡方向的應用，現在已經與香港威爾士親王醫院的神經外科合作。在手術的過程中，AI可以比較準確地得出智能診斷建議，還可以對手術器械進行跟蹤、對不同的解剖學結構進行辨識。對于AI大模型，醫生們的反饋也很積極，未來不只是一個醫生、一名護士受益，具身智能手術室將擁有增強一整個醫療團隊手術水平的能力。

澎湃科技：MicroNeuro微創腦手術機器人的特點是什么？取得了哪些突破？

劉宏斌：該手術機器人系統性的突破主要體現在兩方面，首先是對微小且柔軟器械的精準控制。比如，如何保證其在狹窄的空間里拐急彎時不失控。這一問題看起來很容易解決，但要想保證操作又穩又準又靈活，實際上涉及到非常復雜的算法。

第二點突破在于技術間的結合，將手術大模型與機器人相結合能夠有效幫助醫生在高度緊張的情況下順利完成腦手術。做腦手術的一個痛點就在于，即使是經驗非常豐富的醫生也很容易緊張，可能忘掉下一步該做什么。而通過AI大數據模型，醫生可以讓機器輔助他判斷目前的手術到了哪一階段，有哪些需要注意的事項，進行實時提醒。

此外，增強現實技術和機器人的結合也很重要，這里我需要特別提及一下，為什么神經外科的手術機器人發展相比腹腔鏡機器人比較緩慢，其中很重要的原因就是神經外科是一個高風險手術，容錯率非常低。

進入腦中做手術，醫生沒辦法通過肉眼來判斷機器人的交互情況，整個手術過程中只能看到前端內窺鏡傳回來的畫面，視野極小，但深入腦部的器械全程都在腦組織進行接觸，這就需要非常精準的導航和增強現實技術彌補。我們的機器人又是一種可彎曲的柔性結構，對導航系統的要求就更高。增強現實技術可以為醫生呈現三維建模的仿真畫面，還可以使用AI算法識別人體解剖學結構，從而在虛實結合的狀態下進行手術。

去年開始，我們已經在威爾士親王醫院做預臨床手術實驗，進行了三次尸體實驗，且成功率很高。通過這種預臨床實驗的模式，證明了與我們合作的醫生陳達明主任的一個想法，即現在很多需要開兩個顱骨上骨瘡的腦手術，通過微創機器人，可以簡化至只鉆一個小孔就能完成。相較于傳統方式，對腦組織的損傷可降低一半以上，且機器人的安全性、可靠性也已經得到驗證。

增強現實技術可以為醫生呈現三維建模的仿真畫面，還可以使用AI算法識別人體解剖學結構，從而在虛實結合的狀態下進行手術。

如何保護病人的隱私？

澎湃科技：Embodied AI手術大模型是如何開發出來的？具體能起到什么作用？

劉宏斌：我們中心由中科院自動化所領導，很多研發和自動化所協同進行，因此我們所使用的基礎大模型是“紫東·太初”（注：中國科學院自動化研究所開發的多模態大模型）。

我們的手術垂直模型，除了使用公開的醫療數據庫訓練，還針對手術進行了專門的訓練，比如手術教科書、手術科研資料、手術論文，整理了大約有200G的語料。“紫東.太初”是多模態大模型，所以我們還使用了大量標注過信息的手術視頻進行跨模態訓練。

目前大模型在手術過程中可以幫助醫生看得更清楚，還可以給醫生做一些提示指導，包括在手術過程中判斷某些操作是不是符合流程規范。但是目前AI還不能自己做判斷。

澎湃科技：目前手術大模型在應用過程中遇到了什么問題嗎？這些問題在醫療領域會不會產生嚴重后果？

劉宏斌：首先是大模型本身的技術瓶頸，比如有時候模型會出現“幻覺”，還有就是模型的算力不強。

醫療領域需要避免這些問題，所以我們在手術大模型上外掛了一個專家知識庫，對于AI來說，如果遇到特項手術會優先調用專家知識庫中的信息。此外，AI做出的判斷會由一個醫生進行最終判定。就目前大模型的水平來說，仍然需要真人把控。

澎湃科技：是否涉及病人的數據隱私？

劉宏斌：我們在訓練模型的時候，數據是經過脫敏處理的，對于醫療行業來說，我們有一個原則，疾病以及其在患者身上的表現的數據是可以用的，但絕對不能出現通過數據追溯到某個人的情況，打斷這個追溯的鏈條非常重要。

澎湃科技：數據難流通是否是目前AI醫療大模型面臨的問題？是否會帶來模型偏見？

劉宏斌：對于AI來說，肯定是高質量數據越多，性能越穩定，多樣性越好，可靠性越高。數據分享很重要，某些罕見病從人口基數上來看確實很罕見，但對于擅長專項治療的醫院，可能就不那么罕見了。一個四五線城市，某些特殊的口腔癌一年最多就兩個病例，但要去到湖南，到長沙湘潭醫院，一年幾千個病例都有可能。

我覺得數據的分享問題需要從政府層面推動監管，還要讓醫院有動力來分享，醫院在提供數據后，訓練的模型提高了他們的工作效率，實現了好的手術效果，他們才會更樂意去分享。

什么是AI全流程數字化？

澎湃科技：醫療領域引入AI是否會帶來更多醫療糾紛問題？

劉宏斌：我覺得引入AI就是為了解決這些問題。很多醫療糾紛源自于，醫生按照流程合規進行手術，但“空口無憑”，很多患者、患者家屬并不相信，帶來很多矛盾、分歧。

但引入AI后，手術全流程數字化，每一項操作都有記錄，實現透明化，對于醫患雙方都是一個很好的保護。

澎湃科技：全流程數字化的醫療過程是什么樣的？

劉宏斌：第一個環節，患者把自己的一些癥狀告訴醫療機構，然后醫療機構分流至醫院，醫生看病例，然后通過病例來判斷是否要手術，進行什么類型的手術。

在這個過程中AI起輔助作用，如術前的一些檢查，拍CT、核磁、化驗血等，可使用多模態大模型對醫學影像、檢驗報告進行分析。

然后AI可進行手術規劃，這也是醫療元宇宙的概念，使用算法仿真整個手術流程，小到患者在手術臺上怎么躺，醫生都能清晰明了地看見模擬過程。

在開始正式手術之前，AI還會評測術前準備是否無誤，比如手術器械是否準備妥當、人員是否站位合理、是否經過了嚴格的消毒程序。病人進手術室后，AI還要進行核對，確保開刀的位置正確，這個聽起來有點可笑，但其實每年都會發生這樣的事故。

手術過程中 ，AI和機器人共同輔助醫生完成手術流程，在手術過程中對安全性進行監控，對一些重要的手術節點給予指導提醒，在手術過程中給醫生一些增強現實輔助。

如垂體瘤手術，這是一種經鼻的微創手術，需要進入鼻腔，在鼻腔后部打開骨窗，從而到達腦部。這個過程中，有很多重要結構需要避開，此前全憑醫生經驗，而現在通過增強現實技術和AI算法，將影像仿真或投影到顯示器上，AI就可以隨時提醒醫生。

手術結束后，AI能夠客觀地記錄所有流程，未來還可以自動生成手術報告，核對每一條執行是否準確無誤，這些信息跟隨進入病人的康復階段，輔助術后康復過程直至患者康復。

澎湃科技：引入AI是否會提高成本，增加患者負擔？

劉宏斌：首先看病的花銷不能只看一場手術，需要計算一個人從看病到恢復的整個周期耗費的時間、成本，引入AI增加了手術成本，卻加快了康復流程，這是完全可以接受的。還有就是技術要有不可替代性，實際上，現在很多微創化手術的想法，很多年前就已提出，只是AI的發展水平還有沒有跟上。而微創化恰恰是減少患者身體損害、加快恢復過程最主流的一種思路。

澎湃科技：AI能否解決醫療資源緊張問題？

劉宏斌：AI可以助力分級診療的實現，目前縣域醫療水平的提升以及分級診療的落實，并不能單純地依靠5G等通訊技術的賦能，更重要的是對于基層醫生的培訓。我們研發這些AI算法并不是為了幫助閱歷豐富的臨床專家，而是為了幫助一些缺少練手機會的醫生。比如基層醫生，他們接觸的病人少，就需要AI來對他們進行培訓，讓他們在診斷的時候因為有AI的加持更加有信心，同樣也讓病人更加信任他們。大模型不光只是幫醫生做出判斷，在使用的過程中，也是在給醫生一個從AI身上學習的機會。

我們目前面臨的難題并不是臨床專家無法通過遠程進行手術，而是專家數量有限。手術機器人未來的發展就是要讓一些普通手術變成“傻瓜式”的，無論是誰來做這個手術效果都一樣。只有這樣才能實現病人的分流，大家才愿意去基層醫院看病。