·據了解，全球兒童斜視患病率約0.8%到6.0%不等。斜視除了影響美觀外，還會導致弱視、雙眼單視功能不同程度的喪失和自信心下降、自尊焦慮等社會心理后遺癥。兒童斜視的早期發(fā)現(xiàn)和及時治療至關重要。

近日，上海市兒童醫(yī)院眼科的喬彤教授團隊和上海交通大學醫(yī)學院附屬新華醫(yī)院的鄭策副教授在BMC Ophthalmology（《BMC眼科》）期刊上發(fā)表了一篇題為“Automated Detection of Steps in Videos of Strabismus Surgery Using Deep Learning”的文章，該研究開發(fā)了一個深度學習模型，用于自動檢測斜視手術視頻中的主要手術步驟。研究者認為，斜視手術步驟的自動分類識別可以輔助提高斜視手術規(guī)范化培訓的有效性，也有望作為評估住院醫(yī)師培訓情況的重要手段。

斜視是指各種原因導致眼外肌協(xié)調運動失常，雙眼不能同時注視同一物體的現(xiàn)象，是導致兒童視覺發(fā)育障礙的常見眼病。據了解，全球兒童斜視患病率約0.8%到6.0%不等。斜視除了影響美觀外，還會導致弱視、雙眼單視功能不同程度的喪失和自信心下降、自尊焦慮等社會心理后遺癥。兒童斜視的早期發(fā)現(xiàn)和及時治療至關重要，可以在矯正眼位、恢復外觀的基礎上，促進視力發(fā)育和雙眼視覺功能的建立。

據喬彤介紹，目前臨床上斜視的診斷高度依賴眼科醫(yī)師專業(yè)檢查和檢查設備，耗費大量人力、物力，效率低、覆蓋面小，應用場景局限在臨床，“在中國等許多國家，能夠完成斜視篩查的眼科醫(yī)生數(shù)量有限，且眼科住院醫(yī)師大多無法得到足夠的、標準化的斜視手術培訓和教育。人工智能（AI）與醫(yī)學融合的時代已經到來。AI在斜視診療領域的應用研究起步較晚，目前大致可分為2類：識別診斷型及手術規(guī)劃型。”

在上述研究中，團隊采集了上海市兒童醫(yī)院眼科的5位手術者的479個手術視頻，將手術錄像分割成3345個主要手術步驟片段。基于ICO斜視評估標準將斜視手術分為8個步驟：剪開結膜、鉤取眼外肌、暴露眼外肌、預制縫線、分離眼外肌、測量位置、附著眼外肌及縫合結膜。并隨機形成訓練集、驗證集和內部測試集。

由于手術視頻不僅包括單幀靜態(tài)圖像信息，也包括時間維度的因果信息，因此，研究團隊采用了兩個神經網絡嵌合的思路，其中卷積神經網絡用于提取單幀圖片中的靜態(tài)手術動作信息，Transformer模型用于提取時間維度上的因果信息。模型構架主要包括輸入端、中間模型和輸出端三部分。研究者將神經網絡設計為一個卷積神經網絡（CNN）、一個遞歸神經網絡（RNN）再串聯(lián)一個門控遞歸單元（GRU）層三大版塊：首先運用一個2017年由google團隊提出的預訓練的神經網絡——DenseNet，提取出特征信息，包括單幀圖片上的信息如RGP通道信息、空間信息等，并將它們降維壓縮拉伸成空間向量信息，接著用注意力機制模型融合時間維度上的信息，最終輸出預測結果。

當前研究的流程圖和模型構架示意圖。圖片來源：BMC Ophthalmology

研究結果表明，該深度學習模型在對不同手術步驟進行分類時表現(xiàn)出色（AUC = 1.00；準確率 = 96%）。說明基于手術視頻的深度學習模型可以高精度地自動識別斜視手術步驟。

研究者認為，該項研究在許多臨床環(huán)境中都具有潛力。住院醫(yī)生學習斜視手術的學習曲線與基于反饋的教學指導密切相關，深度學習算法可通過實時提醒下一步操作，及對手術中的錯誤操作進行識別和警告，減少手術失誤并指導手術操作，尤其是對新手。此外，未來還可基于此開發(fā)一種實時監(jiān)督和客觀手術評估的手術規(guī)范化培訓系統(tǒng)，以提高斜視的整體手術療效。

據悉，研究團隊將進一步探究、驗證深度學習模型在眼科手術規(guī)范化培訓中的潛在應用價值。結合對比學習、計算機視覺等方法，拓展深度學習結果的可解釋性和臨床隨訪等多領域應用。