撰稿 | 郭宸孜、蔡淼

| 導讀 |

今日，美國工程院院士、加州大學洛杉磯分校講席教授Bahram Jalali提出了一種基于物理模擬的顛覆性視覺增強技術，并將其命名為“基于虛擬衍射和相干探測的視覺增強算法（簡稱為VEViD）”。該算法將數字圖像“隱喻”為一個空間變化的“離散化光場”，將其映射至衍射和相干探測的虛擬物理過程，以輸出的相位而非強度代表圖像。VEViD在低光照下展現了超強、超快的圖像增強能力，極優的色彩增強能力，以及絕佳的輔助目標探測能力，對低光照條件下的成像及檢測技術發展，具有重大意義。

該受邀文章發表于卓越計劃高起點新刊eLight，題為“VEViD: Vision Enhancement via Virtual diffraction and coherent Detection”。作者為Bahram Jalali院士和Callen MacPhee博士，其中，Jalali院士擔任一作兼通信。

圖1： eLight封面

▍研究背景

低光照圖像增強對于我們的生活和科學研究具有重大意義。最直觀的是，它能使手機、相機夜拍更清晰，使目標識別更容易，使自動駕駛更安全；而在生物體成像中，諸多場景需要低光照以降低光毒性，但信息缺失的低光照圖像給后續研究帶來了極大困難。

此前的低光照圖像增強技術主要依賴于經驗主義或是神經網絡訓練形成的算法，但目前尚缺乏能夠精確反映人眼感知能力的定量損失函數，因此，過往的技術最終受限于缺乏參考數據，可解釋性差，難以迅速高效增強。

▍研究亮點

據此，Jalali院士提出了一種全新的圖像增強范式，該范式將衍射和相干檢測的物理過程作為算法的一部分，來執行計算成像任務，構成了一種圖像增強工具。在研究中，研究團隊將數字圖像重新理解為空間變化的虛擬“光場”，然后將該場置于虛擬衍射和相干檢測的物理過程中。在該過程中，光場被像素化和離散化，并且傳播與頻率相關的相位，并將數字圖像的R-G-B三個通道理解為該虛擬光場的時頻波段。最終由輸出的相位，而不是強度來代表輸出的圖像，進行編碼優化。研究團隊將該算法命名為“基于虛擬衍射和相干探測的視覺增強算法（VEViD）”，其算法的物理解釋和流程參見圖2-圖3：

圖2：VEViD算法的物理解釋，展示了該算法在空間域（中間行）和光譜域（底行）中的影響。在空間域中，圖像的實部幾乎沒有變化，而虛部在衍射后產生

圖3：VEViD算法流程

研究團隊將VEViD算法應用于多種低光照圖像，取得了絕佳的圖像增強效果（圖4），其效果優于Zero-DCE算法（現今性能最佳的神經網絡圖像增強算法），且VEViD的優化速度要更快的多。進一步，團隊演示了VEViD在顏色增強中的應用（圖5）。

圖4：VEViD將6張黑暗圖像（第一、第三欄），增強為清晰、細節豐富的圖像（第二、第四欄）

圖5：使用VEViD算法進行色彩增強

與此同時，團隊展示了簡化加速版的VEViD算法，可以對4K高清視頻實現200幀/秒的圖像增強。此外，VEViD算法還可疊加于現有的基于深度學習算法的目標探測中，大幅提升其探測能力（見圖6-圖7）。最后，Jalali院士提到，將來，該算法可以植入模擬物理器件中，幫助快速高效的計算。

圖6：VEViD預處理對目標檢測的影響（左側：未采用VEViD；右側：采用VEViD）

圖7：左圖為YOLO神經網絡處理后圖像，右圖為真實場景，中圖為VEViD預處理后的圖像；可看出，VEViD揭示的隱藏細節與真實場景更加匹配

綜合來看，該算法速度極快，可解釋性高，并可以最終轉化為一個簡單、直觀的數學表達式，為手機、相機成像，自動駕駛，生物醫學成像等領域提供強大的圖像增強工具，尤其對于實時性要求很高的圖像增強領域（如自動駕駛），具有極其重要的價值。此外，極快的運算時間使得該算法可以作為各類深度學習圖像處理算法的預處理算法，具有廣闊的研究價值與應用空間。

文章發表后，完整代碼將于Github公開，以便研究人員及產業人員迅速跟進。

▍后記：靈感來源與思考

在該項研究的審稿和編輯討論過程中，Jalali院士和編輯、審稿人討論了該文的靈感來源。

Jalali院士認為，人類很早就開始利用物理設備模擬預測天體的位置和炮彈的軌跡。在計算機出現后，絕大部分模擬計算任務都由計算機來完成。然而，電子計算機對功耗和處理速度的要求，使得利用物理過程來實現更快、更高效的模擬映射仍然具有極高的研究與應用價值。此前，已有科學家利用超快非線性光學作為模擬計算機來探測復雜現象（如異常波）。因此，將合適的物理光學過程作為模擬計算機，來實現不同領域的任務，無疑具有極高的價值與應用前景。本研究就是基于該思路，通過模擬衍射和相干探測，來實現低光照下的數字圖像增強。

| 論文信息 |

Jalali, B., MacPhee, C. VEViD: Vision Enhancement via Virtual diffraction and coherent Detection. eLight 2, 24 (2022). 

https://doi.org/10.1186/s43593-022-00034-y

閱讀原文