光電系統性能的倍增器：高速微掃描超分辨技術

2021-12-09 17:15

來源：澎湃新聞·澎湃號·湃客

撰稿 | 王鑫（中國科學院長春光學精密機械與物理研究所），孟森（上海乂義實業有限公司）

40年前的美國科幻電影《銀翼殺手》中有一個場景：主人公Rick Deckard拿著一張照片，放入掃描設備中，通過語音控制，將照片放大再放大，看到了照片中隱藏著的細節證據。

圖1：《銀翼殺手》場景

這部電影首次呈現關于圖像超分辨技術的設想。對于一個成像系統（如數碼相機、手機、光電偵查吊艙等），真實場景的光線經過光學系統的多個光學鏡頭的折射（或反射）最終照射到由感光模塊組成的光電傳感器上，光電傳感器將光信號轉換成電壓信號，而后通過處理電路將電壓信號轉化為數字圖片。

圖2：數字圖片獲取過程

在整個成像過程中，有以下幾個過程會導致我們在屏幕上看到的數字圖片與真實場景出現差異：

1. 光學系統限制：光波存在衍射效應，使得一個理想無限小的點物體發射的光波通過系統成像后，由于成像系統口徑有限，物體光的高頻成分被阻擋，最終參與成像的只有物體光波的低頻成分，使得最終的像不再是一個無限小的理想點，而成為了一個彌散的亮斑，稱為“艾里斑”（名詞解釋>）。

圖3：瑞利判據

2. 光電傳感器感光區域限制：光電傳感器的感光區域是一定尺寸的，但是每一個感光區域只能輸出一個電壓（也就是我們在圖片上看到的一個像素），因此如果兩個光點通過光學系統在同一個感光區域成像，那么我們是沒有辦法區分這兩個光點的。

3. 光電傳感器感光區域間的間隔：兩個感光區域之間存在不感光的部分，如果光點在這一部分區域成像，那么我們將無法探測到這個光點。

如果我們想真實的提高拍攝圖像的分辨率，我們可以采用以下方法來實現：

科學家發現，通常情況下艾里斑尺寸與光的波長（λ）、成像系統口徑（D）和數值孔徑（NA）等參數有關。

減小艾里斑尺寸的方法有兩個：第一是減少探測器系統的波長，第二是增加光學系統的口徑。這兩種方法已廣泛應用在天文領域，如改變波長的x射線望遠鏡，γ射線望遠鏡等（x射線、γ射線波長比可見光波長更短）；如擴大口徑的歐洲極大望遠鏡，其通光口徑達到了驚人的39米，其清晰度將比哈勃太空望遠鏡（名詞解釋>）高16倍。

圖4：歐洲極大望遠鏡示意圖

但是絕大多數時候，根據光學系統的任務需求，其口徑與波長是不能改變的。因此，進一步獲得更清晰的圖像的方法，是提高探測器的分辨率即減少探測器感光區域的尺寸同時減少感光區域間的“死區”大小。如將320×215分辨率30 μm像元尺寸的中波紅外探測器更換為640×512分辨率15 μm像元尺寸的探測器，更進一步，更換為1280×1024分辨率像元尺寸7.5 μm的探測器。眾所周知的是，隨著探測器分辨率的提升以及像元尺寸的減少，其價格是呈指數增加的。

一個有意思的現象，當我們將偏移半個像素的同一場景的照片快速切換時，似乎我們看到了比一張靜止照片更多的細節。這是因為人眼觀看物體時圖像會在視網膜上延續0.1-0.4秒的時間，人眼的這種性質被稱為“眼睛的視覺暫留”（名詞解釋>）。快速切換的圖片，由于眼睛的視覺暫留，導致我們看到的畫面的疊加，經大腦處理后，我們看到了更清晰的圖像。當我們用于多幅采樣相位不同的圖片時，我們就可以獲得更高分辨率的圖片，我們將這一過程稱之為圖片的超分辨重建（名詞解釋>）。

圖5：微掃描引入的亞像素位移

但是需要說明的是基于深度學習的圖像超分辨算法，其是基于數據驅動的，即使用的訓練集是什么，超分后的結果就是什么，而不是實際場景是什么，超分后的結果就是什么。

圖6：單幀超分辨基于數據驅動

為了保證偵查的真實性，在航空偵查領域，一般不會采用基于數據驅動的深度學習的超分辨算法，而是采用基于模型的傳統超分辨重建算法。對于傳統超分辨重建算法，獲得穩定的相位差異是必不可少的。

一般來說有兩種方式可以獲得穩定的相位差異：第一、移動相機；第二、移動光學鏡頭。

對于移動相機的方案，最初應用在衛星上，利用衛星在軌飛行的運動在不同時間點拍攝同一個地面目標，以此獲得具有半像素相位差異的多幅圖片，從而進行超分辨處理，如WordView-2衛星。

圖7：WordView-2衛星圖像超分辨處理

機載光電偵察設備對尺寸、重量和抗沖擊振動等有這特殊的要求，同時對輸出視頻的實時性與準確性都有著嚴格的要求。因此，在機載應用環境下需使用高速微掃描技術結合基于嵌入式系統的實時超分辨處理。

為了提高航空光電偵察平臺在長焦條件下的圖像分辨能力，長春光機所航測一部某重點項目組，派出優秀科研團隊，與上海乂義實業有限公司聯合開發出高速微掃描成像系統，并對采集的圖像進行超分辨處理，明顯提升了光電設備的識別能力，并在外場飛行實驗環節得到較好的驗證。

該成果以“高速微掃描圖像超分辨重建”為題發表在《光學精密工程》（EI、Scopus收錄，中文核心期刊）。

將光學系統內部透鏡固定到高速微掃組件上，在探測器曝光的間歇期快速移動光學透鏡一段距離，使探測器輸出的前后兩幀圖像存在亞像素偏差。然后使用基于概率分布的超分辨重建算法，將低分辨率圖像序列處理成高分辨率圖像。

圖8：高速微掃描超分辨示意圖

在機載環境下，為了保證充分發揮探測器的性能，高速微掃描設備需利用探測器兩次曝光的間隔來進行位移，當探測器處于曝光階段時，透鏡保持位置穩定，當探測器處于非曝光階段時，二維壓電高速微掃描平臺帶動透鏡快速運動實現亞像素位移，確保微掃描不引起圖像模糊，提高成像質量。

針對輸出幀頻為120 FPS 的探測器，高速微掃描超分辨核心組件進行了專門的優化設計，采用2×2 的過采樣掃描方式，微掃描時間＜1. 0 ms，到位穩定精度＜0. 3 μm（對應約0. 03 個像素）。

圖9：高速微掃描位移實測結果

基于概率分布的超分辨重建算法的基本原理是：建立真實成像的數學模型，估計模型的相關參數，結合探測器輸出的低分辨率圖像序列Y，構建符合一定條件的像素概率分布函數，通過極大似然估計，確定理想高分辨圖像X。

圖10：基于概率分布的超分辨重建算法的基本原理

為了提升幀間運動信息的時效性、準確性及魯棒性，本文選用GPU-TX2i 嵌入式平臺作為硬件環境，并行構建80個子區域對應的關系矩陣，并行迭代求解子區域對應的高分辨率圖像。為提高圖像處理速度，在算法優化時使用更小的卷積核，嚴格控制存儲量，實時調整迭代步長，降低圖像處理運算量，最終獲得期望的超分辨率圖像。

室內靶標測試識別的目標是1951USAF分辨率測試板。由于實驗在室內進行，不存在大氣湍流擾動和伺服控制精度的問題，這四張圖片的偏差實際為0. 5 個像素，屬于一種較為理想的狀態。