- +1
eLight·封面 | AI相機實現(xiàn)純光學選擇性成像

隨著電子信息產業(yè)的飛速發(fā)展,數碼相機已經被廣泛地應用于我們生活中的方方面面。從安全監(jiān)控到車輛自動駕駛和人臉識別,無處不在的攝像頭每時每刻都在不斷記錄并產生大量的圖像數據,它們在為人們的生活帶來便利的同時,也引起了對隱私數據安全的關注和擔憂。
現(xiàn)有的隱私保護通常使用諸如圖像模糊、加密等方法來保護隱私信息。然而,這種方法并沒有完全解決隱私泄露的隱患,因為原始的圖像是先被拍攝,再由算法加密,所以未加密的信息依然存在被泄露的風險。同時,這些圖像處理算法也需要不斷消耗計算資源和電力能源。硬件層面上,隱私信息的保護也可以通過改裝相機鏡頭來降低圖像質量,從而模糊掉隱私身份信息。然而,這些方法不加選擇地降低了所有圖像質量,導致其應用場景非常受限。此外,通過對抗攻擊手段,原始信息仍然有可能被恢復并泄露。
近期,發(fā)表在 eLight 上的一篇題為“To image, or not to image: class-specific diffractive cameras with all-optical erasure of undesired objects”的研究論文提出了一種全新的、由人工智能驅動的相機來實現(xiàn)隱私保護成像。

圖1:AI 設計的新型相機只針對特定類別的物體進行成像,同時對其他物體進行全光消除。這種新型相機由多個透射層組成,其結構通過深度學習優(yōu)化,使得它們最終能夠實現(xiàn)只對特定類型的物體進行成像。同樣的框架還可以被應用于設計對特定物體進行線性變換的加密相機。通過 3D 打印技術制造相機,并且用太赫茲光波照明的手寫數字對其進行測試,成功的測試結果證明了該新型相機的可行性。
來自加州大學洛杉磯分校的 Aydogan Ozcan 教授及其團隊基于衍射神經網絡設計了一種新型鏡頭,在不需要任何數字算法處理的情況下,這種相機實現(xiàn)了只對某些特定類型的物體成像,同時完全抹去其他無關物體的信息。
這種新型相機由多個透射層組成,其中每個透射層都包含著成千上萬個衍射單元。通過深度學習的訓練,每個透射層的結構被不斷優(yōu)化,使得它們最終能夠調節(jié)透射光場的相位并實現(xiàn)只對特定類型的物體進行成像,同時抹去其他物體。在深度學習優(yōu)化之后,最終收斂的透射層可以被制造并組裝成一臺智能相機。當特定的目標物體出現(xiàn)在相機視野里時,相機會拍攝下它們的高質量圖像。相反的,當其他非目標物體出現(xiàn)在相機視野中時,它們會在光的傳播過程中被抹去,形成無意義、類似于隨機噪聲的圖案。
由于其他非目標物體的特征信息已經隨著光的傳播和衍射被抹去了,所以它們的原始圖像永遠不會被相機直接記錄。因此,這種新型相機實現(xiàn)了對隱私的最大化保護——因為所有非目標物體的原始的圖像信息是無法被恢復的。與此同時,由于非目標物體的信息不會被記錄,這種新型相機大大也極大地降低了圖像數據存儲和傳輸負擔。
該研究團隊也通過實驗驗證了這種新型相機的可行性。他們選擇手寫數字作為實驗物體,并通過訓練相機使其只對一種手寫數字進行成像。當基于深度學習的訓練完成后,該團隊使用 3D 打印技術制造并組裝出了實際相機,并且用太赫茲光波照明的手寫數字對其進行測試。實驗的測試結果與預期高度相符:當相機視野中的物體是數字 “2”時,該相機能夠有選擇性地對其進行成像;而當相機視野中出現(xiàn)其他數字時(比如“0”,“1”……),相機則會將其從圖像中抹去,產生低強度的類似噪音的輸出圖案。此外,該研究團隊還在不同的照明條件下測試了他們的相機表現(xiàn),即使這些測試照明條件從未被包含到深度學習訓練中,他們的新型相機依然展示了對各式各樣照明條件的魯棒性。
除了對特定物體進行成像,這種基于人工智能的相機設計方法還可以用來構建對特定物體進行加密的相機,從而提供進一步的隱私保護。在經過深度學習方法優(yōu)化后,這種加密相機可以直接在光傳播過程中為目標物體執(zhí)行指定的線性變換。只有擁有解碼密鑰(在這種情下即為逆線性變換)的人才能夠解碼出目標物體的原始圖像。而對于其他非目標物體來說,它們的信息依然被不可逆地抹去了,即使將解碼密鑰應用于相機拍攝到的圖像,也依然只會產生無意義的噪音結果。
除了照明光源之外,該新型相機不需要任何外部電源供給,并且其計算速度等同于光速。因此,這種高速、高能源效率的相機十分適用于各種需要拍攝特定物體、或有隱私保護需求、或需要節(jié)約能源的成像系統(tǒng)中。與此同時,該相機的設計思路也將啟發(fā)對未來新型智能成像系統(tǒng)的設計,大大降低其計算消耗資源和數據傳輸負擔。
該研究由加州納米系統(tǒng)研究所(CNSI)副主管、加州大學洛杉磯分校電子和計算機工程系 Volgenau 工程創(chuàng)新主席 Aydogan Ozcan 教授,與諾斯羅普-格魯曼公司特聘講席教授、加州大學洛杉磯分校加州大學洛杉磯分校電子和計算機工程系太赫茲電子實驗室主任 Mona Jarrahi 教授一起領導。這項工作的其他作者包括研究生白璧潔、羅毅、甘天奕、李煜航、趙一帆、Deniz Mengu 和博士后研究員胡競天,他們均來自于加州大學洛杉磯分校電子和計算機工程系。
| 論文信息 |
Bai, B., Luo, Y., Gan T. et al. To image, or not to image: class-specific diffractive cameras with all-optical erasure of undesired objects. eLight 2, 14 (2022).
本文為澎湃號作者或機構在澎湃新聞上傳并發(fā)布,僅代表該作者或機構觀點,不代表澎湃新聞的觀點或立場,澎湃新聞僅提供信息發(fā)布平臺。申請澎湃號請用電腦訪問http://renzheng.thepaper.cn。





- 報料熱線: 021-962866
- 報料郵箱: news@thepaper.cn
互聯(lián)網新聞信息服務許可證:31120170006
增值電信業(yè)務經營許可證:滬B2-2017116
? 2014-2025 上海東方報業(yè)有限公司