注：本文由論文作者投稿

| 導(dǎo)讀 | 

自圖靈測(cè)試被提出以來(lái)，人類一直都希望制造出像人腦一樣思考、具有自我意識(shí)的智慧機(jī)器，即人工智能。作為一種人工智能的核心計(jì)算框架，電子人工神經(jīng)網(wǎng)絡(luò)已經(jīng)在諸多領(lǐng)域廣泛應(yīng)用，比如人臉識(shí)別、語(yǔ)音識(shí)別、智能制造和臨床診斷等。不過(guò)，集成電子電路的算力慢慢接近其物理極限。

光子代替電子，是實(shí)現(xiàn)高速、大規(guī)模并行和低功耗人工智能計(jì)算的一個(gè)很有潛力的途徑。最近，由級(jí)聯(lián)的相位面元件組成的全光衍射神經(jīng)網(wǎng)絡(luò)已經(jīng)實(shí)現(xiàn)多種機(jī)器學(xué)習(xí)的復(fù)雜功能。然而，現(xiàn)有的架構(gòu)往往工作在非光學(xué)波段且由笨重的部件組成，最關(guān)鍵的是，它們不能模仿人腦進(jìn)行多任務(wù)處理。

鑒于此，近日，湖南大學(xué)科研團(tuán)隊(duì)聯(lián)合德國(guó)斯圖加特大學(xué)、同濟(jì)大學(xué)等機(jī)構(gòu)的科研人員，提出了一種基于超構(gòu)表面的全光衍射神經(jīng)網(wǎng)絡(luò)，它可以在可見(jiàn)光下執(zhí)行多通道傳感和多任務(wù)處理。

研究團(tuán)隊(duì)利用亞波長(zhǎng)超構(gòu)表面單元的偏振復(fù)用方案構(gòu)建多通道分類器的框架，實(shí)現(xiàn)了對(duì)手寫數(shù)字和時(shí)尚物品的并行識(shí)別。超構(gòu)神經(jīng)元的面密度達(dá)到6.25×10?/mm2，并隨著通道數(shù)成倍增加。此外，超平超薄的超構(gòu)表面器件與 CMOS 圖像傳感器 3D 集成，提供了一個(gè)芯片級(jí)的多任務(wù)智能傳感新架構(gòu)，可以直接在物理層處理光學(xué)信息，有望應(yīng)用于機(jī)器視覺(jué)、自動(dòng)駕駛和精準(zhǔn)醫(yī)療中的低功耗和快速的圖像處理。

該成果以“Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible”為題發(fā)表在 Light: Science & Applications。

湖南大學(xué)碩士畢業(yè)生羅栩豪同學(xué)和胡躍強(qiáng)副教授為該工作共同第一作者，通訊作者為湖南大學(xué)胡躍強(qiáng)副教授和段輝高教授。該工作得到德國(guó)斯圖加特大學(xué)劉娜教授、湖南大學(xué)潘安練教授和同濟(jì)大學(xué)程鑫彬教授的指導(dǎo)。該項(xiàng)目在國(guó)家自然科學(xué)基金委、湖南省自然科學(xué)基金委、深圳市科技創(chuàng)新委員會(huì)和摩擦學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室等機(jī)構(gòu)的資助下完成。

人工智能（AI）是一種模擬和擴(kuò)展人類智能的技術(shù)，其中人工神經(jīng)網(wǎng)絡(luò)（ANN）是在電子設(shè)備中實(shí)現(xiàn)的最廣泛的框架之一。ANN 以數(shù)字方式抽象地學(xué)習(xí)數(shù)據(jù)并快速執(zhí)行某一個(gè)特定單一任務(wù)，如圖像識(shí)別、語(yǔ)音識(shí)別等。然而，人腦作為一個(gè)多通道系統(tǒng)工作，包括視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、味覺(jué)和觸覺(jué)，甚至視覺(jué)系統(tǒng)本身還包含了多個(gè)子通道，如圖1所示。

圖1 多通道的人類感知系統(tǒng)

因此，為了實(shí)現(xiàn)類人腦的通用人工智能（AGI），不同的能力需要在一個(gè)人工智能系統(tǒng)中被復(fù)用（multiplexing）形成多技能AI（multi-skilled AI，擴(kuò)展閱讀：multi-skilled AI 入選MIT Technology Review “十大突破性技術(shù)” ），這在智能家居、自動(dòng)駕駛和體感交互中具有廣泛的應(yīng)用潛力。同時(shí)，復(fù)用的人工智能系統(tǒng)可大大增加計(jì)算規(guī)模和并行維度。

光學(xué)神經(jīng)網(wǎng)絡(luò)（ONN）由于其與電子神經(jīng)網(wǎng)絡(luò)相比具有高速度、高并行性和低能耗的特點(diǎn)而備受關(guān)注。作為光學(xué)神經(jīng)網(wǎng)絡(luò)中的一種，全光衍射神經(jīng)網(wǎng)絡(luò)可以通過(guò)訓(xùn)練衍射相位面構(gòu)成級(jí)聯(lián)的物理網(wǎng)絡(luò)，執(zhí)行特定功能。盡管如此，現(xiàn)有的衍射神經(jīng)網(wǎng)絡(luò)設(shè)備，像傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)一樣，不能進(jìn)行多路信息處理。此外，它們通常是在大波段實(shí)現(xiàn)的，具有笨重的光源和探測(cè)器；全光計(jì)算的優(yōu)勢(shì)也無(wú)法與成熟的CMOS圖像傳感器芯片結(jié)合以模仿視覺(jué)系統(tǒng)進(jìn)行圖像處理。

鑒于上述問(wèn)題，研究人員提出了偏振復(fù)用的超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)（MDNN），并將其與 CMOS 圖像傳感器集成，創(chuàng)建了可見(jiàn)光下的片上多任務(wù)處理架構(gòu)。

如圖2所示，該物理架構(gòu)主要由三部分組成，即由承載待識(shí)別物體信息的偏振平面波（比如，X偏振下的手寫數(shù)字和Y偏振下時(shí)尚物品）作為輸入層，由雙折射納米柱作為神經(jīng)元構(gòu)成的偏振復(fù)用的超構(gòu)表面層作為隱含層，以及 CMOS 芯片上圖像傳感器的探測(cè)區(qū)域作為輸出層。其中，每個(gè)偏振通道下超構(gòu)神經(jīng)元的相位分布是網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)，根據(jù)惠更斯-菲涅爾原理，在計(jì)算機(jī)上通過(guò)誤差反向傳播和隨機(jī)梯度下降算法獲得。輸出層的整個(gè)探測(cè)區(qū)域被劃分為多個(gè)小的區(qū)域，每一個(gè)對(duì)應(yīng)一個(gè)分類目標(biāo)，如果預(yù)期區(qū)域的強(qiáng)度高于其它所有區(qū)域，就認(rèn)為識(shí)別是成功的。

圖2 超構(gòu)表面賦能的片上復(fù)用衍射神經(jīng)網(wǎng)絡(luò)工作原理

研究人員通過(guò)電子束直寫套刻等工藝制作了一個(gè)單隱含層的偏振復(fù)用超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)的器件，以驗(yàn)證其雙通道識(shí)別能力及衍射傳播特性。圖3a顯示了加入一層包覆層后的兩組輸入掩模（手寫數(shù)字 "0 "和 "1"，以及時(shí)尚物品 "T恤 "和 "運(yùn)動(dòng)鞋"）作為網(wǎng)絡(luò)的輸入層，和最終加工完成的器件的光學(xué)顯微圖像。圖3b顯示了該器件的俯視、斜視和截面的掃描電子顯微鏡（SEM）圖像。

圖3 偏振復(fù)用超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)的加工。
（a）掩模輸入層和制備完成的MDNN器件；
（b）MDNN器件的俯視、斜視和截面的掃描電子顯微鏡（SEM）圖像

最后，研究人員將能夠執(zhí)行復(fù)雜識(shí)別任務(wù)的偏振復(fù)用的超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)與一個(gè)商業(yè) CMOS 傳感器芯片集成在一起，形成一個(gè)超緊湊的多通道傳感和計(jì)算一體的芯片架構(gòu)（圖4a-c）。通過(guò)從仿真識(shí)別正確的圖像集中選擇 160 組統(tǒng)計(jì)其性能，發(fā)現(xiàn)對(duì)于手寫數(shù)字和時(shí)尚產(chǎn)品，實(shí)驗(yàn)和仿真上的匹配度分別達(dá)到了 93.75% 和 95%。

圖4 片上集成的偏振復(fù)用超構(gòu)表面衍射神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果。
（a）MDNN芯片集成示意圖；
（b）MDNN芯片實(shí)物圖和（c）局部放大圖；
（d）MDNN芯片在兩個(gè)偏振通道識(shí)別不同字母和時(shí)尚物品的結(jié)果；
（e）識(shí)別的統(tǒng)計(jì)結(jié)果。

該工作通過(guò)理論和實(shí)驗(yàn)展示了基于偏振復(fù)用超構(gòu)表面的全光衍射神經(jīng)網(wǎng)絡(luò)，其可以在可見(jiàn)光波段執(zhí)行多通道的識(shí)別任務(wù)。利用超構(gòu)表面的超平超薄特點(diǎn)，研究人員將該物理網(wǎng)絡(luò)與 CMOS 成像傳感器縱向集成，形成了小型化和便攜式的感算一體芯片。

因?yàn)槌瑯?gòu)表面的制備與半導(dǎo)體工藝兼容，該器件有望在半導(dǎo)體制造廠與 CMOS 芯片一起進(jìn)行大規(guī)模生產(chǎn)。未來(lái)，在該架構(gòu)中引入可調(diào)諧超構(gòu)表面及光學(xué)非線性效應(yīng)，有望實(shí)現(xiàn)可編程或更加復(fù)雜的。作為一類新型的并行處理的機(jī)器學(xué)習(xí)芯片，超構(gòu)表面神經(jīng)網(wǎng)絡(luò)器件與光學(xué)成像傳感器相結(jié)合，可以廣泛應(yīng)用于工業(yè)視覺(jué)、自動(dòng)駕駛和精準(zhǔn)醫(yī)療等領(lǐng)域的低功耗和極速的圖像處理，并開(kāi)辟出新一代的光學(xué)多任務(wù)人工智能芯片。

| 論文信息 | 

Luo, X., Hu, Y., Ou, X. et al. Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible. Light Sci Appl 11, 158 (2022). 

https://doi.org/10.1038/s41377-022-00844-2

監(jiān)制 | 趙陽(yáng)

編輯 | 趙唯

閱讀原文