隨著現(xiàn)代圖形處理單元的處理能力和并行計(jì)算能力的提升，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深度學(xué)習(xí)得到迅速發(fā)展，為人工智能的多種應(yīng)用提供了有效的解決方案。然而，龐大的算力需求和數(shù)據(jù)量以及計(jì)算延時(shí)等問題，限制了 CNN 應(yīng)用于便攜、節(jié)能、高效的邊緣系統(tǒng)中。

近年來，光學(xué)計(jì)算被認(rèn)為可以突破電子計(jì)算的瓶頸限制，光的并行性、高速度和低損耗可以極大提高計(jì)算速度、降低能耗與延遲。然而，目前絕大部分光神經(jīng)網(wǎng)絡(luò)計(jì)算需要相干激光作為光源，必須搭建獨(dú)立的光學(xué)系統(tǒng)才能夠工作，因此很難適用于非相干光環(huán)境，尤其是在自然光照場景下難以與成熟的機(jī)器視覺系統(tǒng)直接結(jié)合。

為了進(jìn)一步提高實(shí)用性，綜合利用光與電的計(jì)算優(yōu)勢，科學(xué)家們提出了前端為光，后端為電的光電混合神經(jīng)網(wǎng)絡(luò)。但是，主要基于透鏡組的光電混合神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)（如4f系統(tǒng)）具有尺寸龐大的外形，難以部署在如自動駕駛、機(jī)器人或其他物聯(lián)網(wǎng)外圍設(shè)備中。

近日，來自清華大學(xué)的 陳宏偉 教授團(tuán)隊(duì)提出了一種用于機(jī)器視覺任務(wù)的無透鏡光電神經(jīng)網(wǎng)絡(luò)（LOEN）架構(gòu)，該架構(gòu)利用成像光路中插入的無源掩模版在光域執(zhí)行卷積運(yùn)算，解決了自然場景中非相干光源和寬帶光信號處理帶來的挑戰(zhàn)。同時(shí)，將整個(gè)鏈路中產(chǎn)生、接收、處理、決策的各個(gè)環(huán)節(jié)（光學(xué)端、圖像數(shù)字處理、電神經(jīng)網(wǎng)絡(luò)）相結(jié)合，面向特定視覺任務(wù)聯(lián)合優(yōu)化，實(shí)現(xiàn)了全鏈路功耗和體積的“極簡化”。

圖1. LOEN：無透鏡光電神經(jīng)網(wǎng)絡(luò)應(yīng)用示意

該研究成果以“LOEN: Lensless opto-electronic neural network empowered machine vision”為題在線發(fā)表在 Light: Science & Applications。清華大學(xué)博士研究生史宛鑫、黃錚為共同第一作者，陳宏偉教授為通訊作者。

相比于傳統(tǒng)機(jī)器視覺的硬件架構(gòu)，本文提出用光學(xué)振幅掩模版取代透鏡組，緊貼傳感器放置。根據(jù)光直線傳播的理論，空間場景可以看成一組發(fā)光點(diǎn)，光信號經(jīng)過掩模版的空間調(diào)制，在圖像傳感器上實(shí)現(xiàn)移位疊加的卷積操作。實(shí)驗(yàn)證明，光學(xué)掩模版可以代替卷積神經(jīng)網(wǎng)絡(luò)（CNN）的部分卷積層，實(shí)現(xiàn)光域上的特征提取。

圖2. 光域卷積原理

研究團(tuán)隊(duì)以手寫數(shù)字識別任務(wù)驗(yàn)證了該架構(gòu)中光學(xué)卷積的性能，使用單核掩模版的手寫數(shù)字識別準(zhǔn)確率可以達(dá)到 93.47%。為進(jìn)一步提高識別精度，在掩模版上并行排列多核實(shí)現(xiàn)單層多通道卷積運(yùn)算，識別精度可提升至 97.21%。相比傳統(tǒng)機(jī)器視覺鏈路，可節(jié)省大約 50% 的能耗。

圖3.  LOEN系統(tǒng)裝置示意圖

更進(jìn)一步，擴(kuò)大光學(xué)掩模版的維度，使得圖像經(jīng)過光域卷積，在傳感器上呈現(xiàn)出人眼不可辨認(rèn)的混疊圖像，可以天然地實(shí)現(xiàn)對場景中隱私信息的加密。研究團(tuán)隊(duì)以人臉識別任務(wù)驗(yàn)證了該架構(gòu)中光學(xué)加密的性能，相比于未經(jīng)優(yōu)化（由隨機(jī)M序列生成pattern）的掩模版，使用端到端的無透鏡光電神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化后的掩模版的人臉識別精度可提升超過 6%，實(shí)現(xiàn)隱私保護(hù)加密的同時(shí)，基本可以達(dá)到與無加密人臉識別相近的精度。

圖4. 無透鏡光電神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化流程圖

該工作提出了一種針對機(jī)器視覺系統(tǒng)“極簡化”的有效方案，不僅實(shí)現(xiàn)了自然場景下光電融合神經(jīng)網(wǎng)絡(luò)計(jì)算，而且打通光電全鏈路完成聯(lián)合優(yōu)化，實(shí)現(xiàn)面向某一特定視覺任務(wù)的最佳效果。未來，隨著對非線性材料的進(jìn)一步研究，將光學(xué)掩模版與非線性材料結(jié)合有可能實(shí)現(xiàn)全自然光神經(jīng)網(wǎng)絡(luò)，使計(jì)算速度進(jìn)一步提高、能耗進(jìn)一步降低。

論文信息

Shi, W., Huang, Z., Huang, H. et al. LOEN: Lensless opto-electronic neural network empowered machine vision. Light Sci Appl 11, 121 (2022).

https://doi.org/10.1038/s41377-022-00809-5

閱讀原文