撰稿：符庭釗 (國防科技大學(xué) 副研究員)

▎導(dǎo)讀

光學(xué)神經(jīng)網(wǎng)絡(luò)（Optical Neural Networks, ONNs）是一種利用光學(xué)器件（激光、光學(xué)調(diào)制器、濾波器、探測器等）來模擬和實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)推理功能的計算模型。與電子神經(jīng)網(wǎng)絡(luò)相比，ONNs通過利用光的特征量（振幅、相位、頻率等）進(jìn)行信號傳輸和數(shù)據(jù)處理，將神經(jīng)網(wǎng)絡(luò)的推理計算過程在光的傳播過程中完成，具有低延遲、低能耗、并行信號處理以及抗電磁干擾強(qiáng)等優(yōu)勢。

近日，國防科技大學(xué)納米光電子技術(shù)團(tuán)隊(duì)與清華大學(xué)陳宏偉教授團(tuán)隊(duì)以“Optical neural networks: progress and challenges”為題在Light: Science Applications發(fā)表了一篇綜述文章。國防科技大學(xué)符庭釗副研究員為論文的第一作者，清華大學(xué)陳宏偉教授為論文的通訊作者。該工作得到了國家自然科學(xué)基金項(xiàng)目的支持。

該綜述首先介紹了ONNs的發(fā)展歷史、光學(xué)人工神經(jīng)元的數(shù)學(xué)模型以及基于不同光學(xué)元器件構(gòu)建ONNs的區(qū)別。其次，系統(tǒng)地回顧了近幾年來非集成/集成ONNs的典型研究工作。最后，對不同類型ONNs在計算容量、集成度、可重構(gòu)性、非線性、可拓展性以及通用性等方面的性能進(jìn)行了對比和分析，并討論了各類型ONNs在未來發(fā)展中可能面臨的挑戰(zhàn)。在討論部分，該綜述對現(xiàn)階段國內(nèi)外關(guān)于光計算公司的發(fā)展情況進(jìn)行了介紹，同時對ONNs未來發(fā)展的新架構(gòu)和應(yīng)用領(lǐng)域進(jìn)行了展望。

一、光學(xué)神經(jīng)網(wǎng)絡(luò)的發(fā)展與挑戰(zhàn)

關(guān)于ONNs的相關(guān)研究工作，早在1960s就已經(jīng)開始，為了能夠較清晰地展示ONNs的發(fā)展歷程，該綜述在文章開端以時間為軸線展示了ONNs相關(guān)研究工作的發(fā)展脈絡(luò)，時間跨度為20世紀(jì)60年代至今，如圖1所示。

圖1：光學(xué)神經(jīng)網(wǎng)絡(luò)相關(guān)研究工作的時間線節(jié)點(diǎn)

本綜述基于自由空間和片上集成將ONNs歸納為非集成ONNs和集成ONNs兩大類型，進(jìn)一步基于自由空間和片上集成中的不同光學(xué)元器件將ONNs細(xì)分為7種類型，如圖2所示。這些不同類型ONNs的研究工作相互之間是存在聯(lián)系的。例如，基于4f系統(tǒng)設(shè)計的ONNs，其計算單元通常設(shè)計在焦平面處的掩模板（Mask）上，此時計算單元的數(shù)量規(guī)模拓展受限。與之不同，自由空間衍射光學(xué)神經(jīng)網(wǎng)絡(luò)（Diffractive Optical Neural Networks, DONNs）由于其計算單元可以在每個隱藏層上自由設(shè)計，因此其計算單元的規(guī)模很大，計算容量也很高，從而較好地解決了基于4f系統(tǒng)設(shè)計的ONNs計算容量難以進(jìn)一步提升的難題。另外，由于空間光調(diào)制器（Spatial Light Modulator, SLM)、數(shù)字微鏡設(shè)備（Digital Micromirror Devices, DMD）以及信息超表面等可調(diào)諧光學(xué)元器件的引入，使得自由空間DONNs具備了可重構(gòu)功能，能夠?qū)崿F(xiàn)不同架構(gòu)ONNs的功能。然而，由于自由空間DONNs的輸入層、隱藏層以及輸出層之間的對準(zhǔn)過程會產(chǎn)生額外的系統(tǒng)誤差，且誤差積累會導(dǎo)致DONNs的性能急劇惡化。同時，自由空間DONNs由分立衍射元器件構(gòu)成，因此其集成度、穩(wěn)定性和便攜性等都有待優(yōu)化。為了彌補(bǔ)自由空間DONNs的不足，片上集成DONNs的研究工作被陸續(xù)提出，該類型DONNs較好地解決了自由空間DONNs集成度低、穩(wěn)定性和便攜性差等問題。然而，由于片上集成DONNs的計算單元由亞波長結(jié)構(gòu)組成，導(dǎo)致其計算單元的可編程性十分困難，使得其可重構(gòu)功能難以實(shí)現(xiàn)。因此，現(xiàn)階段片上集成DONNs的可重構(gòu)難題還有待進(jìn)一步解決。

圖2：基于不同光學(xué)元器件設(shè)計的ONNs

此外，基于其他自由空間光學(xué)元器件設(shè)計的ONNs同樣存在集成度低、穩(wěn)定性和便攜性差等問題?；诖?，研究者們利用片上集成的方法解決了部分問題，如基于馬赫曾德爾干涉儀（Mach–Zehnder Interferometer, MZI）、微環(huán)諧振器（Micro-ring Resonators, MRR）等片上集成光學(xué)元器件設(shè)計的ONNs，其集成度得到了提升，同時獲得了較好的穩(wěn)定性和便攜性。然而，由于這些片上集成光學(xué)元器件在ONNs工作過程中需要持續(xù)的能量輸入，且在計算單元大規(guī)模拓展的情況下相鄰計算單元間存在熱串?dāng)_問題，導(dǎo)致片上集成ONNs的工作性能難以保證。為了解決計算單元的能耗和熱串?dāng)_問題，研究者們引入了相變材料（Phase Change Material, PCM）。由于PCM具有非易失性和可編程性，因此利用PCM來設(shè)計片上計算單元，不僅能夠支持片上集成ONNs以全光的形式完成推理過程，而且可以賦予其可重構(gòu)功能。除此之外，PCM的引入還能夠使ONNs在光域上實(shí)現(xiàn)非線性功能，進(jìn)一步提高其推理能力。盡管PCM能夠給片上集成ONNs帶來諸多好處，然而現(xiàn)階段關(guān)于可編程、非線性等功能的實(shí)現(xiàn)規(guī)模均很小。未來，在片上集成ONNs計算單元大規(guī)模拓展的情況下，將不得不考慮PCM的插入損耗，因?yàn)檫@將直接影響ONNs系統(tǒng)的實(shí)現(xiàn)可行性。本綜述在文中相應(yīng)位置對各個不同類型ONNs的優(yōu)劣進(jìn)行了分析和討論，同時對其未來發(fā)展方向進(jìn)行了展望。

雖然現(xiàn)階段ONNs的發(fā)展依然面臨諸多困難，但是在技術(shù)層面上已經(jīng)取得了成功。同時，學(xué)術(shù)界的科學(xué)研究也正在嘗試朝著實(shí)用化方向發(fā)展，如普林斯頓大學(xué)研究團(tuán)隊(duì)將片上集成ONNs應(yīng)用于海底光纖鏈路的非線性補(bǔ)償。劍橋大學(xué)研究團(tuán)隊(duì)基于光子深度學(xué)習(xí)開發(fā)了邊緣計算架構(gòu)，該架構(gòu)下的計算效率超越了電子計算硬件。除了學(xué)術(shù)界的努力，產(chǎn)業(yè)界（如Lightmatter、Lightelligence等公司）也在光計算方面做出了實(shí)踐性探索。

二、光學(xué)神經(jīng)網(wǎng)絡(luò)的未來發(fā)展趨勢

利用光進(jìn)行信號處理或計算的相關(guān)研究可以追溯到20世紀(jì)60年代，然而ONNs的快速發(fā)展在最近幾年才開始。其原因是人工智能在近些年的應(yīng)用越來越廣泛，各行各業(yè)對于算力的需求與日俱增，現(xiàn)代電子計算硬件將難以滿足社會發(fā)展的算力需求。未來急需找到一種新的計算范式來提供更強(qiáng)的算力支撐。ONNs是一種新的計算范式，其相比于現(xiàn)代計算硬件而言，擁有諸多優(yōu)勢。然而，目前ONNs的工作過程還離不開電子計算硬件的輔助，而且ONNs在光域上實(shí)現(xiàn)非線性功能也非常困難。因此，短期內(nèi)如果要將ONNs推向真正的應(yīng)用場景中，光電混合ONNs系統(tǒng)也許是比較可行的方案。圖3是光電混合ONNs系統(tǒng)架構(gòu)，包括原理層、光計算層、電子電路輔助層和應(yīng)用層。光電混合ONNs系統(tǒng)的定位是由ONNs完成整個系統(tǒng)的絕大多數(shù)算力任務(wù)，而電子計算硬件是完成計算消耗較小的部分，如路由、存儲及非線性功能等。值得注意的是，光電混合ONNs系統(tǒng)中，光電轉(zhuǎn)換部分的能耗和速度對于整個系統(tǒng)的性能而言也極其重要，未來研究過程中應(yīng)盡可能減小每一次光/電（電/光）轉(zhuǎn)換的能量消耗，同時盡可能地提高其轉(zhuǎn)換速度。

圖3：光電混合ONNs系統(tǒng)框架示意圖

三、光學(xué)神經(jīng)網(wǎng)絡(luò)的應(yīng)用與展望

事實(shí)上，現(xiàn)階段ONNs在現(xiàn)實(shí)場景中的應(yīng)用尚未成熟，主要研究工作還停留在實(shí)驗(yàn)室階段。根據(jù)本綜述對20世紀(jì)60年代以來ONNs相關(guān)研究工作的總結(jié)和分析，不難發(fā)現(xiàn)ONNs現(xiàn)階段主要在存儲、非線性以及大規(guī)?？芍貥?gòu)等方面仍然存在技術(shù)瓶頸。因此，短期內(nèi)ONNs的應(yīng)用場景會集中在某些專用領(lǐng)域，如圖4所示。即使如此，可能需要相當(dāng)長的一段時間來持續(xù)優(yōu)化ONNs系統(tǒng)架構(gòu)或光電混合框架以獲得更好的性能，從而使ONNs在某些專用領(lǐng)域獲得比電子計算硬件更好的表現(xiàn)。在此期間，學(xué)術(shù)界和產(chǎn)業(yè)界應(yīng)全面考慮ONNs的生態(tài)系統(tǒng)建設(shè)，包括軟件、硬件、協(xié)議、光學(xué)算法、行業(yè)標(biāo)準(zhǔn)、制造技術(shù)和應(yīng)用場景等諸多方面。

圖4：未來ONNs系統(tǒng)可能應(yīng)用的領(lǐng)域

▎論文信息

Fu, T., Zhang, J., Sun, R. et al. Optical neural networks: progress and challenges. Light Sci Appl 13, 263 (2024).

https://doi.org/10.1038/s41377-024-01590-3