撰稿 | Blair（西湖大學(xué)，博士生）

由于光子集成平臺(tái)上光電組件的集成度不斷提高，近年來光子計(jì)算的研究蓬勃發(fā)展。光子集成電路不僅能極大地加快人工神經(jīng)網(wǎng)絡(luò)的處理速度，同時(shí)也為新型信息處理機(jī)器提供了新的架構(gòu)。

在光子集成電路硬件上運(yùn)行的算法不僅有潛力滿足醫(yī)療診斷、通信以及高性能和科學(xué)計(jì)算等領(lǐng)域?qū)C(jī)器學(xué)習(xí)和人工智能不斷增長的需求，同時(shí)能夠處理神經(jīng)形態(tài)電子學(xué)（類腦電子學(xué)）的發(fā)展中遇到的以處理器延遲問題為代表的一系列的挑戰(zhàn)。

基于光子學(xué)實(shí)現(xiàn)神經(jīng)形態(tài)計(jì)算（類腦計(jì)算）在將單個(gè)計(jì)算操作的時(shí)間壓縮到亞納秒級(jí)的同時(shí)，也為未來人工智能計(jì)算提供了全新的機(jī)遇與可能。

近期，來自加、美、德、英的頂尖科學(xué)家回顧了神經(jīng)形態(tài)光子計(jì)算系統(tǒng)的最新進(jìn)展，討論了其當(dāng)前和未來發(fā)展面臨的挑戰(zhàn)，并概述了應(yīng)對(duì)這些挑戰(zhàn)所需的科學(xué)和技術(shù)方法。該綜述以 Photonics for artificial intelligence and neuromorphic computing 為題發(fā)表在 Nature Photonics。

圖1. 神經(jīng)形態(tài)光子學(xué)概述. 圖源：Nature Photonics 15, 102 (2021). (Box. 1)

傳統(tǒng)上計(jì)算機(jī)是基于馮·諾依曼架構(gòu)（即具有中央處理器和獨(dú)立的內(nèi)存）進(jìn)行組織的，這種結(jié)構(gòu)適合于運(yùn)行序列的、數(shù)字的、基于過程的計(jì)算任務(wù)。而對(duì)于分布式、大規(guī)模、并行和自適應(yīng)的計(jì)算任務(wù)，尤其是用于人工智能神經(jīng)網(wǎng)絡(luò)的計(jì)算模型，這種架構(gòu)的效率很低。

人工智能算法要以高準(zhǔn)確率、低延遲高效地處理人類任務(wù)，這對(duì)傳統(tǒng)計(jì)算機(jī)提出了很大的挑戰(zhàn)。

基于神經(jīng)網(wǎng)絡(luò)、以分布式方式處理信息并根據(jù)輸入的數(shù)據(jù)自我訓(xùn)練（而不是由程序員明確設(shè)計(jì)）的機(jī)器學(xué)習(xí)算法已經(jīng)在棋類比賽、電子競(jìng)技、語音圖像識(shí)別等諸多領(lǐng)域取得了一系列重大成就，并已對(duì)我們生活的許多方面產(chǎn)生了影響，其應(yīng)用包括從語言翻譯到癌癥診斷、從智能制造到無人駕駛、從虛擬助理到機(jī)器人等方方面面。

面向未來，傳統(tǒng)計(jì)算架構(gòu)提升空間有限，已經(jīng)力不從心，在這樣的背景下，神經(jīng)形態(tài)計(jì)算作為下一代計(jì)算架構(gòu)應(yīng)運(yùn)而生。

神經(jīng)形態(tài)計(jì)算（類腦計(jì)算）系統(tǒng)是借鑒人腦信息處理方式，打破“馮·諾依曼”架構(gòu)束縛，針對(duì)實(shí)時(shí)處理非結(jié)構(gòu)化信息而設(shè)計(jì)的具有自主學(xué)習(xí)能力的超低功耗新型計(jì)算系統(tǒng)。

神經(jīng)形態(tài)計(jì)算（類腦計(jì)算）工程是根據(jù)機(jī)器學(xué)習(xí)和人工智能算法的特性、模擬人腦對(duì)信息的處理方式來定制芯片結(jié)構(gòu)的系統(tǒng)工程，其將硬件與算法進(jìn)行匹配可以實(shí)現(xiàn)更快、更節(jié)能的計(jì)算。同時(shí)，神經(jīng)形態(tài)硬件還可以應(yīng)用于機(jī)器學(xué)習(xí)之外的問題，例如機(jī)器人控制、數(shù)學(xué)編程和神經(jīng)科學(xué)假設(shè)測(cè)試。

與傳統(tǒng)馮·諾依曼計(jì)算架構(gòu)相比，神經(jīng)形態(tài)計(jì)算系統(tǒng)（類腦計(jì)算）在很大程度上依賴計(jì)算單元（即神經(jīng)元）之間的大規(guī)模并行互連。因此，如果通過電子學(xué)來實(shí)現(xiàn)神經(jīng)形態(tài)計(jì)算，就必須使用某種形式的共享數(shù)字通信總線，該總線通過時(shí)分多路復(fù)用來實(shí)現(xiàn)互連，從而不得不犧牲了帶寬。因?yàn)楣庾泳哂胁Ｉ拥奶匦?，多個(gè)光路可以并行疊加而并不會(huì)相互干擾串行，所以光學(xué)互連可以依然保持極大的帶寬，因此有望極大地加速機(jī)器學(xué)習(xí)和神經(jīng)形態(tài)計(jì)算。

圖2. 光學(xué)神經(jīng)突觸(a)和光學(xué)神經(jīng)元(b)的實(shí)現(xiàn). 圖源：Nature Photonics 15, 102 (2021). (Fig. 1, 2)

盡管光已經(jīng)被普遍作為電信和數(shù)據(jù)中心的通信介質(zhì)（如光纖），但還沒有廣泛應(yīng)用到信息處理和計(jì)算中。這是因?yàn)楣怆娊M件在通信方面特性與數(shù)字電路的要求不符。

但是，像神經(jīng)網(wǎng)絡(luò)這樣的非數(shù)字計(jì)算模型可能在光子學(xué)中實(shí)現(xiàn)更有優(yōu)勢(shì)。因?yàn)樯窠?jīng)形態(tài)光子處理器的目標(biāo)不是要取代傳統(tǒng)的計(jì)算機(jī)，而是要實(shí)現(xiàn)傳統(tǒng)計(jì)算技術(shù)目前無法實(shí)現(xiàn)的低延遲，高帶寬和低能耗的計(jì)算任務(wù)。

超快速神經(jīng)網(wǎng)絡(luò)的典型應(yīng)用包括：

基本物理突破：量子比特讀出分類，高能粒子碰撞分類，聚變反應(yīng)堆等離子體控制。

非線性規(guī)劃：求解非線性優(yōu)化問題（機(jī)器人，自動(dòng)駕駛汽車，可預(yù)測(cè)的控制）和偏微分方程。

機(jī)器學(xué)習(xí)加速：矢量矩陣乘法，深度學(xué)習(xí)推理，超快機(jī)器學(xué)習(xí)。

智能信號(hào)處理：寬帶射頻信號(hào)處理，光纖通信。

得益于光子強(qiáng)大的互連性和線性操作，光子電路非常適合神經(jīng)網(wǎng)絡(luò)的高性能實(shí)現(xiàn)。成對(duì)的人工神經(jīng)元之間的連接可以由標(biāo)量突觸權(quán)重（一個(gè)主存儲(chǔ)元件）來實(shí)現(xiàn)，因此互連的布局可以表示為矩陣-向量運(yùn)算，其中每個(gè)神經(jīng)元的輸入是加權(quán)后的連接輸出的點(diǎn)積神經(jīng)元。

光信號(hào)可以通過可調(diào)諧波導(dǎo)元件傳輸而倍增，并且可以利用波分復(fù)用（WDM）通過半導(dǎo)體中載流子的積聚來增強(qiáng)。神經(jīng)網(wǎng)絡(luò)需要相對(duì)長距離的連接以執(zhí)行分布式信息處理。電子電路中的金屬線連接與光子波導(dǎo)相比，光信號(hào)的衰減比電信號(hào)小，并且產(chǎn)生的熱量更小。

更重要的是，波導(dǎo)沒有電感或趨膚效應(yīng)，這意味著對(duì)于神經(jīng)互連遠(yuǎn)程連接中與頻率相關(guān)的信號(hào)失真最小。目前的電子點(diǎn)對(duì)點(diǎn)連接利用了傳輸線和主動(dòng)緩沖技術(shù)。

但是，神經(jīng)網(wǎng)絡(luò)不是基于點(diǎn)對(duì)點(diǎn)鏈接，而是包含大量并行信號(hào)輸出和輸入。因?yàn)閷?duì)于每個(gè)物理連接都使用最新的傳輸線和主動(dòng)緩沖技術(shù)是不切實(shí)際的，所以為了避免電子布線的缺點(diǎn)，神經(jīng)形態(tài)電子體系結(jié)構(gòu)采用了數(shù)字時(shí)分復(fù)用技術(shù)，它可以犧牲帶寬來構(gòu)建更大的神經(jīng)網(wǎng)絡(luò)。

但是，對(duì)于無人駕駛、智能制造等許多計(jì)算任務(wù)而言，高帶寬和低延遲至關(guān)重要，因此只有直接、非數(shù)字的光子互連才能滿足這些應(yīng)用。

圖3. 基于可激發(fā)激光器和諧振器實(shí)現(xiàn)神經(jīng)脈沖. 圖源：Nature Photonics 15, 102 (2021). (Fig. 3)

長期以來，光學(xué)一直被認(rèn)為是實(shí)現(xiàn)矩陣乘法和互連的最有前途的媒介。神經(jīng)網(wǎng)絡(luò)的光學(xué)實(shí)現(xiàn)方法是由Psaltis和Farhat于1985年前提出的。今天，隨著微納制造工藝的進(jìn)步，社會(huì)對(duì)計(jì)算出現(xiàn)了新的需求，為光子神經(jīng)網(wǎng)絡(luò)的應(yīng)用創(chuàng)造了新的可能。

第一個(gè)因素是硅光子學(xué)工藝的進(jìn)步為神經(jīng)形態(tài)計(jì)算的硬件實(shí)現(xiàn)提供了可能。

硅光子平臺(tái)可以容納高質(zhì)量無源器件以及高速有源光電器件，所有這些器件都具有極高的集成密度。2014年，研究人員提出了關(guān)于可擴(kuò)展硅光子神經(jīng)網(wǎng)絡(luò)的想法，并于2017年與其他硅光子神經(jīng)形態(tài)架構(gòu)同時(shí)被實(shí)驗(yàn)實(shí)現(xiàn)。研究人員找到了克服用于校準(zhǔn)和控制的片上硅電子產(chǎn)品組件靈敏度的途徑，而片上光電子學(xué)的進(jìn)步也提供了實(shí)現(xiàn)級(jí)聯(lián)和非線性的途徑。

第二個(gè)因素是神經(jīng)形態(tài)光子計(jì)算的能力效率很高，相比于傳統(tǒng)計(jì)算很有優(yōu)勢(shì)。

神經(jīng)形態(tài)光子系統(tǒng)提供的計(jì)算能力越來越高，每秒每平方毫米的處理速度可以具有拍MAC（乘法累加運(yùn)算），而每個(gè)MAC能量效率可以達(dá)到阿焦。盡管光子學(xué)比電子學(xué)在連接性和線性操作方面提供了優(yōu)勢(shì)，但其他方面（例如在片上存儲(chǔ)器中存儲(chǔ)和讀取神經(jīng)元權(quán)重）面臨著新的挑戰(zhàn)。盡管包括存內(nèi)計(jì)算的各類光學(xué)存儲(chǔ)器已經(jīng)進(jìn)行了深入的研究，但是它們通常無法高頻讀寫。未來可擴(kuò)展的神經(jīng)形態(tài)光子處理器需要將電子產(chǎn)品與潛在的混合電子和光學(xué)存儲(chǔ)架構(gòu)緊密集成，并根據(jù)應(yīng)用和其在數(shù)字或模擬域中的存儲(chǔ)類型（易失性與非易失性）進(jìn)行設(shè)計(jì)。

展望

圖4. 神經(jīng)形態(tài)光子處理器架構(gòu). 圖源：Nature Photonics 15, 102 (2021). (Fig. 5) 圖譯：撰稿人 Blair

神經(jīng)形態(tài)光子學(xué)的核心是創(chuàng)造出與神經(jīng)網(wǎng)絡(luò)同構(gòu)的光電子硬件，通過神經(jīng)網(wǎng)絡(luò)算法和光電子硬件的高度匹配，由此產(chǎn)生的光子神經(jīng)網(wǎng)絡(luò)具有高效的計(jì)算能力、低延遲、低能耗，并可以利用現(xiàn)有的算法方法進(jìn)行編程和訓(xùn)練。

近年來，光子神經(jīng)網(wǎng)絡(luò)的研究激增，各種神經(jīng)元模型、訓(xùn)練技術(shù)和拓?fù)涞募軜?gòu)概念和實(shí)現(xiàn)方式已經(jīng)在研究中。

面向未來，學(xué)術(shù)界仍然需要進(jìn)行持續(xù)的研究來擴(kuò)展集成在單個(gè)網(wǎng)絡(luò)中的神經(jīng)元的數(shù)量，從而實(shí)現(xiàn)電子器件、光學(xué)器件和光源的共同封裝。隨著可編程光子的現(xiàn)代集成平臺(tái)、片上級(jí)聯(lián)和非線性的新思想和新器件的發(fā)展，神經(jīng)形態(tài)光子學(xué)有望在未來的機(jī)器學(xué)習(xí)和信息處理方面發(fā)揮巨大的作用。

本文作者Paul R. Prucnal與Bhavin J. Shastri還是教科書《神經(jīng)形態(tài)光子學(xué)》(Taylor & Francis, CRC Press, 2017)的合著者，想要進(jìn)一步學(xué)習(xí)的讀者朋友可以閱讀該書。（該書鏈接>>>）

論文信息：

Shastri, B.J., Tait, A.N., Ferreira de Lima, T. et al. Photonics for artificial intelligence and neuromorphic computing. Nat. Photonics 15, 102–114 (2021). https://doi.org/10.1038/s41566-020-00754-y

論文地址：

https://doi.org/10.1038/s41566-020-00754-y

論文傳送門在此，請(qǐng)進(jìn)>

編輯 | 趙陽

歡迎課題組投遞成果宣傳稿

轉(zhuǎn)載/合作/課題組投稿，請(qǐng)加微信：447882024

帶您每天讀1篇文章！加入>Light讀書會(huì)