原創(chuàng) Stephen Ornes 神經(jīng)現(xiàn)實(shí) 收錄于合集#深度 | Deep-diving 410 個 #神經(jīng)科學(xué) 88 個

理解大腦如何組織和訪問空間信息，例如“我們在哪里”、“拐角處有什么”、“如何到達(dá)那里”，仍是一項(xiàng)巨大的挑戰(zhàn)。該過程涉及從上百億個神經(jīng)元中調(diào)取一系列的記憶及存儲其中的空間數(shù)據(jù)，而每個神經(jīng)元又連接著上千個其他神經(jīng)元。神經(jīng)科學(xué)家已經(jīng)確認(rèn)了空間認(rèn)知的關(guān)鍵元素，例如映射位置的網(wǎng)格細(xì)胞[1]。然而，要想對此進(jìn)行更深入的研究，事情就變得棘手了：研究人員想要觀察基于位置的有關(guān)圖像、聲音、和味道的記憶是如何流動和互相連接的，卻不可能通過取出并研究人的大腦灰質(zhì)切片來達(dá)此目的。

人工智能為此提供了另一條出路。多年來，神經(jīng)科學(xué)家們利用了多種類型的神經(jīng)網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)為大多數(shù)深度學(xué)習(xí)的應(yīng)用提供了動力）來模擬大腦中神經(jīng)元的放電。于近期的研究中，研究人員發(fā)現(xiàn)海馬體作為一個對記憶至關(guān)重要的腦部結(jié)構(gòu)其實(shí)是一種變相的特殊神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)被稱為Transformer[2]。他們的新模型以一種類似大腦內(nèi)部運(yùn)作的方式來追蹤空間信息，并且已經(jīng)取得了顯著成效。

- Kristina Armitage -

同時就職于斯坦福大學(xué)和牛津大學(xué)蒂姆·貝倫斯（Tim Behrens）實(shí)驗(yàn)室的認(rèn)知神經(jīng)科學(xué)家詹姆斯·惠廷頓（James Whittington）說：“現(xiàn)在我們知道了，這些大腦模型與Transformer模型相當(dāng)，這就意味著我們的模型表現(xiàn)得更好并且更容易訓(xùn)練?！?/p>

惠廷頓及同事所做的研究提示我們，Transformer可以極大地促進(jìn)神經(jīng)網(wǎng)絡(luò)模型模擬網(wǎng)格細(xì)胞及大腦其他部分進(jìn)行運(yùn)算的能力?；萃㈩D表示，這些模型可以推動我們對人工神經(jīng)網(wǎng)絡(luò)的工作原理、甚至對大腦運(yùn)算機(jī)制的理解。

在谷歌大腦（Google Brain）研究Transformer模型的計算機(jī)科學(xué)家大衛(wèi)·哈（David Ha）表示：“我們并不是在嘗試重新建造一個大腦，但我們能否創(chuàng)造出足以復(fù)制大腦所作所為的機(jī)制呢？”

Transformers在2017年作為一種處理語言的新型AI模型首次出現(xiàn)。這一模型是BERT[3]和GPT-3等引人注目的能夠補(bǔ)全句子的程序中的秘密武器，而這些程序可以生成以假亂真的歌詞、創(chuàng)作莎士比亞十四行詩并模仿客服代表。

Transformer的工作原理是一種被稱為“自注意力”（self-attention）的機(jī)制，其中每個輸入，不管是一個單詞、一個像素、還是序列中的一個數(shù)字，總是與其余每個輸入相連。而別的神經(jīng)網(wǎng)絡(luò)僅將輸入與某些特定的輸入相連。雖然Transformers最初是為語言任務(wù)而設(shè)計的，但后來它們在別的任務(wù)（比如圖像分類和如今的大腦建模）中都表現(xiàn)得相當(dāng)出色。

- Avalon Nuovo -

在2020年，由奧地利林茨大學(xué)（Johannes Kepler University Linz）的計算機(jī)科學(xué)家塞普?霍克瑞特（Sepp Hochreiter）帶領(lǐng)的團(tuán)隊(duì)用Transformer改造了一個強(qiáng)大的、存在已久的記憶檢索模型。這個被改造的模型名叫Hopfield網(wǎng)絡(luò)（Hopfield network），在40年前由普林斯頓的物理學(xué)家約翰·霍普菲爾德（John Hopfield）首次提出。這些網(wǎng)絡(luò)遵循一條通則：同時活躍的神經(jīng)元在彼此之間建立更牢固的連接。

霍克瑞特和他的合作者留意到研究人員一直在尋找更好的記憶檢索模型，在此之后，他們發(fā)現(xiàn)了一類新型Hopfield網(wǎng)絡(luò)[4]檢索記憶的方式和Transformers執(zhí)行注意力的方式之間的聯(lián)系。這些新型Hopfield網(wǎng)絡(luò)由MIT-IBM沃森人工智能實(shí)驗(yàn)室（MIT-IBM Watson AI Lab）的霍普菲爾德和德米特里·克羅托夫（Dmitry Krotov）開發(fā)。與標(biāo)準(zhǔn)的Hopfield網(wǎng)絡(luò)相比，新型Hopfield網(wǎng)絡(luò)由于有更高效的連接而可以存儲和檢索更多的記憶?；艨巳鹛氐膱F(tuán)隊(duì)通過添加一個類似Transformers里注意力機(jī)制的規(guī)則來升級這些網(wǎng)絡(luò)。

之后，在今年早些時候[5]，惠廷頓和貝倫斯進(jìn)一步改進(jìn)了這種方法。他們修改了這些Transformer，使得模型不再將記憶視為線性序列（就像句子里的一串單詞那樣），而是將它們編碼為高維空間中的坐標(biāo)。研究人員口中的這一“扭轉(zhuǎn)”進(jìn)一步提升了模型在神經(jīng)科學(xué)任務(wù)中的表現(xiàn)。他們還表明，該模型的數(shù)學(xué)基礎(chǔ)和神經(jīng)科學(xué)家在功能性磁共振成像（fMRI）掃描中觀測到的網(wǎng)格細(xì)胞放電模式的模型一致。

貝倫斯（左）和惠廷頓（右）幫助證明了我們大腦中的結(jié)構(gòu)在數(shù)學(xué)上與“Transformer”相似。

—

(left) Louise Bold; Tongyun Shang

倫敦大學(xué)學(xué)院的神經(jīng)科學(xué)家卡斯維爾? 巴里（Caswell Barry）說道：“網(wǎng)格細(xì)胞有這種令人激動的、美麗的、規(guī)則的結(jié)構(gòu)，并具有那些不太可能隨機(jī)產(chǎn)生的、醒目的放電模式?！鄙鲜龅男卵芯縿t向我們展示了Transformer如何精確地復(fù)刻這些在海馬體觀測到的模式。巴里說：“他們認(rèn)識到，Transformer可以根據(jù)以前的狀態(tài)及其移動情況確定位置，而這正是傳統(tǒng)的網(wǎng)格細(xì)胞模型描述的定位方式。”

近期的其他研究表明，Transformer也可以促進(jìn)我們對大腦中其他功能的理解。2021年，麻省理工學(xué)院的計算神經(jīng)科學(xué)家馬丁·施林普夫（Martin Schrimpf）分析了43例不同種類的神經(jīng)網(wǎng)絡(luò)模型[6]，來觀察它們在預(yù)測由fMRI和腦皮層電圖報告的人類神經(jīng)活動測量結(jié)果上表現(xiàn)如何。他發(fā)現(xiàn)Transformer作為目前領(lǐng)先的、最先進(jìn)的神經(jīng)網(wǎng)絡(luò)，幾乎可以預(yù)測神經(jīng)成像報告的所有變化。

此外，哈和計算機(jī)科學(xué)家同事Yujin Tang最近設(shè)計了一個模型[7]，該模型可以通過Transformer有意地以一種隨機(jī)、無序的方式發(fā)送大量數(shù)據(jù)，來模擬人體向大腦傳遞感覺信號。他們的Transformer可以像我們的大腦一樣成功處理無序的信息流。

Yujin Tang表示：“神經(jīng)網(wǎng)絡(luò)只能硬性地接收特定的輸入?！钡诂F(xiàn)實(shí)生活中，數(shù)據(jù)集通常變幻莫測，而大多數(shù)的AI模型無法據(jù)此調(diào)整?！拔覀兿胍囼?yàn)一種具有快速適應(yīng)性的架構(gòu)?！?/p>

論文題目：

The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning

DOI：

https://doi.org/10.48550/arXiv.2109.02869

盡管存在這些進(jìn)步的跡象，貝倫斯認(rèn)為Transformer只是我們向最精確的大腦模型邁出的一步而已，而非探索的終點(diǎn)。他說：“我在這里必須要做一個持懷疑態(tài)度的神經(jīng)科學(xué)家。例如，我不認(rèn)為Transformers最終會是我們在大腦中處理語言的方式，即使它們是當(dāng)前最好的語句模型。”

巴里說：“在預(yù)測‘我在哪兒’以及‘我將會看到什么’這方面，Transformer會是那個最高效的機(jī)制嗎？老實(shí)說，現(xiàn)在就下定論還為時尚早?！?/p>

施林普夫也指出，即便是表現(xiàn)最好的Transformers也是有局限的。例如，它們在單詞和短語方面表現(xiàn)良好，但在像講故事這種更大規(guī)模的語言任務(wù)中卻并不出色。

施林普夫說：“我感到這種Transformer的架構(gòu)已經(jīng)讓我們處于理解大腦結(jié)構(gòu)的正確框架中了，并且它還可以隨著訓(xùn)練得到改善。這是一個很好的方向，只是這個領(lǐng)域太過復(fù)雜?！?/p>

講座預(yù)約

新腦論壇：腦機(jī)接口，商業(yè)化難題何解？ 神經(jīng)現(xiàn)實(shí)×果殼硬科技聯(lián)合主辦，10月22日，本周六下午兩點(diǎn)半，邀請你和專家學(xué)者一起探討腦機(jī)接口已存應(yīng)用以及未來的發(fā)展機(jī)遇；希望與你一起探索，在與元宇宙和人工智能交叉之外，腦機(jī)接口能激發(fā)的更多可能。點(diǎn)擊上方視頻號預(yù)約按鈕預(yù)約觀看。

參考文獻(xiàn)

[1]https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/

[2]https://www.quantamagazine.org/will-transformers-take-over-artificial-intelligence-20220310/

[3]https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

[4]https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html

[5]https://openreview.net/forum?id=B8DVo9B1YE0

[6]https://www.pnas.org/doi/10.1073/pnas.2105646118

[7]https://arxiv.org/abs/2109.02869

作者：Stephen Ornes l 譯者：Lemon l 校對：P

編輯：M.W. l 排版：海星 l 封面：Koma Zhang

原文：

https://www.quantamagazine.org/how-ai-transformers-mimic-parts-of-the-brain-20220912/

閱讀原文