原創(chuàng) 楊明哲 集智俱樂(lè)部

導(dǎo)語(yǔ)

上世紀(jì)90年代初，朗頓創(chuàng)造了“在混沌邊緣計(jì)算”這個(gè)術(shù)語(yǔ)，并開始思考一個(gè)難題：系統(tǒng)的復(fù)雜性來(lái)源于何處。他的文字已經(jīng)暗示這一迷思與信息理論的緊密關(guān)聯(lián)。Joseph T. Lizier 在 2010 年從悉尼大學(xué)獲得計(jì)算機(jī)科學(xué)博士學(xué)位，在他的博士論文《復(fù)雜系統(tǒng)中分布式計(jì)算的局部信息動(dòng)力學(xué)》（The Local Information Dynamics of Distributed Computation in Complex Systems）中，接過(guò)朗頓提出的挑戰(zhàn)，深入信息理論的基礎(chǔ)，繼續(xù)探討分布式計(jì)算與系統(tǒng)復(fù)雜性的關(guān)系，真正用定量的指標(biāo)來(lái)刻畫復(fù)雜系統(tǒng)的涌現(xiàn)特征。在這若干年后，人們發(fā)現(xiàn)傳統(tǒng)信息指標(biāo)處理多元變量關(guān)系的力不從心，于是有了「因果涌現(xiàn)讀書會(huì)第四季」提到的整合信息分解框架。它繼承了 Lizier 的概念和思想，所以回過(guò)頭來(lái)解讀這篇博士論文會(huì)幫助我們對(duì)整合信息分解有更加深刻地理解。

Joseph T. Lizier 的工作在 CORE 博士論文獎(jiǎng)中獲得了榮譽(yù)提名，并被 Springer Theses 收錄。該系列論文精選世界各地在相關(guān)領(lǐng)域具有重要影響的博士論文，并包含博士生導(dǎo)師對(duì)該研究在相關(guān)領(lǐng)域影響的介紹（參看文末翻譯版本），因而對(duì)非專業(yè)的跨領(lǐng)域讀者也具有較高的可讀性。這篇論文的目錄如下：

1.引言

2.復(fù)雜系統(tǒng)中的計(jì)算

3.信息存儲(chǔ)

4.信息轉(zhuǎn)移

5.信息修正

6.網(wǎng)絡(luò)和相變中的信息動(dòng)力學(xué)

7.復(fù)雜計(jì)算中的連貫信息結(jié)構(gòu)

8.生物系統(tǒng)中的信息轉(zhuǎn)移

9.總結(jié)

我們可以將其分為三大部分，本文主要解讀前兩章，聚焦問(wèn)題背景以及復(fù)雜系統(tǒng)和信息論的結(jié)合；下一期推文將解讀三到五章，這是論文最核心的概念框架；最后一期解讀六到九章，進(jìn)一步探討具體的應(yīng)用價(jià)值。歡迎感興趣的讀者持續(xù)關(guān)注！

研究領(lǐng)域：復(fù)雜系統(tǒng)，信息論，分布式計(jì)算，信息動(dòng)力學(xué)，涌現(xiàn)

楊明哲 | 作者

梁金 | 編輯

論文題目：The Local Information Dynamics of Distributed Computation in Complex Systems
論文地址：https://link.springer.com/book/10.1007/978-3-642-32952-4

復(fù)雜系統(tǒng)研究為什么關(guān)注信息論？

信息論由香農(nóng)最早提出，原本應(yīng)用于密碼學(xué)與編碼領(lǐng)域，為什么對(duì)復(fù)雜系統(tǒng)的研究要關(guān)注信息論，甚至以信息論作為工具呢？

復(fù)雜系統(tǒng)可以認(rèn)為具有兩個(gè)共通的特征：由大量簡(jiǎn)單元素或主體組成；元素間存在著不平凡的關(guān)系（往往是非線性的）[2]。它描述的可以是任何領(lǐng)域的系統(tǒng)，比如大腦的神經(jīng)元網(wǎng)絡(luò)，鳥群，人類族群等等。在每一個(gè)單獨(dú)領(lǐng)域里人類都已積累非常豐富的經(jīng)驗(yàn)和模型，可我們?nèi)匀粚?duì)一些問(wèn)題感到困惑：系統(tǒng)的復(fù)雜性來(lái)自哪里？何以涌現(xiàn)？這些就不是單一學(xué)科的模型可以解釋的了。于是我們需要一個(gè)工具，可以在沒(méi)有模型假設(shè)的情況下，就能夠定量刻畫復(fù)雜系統(tǒng)獨(dú)有的神奇特征。信息論就可以擔(dān)當(dāng)這一角色，繞過(guò)復(fù)雜的非線性關(guān)系，只要能夠獲取概率分布，就能度量系統(tǒng)內(nèi)發(fā)生的信息變化。而系統(tǒng)的演化能夠被各種信息論指標(biāo)捕捉，正是因?yàn)橐粋€(gè)復(fù)雜系統(tǒng)每時(shí)每刻都在進(jìn)行分布式計(jì)算（distributed computation）。

分布式計(jì)算指的是系統(tǒng)中的主體們?cè)诓僮骱图庸ば畔?。比如蟻群中螞蟻找到搬運(yùn)食物最有效率的路徑，大腦對(duì)信息的處理，魚群或鳥群中主體對(duì)集群運(yùn)動(dòng)方向的“計(jì)算”，基因調(diào)控網(wǎng)絡(luò)“計(jì)算”細(xì)胞行為等等。元胞自動(dòng)機(jī)（CA）里，隨著時(shí)間展開，根據(jù)規(guī)則可由當(dāng)前元胞狀態(tài)計(jì)算得出下一時(shí)刻所有元胞的狀態(tài)，這便是一個(gè)經(jīng)典的分布式計(jì)算了。由于其規(guī)則簡(jiǎn)潔，已被Wolfram等人進(jìn)行規(guī)則分類，并將分布式計(jì)算的概念應(yīng)用于元胞自動(dòng)機(jī)的研究里，所以它會(huì)是本篇文章貫穿始終的研究對(duì)象。

：CA：90號(hào)規(guī)則

CA：184號(hào)規(guī)則

Joseph T. Lizier 博士在他的博士論文《The Local Information Dynamics of Distributed Computation in Complex Systems》中指出，如果要對(duì)分布式計(jì)算分個(gè)類，可以分為以下三類：信息存儲(chǔ)（information storage）、信息轉(zhuǎn)移（information transfer）和信息修正（information modification）。這三個(gè)概念最初是由Chris Langton在1990年代早期提出的，用于研究混沌邊緣[3]，Langton認(rèn)為，復(fù)雜行為和計(jì)算能力最大化的系統(tǒng)往往處于有序和混沌之間的相變邊緣。后來(lái)這些概念在復(fù)雜系統(tǒng)研究中被廣泛使用。

在后續(xù)的推文中我們會(huì)分別介紹這三個(gè)概念和它們的具體應(yīng)用，下圖是相關(guān)信息論指標(biāo)的概覽。

信息論在復(fù)雜系統(tǒng)中的應(yīng)用

接下來(lái)我們來(lái)看看，目前信息論已經(jīng)在復(fù)雜系統(tǒng)的研究中有了哪些應(yīng)用。

如前文所述，信息指標(biāo)可以度量系統(tǒng)的有序和無(wú)序，但不能直接使用香農(nóng)熵，可以使用熵率來(lái)度量系統(tǒng)在時(shí)間演化上的不確定程度[4]。而混沌現(xiàn)象最典型的特征便是從底層完全確定的機(jī)理中涌現(xiàn)出不確定性。

不確定性和系統(tǒng)的復(fù)雜程度有一定關(guān)聯(lián)，所以信息論可以用來(lái)度量系統(tǒng)的復(fù)雜性。通常的直覺(jué)是，完全靜態(tài)有序的過(guò)程（具有固定狀態(tài)）和完全無(wú)序或隨機(jī)的過(guò)程（具有完全不可預(yù)測(cè)的狀態(tài)）具有最低復(fù)雜性。許多復(fù)雜性指標(biāo)試圖捕捉這一點(diǎn)，比如統(tǒng)計(jì)復(fù)雜度（statistical complexity）。這一概念來(lái)自于計(jì)算力學(xué)的研究。相比于下圖（a）中的確定性復(fù)雜指標(biāo)（比如柯式復(fù)雜度），統(tǒng)計(jì)復(fù)雜度可以透過(guò)觀測(cè)數(shù)據(jù)捕捉到其背后的確定的規(guī)律。進(jìn)一步的，這種復(fù)雜性度量指標(biāo)可以用來(lái)量化涌現(xiàn)。

如果Langton的判斷是對(duì)的，即系統(tǒng)在相變時(shí)復(fù)雜性最大，那么我們就可以使用信息論進(jìn)行有序-混沌相變的定量研究。比如像沙堆模型、森林火災(zāi)等自組織臨界相變現(xiàn)象就可以通過(guò)某些信息指標(biāo)的最大化來(lái)捕獲[5]。而像蟻群中的行為相變現(xiàn)象則由另一些信息指標(biāo)所度量[6]。需要注意的是，目前沒(méi)有一個(gè)普遍的指標(biāo)可以度量所有的相變現(xiàn)象，在一些更為復(fù)雜的相變中，系統(tǒng)復(fù)雜程度也呈現(xiàn)出非單調(diào)的變化，而有時(shí)候即使沒(méi)有相變發(fā)生，系統(tǒng)的復(fù)雜性也會(huì)上升[7]。

當(dāng)復(fù)雜性指標(biāo)和自組織現(xiàn)象高度相關(guān)的時(shí)候，我們就可以量化一個(gè)系統(tǒng)的自組織程度，甚至可以用來(lái)構(gòu)建人工的自組織系統(tǒng)。統(tǒng)計(jì)復(fù)雜度作為一個(gè)經(jīng)典的復(fù)雜性指標(biāo)，已經(jīng)被嘗試應(yīng)用在自組織量化研究上了[8]。

縱然信息論的應(yīng)用已經(jīng)在系統(tǒng)科學(xué)研究中取得很多豐碩的結(jié)果，也會(huì)存在著對(duì)使用信息論的爭(zhēng)論。比如美國(guó)心理學(xué)家Gibson認(rèn)為信息論不適合應(yīng)用于自然的系統(tǒng)當(dāng)中，因?yàn)榄h(huán)境不會(huì)向生命系統(tǒng)明確地傳遞信息[9]。但當(dāng)前學(xué)者認(rèn)為這不是問(wèn)題，因?yàn)榄h(huán)境會(huì)隱含地傳遞信息，反映在系統(tǒng)主體狀態(tài)的概率分布及其變化里。另一個(gè)值得注意的實(shí)踐上的問(wèn)題是，很多信息論指標(biāo)需要大量的數(shù)據(jù)才能夠被準(zhǔn)確地計(jì)算出來(lái)。針對(duì)這一問(wèn)題，我們也有一些計(jì)算工具輔助，通過(guò)降維來(lái)減輕對(duì)數(shù)據(jù)量的要求。核函數(shù)估計(jì)法和K近鄰算法等方法不僅可以適用于有限數(shù)量觀測(cè)數(shù)據(jù)的情形，還可以用來(lái)計(jì)算連續(xù)變量的信息論指標(biāo)[10,11]。

總結(jié)

信息論作為研究方法，復(fù)雜系統(tǒng)作為研究對(duì)象，已經(jīng)形成了基本的研究范式，可以在這個(gè)框架下研究許多我們感興趣的問(wèn)題，比如涌現(xiàn)、相變等。在接下來(lái)的文章中我們會(huì)以元胞自動(dòng)機(jī)為核心案例，陸續(xù)介紹信息存儲(chǔ)、信息轉(zhuǎn)移和信息修正等概念。

最后，我們翻譯了 Joseph T. Lizier 的博士導(dǎo)師 Mikhail Prokopenko 為論文撰寫的序言，對(duì)該研究背后的領(lǐng)域發(fā)展有更全面的介紹，分享給大家。我們下一篇見(jiàn)。

導(dǎo)師 Mikhail Prokopenko 的序言

在20世紀(jì)90年代初，Chris Langton創(chuàng)造了“在混沌邊緣計(jì)算”這個(gè)術(shù)語(yǔ)。他不僅將計(jì)算分解為三個(gè)基本功能：信息的轉(zhuǎn)移、存儲(chǔ)和修正，而且還為在最一般形式下研究計(jì)算——信息理論打開了大門。此外，他還提出了一個(gè)挑戰(zhàn)：如何解釋動(dòng)態(tài)環(huán)境中計(jì)算的涌現(xiàn)，以及它與系統(tǒng)復(fù)雜性的關(guān)系？

Joseph Lizier 博士的論文，《The Local Information Dynamics of Distributed Computation in Complex Systems》，毫不畏懼地接受了Langton的挑戰(zhàn)，深入計(jì)算現(xiàn)象的核心，并分析了每個(gè)原語(yǔ)的信息理論基礎(chǔ)。隨后，這些部分以多種方式重新組合，揭示了連貫性和復(fù)雜性可能呈現(xiàn)出的不同形態(tài)。

這篇論文通過(guò)復(fù)雜、多樣化和動(dòng)態(tài)的領(lǐng)域進(jìn)行引導(dǎo)，這些領(lǐng)域具有錯(cuò)綜復(fù)雜的信息處理結(jié)構(gòu)，包括元胞自動(dòng)機(jī)、隨機(jī)布爾網(wǎng)絡(luò)、大腦皮層網(wǎng)絡(luò)、睡眠呼吸暫停中的心率與呼吸頻率的相互作用、模塊化機(jī)器人系統(tǒng)、電力網(wǎng)絡(luò)中的級(jí)聯(lián)故障等。它揭示了這些系統(tǒng)通過(guò)其信息存儲(chǔ)（“主動(dòng)信息存儲(chǔ)”）、通信（“信息轉(zhuǎn)移”）和處理（“信息修正”）的連貫性使用，來(lái)發(fā)揮其內(nèi)在的功能。

具體而言，主動(dòng)信息存儲(chǔ)（active information storage）用于量化在計(jì)算下一個(gè)過(guò)程狀態(tài)時(shí)直接使用的信息。在元胞自動(dòng)機(jī)中獲得的局部主動(dòng)信息存儲(chǔ)的配置文件提供了證據(jù)，表明閃爍器（blinkers）和背景域（background domains）是這些系統(tǒng)中的主要存儲(chǔ)過(guò)程，并且揭示了局部存儲(chǔ)有時(shí)可能會(huì)誤導(dǎo)觀察者。值得注意的是，該工作引入了局部信息轉(zhuǎn)移（local information transfer）的度量，將其應(yīng)用于元胞自動(dòng)機(jī)以過(guò)濾出斑圖（pattern）——該度量首次提供了定量證據(jù)，證明了長(zhǎng)期以來(lái)人們普遍認(rèn)為的推測(cè)，即粒子（比如滑翔機(jī)和域壁）是元胞自動(dòng)機(jī)中的主要信息傳遞實(shí)體。這進(jìn)一步發(fā)展成一種新的方法，用于對(duì)大腦皮層進(jìn)行區(qū)域間連接分析，使用多元擴(kuò)展的互信息和轉(zhuǎn)移熵。這種方法的特點(diǎn)在于使用非對(duì)稱的、多元的信息理論分析，它不僅捕獲方向性和非線性關(guān)系，還捕獲集體交互。

將存儲(chǔ)和轉(zhuǎn)移在狀態(tài)空間中結(jié)合起來(lái)，這篇論文通過(guò)局部信息動(dòng)態(tài)配置文件中的連貫結(jié)構(gòu)（coherent structure）來(lái)區(qū)分復(fù)雜計(jì)算，并使用狀態(tài)空間圖來(lái)識(shí)別復(fù)雜計(jì)算中的清晰和“隱藏”連貫結(jié)構(gòu)?；谶@些度量，通過(guò)研究隨機(jī)布爾網(wǎng)絡(luò)中從有序到混沌行為的著名相變，他證明在相變點(diǎn)兩側(cè)信息存儲(chǔ)和信息轉(zhuǎn)移（或連貫轉(zhuǎn)移）均最大化，從而在內(nèi)在的分布式計(jì)算角度解釋了這一相變。

觸及到因果（causality）這一主題，該研究對(duì)比了轉(zhuǎn)移熵和信息流，分別用于量化信息轉(zhuǎn)移和因果信息流，并表明因果信息流是描述系統(tǒng)因果結(jié)構(gòu)的首要工具，而信息轉(zhuǎn)移可以用于描述系統(tǒng)中的涌現(xiàn)計(jì)算。隨后，該研究在系統(tǒng)的每個(gè)空間時(shí)間點(diǎn)上量化了信息修正。通過(guò)可分離信息（一種新的度量）可以局部地確定，當(dāng)源變量分離后各自計(jì)算時(shí)對(duì)結(jié)果產(chǎn)生誤導(dǎo)性的情況（即“整體大于部分之和”的那些點(diǎn)）。

總的來(lái)說(shuō)，這項(xiàng)工作呈現(xiàn)了一個(gè)新的子領(lǐng)域——信息動(dòng)力學(xué)（information dynamics）。它使能夠嚴(yán)格地描述復(fù)雜計(jì)算過(guò)程中系統(tǒng)內(nèi)部局部空間時(shí)間尺度上的各個(gè)組成部分，并為分布式計(jì)算和復(fù)雜系統(tǒng)的基本性質(zhì)提供了重要的洞察。

參考文獻(xiàn)

[1] Mediano, P. A. M., Rosas, F., Carhart-Harris, R. L., Seth, A. K., & Barrett, A. B. (2019). Beyond integrated information: A taxonomy of information dynamics phenomena (arXiv:1909.02297). arXiv. http://arxiv.org/abs/1909.02297

[2] M. Prokopenko, F. Boschietti, A.J. Ryan, An information-theoretic primer on complexity, self-organization, and emergence. Complexity 15(1), 11–28 (2009)

[3] C.G. Langton, Computation at the edge of chaos: phase transitions and emergent computation. Phys. D 42(1–3), 12–37 (1990)

[4] D.P. Feldman, C.S. McTague, J.P. Crutchfield, The organization of intrinsic computation: complexity-entropy diagrams and the diversity of natural information processing. Chaos 18(4), 043106 (2008)

[5] M. Prokopenko, P. Wang, P. Valencia, D. Price, M. Foreman, A. Farmer, Self-organizing hierarchies in sensor and communication networks. Artif. Life 11(4), 407–426 (2005)

[6] O. Miramontes, Order-disorder transitions in the behavior of ant societies. Complexity 1(3), 56–60 (1995)

[7] D.P. Feldman, C.S. McTague, J.P. Crutchfield, The organization of intrinsic computation: complexity-entropy diagrams and the diversity of natural information processing. Chaos 18(4), 043106 (2008)

[8] C.R. Shalizi, K.L. Shalizi, R. Haslinger, Quantifying self-organization with optimal predictors. Phys. Rev. Lett. 93(11), 118701 (2004)

[9] J.J. Gibson, The Ecological Approach to Visual Perception (Houghton Mifflin Company, Boston, 1979)

[10] A. Kraskov, H. St?gbauer, P. Grassberger, Estimating mutual information. Phys. Rev. E 69(6), 066138 (2004)

[11] A. Kraskov, Synchronization and interdependence measures and their applications to the electroencephalogram of epilepsy patients and clustering of data, ser. Publication Series of the John von Neumann Institute for Computing. Ph.D. thesis, vol. 24, John von Neumann Institute for Computing, Jülich, 2004.

作者簡(jiǎn)介

楊明哲，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院碩士生，張江老師因果涌現(xiàn)研究小組成員。研究領(lǐng)域是因果涌現(xiàn)、復(fù)雜系統(tǒng)自動(dòng)建模。

學(xué)者主頁(yè)：https://pattern.swarma.org/user/76769

原標(biāo)題：《復(fù)雜系統(tǒng)研究為什么關(guān)注信息論？》

閱讀原文