散射成像

通過(guò)復(fù)雜的生物組織樣本成像在醫(yī)學(xué)成像等眾多科學(xué)研究領(lǐng)域有著重要應(yīng)用。然而，由于散射介質(zhì)的復(fù)雜性，只有少量的光子能夠不受介質(zhì)的影響，直接通過(guò)散射介質(zhì)被收集。而對(duì)于強(qiáng)散射介質(zhì)，這些光子傳播距離極短（比如，通過(guò)人體組織的深度大約只有1mm），無(wú)法滿足當(dāng)前人們對(duì)于生物醫(yī)學(xué)，極端惡劣天氣條件下成像的要求。其次，目前通過(guò)散射介質(zhì)成像的技術(shù)對(duì)于散射介質(zhì)的模型誤差十分敏感，散射介質(zhì)十分微小的變化（比如活體生物樣本的微小移動(dòng)），會(huì)導(dǎo)致建立的散射介質(zhì)模型快速失效，從而不得不進(jìn)行新的測(cè)量與建模。

近些年，日本東京大學(xué)的Ryoichi Horisaki團(tuán)隊(duì)（Opt. Express 2016），麻省理工大學(xué)的George Barbastathis團(tuán)隊(duì)（Optica 2018）提出利用基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法來(lái)實(shí)現(xiàn)通過(guò)散射介質(zhì)成像，通過(guò)利用數(shù)據(jù)的統(tǒng)計(jì)特性，避免對(duì)散射介質(zhì)的精確建模。

2018年，美國(guó)波士頓大學(xué)田磊課題組首先提出利用大數(shù)據(jù)以及深度學(xué)習(xí)模型解決散射成像的敏感性問(wèn)題。為此，提出了一種基于數(shù)據(jù)統(tǒng)計(jì)的 “一對(duì)多” 深度學(xué)習(xí)技（Optica 2018）。

具體來(lái)說(shuō)，采集一組通過(guò)不同的散射片的散斑圖，之后用該組圖片對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。利用神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)學(xué)習(xí)特性，學(xué)習(xí)到包含在不同散斑圖中的統(tǒng)計(jì)信息。當(dāng)訓(xùn)練完成，在完全替換散射片的條件下，仍然能夠高質(zhì)量的恢復(fù)重建物體圖像。這項(xiàng)工作為實(shí)現(xiàn)高度可擴(kuò)展的散射成像方法鋪平了道路。然而，所提出的方法雖然能夠?qū)崿F(xiàn)通過(guò)不同散射介質(zhì)成像，但與“一對(duì)一”訓(xùn)練相比，重建精度上仍然有一定程度的降低。

動(dòng)態(tài)合成網(wǎng)絡(luò)

鑒于此，近期，田磊課題組首次證明了一種全新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)—動(dòng)態(tài)合成網(wǎng)絡(luò)，來(lái)實(shí)現(xiàn)復(fù)雜多變散射條件下的三維粒子成像。有別于之前“一對(duì)多”，增加訓(xùn)練樣本的多樣性從而實(shí)現(xiàn)透過(guò)不同散射介質(zhì)成像的深度學(xué)習(xí)方法，新提出的網(wǎng)絡(luò)根據(jù)不同的散射條件（比如散射粒子的折射率，大小，密度等），利用了多個(gè)子網(wǎng)絡(luò)的動(dòng)態(tài)合成實(shí)現(xiàn)在復(fù)雜多變散射條件下的成像。

該成果以 Adaptive 3D descattering with a dynamic synthesis network 為題發(fā)表在Light: Science & Applications。

如圖1所示，利用三個(gè)編碼，解碼子網(wǎng)絡(luò)對(duì)輸入散射物體的特征進(jìn)行提取，動(dòng)態(tài)組合以及解碼重建。動(dòng)態(tài)合成子網(wǎng)絡(luò)的權(quán)重由門控網(wǎng)絡(luò)通過(guò)提取三維散射樣本所對(duì)應(yīng)的二維散斑圖提供。由于在不同的散射條件下，對(duì)應(yīng)的散斑圖會(huì)有不同的性質(zhì)（比如散斑圖的對(duì)比度，散斑圖樣等），門控網(wǎng)絡(luò)能夠根據(jù)不同的散斑圖特性提供不同的權(quán)重參數(shù)，從而能夠自適應(yīng)的動(dòng)態(tài)合成相應(yīng)網(wǎng)絡(luò)以實(shí)現(xiàn)最佳的散射重建成像效果。

圖1：動(dòng)態(tài)合成網(wǎng)絡(luò)結(jié)構(gòu)示意圖

有別于傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)，本文根本區(qū)別在于提出動(dòng)態(tài)合成概念。如圖2所示，不同的子網(wǎng)絡(luò)提取不同的特征，門控網(wǎng)絡(luò)根據(jù)不同的散射條件，動(dòng)態(tài)的合成提取出的特征，從而能夠更好的適應(yīng)在不同的散射條件下的成像重建，如圖3所示。

圖2：動(dòng)態(tài)合成示意圖

圖3：動(dòng)態(tài)合成網(wǎng)絡(luò)在不同粒子密度（ρ）下成像實(shí)驗(yàn)結(jié)果圖

本文展示了動(dòng)態(tài)合成網(wǎng)絡(luò)在復(fù)雜多變散射條件下成像的優(yōu)越性，為解決散射成像中介質(zhì)模型敏感性問(wèn)題提供了一種全新的方向。同時(shí)，這種新的自適應(yīng)深度學(xué)習(xí)框架可以進(jìn)一步適應(yīng)于許多其他成像應(yīng)用，包括圖像去噪、動(dòng)態(tài)散射成像，非視距成像 、深度散射組織成像和計(jì)算熒光顯微鏡等。從而，該動(dòng)態(tài)合成框架為設(shè)計(jì)高度自適應(yīng)的基于深度學(xué)習(xí)的計(jì)算光學(xué)成像開辟了新的路徑。

| 論文信息 |

Tahir, W., Wang, H. & Tian, L. Adaptive 3D descattering with a dynamic synthesis network. Light Sci Appl 11, 42 (2022).

https://doi.org/10.1038/s41377-022-00730-x

監(jiān)制 | 趙陽(yáng)

編輯 | 趙唯

閱讀原文