經(jīng)歷過80年代的人都應(yīng)該記得商場和街機(jī)店中的各種全息游戲。我們大多數(shù)人都認(rèn)為未來會充滿類似的全息游戲和電影。盡管這個未來尚成為現(xiàn)實，但麻省理工學(xué)院開發(fā)了一種利用人工智能來實時生成全息圖的全新方法。所述方法名為張量全息術(shù)（Tensor Holograpy），并且可由智能手機(jī)或筆記本運(yùn)行。

研究人員一直在努力實現(xiàn)計算機(jī)生成全息圖，但所述過程需要一臺超級計算機(jī)來運(yùn)行大量的物理模擬。這不僅耗時，而且結(jié)果不夠逼真。麻省理工學(xué)院的全新方法則幾乎可以瞬間產(chǎn)生全息圖。它采用了一種基于深度學(xué)習(xí)的方法，而且能效足以允許筆記本或智能手機(jī)快速運(yùn)行。

名為《Towards real-time photorealistic 3D holography with deep neural networks（通過深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)實時的照片真實感級3D全息圖）》的論文已經(jīng)發(fā)表在《自然》期刊。

值得一提的是，這項研究獲得了索尼的資助。

團(tuán)隊表示：“人們以前認(rèn)為，在現(xiàn)有的消費(fèi)級硬件條件下不可能進(jìn)行實時3D全息計算。人們常說，商用全息顯示器將在10年內(nèi)問世，但這種說法已經(jīng)存在了幾十年。”

他們認(rèn)為，名為張量全息術(shù)（Tensor Holograpy）的全新方法最終能夠?qū)崿F(xiàn)這個10年目標(biāo)，并推動全息技術(shù)在虛擬現(xiàn)實和3D打印等領(lǐng)域的應(yīng)用。

一般的照片會對每個光波的亮度進(jìn)行編碼，并且能夠忠實地再現(xiàn)場景的顏色，但它最終只能產(chǎn)生一個平面圖像。

相反，全息圖對每個光波的亮度和相位進(jìn)行編碼。這種結(jié)合提供了關(guān)于場景視差和景深的更真實描繪。不過，全息圖的繪制和分享是一個挑戰(zhàn)。

早期的全息圖是用光學(xué)方法記錄。這需要分裂一束激光，其中一半用來照亮被攝體，另一半用作光波相位的參考。這個參考產(chǎn)生了全息圖獨特的深度感，而生成的圖像為靜態(tài)，無法捕捉運(yùn)動。而且它們只是硬拷貝，難以復(fù)制和分享。

計算機(jī)生成全息圖則通過模擬光學(xué)設(shè)備來避開所述挑戰(zhàn)，但計算耗能非常巨大。因為場景中的每個點都有不同的深度，所以不能對所有的點都應(yīng)用相同的操作。這大大增加了復(fù)雜性。操作群集式超級計算機(jī)來運(yùn)行這種基于物理的模擬可能需要數(shù)分鐘才能獲得一張全息圖像。另外，現(xiàn)有的算法不能以真實感的精度對遮擋進(jìn)行建模。

所以，麻省理工大學(xué)的團(tuán)隊采取了不同的方法：讓計算機(jī)自學(xué)物理。

他們利用深度學(xué)習(xí)來加速計算機(jī)生成全息圖，從而實現(xiàn)實時全息圖的生成。研究小組設(shè)計了一種卷積神經(jīng)網(wǎng)絡(luò)，使用一系列可訓(xùn)練的張量來大致模擬人類處理視覺信息的方式。

研究小組建立了一個由4000對計算機(jī)生成圖像組成的自定義數(shù)據(jù)庫。每對匹配一張圖片和相應(yīng)的全息圖，包括每個像素的顏色和深度信息。為了在新數(shù)據(jù)庫中創(chuàng)建全息圖，研究人員使用了形狀和顏色復(fù)雜多變的場景，像素的深度從背景到前景均勻分布。另外，使用一組基于物理的全新計算來處理遮擋。這種方法產(chǎn)生了逼真的訓(xùn)練數(shù)據(jù)。

論文主要介紹了一個基于深度學(xué)習(xí)的CGH管道，它能夠根據(jù)一個RGB深度圖像實時合成一個具有真實感的彩色三維全息圖。團(tuán)隊的卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有極高的內(nèi)存效率（低于620千字節(jié)），能夠以60赫茲的頻率在一個消費(fèi)級圖形處理單元運(yùn)行，分辨率則達(dá)到1920×1080像素。利用低功耗機(jī)載人工智能加速芯片，CNN同時可以在移動設(shè)備（1.1赫茲的iPhone 11 Pro）和邊緣（2.0赫茲的Google edge TPU）交互運(yùn)行。

團(tuán)隊通過引入一個大規(guī)模的CGH數(shù)據(jù)集（MIT-CGH-4K）來實現(xiàn)這條管道，所述數(shù)據(jù)集包含4000對RGB深度圖像和相應(yīng)的3D全息圖。CNN使用基于可微波的Loss函數(shù)進(jìn)行訓(xùn)練，并在物理上近似菲涅耳衍射。采用抗混疊純相位編碼方法，研究人員實現(xiàn)了無散斑、外觀自然、高分辨率的三維全息圖。

通過從每個圖像對中學(xué)習(xí)，張量網(wǎng)絡(luò)調(diào)整了自己計算的參數(shù)，并不斷增強(qiáng)創(chuàng)建全息圖的能力。完全優(yōu)化的網(wǎng)絡(luò)運(yùn)行速度比基于物理的計算快數(shù)個數(shù)量級。這一效率讓團(tuán)隊自己感到驚訝。

研究人員指出：“我們對它的表現(xiàn)感到驚訝。張量全息術(shù)只需幾毫秒就可以從帶有深度信息的圖像中制作出全息圖。另外，這些信息是由典型的計算機(jī)生成圖像提供，并且可以從多攝像頭設(shè)置或激光雷達(dá)傳感器中計算出來（這對新款高端智能手機(jī)而言已經(jīng)是標(biāo)配）。這一進(jìn)展為實時三維全息術(shù)鋪平了道路。更重要的是，緊湊的張量網(wǎng)絡(luò)需要不到1 MB的內(nèi)存。考慮到最新款智能手機(jī)擁有幾十到幾百千兆字節(jié)的可用容量，這可以忽略不計。”

盡管未參與研究，但閱覽過論文的微軟首席光學(xué)架構(gòu)師約爾·科林（Joel Kollin）表示，這項研究“表明只需適度的計算需求都能實現(xiàn)真正的3D全息顯示。”他同時指出，與以前的研究相比，圖像質(zhì)量有了顯著的改善，而這將能夠“增加真實感和舒適感”。另外，像這樣的全息顯示甚至可以根據(jù)用戶的視力參數(shù)進(jìn)行定制，“由于全息顯示可以糾正眼睛的像差，所以顯示圖像可能比用戶通過眼鏡看到的畫面更清晰，而眼鏡只能校正像焦距和散光這樣的低階像差。”

團(tuán)隊表示，新系統(tǒng)可以幫助VR用戶沉浸在更真實的場景中，同時消除長期使用VR帶來的眼睛疲勞和其他副作用。這項技術(shù)可以輕松應(yīng)用在調(diào)節(jié)光波相位顯示器。目前，大多數(shù)價格合理的消費(fèi)級顯示器只調(diào)節(jié)亮度，但如果廣泛采用，相位調(diào)制顯示器的成本會下降。

研究人員指出：“這是一個相當(dāng)大的飛躍，可以徹底改變?nèi)藗儗θ⑿g(shù)的態(tài)度。我們覺得神經(jīng)網(wǎng)絡(luò)就是為這個任務(wù)而生。”

原文來自映維網(wǎng)：https://news.nweon.com/83772