Facebook Reality Labs Research (FRLR)日前分享了最新的音頻計劃。他們的目標是將相關(guān)技術(shù)應(yīng)用到AR頭顯中，并允許你在嘈雜的環(huán)境中輕松地隔離人聲，同時再現(xiàn)虛擬聲音，使其聽起來像是來自周圍的真實世界。其中，一個定制的頭相關(guān)傳輸函數(shù)（HRTF）是提供這種體驗的關(guān)鍵，但涉及過程耗時且昂貴。所以，F(xiàn)RLR團隊正在研究一種能夠根據(jù)耳朵照片生成精確HRTF的可擴展解決方案。

Facebook Reality Labs（FRL）現(xiàn)在是Facebook旗下所有VR/AR團隊的統(tǒng)一名稱，并旨在開發(fā)下一代的沉浸式技術(shù)（包括Oculus頭顯）。Facebook Reality Labs Research（FRLR）則是這一事業(yè)群下屬的研發(fā)部門。

日前，F(xiàn)RLR分享了關(guān)于沉浸式音頻研究計劃的最新進展，并表示這項研究“與Facebook實現(xiàn)AR眼鏡的工作直接相關(guān)”，但其中的部分內(nèi)容同樣適用于VR。

 1. 空間音頻

團隊的目標之一是，再現(xiàn)一種在感知方面與同一房間里的真實之物或真實之人的聲音無法區(qū)分的虛擬音效。

研究負責人菲利普·羅賓遜（Philip Robinson）表示：“想象一下，如果你在打電話，你會認為對方就在身邊，你會忘記你們實際上是相隔兩地。這就是我們正在開發(fā)的技術(shù)的愿景。”

為了達到這個目標，研究人員表示他們需要解決兩個關(guān)鍵挑戰(zhàn)：理解用戶所處環(huán)境的獨特聽覺特征；理解用戶聆聽聲音的獨特生理方式。

要理解房間的聲學(xué)特性（聲音如何回響），這可以通過根據(jù)頭顯追蹤傳感器繪制的幾何圖形來估計房間的聲音。結(jié)合人工智能能夠估計房間內(nèi)特定表面的聲學(xué)特性，這種關(guān)于真實聲音如何在空間中傳播的粗略圖景可以用來提升虛擬聲音的真實感，令其聽起來仿佛真的是來自同一個房間。

Facebook的研究人員同時表示，所述信息可以添加到LiveMaps中（Facebook為真實世界構(gòu)建的增強現(xiàn)實副本），并由同一空間中的其他設(shè)備調(diào)用。隨著時間的推移，聲學(xué)估計可以通過眾包數(shù)據(jù)得到改善。

第二個主要挑戰(zhàn)是理解用戶聆聽世界的獨特方式。人類聽覺是與頭部和耳朵的形狀息息相關(guān)。頭部和耳朵的形狀不僅會影響你所聽到的聲音，它對你辨別周圍聲音來源同樣十分重要。如果你借用別人的耳朵來生活一天，你將非常難以確定聲音到底是從何而來。

對于聲音如何與不同形狀的耳朵相互作用，學(xué)術(shù)界已經(jīng)進行了充分的研究，而這可以用一個名為頭相關(guān)傳輸函數(shù)（HRTF）的緊湊數(shù)值函數(shù)進行表示。但要精確測量一個人的HRTF，我們需要專門的工具和一個漫長的校準過程。這就像眼科醫(yī)生測試你的眼睛視力參數(shù)一樣，所以相關(guān)的解決方案難以擴展至每一個人。

針對這種情況，F(xiàn)acebook Reality Labs Research希望“開發(fā)一種可以根據(jù)（你的）耳朵照片這樣簡單的輸入來近似出一個可行的個性化HRTF的算法”。

為了展示團隊在空間音頻方面的研究進展，他們制作了一款小型游戲。其中，被試穿戴一副追蹤耳機并站在一個房間中，而里面散落著數(shù)個真正的揚聲器。然后，研究人員播放一個聲音，并要求被試判斷聲音是不是虛擬生成并通過耳機播放，又或是通過真實揚聲器播放。研究小組指出，大多數(shù)被試的研究結(jié)果表明，虛擬聲音和真實聲音幾乎無法區(qū)分。

2. 情景感知型降噪

盡管“感知方面無法區(qū)分”的虛擬聲音可能會令你覺得朋友或家人就在身邊，但Facebook Reality Labs Research同時希望利用音頻來增強真實的面對面交流。

一個方法是創(chuàng)建情景感知的降噪技術(shù)。盡管今天降噪技術(shù)的目標是減少所有的外在聲音，但情景感知型的降噪技術(shù)旨在隔離你不希望聽到的外界聲音，但保留你希望聽到的聲音。

為了做到這一點，F(xiàn)acebook的研究人員制作了原型耳塞，以及包含麥克風(fēng)，頭部追蹤和眼動追蹤功能的原型眼鏡。原型眼鏡可以監(jiān)控周圍的聲音以及用戶的視線。專門的算法將利用所述信息來判斷用戶希望聽到的內(nèi)容，如對面桌子的人，房間角落里的電視。信息將輸入到算法的音頻處理部分，并由后者篩選傳入的聲音，從而突出顯示來自特定對象的特定聲音，同時減少其他所有聲音。

顯然，對于Facebook正在研究的這項技術(shù)，其最終目標是應(yīng)用到AR和VR頭顯。盡管研究人員表示他們已經(jīng)驗證了所述概念，但我們尚不清楚什么時候才能從實驗室?guī)У饺粘ｎ^顯之中。

原文來自映維網(wǎng)：https://yivian.com/news/77575.html