如果你看了今年微軟的Build大會(huì)，你可能在“舞臺(tái)”中發(fā)現(xiàn)其中一項(xiàng)創(chuàng)新技術(shù)。劇透警報(bào)：這個(gè)舞臺(tái)是假的。主持人都呆在安全的家里。利用華盛頓大學(xué)的背景摳圖過程和和Azure Kinect傳感器，微軟制作出仿如真實(shí)存在的大會(huì)演講。

日前，微軟人工智能負(fù)責(zé)人大衛(wèi)·卡莫納（David Carmona）撰文介紹了這次創(chuàng)新背后的故事，下面是映維網(wǎng)的具體整理：

我最喜歡的游戲是《帝國時(shí)代》。我是在大約20年前通過同事入坑，而我現(xiàn)在依然與我的兒子一起對(duì)戰(zhàn)，但他總是毫不留情地把我干翻。從封建時(shí)代到城堡時(shí)代再到帝國時(shí)代，升級(jí)文明是游戲的一個(gè)神奇時(shí)刻。每一個(gè)時(shí)代都帶來了新的技術(shù)，并為你抵御對(duì)手和贏得戰(zhàn)爭的戰(zhàn)略開辟了全新的途徑。

我有時(shí)候認(rèn)為我們現(xiàn)在的世界同樣是介于這樣一個(gè)過時(shí)期。就如同《帝國時(shí)代》一樣，新的時(shí)代將帶來新的技術(shù)，并允許我們用來應(yīng)對(duì)外部干擾和重新規(guī)劃我們的戰(zhàn)略。對(duì)于Covid-19新冠肺炎，我們發(fā)現(xiàn)自己正處身于一個(gè)飽受干擾的時(shí)刻，而這迫使著我們重新思考應(yīng)該如何行事。現(xiàn)場活動(dòng)就是其中之一。

疫情使得用戶無法親臨大型現(xiàn)場活動(dòng)，所以我們一直在尋找全新的方式來與客戶溝通。再說一次，如果你參加了Build大會(huì)，你已經(jīng)親身體驗(yàn)了我們微軟全球活動(dòng)團(tuán)隊(duì)是如何將一切轉(zhuǎn)移到虛擬空間。

我們采用了一種實(shí)驗(yàn)性的方法來展示我們的內(nèi)容，并且通過利用其他人的創(chuàng)新，我們構(gòu)建了一種在“虛擬舞臺(tái)”中展示活動(dòng)環(huán)節(jié)的獨(dú)特方式。

這個(gè)概念來自于2017年Adobe Research和華盛頓大學(xué)發(fā)表的兩篇背景摳圖論文。這種方法允許任何人使用人工智能模型預(yù)測主體周圍需要摳圖的元素。它基本上取代了背景，不需要綠幕。

所以, 我們利用我們的Azure Kinect傳感器和一個(gè)基于華盛頓大學(xué)研究的人工智能模型，以背景摳圖過程作為基礎(chǔ)，并為我們的演講者創(chuàng)造一種可以輕松在家錄制演示內(nèi)容并出現(xiàn)在虛擬舞臺(tái)的全新方法。

Azure Kinect攝像頭通過紅外線捕獲深度信息，這種數(shù)據(jù)有助于提高人工智能模型的精度。我們使用一個(gè)名為Speaker Recorder的應(yīng)用程序來管理來自Azure Kinect攝像頭的兩個(gè)視頻信號(hào)：RGB信號(hào)和深度信號(hào)。錄制完成后，我們通過命令行工具應(yīng)用AI模型。具體的細(xì)節(jié)請查看微軟人工智能實(shí)驗(yàn)室。

我們使用的人工智能模型是基于華盛頓大學(xué)最近發(fā)表的研究成果。這所大學(xué)開發(fā)的一種深度神經(jīng)網(wǎng)絡(luò)可以拍攝兩幅圖像，一幅包含背景，另一幅包含人員。神經(jīng)網(wǎng)絡(luò)的輸出是一個(gè)平滑的透明掩模。

這個(gè)神經(jīng)網(wǎng)絡(luò)是基于圖像訓(xùn)練，掩模工作則是手動(dòng)完成。華盛頓大學(xué)的研究人員采用了Adobe提供的一個(gè)數(shù)據(jù)集，而其中的大部分圖片都是設(shè)計(jì)者手工創(chuàng)建的透明掩模。

通過這種方法，神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)如何平滑頭發(fā)等區(qū)域。但它存在一定的局限性。如果此人穿著與背景顏色相似的服飾，系統(tǒng)會(huì)將其渲染為圖像中的洞，從而破壞幻覺。

所以，華盛頓大學(xué)的研究人員將把這種方法和另一種方法結(jié)合起來。第二個(gè)神經(jīng)網(wǎng)絡(luò)嘗試通過觀察圖像來猜測輪廓。在我們的虛擬舞臺(tái)中，我們知道屏幕有一個(gè)人，所以神經(jīng)網(wǎng)絡(luò)將嘗試識(shí)別那個(gè)人的輪廓。添加第二個(gè)神經(jīng)網(wǎng)絡(luò)可以消除顏色透明度問題，但頭發(fā)或手指等小細(xì)節(jié)可能是一個(gè)問題。

有趣的是，華盛頓大學(xué)的研究人員創(chuàng)造了一種稱為Context Switching（情景切換）的架構(gòu)。根據(jù)情況，系統(tǒng)可以選擇最佳解決方案，并從兩個(gè)方案中獲得最佳結(jié)果。

在我們的示例中，由于我們使用的是Azure Kinect，所以我們可以更進(jìn)一步，用Kinect提供的輪廓替換第二個(gè)神經(jīng)網(wǎng)絡(luò)，因?yàn)榇嬖诓东@的深度信息，所以結(jié)果更加精確。

另一種稱為對(duì)抗性網(wǎng)絡(luò)的人工智能技術(shù)進(jìn)一步改進(jìn)了模型。我們將神經(jīng)網(wǎng)絡(luò)的輸出與另一個(gè)識(shí)別圖像真假的神經(jīng)網(wǎng)絡(luò)相連接。結(jié)果是一個(gè)可以創(chuàng)造更自然圖像的神經(jīng)網(wǎng)絡(luò)。

人工智能模型、情景切換和神經(jīng)網(wǎng)絡(luò)創(chuàng)造了更為自然的舞臺(tái)效果

結(jié)果？就是你在Build創(chuàng)新空間中看到的虛擬舞臺(tái)。虛擬舞臺(tái)的用途無窮無盡，這個(gè)過程允許我們靈活地將其應(yīng)用到更長形式的會(huì)議之中，就像我們在微軟人工智能虛擬峰會(huì)中的主題演講一樣。如果你想了解我們是如何為虛擬峰會(huì)利用舞臺(tái)，請關(guān)于6月2日上午9點(diǎn)的Microsoft LinkedIn直播。

整個(gè)訓(xùn)練過程和代碼請?jiān)L問GitHub。誰知道呢，或許虛擬舞臺(tái)的虛擬活動(dòng)將是我們邁向下一個(gè)時(shí)代的方式。

我好像聽到我的兒子正在叫我再來一盤《帝國時(shí)代》……