智能眼鏡的尺寸和功率限制需要一個微型和低功耗的傳感解決方案。針對這個問題，中國科學(xué)院大學(xué)和清華大學(xué)的研究人員提出了AUGlasses。它通過在面部顳區(qū)放置慣性測量單元（IMU）來捕獲由面部肌肉運動引起的皮膚變形，從而實現(xiàn)不顯眼的低功耗面部重建。

IMU信號以及面部動作單元（AUs）的歷史數(shù)據(jù)由基于transformer的深度學(xué)習(xí)模型處理，以實時估計AU強度，然后用于面部重建。

結(jié)果表明，AUGlasses準(zhǔn)確地預(yù)測了14個關(guān)鍵AU的強度（0-5級），跨用戶平均絕對誤差（MAE）為0.187（STD=0.025），并實現(xiàn)了跨用戶MAE為1.93mm（STD=0.353）的面部重建。團(tuán)隊同時集成了各種預(yù)處理和訓(xùn)練技術(shù)，以確保連續(xù)傳感的穩(wěn)健性能。微觀基準(zhǔn)測試表明，系統(tǒng)始終如一地使用微調(diào)的跨用戶模型進(jìn)行精確的連續(xù)面部重建，并實現(xiàn)了0.35的AU MAE。

面部重建可以實現(xiàn)大量的應(yīng)用，因為人臉包含有關(guān)情緒狀態(tài)、健康狀態(tài)、飲食活動，甚至疲勞水平的豐富信息。用戶可以通過活動面部肌肉進(jìn)行交互和主動反饋。它同時是逼真數(shù)字化身的關(guān)鍵。

研究人員使用各種類型的傳感器來收集數(shù)據(jù)，以便在數(shù)字領(lǐng)域復(fù)制面部表情和肌肉運動。攝像頭和毫米波雷達(dá)能夠全面捕獲面部特征。然而，智能眼鏡的尺寸和功率限制需要一個微型和低功耗的傳感解決方案。

在研究中，團(tuán)隊提出了AUGlasses。這是一副配備了三個低功耗慣性測量單元的智能眼鏡，并可用于精確的面部重建。所述IMU具有高靈敏度，可以快速準(zhǔn)確地捕獲由面部肌肉運動引起的細(xì)微和短暫的皮膚變形。

研究人員進(jìn)行了系統(tǒng)的分析，發(fā)現(xiàn)皮膚變形在顴弓上方的顳肌附近最為明顯，而這一發(fā)現(xiàn)得到了面部解剖學(xué)的證實。為了利用這一點，他們在眼鏡中加入了一個生物相容的彈性結(jié)構(gòu)，將兩個IMU放置在顳區(qū)，以監(jiān)測皮膚運動和形狀變化。

來自IMU的數(shù)據(jù)，結(jié)合面部動作單元（AU）強度的歷史記錄，將其輸入一個深度學(xué)習(xí)模型以預(yù)測當(dāng)前的AU強度。選擇預(yù)測AU強度而不是面部特征點增強了系統(tǒng)的通用性，其結(jié)果是高頻AU序列輸出，以每秒30幀的速度運行，確保了下游應(yīng)用的實時響應(yīng)性和實用性。

團(tuán)隊同時提出了一種新的訓(xùn)練策略Prefix-conditioned Sequence Forecasting，促使模型學(xué)習(xí)跨多個高頻幀表現(xiàn)出的遠(yuǎn)程依賴關(guān)系。然后將估計的AUs強度輸入Unity進(jìn)行實時面部重建。

系統(tǒng)的優(yōu)勢在于三個方面：

• 首先，低功耗傳感方法確保了對智能眼鏡續(xù)航的影響最小。IMU和藍(lán)牙通信的功耗僅為49.95 mW (3.7 V時13.5 mA)，低于目前的解決方案。如果傳感器僅工作25%的時間，則平均功耗低至12.5 mW。它同時具有隱私保護(hù)、輕便和舒適的特點。IMU不會暴露敏感的個人數(shù)據(jù)，如圖像或聲音，這消除了用戶對隱私的擔(dān)憂。同時，支撐彈性凝膠結(jié)構(gòu)和IMU的總重量僅為0.83克，為目前商用智能眼鏡（即50g1）的1.66%。另外，盡管IMU與皮膚接觸，但接觸點實際上非常小。所以，傳感器帶來的額外重量和皮膚接觸對用戶來說幾乎是不明顯的。

• 其次，團(tuán)隊設(shè)計了一系列技術(shù)來保證長期連續(xù)面部重建的準(zhǔn)確性。在預(yù)處理階段，更新了移動偽影去除的映射參數(shù)，以確保其在用戶移動時的有效性；在推理階段，重新設(shè)置AUs作為模型輸入的值，以避免長時間感知過程中預(yù)測誤差的傳播；在訓(xùn)練階段，設(shè)計一種新穎的Prefix-conditioned Sequence Forecasting預(yù)測策略，以促使模型從固定的觀測數(shù)據(jù)序列中學(xué)習(xí)，使其能夠基于更廣泛的背景而不僅僅是最近的過去來預(yù)測后續(xù)序列。這避免了曝光偏差，提高了連續(xù)面部重建的準(zhǔn)確性和可靠性。

• 第三，系統(tǒng)僅通過預(yù)測14個AUs來重建整個面部。通過限制輸出AUs，避免了直接預(yù)測面部特征點的二維坐標(biāo)所帶來的復(fù)雜性，同時獲得了良好的面部重建性能。

團(tuán)隊首先進(jìn)行了一系列優(yōu)化傳感器位置和支撐結(jié)構(gòu)參數(shù)的實驗，然后進(jìn)行了坐姿和行走場景的用戶研究，以評估14個AU強度的預(yù)測精度、面部重建和長時間連續(xù)預(yù)測。

用戶研究結(jié)果表明，AUGlasses準(zhǔn)確地預(yù)測了14個關(guān)鍵AUs的強度（0-5級），跨用戶平均絕對誤差（MAE）為0.187（STD=0.025），并實現(xiàn)了跨用戶MAE為1.93mm（STD=0.353）的面部重建。團(tuán)隊同時集成了各種預(yù)處理和訓(xùn)練技術(shù)，以確保連續(xù)傳感的穩(wěn)健性能。微觀基準(zhǔn)測試表明，系統(tǒng)始終如一地使用微調(diào)的跨用戶模型進(jìn)行精確的連續(xù)面部重建，并實現(xiàn)了0.35的AU MAE。

總的來說，AUGlasses是一款低功耗的智能眼鏡，可以連續(xù)追蹤14個面部動作單元，并實現(xiàn)準(zhǔn)確的面部重建。團(tuán)隊設(shè)計了一種新的實時AUs估計架構(gòu)，利用IMU數(shù)據(jù)和以前的AUs強度來估計當(dāng)前幀的AUs強度。然后，基于14個AUs的預(yù)測強度在Unity中重建角色的面部，并通過提取51個面部landmark來將面部重建性能與ground truth進(jìn)行比較。

重建的3D面部MAE僅為1.93 mm， NME為2.75%。主觀結(jié)果顯示，超過70%的參與者認(rèn)為AUGlasses佩戴舒適，適合日常使用。后置分析表明，系統(tǒng)可以支持單個IMU，采樣率為50Hz，這使得功耗進(jìn)一步降低到40.96 mW。

原文來自https://news.nweon.com/125707