現代虛擬和增強現實頭顯提供了以自我為中心的手部追蹤，這鼓勵著社區探索有效的徒手空中文本輸入方法。在傳統的計算環境中，十指文本鍵入是一種常見且有效的文本輸入策略，而隨著手部追蹤進一步的改進優化，十指文本鍵入對虛擬現實頭顯和增強現實頭顯變得越來越可行。然而，缺乏固定的物理參照系和按鍵的無源抗感對所述輸入方式造成了影響。

XR交互環境中存在眾多噪點，并會加劇將人類行為精確地解析成文本的挑戰。一個特別具有挑戰性的輸入噪點源來自手的生理學。有意識的手指運動可以造成其他手指產生無意識的共活動。這種與物理鍵盤文本鍵入的根本區別暴露了一個不尋常的挑戰：如何區分手和手指的耦合所產生的手指共運動。

對于物理鍵盤，按鍵的電阻可以緩解這個問題。但虛擬鍵盤則不同，共激活可能會引入不期望的輸入事件。在一篇名為《Understanding, Detecting and Mitigating the Effects of Coactivations in Ten-Finger Mid-Air Typing in Virtual Reality》的論文中，Facebook Reality Labs和劍橋大學的研究人員探究了理十指鍵入的共活動操作。

團隊主要研究了區分有意識手指運動和無意識手指運動的特征。為了簡潔起見，研究人員將無意識的手指運動稱為共活動。提供虛擬鍵盤的一個簡單且高度可擴展的策略是輸入表面的虛擬化。所以，被追蹤的指尖和虛擬表面之間的交點可以視為輸入觀測值。但在這種檢測策略下，與輸入表面相交的共激活產生了假觀測。

在輸入字段中插入相應字符的無意觀察會令用戶感到沮喪，并可能產生高錯誤率。基于與虛擬表面相交的輸入檢測策略簡單有效，但比其他潛在策略更容易受到共激活的影響。例如，一個深層神經網絡可能訓練成將追蹤的手指運動直接解碼成字符或單詞，并學會忽略手指的共活動。然而，這種方法的可擴展性不如虛擬化的輸入界面，并且需要大量目前難以收集，同時不能廣泛使用的用戶數據。

所以，Facebook Reality Labs和劍橋大學的研究人員提出了一種新的軟件模塊設計，其能夠檢測根據打字時的手指動態特征來檢測共活動。這種設計策略確保了所提出的技術具有超出特定鍵盤配置限制的實用性。另外，所述模塊能夠輕松集成到基于虛擬輸入表面范式的概率解碼框架中。

為了更好地理解共活動并評估檢測策略，研究人員利用了以前收集的數據集，并挖掘相關數據集來理解與共激活相關的因果因素和分布，其發現共激活的最大影響是：鍵間間隔、鍵間深度、鍵間速度和鍵間速度相關性。這種理解有助于識別區分共活動和預期手指運動的主要特征。

團隊隨后對數據集進行分區，從檢測精度的角度評估三種可選檢測策略的性能。

實驗表明，最終的模型成功地確定了97個±1%的共激活，僅錯誤標記2± 1%的共激活。因為4%的字符屬于共激活，這相當于2± 誤差減少1%。最后，團隊演示了如何將共激活檢測集成到統計解碼框架中，并實現了約10%（相對）和0.9%（絕對）的無自動校正CER減少。

原文來自映維網：https://news.nweon.com/86066