來源：映維網 作者 夢秋

Facebook的研究機構Facebook Reality Labs（FRL）一直在引領虛擬化身的研發工作，并致力于實現足以超越“恐怖谷效應”的效果。FRL的一項全新研究探索了新穎的面部表情支持，從而允許朋友在虛擬現實中準確地看到你的搞怪鬼臉。

相關論文：Expressive Telepresence via Modular Codec Avatars

如今，VR中的大多數虛擬化身都是卡通風格而非類人風格。這主要是為了避免“恐怖谷”問題：擬人程度達到一定程度的時候，人類的反映會突然變得負面。

1. 前任項目：Codec Avatars

Facebook Reality Labs的“Codec Avatar”項目旨在結合機器學習和計算機視覺，創建用戶的超逼真復刻呈現，從而跨越恐怖谷效應。研究人員主要是訓練系統理解一張人臉，然后再根據頭顯攝像頭的輸入來重現表情。這個項目已經展示過令人印象非常深刻的結果。

精確再現典型的面部姿態已經是一個巨大挑戰，然后你又要需要處理無數的邊緣情況，而任何一個都可能會令整個系統崩潰，并令虛擬化身回到恐怖谷效應。

Facebook的研究人員指出，最大的挑戰是“對所有潛在（面部）表情制定一個統一的樣本是不切實際的事情”，因為人臉變化有太多不同的方式。最終，這意味著系統的樣本數據將存在一個缺口，這樣它在看到新的面容時就會感到困惑。

2. 繼任項目：Modular Codec Avatars

來自多倫多大學、Vector Institute和Facebook Reality Labs的研究人員Hang Chu, Shugao Ma, Fernando De la Torre, Sanja Fidler和Yaser Sheikh在名為“Expressive Telepresence via Modular Codec Avatars（通過Modular Codec Avatars實現表情臨場感）”的新發表論文中提出了一個解決方案。

最初的Codec Avatar系統是將數據集中的整個面部表情與所看到的輸入相匹配，而Modular Codec Avatar系統則是根據諸如眼睛和嘴巴等單個面部特征來劃分任務，從而使其能夠通過融合數個不同姿態的最佳匹配來合成最精確的面容姿態。

在Modular Codec Avatars中，模塊化編碼器首先在每個頭顯攝像頭視圖內提取信息。接著是一個模塊合成器，它會根據從同一模塊分支提取的信息來估計一個完整的面部表情及其混合權重。最后，聚合不同模塊的多個估計三維人臉并形成最終的人臉輸出。

團隊的目標是優化表情范圍，不需要向系統提供更多的訓練數據即可精確地將其呈現。可以說，Modular Codec Avatar系統的目的是為了更好地推斷出一張面容應該是什么樣子，而原來的Codec Avatar系統則更多地依賴于直接比較。

3. 扮鬼臉的挑戰

所述方法的一個主要優勢是，其提高了系統重現新面部表情的能力，而這一點并沒有針對相關表情進行訓練，比如當人們故意以有趣的方式擺弄臉龐時。研究人員在論文中指出了這種特殊的優勢：“做出有趣表情是社交活動的一部分。由于表現力更強，Modular Codec Avatar模型可以自然地，更好地促進這項任務。”

他們在測試中隨機改變完全不同姿勢的面部特征，如左眼{pose A}，右眼{pose B}，嘴巴{pose C}，并觀察系統是否能在給定不同的特征輸入下產生逼真的結果。

研究人員表示：“（在上圖中）可以看出，即便從未在訓練集中完整地看到過，Modular Codec Avatars依然可以產生自然靈活的表情。”

作為系統這方面的終極挑戰，我們非常期待它能夠重現各種搞怪表情。

4. 眼睛放大

除了滑稽的面部表情外，研究人員發現Modular Codec Avatar系統同時可以消除穿戴頭顯時的固有眼睛姿態差異，從而提高面部真實感。

在實際的VR遠程呈現中，我們觀察到用戶往往沒有將眼睛完全自然地睜開。這可能是由于佩戴頭顯時肌肉壓力過大，以及在眼睛附近顯示光源。所以，我們引入一個眼睛放大控制旋鈕來解決這個問題。

這允許系統巧妙地修改眼睛，使其更接近用戶不在穿戴頭顯時的實際面容。

– – – – –

對于通過融合不同樣本數據片段的特征來重建人臉，這樣的概念本身并不新鮮，但研究人員表示，“我們的模塊不是像以前的方法那樣在3D網格上使用線性或淺層特征，而是在由深層神經網絡學習的潛在空間中進行。這使得捕捉復雜的非線性效果成為可能，并以全新的真實感水平制作面部動畫。”

這種方法同時是為了使這種化身表示更為實用。要Codec Avatars獲得出色效果，所需的訓練數據要求你捕捉真實用戶的大量復雜面部姿態。Modular Codec Avatars則能在較少的訓練數據下實現更高的表現力，并達到類似的效果。

要支持沒有面容掃描機器的用戶實現這等精確的面容呈現，我們尚需等待一定的時間。但隨著技術的不斷進步，總有一天用戶可以通過智能手機應用來快速輕松地捕捉到自己的面部模型，將其上傳，并把它作為跨越恐怖谷效應的虛擬化身的基礎。

原文鏈接：https://yivian.com/news/76959.html