來源：映維網 作者 黃顏

混合現實中的實時感知和交互能力要求資源受限的硬件（如頭戴式設備）以低延遲解決一系列的3D追蹤問題。實際上，對于HoloLens 2等CPU和GPU可以用于應用程序的設備而言，多個追蹤子系統需要在共享一個數字信號處理器的同時實現連續、實時的運行。

為了解決HoloLens 2手部追蹤的模型擬合問題（計算預算大約比iPhone 7小100倍），微軟團隊提出了一種全新的曲面模型：“Phong Surface（馮氏曲面）”。

利用計算機圖形學的思想，Phong Surface描述了與三角網格模型相同的3D形狀，但其具有連續的曲面法線，從而能夠使用Lifting-based Optimization優化方法，并比基于ICP的方法提供顯著的效率提高。研究人員指出，Phong Surface保留了平滑曲面模型的收斂優勢。

微軟團隊日前在ECCV 2020大會通過視頻對所述模型進行了介紹，下面包括具體的字幕整理：

我們提出了一種使用Lifted Optimization來實現有效3D模型擬合的Phone Surface模型。

我們的模型擬合示例通過擬合離散3D數據來追蹤人手的28個自由度。在頭戴式增強現實系統（如HoloLens 2）中，這可以實現一種比當今所有計算系統都更為自然的交互機制。

HoloLens 2搭載了強大的CPU和GPU，但它們是為了用于應用程序，所以手部追蹤必須由數字信號處理器以4GFLOPS的速度完成，亦即只有iPhone 7的1%。

對于之前的研究，效率的關鍵是使用Smooth Surface模型，Subdivision Surface或b樣條曲線（bspline）。Smooth-Surface允許使用名為lifted optimization的優化方法，而所述方法能夠大大減少了模型擬合中的迭代次數，并且支持使用更少的數據點。

涉及論文：Efficient and Precise Interactive Hand Tracking Through Joint, Continuous Optimization of Pose and Correspondences

盡管單個服務評估的計算成本要比Polygon Surface高出7倍，但總體的計算成本縮減是一次勝利。然而，要以4GFLOPS實現實時性，我們需要拿回7X的計算成本。所以，我們引入了一個全新的曲面模型：Phong Surface。

它的計算成本幾乎與Polygon Mesh一樣低，但保留了Lifted Optimization的優點，即快速收斂和更少的數據點。

Phong Surface的靈感來自于計算機圖形學中的馮氏著色（phong shading）技術。這個模型使用Polyhedral Surface模型，但插值曲面法線。

下面我們在2D示例中進行詳細說明。

我們使用非平滑的Polygon模型，并像Smooth Surface模型一樣插值法線。

現在我們來看看當我們嘗試將模型擬合到一定的數據時會發生什么。

我們會像往常一樣從數據到模型形成對應關系。并且，我們不只是匹配最近的點，而是最小化加權損失，結合到曲面的距離，及曲面法線與數據的一致性。

請注意藍色箭頭。它們表示曲面法線對Lifted Optimization中的對應更新的貢獻，而因為曲面法線在每個階段中的任何位置都是相同，Polygon模型并不存在這種貢獻。

這種更新提高了速度和精度。

下面我們展示了兩個玩具示例的擬合方法對比：菜豆體和橢球體。我們比較三種類型的曲面：Subdivision Surface；Phong Surface和Triangle Mesh，以及兩種優化方法：上面一行的Lifted Optimization和下面一行的ICP（Iterative Closed Point）。

在所有情況下，Lifted Phong的收斂速度與Lifted Subdiv一樣快，但計算成本與Triangle Mesh一樣（ps：聽不清，這里不確定）。

對于菜豆體，Triangle Mesh不僅速度更慢，而且缺少表面法線的插值（ps：聽不清，這里不確定）意味著它具有更多的Local Minima（局部極小值）。

回到HoloLens，Lifting意味著我們可以只使用數據的一小部分，例如示例中的綠點，而Phong Surface意味著我們可以以低成本且可靠的方式做到這一點。

綜上所述，我們擁有了一個可同時處理雙手，并以4Gaflops的速度實時運行的全關節式追蹤系統。我們的技術不僅適用于手部追蹤，同時適用于任何需要高效曲面擬合的情況，尤其是低功率設備。感謝觀看。

原文鏈接：https://yivian.com/news/76838.html