導語：6DoF追蹤帶給AR眼鏡怎樣的體驗飛躍？如何在設計一款AR眼鏡時，實現(xiàn)六自由度追蹤？Rokid R-Lab研究科學家霍志宇從成本和性能角度出發(fā)，對目前流行的四種6DoF追蹤解決方案進行了比較。

6DOF追蹤的進化：從標識追蹤到SLAM定位，帶給AR體驗質(zhì)的飛越

好的增強現(xiàn)實體驗首先要是一種互動體驗，實現(xiàn)現(xiàn)實環(huán)境和虛擬世界的結合，而這種體驗離不開6 DOF追蹤（Six degrees of freedom tracking）的加入。

6DoF追蹤為用戶提供了前所未有的互動體驗和對虛擬世界的控制，可以說，6DoF追蹤是虛擬世界與現(xiàn)實世界建立聯(lián)系的基礎，是AR實現(xiàn)顛覆式體驗的前提。近年來，隨著技術的指數(shù)級的增長，這種新型的AR互動體驗正在以超出我們想象的態(tài)勢發(fā)展。

AR領域六自由度（6DoF）追蹤的應用，最早可以追溯到2003年， 由ARToolKit所支持的首個移動端AR應用就出現(xiàn)在了WinCE平臺上，但早期運體驗并沒有那么優(yōu)秀。

早期的AR利用標識圖來跟蹤攝像機的位置和姿態(tài)，實現(xiàn)6DoF追蹤。使用者必須將標識圖保留在視野范圍內(nèi)，虛擬內(nèi)容也只能覆蓋在標識圖上，使用者稍微移動便會失去對標識物的追蹤，虛擬內(nèi)容便無法對現(xiàn)實進行覆蓋，虛擬與現(xiàn)實的融合停留在比較淺層的階段，無法給予使用者沉浸式的體驗。

3DoF與6DoF技術對比圖

隨著SLAM （simultaneous localization and mapping）技術的普遍應用，6DoF追蹤與SLAM相結合，沉浸式的AR體驗時代終于來臨了。使用者可以擺脫標識圖的束縛，進行實時定位與地圖構建，從而在虛擬內(nèi)容上產(chǎn)生更加沉浸和逼真的體驗。

微軟Holoens設備的SLAM功能演示

早期的AR眼鏡，為了在任意場景下都能提供最為精確和可靠的追蹤體驗，需要裝備由多個魚眼攝像頭、深度攝像頭和其他傳感器驅(qū)動的高性能追蹤系統(tǒng)。不過這會讓設備變得沉重且昂貴。即便是功能最為豐富且擁用商用前景的AR眼鏡，也會因為其高昂的成本和糟糕的佩戴體驗而遭到市場拒絕。

2016年面世的Meta 2 AR眼鏡

因此，想在輕量級AR設備領域取得成功，產(chǎn)品需要結合舒適性、經(jīng)濟性和技術可行性來進行研發(fā)。包括Rokid在內(nèi)的很多AR眼鏡研發(fā)公司，正在嘗試通過有限的視覺設備和更少的算力來實現(xiàn)6DoF追蹤。

在AR眼鏡上實現(xiàn)6DoF追蹤，這4種流行方案到底誰更好？

讓我們從成本和性能出發(fā)，比較以下四種流行的6DoF追蹤解決方案：

1、單攝像頭

硬件成本低易于集成到多種眼鏡設計中需要更專業(yè)的優(yōu)化和定制適用于偏靜態(tài)場景單攝像頭

視頻攝像頭是AR眼鏡的常用組件，主要用于拍攝高分辨率的照片和視頻。在外觀和可用性方面，將單個相機安裝在眼鏡上相對簡單。

但是，視頻攝像機通常以低頻率（<60fps，大多數(shù)<30fps）運行，無法在運動中捕捉的高質(zhì)量圖像。 “果凍效應”和其他扭曲使得位置追蹤失敗。

2、單眼魚眼攝像頭

為6DoF追蹤所預留的傳感器持續(xù)高頻刷新6DoF追蹤結果會出現(xiàn)尺度漂移，使得虛擬物體會在場景中意外移動單魚眼攝像頭

一些AR眼鏡會配備用于6DOF追蹤的單個魚眼鏡頭。此解決方案會產(chǎn)生一些額外的功耗，但通常會為設備提供更好的6DOF追蹤效果。魚眼攝像頭的高相機幀更新率（> 90fps）和全局快門功能，可以使得SLAM系統(tǒng)在運動場景中保持可靠的追蹤位置。但單個魚眼攝像機應放置在眼鏡前面，這會產(chǎn)生一些設計限制。

單魚眼攝像頭比較不足的的地方在于它所支持的場景規(guī)模有限。一旦移動范圍過大，SLAM系統(tǒng)就容易產(chǎn)生尺度漂移，導致虛擬對象在場景中意外移動。

3、雙目魚眼攝像頭　

高功耗 追蹤、尺度估算準確  眼鏡的工業(yè)設計會面臨挑戰(zhàn)

基于雙目魚眼的6DoF追蹤系統(tǒng)已被不同的AR / VR頭戴式設備制造商證明是一種可以量產(chǎn)的解決方案，高通已經(jīng)使用雙目魚眼視覺在其VR頭盔上展示了高質(zhì)量的6DoF位置追蹤功能。

 雙目魚眼攝像頭模組

由于它提供實時的地圖初始化、強大的追蹤和對環(huán)境尺度的準確測量，因此額外增加攝像機所產(chǎn)生的功耗和成本是值得的。與單眼解決方案相比，雙目魚眼攝像頭可以更快地擴展場景，并能更準確的測量環(huán)境尺度從而防止漂移。即使傳感器數(shù)量加倍，計算復雜度也不比單眼視覺系統(tǒng)高很多。但該方案的實現(xiàn)需要高質(zhì)量優(yōu)化和定制工作，并且功耗高、發(fā)熱大，需要更強的系統(tǒng)和硬件支持。

4、運用邊緣計算

成本高昂能實現(xiàn)高質(zhì)量的6DoF追蹤穩(wěn)定性高，可兼容不同平臺英特爾推的定位追蹤實感攝像頭T265  可在邊緣執(zhí)行計算任務

邊緣計算在AR設備中變得越來越流行，例如，Hololens已經(jīng)通過邊緣計算來運行其SLAM功能，使CPU和OS在用戶應用程序上更高效地工作。對于輕量級AR眼鏡，通過邊緣計算來運行SLAM不僅可以減少計算負荷，還可以使AR眼鏡兼容不同類型的主機平臺。

這個解決方案的最優(yōu)之處就在于，它可以在任何主機平臺上均衡性能，無需定制優(yōu)化算法。然而，輕量級AR眼鏡通過邊緣計算運行6DoF并不容易。這些類型的AR眼鏡上的芯片通常僅設計用于驅(qū)動顯示器并傳輸傳感器數(shù)據(jù)而無剩余資源用于其他計算工作。因此可行的解決方案是將成熟的6DoF追蹤模塊集成到AR眼鏡板上。

目前還沒有關于哪種解決方案對于輕型眼鏡“完美”的結論。設計人員需要根據(jù)AR眼鏡的應用場景，來定義其產(chǎn)品的功能和預期用途，以便做出最佳的軟硬件選擇。

Rokid AR團隊致力于研究最自然的人機交互體驗，并通過 Rokid Glass和Rokid Vision一系列產(chǎn)品來實現(xiàn)。研究一個技術如何應用，是我們每天都需要反復思考的問題。

隨著輕量級AR眼鏡的逐漸普及，具有6DoF追蹤功能的產(chǎn)品是能夠給消費者帶去優(yōu)質(zhì)體驗的基礎，也是AR產(chǎn)品走向千家萬戶的關鍵技術之一。

想知道哪個解決方案是在Rokid Vision上實現(xiàn)的？持續(xù)關注我們的最新動態(tài)吧。

作者：霍志宇，美國密蘇里大學計算機和電子工程系博士畢業(yè)，研究機器人及人機交互方向。現(xiàn)就職于位于美國舊金山的Rokid R-Lab，擔任研究科學家。

來源：新浪VR