在穿戴VR頭顯后，用戶一般無法看到雙手的存在。為了支持用戶通過雙手與虛擬環境交互，有必要渲染所述肢體的臨在。VR系統可以利用手部追蹤系統來追蹤雙手的運動和位置，進而在虛擬環境中渲染它們。
但根據美國專利商標局日前公布的一份授權專利，Facebook認為傳統的系統無法精確追蹤用戶手指和拇指的位置，因此無法精確描述手部的狀態。所以，這家公司提出了一種用以高精度追蹤和響應用戶手勢的圓柱形追蹤設備。
專利文件概述道：“專利描述的系統包括：電子顯示器，其配置為根據顯示指令顯示一個或多個模擬對象；成像傳感器，配置為捕獲用戶手部圖像；以及控制臺。控制臺配置為根據捕獲圖像提取用戶的手部關節信息，并根據所述關節信息確定一個或多個姿勢。根據確定的姿勢，控制臺更新顯示指令。”
Facebook進一步解釋說，為了實現精確的捕獲，成像設備可以通過各種方法來捕獲環境的深度數據，如利用發射網格圖形的發射器，以及先進的計算機視覺算法。
所述的控制臺（圓柱形設備）可以包含應用儲存，追蹤模塊，以及執行引擎。其中所述的應用包括游戲應用，視頻播放應用或其他合適的應用程序等等。由應用程序生成的內容可以響應于從用戶接收的輸入。
控制臺中的追蹤模塊可以利用一個或多個校準參數校準系統環境，并調整一個或多個校準參數，從而減少判斷姿勢判斷誤差。另外，系統可以結合IMU組件的信息來幫助校準。
追蹤模塊可以利用深度學習模型來判斷用戶手勢姿態。這一深度學習模型可以是神經網絡，如卷積神經網絡，更具體來說是殘差神經網絡。因此，控制臺可以根據捕獲圖像提取用戶的手部關節信息，從而幫助精確判斷手部姿態。
Facebook進一步指出，利用這樣的系統，“用戶將能執行導致模擬虛擬現實，增強現實，和/或混合現實環境中出現各種變化的手勢。”
相關專利：High Resolution Tracking And Response To Hand Gestures Through Three Dimensions
名為“High Resolution Tracking And Response To Hand Gestures Through Three Dimensions（三維手勢的高分辨率追蹤與響應）”的專利是于2017年5月提交，并于日前由美國專利商標局獲批公布。另外，這僅僅只是一份專利，僅代表Facebook朝這一方向進行了探索，尚不確定他們是否會或將于何時商業化具體的發明。
原文鏈接：https://yivian.com/news/59893.html
來源：映維網
