在穿戴VR頭顯后，用戶一般無法看到雙手的存在。為了支持用戶通過雙手與虛擬環(huán)境交互，有必要渲染所述肢體的臨在。VR系統(tǒng)可以利用手部追蹤系統(tǒng)來追蹤雙手的運動和位置，進而在虛擬環(huán)境中渲染它們。
但根據(jù)美國專利商標局日前公布的一份授權(quán)專利，F(xiàn)acebook認為傳統(tǒng)的系統(tǒng)無法精確追蹤用戶手指和拇指的位置，因此無法精確描述手部的狀態(tài)。所以，這家公司提出了一種用以高精度追蹤和響應用戶手勢的圓柱形追蹤設(shè)備。
專利文件概述道：“專利描述的系統(tǒng)包括：電子顯示器，其配置為根據(jù)顯示指令顯示一個或多個模擬對象；成像傳感器，配置為捕獲用戶手部圖像；以及控制臺。控制臺配置為根據(jù)捕獲圖像提取用戶的手部關(guān)節(jié)信息，并根據(jù)所述關(guān)節(jié)信息確定一個或多個姿勢。根據(jù)確定的姿勢，控制臺更新顯示指令。”
Facebook進一步解釋說，為了實現(xiàn)精確的捕獲，成像設(shè)備可以通過各種方法來捕獲環(huán)境的深度數(shù)據(jù)，如利用發(fā)射網(wǎng)格圖形的發(fā)射器，以及先進的計算機視覺算法。
所述的控制臺（圓柱形設(shè)備）可以包含應用儲存，追蹤模塊，以及執(zhí)行引擎。其中所述的應用包括游戲應用，視頻播放應用或其他合適的應用程序等等。由應用程序生成的內(nèi)容可以響應于從用戶接收的輸入。
控制臺中的追蹤模塊可以利用一個或多個校準參數(shù)校準系統(tǒng)環(huán)境，并調(diào)整一個或多個校準參數(shù)，從而減少判斷姿勢判斷誤差。另外，系統(tǒng)可以結(jié)合IMU組件的信息來幫助校準。
追蹤模塊可以利用深度學習模型來判斷用戶手勢姿態(tài)。這一深度學習模型可以是神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)，更具體來說是殘差神經(jīng)網(wǎng)絡(luò)。因此，控制臺可以根據(jù)捕獲圖像提取用戶的手部關(guān)節(jié)信息，從而幫助精確判斷手部姿態(tài)。
Facebook進一步指出，利用這樣的系統(tǒng)，“用戶將能執(zhí)行導致模擬虛擬現(xiàn)實，增強現(xiàn)實，和/或混合現(xiàn)實環(huán)境中出現(xiàn)各種變化的手勢。”
相關(guān)專利：High Resolution Tracking And Response To Hand Gestures Through Three Dimensions
名為“High Resolution Tracking And Response To Hand Gestures Through Three Dimensions（三維手勢的高分辨率追蹤與響應）”的專利是于2017年5月提交，并于日前由美國專利商標局獲批公布。另外，這僅僅只是一份專利，僅代表Facebook朝這一方向進行了探索，尚不確定他們是否會或?qū)⒂诤螘r商業(yè)化具體的發(fā)明。
原文鏈接：https://yivian.com/news/59893.html
來源：映維網(wǎng)
