來源：映維網(wǎng) 作者 顏昳華

三維對象的位置和方向估計是計算機視覺應用的核心問題之一。對于涉及到增強現(xiàn)實和機器人操作等對象級感知的計算機視覺用例中，其需要知曉對象在世界中的三維位置，從而直接影響它們或者正確地將模擬對象放置在它們周圍。盡管業(yè)界已經(jīng)利用機器學習技術(shù)（特別是Deep Nets）來對這一主題進行了大量研究，但大多數(shù)依賴于深度傳感設備的使用，如可以直接測量對象距離的Kinect。對于具有光澤或透明的對象，直接深度感測效果不佳。如下圖所示，深度設備難以為透明的星星膜具確定合適的深度值，并且實際的3D點重建效果非常糟糕（右）。

解決所述問題的一個方法是，使用一個深度神經(jīng)網(wǎng)絡來修復透明對象的損壞深度圖。例如，給定透明對象的單個RGB-D圖像，ClearGrap可以使用深卷積網(wǎng)絡來推斷表面法線、透明表面的掩膜，以及遮擋邊界，并用來優(yōu)化場景中所有透明表面的初始深度估計（上圖最右側(cè)）。這種方法非常具有前景，它允許通過基于深度的姿態(tài)估計方法來處理具有透明對象的場景。但涉及修復可能相當棘手，尤其是在完全使用合成圖像進行訓練時，而且依然可能導致深度錯誤。

在谷歌與斯坦福人工智能實驗室（Stanford AI Lab）合作撰寫的CVPR 2020論文《KeyPose: Multi-View 3D Labeling and Keypoint Estimation for Transparent Objects》中，團隊描述了一個通過直接預測3D關(guān)鍵點來估計透明對象深度的機器學習系統(tǒng)。為了訓練系統(tǒng)，團隊以半自動化的方式收集一個透明對象真實世界數(shù)據(jù)集，并使用手動選擇的三維關(guān)鍵點來有效地標記它們的姿態(tài)。然后，谷歌訓練了名為KeyPose的深度模型，使其能夠根據(jù)單目圖像或立體圖像端到端地估計3D關(guān)鍵點，不需要顯式計算深度。在訓練過程中，模型可以處理可見對象和不可見對象，包括單個對象和對象類別。盡管KeyPose可以處理單目圖像，但立體圖像提供的額外信息使其能夠在單目圖像輸入的基礎上將結(jié)果優(yōu)化兩倍。根據(jù)對象的不同，典型誤差僅為5毫米到10毫米不等。在對象的姿態(tài)估計方面，它比最先進的方法有了實質(zhì)性的改進。谷歌正已經(jīng)公開相關(guān)的數(shù)據(jù)集。

相關(guān)論文：KeyPose: Multi-View 3D Labeling and Keypoint Estimation for Transparent Objects

具有3D關(guān)鍵點標簽的真實世界透明對象數(shù)據(jù)集

為了加速收集大量真實世界圖像，谷歌建立了一個機器人數(shù)據(jù)采集系統(tǒng)。在這個系統(tǒng)中，一個機器人手臂通過軌跡移動，并同時使用兩個設備（一個立體攝像頭和一個Kinect Azure深度攝影頭）拍攝視頻。

位于目標的AprilTags可以精確追蹤攝像頭的姿態(tài)。通過在每個視頻中用2D關(guān)鍵點手工標記少數(shù)圖像，團隊可以使用多視圖幾何體為視頻的所有幀提取3D關(guān)鍵點，從而將標記效率提高100倍。

團隊拍攝了15種不同透明對象的圖像，并使用了10種不同的背景紋理，其中每個對象4種不同的姿態(tài)，而這總共產(chǎn)生了600個視頻序列，包括48K立體圖像和深度圖像。研究人員同時對不透明對象拍攝了相同的圖像，從而提供精確的地ground truth圖像。所有的圖像都用3D關(guān)鍵點標記。谷歌將公開這個真實世界圖像數(shù)據(jù)集，并作為合成的ClearGrap數(shù)據(jù)集的補充。

基于早期融合的KeyPose算法

直接使用立體圖像進行關(guān)鍵點估計的想法是為這個項目獨立構(gòu)思，而它最近同樣出現(xiàn)在手部追蹤的情景之中。下圖是基本的思想：圍繞對象裁剪立體攝像頭的兩幅圖像，并輸入到KeyPose網(wǎng)絡中，然后KeyPose網(wǎng)絡預測一組代表對象3D姿態(tài)的稀疏3D關(guān)鍵點。接下來，使用標記的3D關(guān)鍵點對網(wǎng)絡進行監(jiān)督訓練。

KeyPose的一個關(guān)鍵方面是，使用早期融合來混合立體圖像，并允許網(wǎng)絡隱式計算視差。作為說明，后期融合則是分別預測每個圖像的關(guān)鍵點，然后進行組合。如下圖所示，KeyPose的輸出是圖像平面中的2D關(guān)鍵點熱圖，以及每個關(guān)鍵點的視差（即逆深度）熱圖。這兩個熱圖的組合生成每個關(guān)鍵點的3D坐標。

與后期融合或單目輸入相比，早期融合立體圖像的精度通常可以提升兩倍。

結(jié)果

下圖說明了KeyPose對單個對象的定性結(jié)果。左邊是原始立體圖像之一；中間是投影到圖像的3D關(guān)鍵點。在右邊，團隊將瓶子三維模型中的點可視化，并放置在由預測的3D關(guān)鍵點所確定的姿態(tài)中。這一網(wǎng)絡十分高效和準確。對于標準的GPU，只需5毫秒即可完成對關(guān)鍵點的預測。

下表說明了KeyPose在類別級別估計的結(jié)果。測試集使用了訓練集中不存在的背景紋理。請留意MAE在5.8 mm到9.9 mm之間變化。

有關(guān)定量結(jié)果的完整說明，以及相關(guān)研究，請參閱論文和補充材料，以及KeyPose官網(wǎng)。

總結(jié)

這項研究表明，在不依賴深度圖像的情況下，我們可以從RGB圖像中準確地估計出透明對象的三維姿態(tài)。它驗證了使用立體圖像作為早期融合深網(wǎng)的輸入（在這個網(wǎng)絡中，網(wǎng)絡可以直接從立體對中提取稀疏的3D關(guān)鍵點）。谷歌表示：“我們希望，一個廣泛的、帶標簽的透明對象數(shù)據(jù)集將有助于這一領(lǐng)域的發(fā)展。最后，盡管我們是使用半自動的方法來有效地標記數(shù)據(jù)集，但我們希望在未來的研究中使用自我監(jiān)督的方法來消除手動標記。”

原文鏈接：https://yivian.com/news/77585.html