來源：映維網(wǎng) 作者 廣州客

包括計算攝影（如人像模式）和增強現(xiàn)實效果（如虛擬化身）在內(nèi)的大量應(yīng)用都依賴于通過虹膜追蹤來估計眼睛位置。一旦獲得精確的虹膜追蹤數(shù)據(jù)，我們無需專用的深度傳感器就可以確定從攝像頭到用戶的距離。反過來說，虹膜追蹤可以改善從計算攝影到虛擬眼鏡或帽子穿戴等一系列的用例。

由于有限的計算資源，可變的光照條件，以及遮擋物的存在（如頭發(fā)或因瞇眼造成的眼臉），移動設(shè)備實現(xiàn)虹膜追蹤是一項艱巨的任務(wù)。一般而言，這項技術(shù)會采用復(fù)雜的專用硬件，而這限制了相關(guān)解決方案的支持設(shè)備范圍。

FaceMesh可用于驅(qū)動虛擬化身（中間）。通過額外利用虹膜追蹤，我們可以大大提升虛擬化身的生動感

由MediaPipe Iris實現(xiàn)的眼睛重新著色示例

谷歌日前發(fā)布了用于精確虹膜估計的全新機器學(xué)習模型：MediaPipe Iris。所述模型以MediaPipe Face Mesh的研究作為基礎(chǔ)，而它無需專用硬件就能夠通過單個RGB攝像頭實時追蹤涉及虹膜，瞳孔和眼睛輪廓的界標。利用虹膜界標，模型同時能夠在不使用深度傳感器的情況下以相對誤差小于10％的精度確定對象和攝像頭之間的度量距離。請注意，虹膜追蹤不會推斷人們正在注視的位置，同時不能提供任何形式的身份識別。MediaPipe是一個旨在幫助研究人員和開發(fā)者構(gòu)建世界級機器學(xué)習解決方案與應(yīng)用程序的開源跨平臺框架，所以在MediaPipe中實現(xiàn)的這一系統(tǒng)能夠支持大多數(shù)現(xiàn)代智能手機，PC，筆記本電腦，甚至是Web。

用于遠視用戶的可用性原型：無論距離如何，字體大小都能夠保持恒定

1. 用于虹膜追蹤的機器學(xué)習管道

谷歌介紹道，開發(fā)系統(tǒng)的第一步利用了之前針對3D Face Meshes的研究，亦即通過高保真面部界標來生成近似面部幾何形狀的網(wǎng)格。根據(jù)所述網(wǎng)格，研究人員分離出原始圖像中的眼睛區(qū)域以用于虹膜追蹤模型。然后，谷歌將問題分為兩個部分：眼睛輪廓估計和虹膜位置。他們設(shè)計了一個由一元化編碼器組成的多任務(wù)模型，每個組件對應(yīng)一個任務(wù)，這樣就能夠使用特定于任務(wù)的訓(xùn)練數(shù)據(jù)。

虹膜（藍色）和眼臉（紅色）追蹤示例

為了將裁剪后的眼睛區(qū)域用于模型訓(xùn)練，團隊手動注釋了大約50萬張圖像。其中，圖像涵蓋了不同地理位置的各種照明條件和頭部姿勢，如下所示。

用眼臉（紅色）和虹膜（藍色）注釋眼睛區(qū)域

裁剪的眼睛區(qū)域形成模型的輸入，而它將通過單獨的組件預(yù)測界標

2. 虹膜深度：用單個圖像進行深度估計

無需任何專門的硬件，這個虹膜追蹤模型能夠以不到10％的誤差確定對象到攝像頭的度量距離。相關(guān)的原理事實是，人眼的水平直徑虹膜基本恒定為11.7±0.5毫米。作為說明，請想象將針孔攝像頭模型投影到正方形像素的傳感器。你可以使用攝像頭的焦距估計從面部界標到對象的距離，而這可以通過Camera Capture API或直接從捕獲圖像的EXIF元數(shù)據(jù)，以及其他攝像頭固有參數(shù)進行獲取。給定焦距，對象到攝像頭的距離與對象眼睛的物理尺寸成正比，如下圖所示。

利用類似的三角形，我們可以根據(jù)焦距（f）和虹膜大小來計算對象的距離（d）

左邊：在Pixel 2運行的MediaPipe Iris正在以cm為單位估計度量距離，沒有采用任何深度攝像頭；右邊：groud-truth深度

為了量化所述方法的精確性，研究人員收集了200多位被試的正向同步視頻和深度圖像，并將其與iPhone 11的深度傳感器進行比較。團隊使用激光測距設(shè)備，通過實驗確定iPhone 11的深度傳感器在2米以內(nèi)的誤差小于2％。對于使用虹膜大小進行深度估算的方法，平均相對誤差為4.3％，標準偏差是2.4％。谷歌對有眼鏡被試和正常視力被試（不計入隱形眼鏡情況）測試了所述方法，并發(fā)現(xiàn)眼鏡會將平均相對誤差略微提高到4.8％（標準偏差是3.1％）。另外，實驗沒有測試存在任何眼睛疾病的被試。考慮到MediaPipe Iris不需要專門的硬件，所述結(jié)果表明系統(tǒng)能夠支持一系列成本范圍的設(shè)備根據(jù)單張圖像獲取度量深度。

估計誤差的直方圖（左邊），以及實際和估計距離的比較（右邊）

3. 發(fā)布MediaPipe Iris

這個虹膜和深度估計模型將作為支持PC，移動設(shè)備和Web的跨平臺MediaPipe管道發(fā)布。正如谷歌在最近一篇關(guān)于MediaPipe的博文所述，團隊利用WebAssembly和XNNPACK在瀏覽器中本地運行Iris ML管道，無需將任何數(shù)據(jù)發(fā)送到云端。

使用MediaPipe的WASM堆棧。你可以在瀏覽器種運行模型

僅使用包含EXIF數(shù)據(jù)的單張圖片計算虹膜深度

請點擊這里以嘗試虹膜追蹤，請點擊這里以嘗試虹膜深度。

4. 未來方向

谷歌計劃進一步擴展MediaPipe Iris模型，實現(xiàn)更穩(wěn)定的追蹤性能以降低誤差，并將其部署用于無障礙用例。谷歌在相關(guān)文檔和隨附的Model Card中詳細說明了預(yù)期的用途，限制和模型的公平性，從而確保模型的使用符合谷歌的AI原則。請注意，任何形式的監(jiān)視監(jiān)控都明顯超出應(yīng)用范圍，故不予支持。團隊表示：“我們希望的是，通過向廣泛的研究與開發(fā)社區(qū)提供這種虹膜感知功能，從而促使創(chuàng)造性用例的出現(xiàn)，激發(fā)負責任的新應(yīng)用和新研究途徑。”

原文鏈接：https://yivian.com/news/76906.html