2016年。微軟研究院發布了一條有關其研發的Holoportation技術的視頻，該技術可以通過一套系統讓兩個人跨越空間的障礙在同一個空間中進行面對面的交流，出現在你面前將是一個立體的活生生的人而不是視頻通話那樣只是一幅會動的畫面。

Holoportation的核心技術在于對真人進行較為精細的實時三維重建同時進行海量的數據傳輸，這不僅是一項先進的MR技術，也是影視行業所夢寐以求的，微軟研究院研發的這套系統據稱被大量應用于影視行業，整套系統的研發成本更是超過百萬美金。

時隔兩年，微軟研究院又在其官方網站上發布了一項名為Remixed Reality的新技術。

什么是Remixed Reality?這是一項結合了AR與VR的優點用于改進MR體驗的技術。在上一代的Holoportation中，你只能觀看和縮放眼前看到的物體，但是通過Remixed Reality技術，你將可以像使用AR設備一樣看到周圍的真實世界，并像在VR中一樣對它們做出實時改變。

使用Remixed Reality技術時，用戶將不再只能看到另一個人及其周圍非常有限的空間，取而代之的是由8臺Kinect完成的一個完整房間的三維重建圖像。用戶可以通過VR頭顯來以自身的視角觀察三維重建而成的房間，因為三維重建是實時的，所以用戶可以看到任何進出房間的人或者是家具以及其他房間環境的變化，甚至可以與房間內的任何實物進行互動。這也給予了用戶全新的能力——在觀看真實世界的同時對它進行視覺的改變。

在這項技術的宣傳視頻中，我們可以看到相比兩年前的Holoportation，Remixed Reality賦予了用戶非常多的新能力。Remixed Reality給與用戶的能力可以分為四個大類，分別為操縱空間、改變外觀、控制時間與改變視點。

操縱空間：

復制

移動

擦除

改變外觀：

改變物體顏色

改變房間的光線

物體描邊

改變畫面風格

控制時間：

暫停

播放與倒放

改變視角：

讓你擁有上帝視角

畫中畫功能

改變投影方式

如此酷炫的功能是如何做到的呢？

微軟研究院的研究人員開發的這套RoomAlive系統主要分為兩部分：數據采集與三維重建系統、顯示與互動系統。8個Kinect V2為服務器提供大小約為4m×5m×2.5m的房間的深度信息以及色彩信息，服務器將這些信息進行壓縮，并傳輸到一臺連接了VR頭顯的PC上，在這臺PC上完成信息解壓縮與三維重建。顯示與互動則是通過Unity與SteamVR完成的。

8臺Kinect V2提供的數據量約為400Mb/s，在正常局域網（1000Mb/s）的帶寬范圍內，這意味著如果擁有更大的帶寬的話，你可以繼續增加Kinect的數量以增加數據采集的區域或是用來提高精度。Kinect的校準則是通過投影儀投影灰度圖來實現的，其中用到了ICP（Iterative Closest Point）算法。

客戶端的模型以每秒30幀的頻率進行更新，但是每幀的模型數據之間沒有聯系，這就意味著如果你修改了其中某一幀的模型數據，下一幀中你的修改就會消失。如果要使模型的改動不會消失，則意味著你需要在幀與幀之間將三維模型進行匹配對齊，經過Kinect重建的三維模型有200多萬個面，進行匹配算法根本無法實時完成。

為了能夠與三維重建的模型進行實時交互并對模型進行修改，研究人員下了一番苦功。他們在程序中加入了由135萬個三維像素組成的網格模型（150×150×60），每個三維像素代表了房間中大約3cm見方的空間。三維重建的模型與網格模型之間有一種對應關系，使得模型的變動得以在幀與幀之間以較小的代價傳遞下去。如此一來我們就可以對三維模型進行擦除、著色等不同的操作了。

擁有了這樣的能力，Remixed Reality自然就擁有了更加豐富的玩法。你可以重播一整場會議，并挑選自己喜歡的位置坐下，也可以利用視點的轉換來自己和自己玩一場躲避球的游戲。運動員們則可以利用這一系統來全方位的觀察自己某一時刻的姿勢是否正確并進行糾正，你也可以利用這套系統來剔除場景中的一些干擾物或者是人。這些是都是之前HoloLens以及Magic Leap One所無法做到的。

微軟的研究人員認為，這整套系統可以讓用戶體驗到不同程度的虛擬，從像HoloLens那樣的完全真實的周圍環境到VR那樣完全虛擬的環境，Remixed Reality都可以做到。雖然目前人們可以修改的只是一個整體的三維模型，無法區分其中的某個物體，但在后續的工作中，他們將給這套系統加入場景理解系統，讓其能夠像Semantic Paintbrush那樣將場景中的不同物體區分開來。

除了改變人們的視覺感知，未來微軟研究員們還計劃讓這套系統能夠改變用戶的物理感知與時間感知，從而讓用戶能夠體驗零重力的環境或者是完全慢放的世界。這樣的系統可以幫助進行很多心理學的實驗，比如讓用戶體驗靈魂出竅或者以他人的視角來觀察世界。你也可能體會到生活在一個上下顛倒的世界是什么樣的，擁有透視能力又是一種什么樣的體驗。無論如何，Remixed Reality跨出了控制我們看到的事物的第一步，并且讓我們能夠自由選擇我們希望的沉浸程度。

Remixed Reality雖然極大的彌補了MR存在的一些不足，并擁有很大的想象空間，但也存在一些不可忽視的缺陷。

第一個問題是最終經過三維重建的模型表面貼圖的分辨率受限于Kinect V2攝像頭的分辨率。Kinect V2擁有色彩攝像頭與深度攝像頭，色彩攝像頭的分辨率為1920×1080，而深度攝像頭的分辨率僅為512×424。為了能夠拍攝到房間的全貌，Kinect全部被安裝于天花板上。

用8個Kinect覆蓋一個4m×5m×2.5m的房間意味著每個Kinect都需要負責一塊不小的區域，在總分辨率固定的情況下，負責的區域越大，區域內單個物體能夠分到的像素數量就越少，而深度攝像頭僅僅512×424的分辨率意味著三維重建的模型精度較低，且無法很好的還原曲面。

如果你有仔細觀察視頻中出現的人，面部的還原其實非常差。如果想要改善這一缺陷，則需要添加更多的Kinect，這卻會對實時數據處理造成更大的負擔。目前看來，Remixed Reality也只能優先保證實時性，精度和清晰度的問題則需要更高規格的硬件以及更先進的算法才能解決。

在演示中我們也能夠看到三維重建的模型出現了空洞，這一問題的出現主要是因為物體的表面過于光滑或者是透明的導致攝像頭對于這塊區域的識別出現了問題，其實這也是目前Hololens、Magic Leap One的SLAM功能的通病。這個問題短期沒有太好的解決方法，需要等到新的三維重建技術出現才有可能徹底擺脫這一問題。

另外目前的系統對一些比較復雜的環境進行三維重建時會有過多的區域被遮擋，無法獲取真正完整的房間信息。在官方演示的視頻中你可以很明顯的看到三維重建的模型大多數是殘缺不全的。

第三個問題則是如果你對周圍的三維環境沒有做修改，那么你可以自然的在虛擬環境中與現實中的物體進行互動，然而如果你進行了擦除或是切換視點的操作，這種交互就無法繼續進行了。要解決這一問題，需要加入觸覺重定位或者是其他的解決方案。

要開發出這樣一套擁有著無限潛力和想象力的完整系統，可能還需要克服相當多的困難并花費很久的時間，讓我們一起拭目以待吧。

來源：87870