來源：映維網

如果我說“優秀的圖形”，你大概會認為這是指支持高分辨率紋理和光追的最新3A級游戲。如果我說“照片級真實感”，答案可能會類似，但會額外關注圖形細節和真實世界之間的相似性。不過，英特爾實驗室的最新研究向我們展示了何謂照片級真實感，以及其在游戲開發方面的應用，尤其是虛擬現實。

這種新技術名為Free View Synthesis（自由視圖合成），它可以利用你從環境中獲取源圖像（如在森林行走時錄制的視頻），并重建和渲染圖像描述的環境，而且這一切是以完全的“照片級真實感”3D格式進行。你將能擁有玩家般的“Target View（目標視圖）”，然后在這個環境中自由行走并產生新的真實感視圖。值得一提的是，研究人員將在ECCV2020展示相關的研究，有興趣的讀者可以關注大會。

這種技術對游戲開發的應用顯而易見。就理論而言，當擁有了真實世界的圖片，系統就能夠自動生成一個不僅在布局和內容方面相同，而且在外觀方面同樣接近的游戲環境。利用所述技術，游戲開發者能夠快速輕松地進行關卡設計，并實現可與現實媲美的視覺逼真度。

Free View Synthesis（自由視圖合成）擁有大量的應用，但具體到游戲方面，英特爾實驗室智能系統的首席科學家弗拉登·科爾頓（Vladen Koltun）指出“它可以創造出與現實別無二致的游戲”。

具體的技術細節請參閱下面的論文，但概要而言，根據源圖像產生的環境是利用了Structure from Motion（SfM）和Multi-View Stereo（MVS），它們可以創建一個代理深度映射，然后，目標視圖通過“卷積網絡”重投影和處理特征，從而合成新視圖。簡而言之：獲取源圖像，根據圖像創建一個“深度映射”環境，然后使用卷積網絡合成新視圖。

相關論文：Free View Synthesis

“這會涉及在經典圖形管道中遇到的一定幾何計算，然后再通過一個卷積網絡，正如你在標準深度網絡推理中看到的那樣。”團隊將深度學習用于只有有限數量源圖像作為參考的真實場景，并創建照片級真實感視圖的任務。

下面的視頻展示了其他嘗試做類似事情的技術，包括NPBG。但正如視頻所示，Free View Synthesis（自由視圖合成）可以產生稍微更好的效果。

科爾頓指出，SfM和MVS的使用對于Free View Synthesis（自由視圖合成）非常重要，“許多其他技術沒有像我們那樣使用SfM/MVS”。研究人員認為不重視SfM/MVS已經取得（并將繼續取得）的所有驚人進展是非常浪費的事情，“相反，我們應該以其作為基礎，并再接再厲。我們的方法之所以能達到如此高的保真度，很大程度上要歸功于SfM/MVS技術在過去30年間所取得的進步。”

就理論而言，利用Free View Synthesis（自由視圖合成），游戲開發者可以錄制一段在當地公園漫步的視頻，然后將圖像放入相關管道，這樣就能夠產生公園的照片級真實感畫面，并選擇想要的任何移動路線。我們同時可以由此推論，這項技術應該可以快速地創建一個逼真的虛擬現實環境，并允許玩家在其中自由走動。另外，盡管“當前的實現沒有針對實時性能進行優化……但在實時執行方面沒有根本性的障礙”。

Free View Synthesis（自由視圖合成）需要深度學習的圖形能力，但這應該不是一個問題。真正需要解決的挑戰是（至少對于游戲而言）：在場景中創造新的合成元素。在一個照片真實感的公園里走來走去當然不錯，但要制作一款游戲，你需要能夠與環境交互，或許要引入其他元素（比如FPS游戲中的槍支）。

科爾頓表示，這種技術如何應對所述情況“是一個有待研究的問題”。換言之，這個問題尚未得到回答。“在目前的形式中，所述方法只適合處理靜態場景。它允許你在靜態場景中自由移動視點，同時保留照片級真實感的外觀。最終，諸如此類的技術將能夠擴展到動態場景中。這是一個活躍的研究課題。”

這可能就是為什么這項技術“不會馬上出現”在游戲中的原因。他補充道：“即使在未來幾年內都不會出現，但最終會成為現實”。

對于Free View Synthesis（自由視圖合成）這樣的渲染技術，再結合頭顯硬件方面的進步，這將能為虛擬現實帶來了巨大的技術飛躍。

原文鏈接：https://yivian.com/news/77319.html