Pixvana基于云端的VR管道現(xiàn)在包含了NVIDIA VRWorks 360 Video SDK。Pixvana希望利用云計算的力量來幫助解決VR創(chuàng)意人士所面臨的諸多挑戰(zhàn)。Pixvana VR管道的亮點包括：

兼容所有主要VR頭顯的視頻播放器，方便進行視頻分發(fā)。后期處理工具和選項，可為頭顯提供最佳質量的360度視頻。提供拼接工具（利用VRWorks），可根據(jù)各種相機系統(tǒng)創(chuàng)建360度視頻。基于Web的平臺，支持Chrome瀏覽器共享，編輯和資源管理。可定制的交互式視頻允許圖形疊加與測試。用于創(chuàng)建交互式視頻的頭顯內編輯工具。…

Pixvana聯(lián)合創(chuàng)始人兼首席技術官Scott Squires，以及高級計算機視覺科學家Paul Barsic日前撰文概述了制作360度視頻的基礎知識，并且介紹了Pixvana基于云端的工具套件，以及VRWorks中的關鍵流程，目的是幫助大家充分利用相關程序來開發(fā)360度/度VR項目。以下是映維網(wǎng)的具體整理：

1. 創(chuàng)建360度視頻

Pixvana專注于幫助創(chuàng)作者在不減損視頻質量的情況下制作360度視頻。高質量的360度視頻需要在專門的相機系統(tǒng)來捕捉環(huán)境的所有角度圖像。如下圖所示，相關的相機系統(tǒng)一般都會搭載多個傳感器和多個攝像頭。

圖1：左邊是Kandao Obsidian R Professional 3D 360 Camera；右邊是Insta360 Pro Camera。

各個攝像頭捕獲的視頻這些視頻視圖需要校準，曝光補償，并在名為“拼合”的過程中進行組合，如圖2所示。其他后期制作功能允許編輯者對圖像進行細化操作，旋轉和顏色校正。拼合和處理一系列圖像會產生通常為8K或更大的等量矩形視頻。

圖2：SPIN Studio后期處理工具和360度拼接工具

盡管等量矩形是360度視頻的標準格式，但它存在明顯的缺點，包括圖像最高點區(qū)域和最低點區(qū)域的像素浪費。所以除了等量矩形視頻外，我們同時支持多種包含不同幾何形狀和打包方式的專業(yè)格式，如菱形平面和FOVAS（視場自適應流式傳輸）。菱形平面是一種特殊的投影格式，可以縮減數(shù)據(jù)大小。FOVAS則采用特殊的平鋪格式和流媒體技術。即使用戶轉頭，它都可以在活動視場中提供高分辨率內容。所述格式旨在克服標準視頻的限制，最終目標是在較低帶寬下生成更高質量的視頻。

圖3是海灘情景的等量矩形投影。請注意，最高點位置和最低點位置的畸變情況。所述像素都是過度采樣，需要更多的帶寬進行傳輸，而這是一種浪費。

圖3：海灘情景的等量矩形投影

圖4是菱形平面投影的格式，其中圖像被投影至二十面體之上。圖像的小平面會被重新排列以適合平面。這種投影格式解決了過采樣問題，使得圖像更小，并而流式傳輸效果更高。

圖4：海灘情景的菱形平面投影

FOVAS方法則需要創(chuàng)建同一視頻的多個視圖，而每個視圖都可以調整至特定的瀏覽方向。然后，播放器根據(jù)需要切換至正確的視頻。

無論格式如何，VR視頻制作的下一步都是創(chuàng)建具有不同比特率的多個文件版本，以便視頻可以作為可變比特率視頻進行流式傳輸和下載。對于拼合，顏色調整，格式改動等流程，它們都可以利用云端和GPU來高效快速地生成所需輸出。

1.2 基于云端的系統(tǒng)：分發(fā)，后期制作和處理

分發(fā)是球形視頻創(chuàng)作者面臨的主要挑戰(zhàn)之一。目前最先進的技術是將視頻側載至各臺設備。但這需要相當漫長的時間，并且需要頭顯和視頻制作者位于同一位置。Pixvana的SPIN Play功能簡化了這個工作流程，支持遠程管理和跟蹤變化。它同時允許在未網(wǎng)時將完整內容下載至配對的頭顯并進行播放。

SPIN Play提供兩種播放模式：Share Mode和Guide Mode。Share Mode用于短期瀏覽，例如與遠程同事協(xié)作。要訪問這一模式，你只需在視頻播放器中輸入唯一的九位密碼，如圖5所示。所述密碼可以標識相應的播放列表。接下來，用戶可以進行完全控制，并且能夠輕松退出共享會話。

圖5：共享模式設置

Guide Mode則針對需要更高管理權限的體驗，例如VR電影或企業(yè)培訓場景。運行Guide Mode的頭顯可以跟蹤在線內容，響應更改，并且可以切換至可供管理的播放模式。單位演示者可以同步數(shù)十款頭顯，開始和停止播放，甚至可以跟蹤所有用戶的注視點。這樣特殊的功能使其成為了VR電影節(jié)和企業(yè)客戶的理想選擇。圖6是Guide Mode的管理屏幕。

圖6：Guide Mode

為了提高360度視頻的用處和吸引力，我們添加了創(chuàng)建交互式視頻的工具，如圖7所示。制片可以在VR里面編輯交互式視頻，并直接在頭顯中為最終瀏覽環(huán)境添加端口，圖形和文本。

圖7：SPIN Plau允許你創(chuàng)建交互式360度視頻

處理VR視頻所需的系統(tǒng)性能是VR創(chuàng)作者面臨的又一重大挑戰(zhàn)。典型的VR相機裝置由大約六個或更多高分辨率的攝像頭組成。無論編輯決策如何，攝像頭圖像都必須對齊，拼合，并渲染成最終的超高分辨率（8K）視頻。這需要大量的處理能力。英偉達顯卡明顯是個正確的解決方案，但渲染所需的性能和時間大幅度占用了工作站。一些編輯工作者得不得在一天工作結束后令設備繼續(xù)處理，從而影響了工作流程。

SPIN Studio是Pixvana基于云端的平臺，借助VRWorks 360 Video，它可以在合理的時間內渲染高質量的VR視頻。Amazon Web Services (AWS)托管的智能資源管理系統(tǒng)允許用戶同時編輯和渲染多個視頻。一旦用戶請求渲染，系統(tǒng)就將視頻分成多個片段，然后將其分發(fā)到多個實例。這樣的系統(tǒng)可以管理不同云服務平臺之間的工作，從而實現(xiàn)更高的吞吐量。在當前的架構中，Pixvana利用了AWS和Microsoft Azure。

完成工作后，最后一個進程是收集結果，從而完整地生成最終視頻。每個GPU實例都運行Callisto，亦即我們內部的視頻處理引擎，它位于Docker容器的一個實例之中。Callisto集成了行業(yè)標準計算機視覺庫，包括FFMPEG和OpenCV，我們自家基于C ++和CUDA的圖像處理算法，以及VRWorks 360 Video SDK。

所有VR視頻處理都涉及以下步驟：

校準,或確定旋轉和扭曲輸入圖像的規(guī)則編輯，裁剪，顏色處理，拼合調整，以及定向渲染和編碼

借助云端技術，新的專業(yè)格式，以及Pixvana突破性的VR管道，創(chuàng)建360度視頻變得前所未有的輕松。接下來，我們將討論在VRWorks中的圖形，360度視頻和空間化音頻，以及Pixvana VR管道的未來計劃。

2. 云端的VRWorks

現(xiàn)在我們來討論如何利用VRWorks和基于云端的處理來優(yōu)化VR視頻制作。我們同時將介紹在這一過程中開發(fā)出的最佳實踐。

2.1 VRWorks的工作原理

VRWorks是一組特定于VR的API，庫和引擎。VRWorks由三個主要組件組成：VRWorks Graphics（適用于應用程序和頭顯開發(fā)者），VRWorks 360 Video和VRWorks Audio（適用于空間化的光追音頻）。Pixvana主要利用了360 Video。

NVIDIA VRWorks 360 Video SDK支持基于文件，基于流傳輸數(shù)據(jù)，以及基于幀的工作流程。它包括五個模塊：High-Level拼合器，校準器，Low-Level拼合器，打包器，以及空間音頻處理器。High-Level管道包括GPU加速解復用器，復用器，解碼和編碼，并可直接處理視頻文件和流傳輸數(shù)據(jù)。

盡管經(jīng)過了優(yōu)化，但High-Level拼合器并沒有提供給交互的能力。相反，我們選擇使用校準器和Low-Level拼合器的組合來實現(xiàn)用戶交互。Low-Level拼合管道直接配合CUDA設備存儲中的幀，并為執(zhí)行和數(shù)據(jù)傳輸?shù)木€程提供了更大的靈活性和應用程序控制。高度優(yōu)化的、基于CUDA的打包器可以在透視，魚眼和等量投影之間轉換圖像，從而執(zhí)行圖像扭曲和失真消除。扭曲操作同時可以將等量矩形拼合輸出轉換為投影格式（如立方體貼圖），以便消除過度采樣并減少所需的流式傳輸帶寬。

圖8是校準工作流程。左側框標有“Sources”，這表示用戶輸入。英偉達校準器根據(jù)至少一幀來確定每個攝像頭的一組完整內部參數(shù)（焦距，畸變系數(shù)，視場）和外部參數(shù)（方向和位置）。

圖8：校準流程示例

存在一定的注意事項，如特征距離，足夠的特征和適當?shù)恼彰鳌鼍疤卣鞑粦撐挥谙鄼C裝置的一米或兩米以內，因為顯著的視差會混淆算法。具有大片無特征區(qū)域（如墻壁）的場景可能會產生對齊問題。最后，場景應該要提供足夠的照明，不能太暗，也不能太亮。

圖9是易于校準的情況。

圖9：后期校準，簡單的照明

圖10則是非常有挑戰(zhàn)性的案例。你可以看到場景非常光亮。在這種情況下，向校準系統(tǒng)提供焦距估計可以提供幫助。但是，你可以顯著看到明顯的對齊問題。

圖10：更為復雜和多變的照明產生了校準方面的挑戰(zhàn)

下面的代碼片段是一個名為NVcalib的VRWorks校準器函數(shù)。它分為7個關鍵的步驟：

創(chuàng)建校準實例設置相機裝置屬性設置校準選項將輸入圖像指針（Pointer）傳輸至校準實例指令校準器執(zhí)行校準檢索結果銷毀校準實例

nvssVideoStitch底層拼合器函數(shù)同樣易于調用。下面是粗略的示意性步驟，并不代表最佳工作流程：

設置拼合器屬性初始化拼合器實例 (每個視頻需要一次)將輸入數(shù)據(jù)加載至nvstitch實例執(zhí)行拼合將拼合器的拼合圖像復制到outputRGBA銷毀校準實例（每個視頻需要一次）

曝光補償是VR視頻的一個重要問題。由于在室外拍攝360度場景將包括太陽光和陰影，因此動態(tài)范圍會發(fā)生很大變化。相機傳感器的動態(tài)范圍有限，所以相機裝置中的每個攝像頭通常會自動設置曝光。對于最終的拼合圖像而言，重疊的區(qū)域會出現(xiàn)不同的亮度。我們測量亮度差異，并且進行曝光補償，然后再將它們傳輸至VRWorks拼合器。Pixvana正在與英偉達團隊合作優(yōu)化拼合器，并提供更多的控制和功能以產生更好的拼合。

3. 云處理的優(yōu)點，缺點及解決方案

圖11說明了云計算的其中一個主要優(yōu)勢。示例視頻中的每個輸入分成短節(jié)段，然后分配給多個計算機以進行拼合。收集拼合節(jié)段，并編碼成單個拼合視頻。接下來，將最終視頻放到用戶的媒體asset庫中，這樣用戶隨時都可以觀看。

圖11：SPIN Studio的云處理為360度視頻提供了大量的并行處理

我們基于云端的方法存在四個重要的局限性。首先，我們對GPU的控制有限。其次，我們必須維護一個基于Web的VR編輯器。第三，我們需要管理一系列服務之間的協(xié)同工作。最后，用戶必須上傳源視頻，而這可能是一個耗時的過程。

為了解決將文件傳輸至云端系統(tǒng)的問題，Pixvana為Windows和Mac OS開發(fā)了云攝取功能和桌面上傳器。桌面上傳器在中斷后可以恢復（如網(wǎng)絡丟失或系統(tǒng)斷電），從而為用戶提供了最大的靈活性。上傳器同時理解文件夾層次結構，可以在云端復制用戶定義的文件結構。上傳狀態(tài)將同時報告給Web UI和上傳器，允許遠程編輯器跟蹤進度。

Pixvana同時創(chuàng)建了一套工具來解決VR創(chuàng)建者面臨的主要問題。亮點包括通用播放器，頭顯內后期處理工具，以及基于Web的編輯與管理系統(tǒng)。云計算令所有這些創(chuàng)新成為可能。這個基于云端的VR視頻編輯平臺以英偉達的VRWorks為核心，同時將成為Pixvana實現(xiàn)XR故事敘述潛力的方式。

4. 未來計劃

為繼續(xù)提升電影制作體驗與質量，Pixvana致力于改進我們基于云端的VR管道。

隨著視頻處理量的增加，我們正在尋求利用機器學習和人工智能來探索360度電影制作的可能性。我們同時在研究如何利用圖像識別功能，支持內容感知填充，以及優(yōu)化視頻內容元數(shù)據(jù)來改善拼合過程。盡管我們目前專注于面向VR頭顯的360度視頻，但我們期望涵蓋AR和MR的專門用例。體三維捕獲正繼續(xù)發(fā)展，并可提供完整的六自由度捕獲體驗。隨著它變得越加實用，對這項功能的支持將整合至管道之中。光場是另一種VR視頻技術，可以在六自由度環(huán)境中提供完全復制的實時捕捉。

當然，所有這一切將需要云端提供更多的GPU性能。

原文鏈接：https://yivian.com/news/60068.html

來源：映維網(wǎng)