來(lái)源：映維網(wǎng) 作者 黃顏

蘋(píng)果曾申請(qǐng)過(guò)數(shù)份雙耳音頻專利。日前，美國(guó)專利專利局公布了一份可用于下一代頭戴式顯示器的雙耳音頻發(fā)明。具體來(lái)說(shuō)，這項(xiàng)專利向我們介紹了一種預(yù)測(cè)性頭部追蹤雙耳音頻。這種音頻技術(shù)可以大大改善臨場(chǎng)感，從而進(jìn)一步提升VR RPG游戲和VR恐怖電影等體驗(yàn)。

蘋(píng)果在專利文件中指出，虛擬現(xiàn)實(shí)允許用戶體驗(yàn)和/或與沉浸式人造環(huán)境交互，這樣用戶會(huì)感覺(jué)自己仿佛置身于所述空間之中。例如，虛擬現(xiàn)實(shí)系統(tǒng)可以向用戶顯示立體場(chǎng)景以創(chuàng)建深度錯(cuò)覺(jué)，而計(jì)算機(jī)可以實(shí)時(shí)調(diào)整場(chǎng)景內(nèi)容并提供用戶在場(chǎng)景中移動(dòng)的錯(cuò)覺(jué)。

當(dāng)用戶通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)查看圖像時(shí)，用戶會(huì)感覺(jué)自己仿佛是從第一人稱角度在場(chǎng)景中移動(dòng)。類似地，混合現(xiàn)實(shí)將計(jì)算機(jī)生成信息與真實(shí)世界圖像或真實(shí)世界視圖相結(jié)合，從而增強(qiáng)或增加用戶對(duì)世界的感知，或者將真實(shí)世界對(duì)象的虛擬表示與三維虛擬世界的視圖相結(jié)合。

所以，可以利用虛擬現(xiàn)實(shí)的模擬環(huán)境和/或混合現(xiàn)實(shí)的混合環(huán)境來(lái)為多個(gè)應(yīng)用提供交互式用戶體驗(yàn)。

為了提高虛擬現(xiàn)實(shí)環(huán)境的真實(shí)感，蘋(píng)果除了空間音頻之外同時(shí)設(shè)計(jì)了頭部追蹤雙耳音頻渲染。這可能會(huì)極大改變音樂(lè)、游戲和電影領(lǐng)域。

蘋(píng)果的發(fā)明描述了用于預(yù)測(cè)性頭部追蹤雙耳音頻渲染的方法和設(shè)備。在一個(gè)音頻渲染系統(tǒng)和音頻渲染方法的實(shí)施例中，實(shí)施例可以在VR/AR系統(tǒng)中實(shí)現(xiàn)。所述VR/AR系統(tǒng)包括計(jì)算設(shè)備（基站），所述計(jì)算設(shè)備通過(guò)無(wú)線技術(shù)渲染基于頭部追蹤的雙耳音頻并將其發(fā)送到提供雙耳音頻輸出的頭戴式顯示器，或用于頭顯的獨(dú)立式雙耳音頻設(shè)備。

頭部追蹤雙耳音頻渲染是一種可用于包括但不限于VR/AR應(yīng)用程序的技術(shù)。它可以創(chuàng)建無(wú)論聽(tīng)者實(shí)際方位/位置如何都能在環(huán)境中保持穩(wěn)定的虛擬音頻源。

頭部追蹤雙耳音頻渲染方法可以渲染雙耳音頻流（包括左聲道和右聲道）并輸出到頭顯，以便聽(tīng)者以空間音頻感知方式聽(tīng)到聲音。換句話說(shuō)，用戶聽(tīng)到的聲音將如同真實(shí)世界一樣，能夠精確表現(xiàn)距離和方向。

相關(guān)專利：Apple Patent | Predictive Head-Tracked Binaural Audio Rendering

例如，系統(tǒng)可以通過(guò)頭顯播放聲音，這樣聽(tīng)者就可以從左側(cè)、右側(cè)、前方、后方或某個(gè)角度聽(tīng)到來(lái)自虛擬音頻源的聲音。可以衰減左聲道和右聲道（如電平、頻率、延遲、混響等）以影響聲音的感知方向和距離。

專利圖2A則是使用頭戴式設(shè)備的用戶；圖6B說(shuō)明了雙耳音頻的獨(dú)特地方，因?yàn)樗軌蜃粉櫽脩舻念^部，所以能夠隨用戶移動(dòng)音頻源，就好像它總是相對(duì)于用戶的頭部投射聲音。通過(guò)這樣的方式，對(duì)于游戲場(chǎng)景，應(yīng)在用戶身后發(fā)出的噪音就會(huì)從用戶身后傳來(lái)。這非常適合在VR模式下進(jìn)行RPG類型游戲。

蘋(píng)果指出，盡管渲染組件呈現(xiàn)多個(gè)音頻流并且頭顯選擇一個(gè)或多個(gè)音頻流以提供一維聲音的方向性，但實(shí)施例可用于提供多個(gè)維度的聲音方向性，如提供方位角、仰角，以及指示平移運(yùn)動(dòng)的聲音。

例如，基站可以在水平維度的多個(gè)位置呈現(xiàn)音頻流，并且可以在水平維度之上和/或之下呈現(xiàn)音頻流。

如圖8所示，基站可以在水平維度的位置A和B呈現(xiàn)音頻流，并且可以在水平維度之上呈現(xiàn)音頻流C。

專利圖8展示了在多個(gè)維度提供聲音的方向性。

頭顯可以根據(jù)最新的頭部追蹤數(shù)據(jù)選擇并播放最接近頭部實(shí)際位置和高度（傾斜性）的音頻流，或者如果頭部的實(shí)際位置位于音頻流之間的某處，則可選地混合兩個(gè)或更多個(gè)音頻流。例如，如果頭部位置在所述位置之一或附近，頭顯可以選擇A、B或C；如果頭部位置在A和B之間，則可以混合A和B；如果頭部位置在A和C之間，則可以混合A和C；如果頭部位置在B和C之間，則可以混合B和C；如果頭部位置在A，B和C的中間，則可以混合A，B和C。這一切都是為了提供逼真的音頻，并令用戶仿佛置身于游戲場(chǎng)景之中。

如果能夠?qū)崿F(xiàn)，蘋(píng)果的下一代音頻有望大大提升未來(lái)頭戴式顯示設(shè)備的體驗(yàn)。

名為“Predictive Head-Tracked Binaural Audio Rendering”的蘋(píng)果專利申請(qǐng)最初在2020年Q1季度提交，而部分研究可以追溯到2017年。需要注意的是，這只是一份專利申請(qǐng)，尚不確定蘋(píng)果是否會(huì)或?qū)⒂诤螘r(shí)商業(yè)化所述的發(fā)明技術(shù)。

原文鏈接：https://yivian.com/news/76645.html