?▲ VR科技正逐漸影響我們的生活

?

- ?引言 ?-

好，CJ差不多結(jié)束了，據(jù)說這屆CJ足球隊踢得并不好，與會群眾們紛紛表示都球賽不好看，還不如看看VR，所以，應(yīng)群眾的要求，我們再來聊一聊VR。

VR其實可以理解成一個人類追求更自然的人機交互的過程。從一開始你只能通過編程語言和計算機say hi的286時代（想象下那個時代的機器人女友），到win95第一代可視化的操作窗口，再到如今我們戴著頭盔進入一個360度的虛擬空間。人與機器的交互變得越來越自然，virtual world也越來越像我們的reality，這就是虛擬現(xiàn)實（virtual reality）。

圖像方面，我們帶著頭盔，上下左右扭頭，就能看到不同的圖像，這就是自然的人機交互；聲音方面也一樣，如果我們轉(zhuǎn)身，背后的腳步聲就會突然增大或減小，側(cè)耳傾聽，隔壁的吱呀聲就能聽得更清楚，那么，以假亂真的虛擬世界或許就離我們不遠了。

所以今天，「讓我們來聊聊VR里的聲音」。

簡單給大家介紹一下，首先3D聲場有若干解決方案。你可能覺得，其實很簡單嘛，做一個虛擬空間，該空間里任何一個音源，用三維坐標(biāo)標(biāo)定，然后將VR頭盔里的坐標(biāo)數(shù)據(jù)導(dǎo)入，再輸出相應(yīng)的聲音，你就得到了一個完美的“自然”聲場。這想法沒錯，前提是，你的音源數(shù)足夠少，運算速度足夠快。已知的杜比影院方案state of the art可以支持高達128個聲源，wow，如果按一個女性朋友等于五百只鴨子來算，你已經(jīng)擁有了，呃，大約五分之一個女性朋友。

不過手機，PC上的環(huán)境可沒法跟電影院比。（而且用這種方案去逼近現(xiàn)實世界的聲場是不可能的，你可以理解原因是當(dāng)逼近現(xiàn)實世界時，其聲場數(shù)目會急劇上升，就像因為晶體里面的原子個數(shù)是10^23級別，要表征晶體結(jié)構(gòu)，最好用波函數(shù)一樣）現(xiàn)在最通用的兩種方式分別為quad binaural和ambisonic。

?

- ?干貨FG ?-

簡單介紹一下，quad binaural就是將一個聲場用0、90、180、270度四個方向去表征。舉例來說，如果是錄制一個點的聲場，我分別將該點在這四個方向（其實就是前后左右啦）的聲音錄進去，每個方向兩個聲道，最終八個聲道。然后當(dāng)我朝向任意一個非正好前后左右的方向時，比如45度，就用四個方向的聲音做一個加權(quán)，得出新的方向的聲音。

這個方法的問題在于，除了平面轉(zhuǎn)頭以外，你上下抬頭或者低頭時，聲音是沒有變化的。不過好處很簡單，解碼非常容易，比如我們很自然就會想到45度時候的聲音就是一半的0度+一半的90（雖然實際情況會更復(fù)雜一些），而且相比現(xiàn)在常用的一階的ambisonic（FOA，first order ambisonic），其對水平方向的敏感度更高。

Ambisonic則是從球諧函數(shù)出發(fā)，(n+1)^2個聲道來表征聲場。

舉例來說，google發(fā)布的omnitone是一階的ambisonic，于是又（1+1）^2=4個聲道，如下圖所示，w,x,y,z。w可以理解成背景聲，x,y,z分別是來自直角坐標(biāo)系三個方向的聲音。

目前國外最頂級的做到五階ambisonic函數(shù)，36個components（因為高階球諧函數(shù)很難再用物理方向去想，所以用components代替方向），用32個話筒采集，再通過組合和矩陣變換來逼近這36個components。Ambisonic的好處在于，有了z（垂直）這個方向，抬頭或者低頭在VR世界里聲音是會有區(qū)別的，而且隨著你提供的運算能力的提升，用更高階的ambisonic函數(shù)可以獲得更好的效果。缺點則在于解碼會更復(fù)雜一些。

?

▲ 越高階的ambisonic函數(shù)解碼越復(fù)雜

舉個簡單的例子，如果你的上下前后左右六個方向分別對應(yīng)歌手ABCDEF六個人，quad binaural的四個雙聲道里分別會灌入CDEF的聲音，每一個又同時包含部分的A,B的聲音，聲場錄制完畢后，如果你把頭從正好向前，稍稍扭轉(zhuǎn)三十度，那么你會從最初C占主導(dǎo)，到聽到更多的D的聲音，但是不論你如果抬頭或者低頭，A,B的聲音都不會改變。

而一階的ambisonic則是在X混入C,E的聲音，Y混入D,F的聲音，Z混入A,B的聲音，W則為背景音，隨著你頭的轉(zhuǎn)動，會改變XYZ的權(quán)重。不過聰明的你一定也發(fā)現(xiàn)，一階ambisonic（FOA）因為將相反方向傳來的聲音（C,D）同時混入了X，所以當(dāng)你轉(zhuǎn)頭的時候，在某些角度下的聽者對方向的靈敏度是不如quad binaural的。

考慮到：（1）歌手在你胯下唱歌的情況比較少見，所以只有A的情況下，垂直方向FOA還是遠優(yōu)于quad binaural， （2）如果你關(guān)心國外已經(jīng)制作出來的演唱會視頻，會發(fā)現(xiàn)制作方為了提高聲音的方位感，往往把音源放在正前或者正左右方向，這是FOA和QB都難以解決的問題。不過隨著計算能力的提升，高階ambisonic（HOA）則可以克服這一問題，這也是google為什么選擇FOA的原因吧。

再說回Google，其在官方博客上公布了其網(wǎng)頁VR音頻系統(tǒng)Omnitone項目的技術(shù)細節(jié)。Omnitone項目是一個跨瀏覽器支持的開源空間音頻渲染器，主要支持目前業(yè)界較為常用的FOA（First Order Ambisonic）格式，這也是YouTube App推薦的主要全景聲格式，以及國內(nèi)創(chuàng)業(yè)團隊時代拓靈的“拓靈VR” App所支持的VR音頻格式之一。

?

▲ Omnitone音頻處理過程圖解

從上圖可以看出，Google的Omnitone 系統(tǒng)的Ambisonic解碼器采用了業(yè)界主流的算法流程，根據(jù)傳感器給出的方位信息， 采用一個旋轉(zhuǎn)算子來實現(xiàn)聲場旋轉(zhuǎn)，進而用雙聲道輸出。

鑒于Google Chrome瀏覽器在市場中的統(tǒng)治地位，我們可以很樂觀的預(yù)測基于FOA的全景聲會在網(wǎng)頁端迎來比較高速的普及率，這對于VR內(nèi)容創(chuàng)作者乃至于整個VR行業(yè)都是一個極大的利好。

當(dāng)然，興奮之余我們依然可以看到很多問題。

其中一個問題就是FOA聲音文件從哪來。VR內(nèi)容制作者用的比較多的如知名VR公司Jaunt使用的 Tetra Mic（CoreSound 生產(chǎn)）價格不菲，僅僅麥克風(fēng)本身就要1000美元，另外還有額外購買線和專用的錄音設(shè)備。而其他品牌的聲場話筒（如SoundField系列）則更加昂貴。這些錄音設(shè)備攜帶起來非常不方便，并需要專業(yè)培訓(xùn)才能使用，制約了FOA音頻的大規(guī)模普及。

▲ Tetra Mic

目前也有公司在嘗試解決這一現(xiàn)狀。VR創(chuàng)業(yè)公司時代拓靈(twirlingvr.com)推出了一款民用級便攜式的聲場錄制機，原生支持FOA（4路WXYZ）音頻格式。輸出的音頻可以直接被支持FOA的軟件或設(shè)備播放。相信隨著制作門檻的降低，基于FOA的內(nèi)容會迎來一個爆發(fā)式的增長。

▲?時代拓靈便攜式聲場錄制機

除此之外，因為不論quad binaural還是ambisonic，都只是一種思路，如何連接現(xiàn)實音源的文件與最終播放出的3D音效，如何用這種思路制作3D聲場，我們?nèi)孕枰粋€VR音頻的制作引擎和播放系統(tǒng)。（就好比google發(fā)布了Hadoop的論文，大數(shù)據(jù)公司再用這種理論去指導(dǎo)他們開發(fā)自己的算法一樣。）這一點拓靈也做到了。其發(fā)布的拓靈聲場引擎，不僅跨平臺地支持多重video、游戲引擎，更從底層上支持quad binaural和ambisonic間的轉(zhuǎn)換，可以說是連接VR內(nèi)容制作者與3D聲場的捷徑。

您也可以關(guān)注我們的官方微信公眾號（ID：ctoutiao），給您更多好看的內(nèi)容。