隨著對(duì)AR體驗(yàn)逼真的體積視頻的需求開始增長(zhǎng)，Google的研究人員找到了解決方案。Google團(tuán)隊(duì)設(shè)計(jì)了一個(gè)名為“The Relightables”的系統(tǒng)，該系統(tǒng)由一個(gè)球形籠子組成，裝有330個(gè)可編程LED燈和大約100個(gè)用于捕獲體積視頻的攝像機(jī)。

“The Relightables”系統(tǒng)實(shí)現(xiàn)了三項(xiàng)創(chuàng)新。首先，該系統(tǒng)的攝像機(jī)用作深度傳感器，捕獲其主體的12.4MP深度圖。其次，該團(tuán)隊(duì)創(chuàng)建了幾何和機(jī)器學(xué)習(xí)重建管道，以從捕獲的數(shù)據(jù)中合成視頻。

最后，該系統(tǒng)還捕獲與深度圖時(shí)間同步的反射率圖，從而可以在AR或VR場(chǎng)景中操縱對(duì)象的照明，而無需維護(hù)原始工作室的照明。該信息是通過交替閃爍兩種不同的顏色漸變圖案獲得的，系統(tǒng)在視頻重建期間將其用于推斷對(duì)象的反射特性。

該團(tuán)隊(duì)最近通過計(jì)算機(jī)協(xié)會(huì)發(fā)表了研究結(jié)果，其研究結(jié)果將在SIGGRAPH Asia 2019上發(fā)表。

研究小組在論文摘要中寫道：“盡管在體積捕獲系統(tǒng)方面取得了重大進(jìn)展，重點(diǎn)是具有高分辨率紋理的3D幾何重建，但是在恢復(fù)照明所需的光度特性方面所做的工作卻少得多。”

“相比之下，大量工作已經(jīng)解決了基于圖像的方法的可重新照明獲取的問題，該方法在一組基本照明條件下拍攝對(duì)象并重新組合圖像以顯示對(duì)象，就像它們將出現(xiàn)在目標(biāo)照明環(huán)境中一樣。但是，迄今為止，這些方法還沒有適合在高分辨率的體積捕獲系統(tǒng)中使用，我們的方法結(jié)合了這種能力，并具有自由視點(diǎn)體積捕獲和新的幾何水平的優(yōu)點(diǎn)。”

在過去的兩年中，體積視頻領(lǐng)域一直穩(wěn)定增長(zhǎng)。除了Microsoft的Mixed Reality Capture Studios外，索尼還建立了自己的工作室，而Verizon收購(gòu)Jaunt是因?yàn)槠渖孀泱w積捕獲技術(shù)。

《紐約時(shí)報(bào)》展示了體積視頻如何增強(qiáng)增強(qiáng)現(xiàn)實(shí)內(nèi)容的沉浸式敘事效果，而8th Wall已將對(duì)該格式的支持?jǐn)U展到基于Web的AR平臺(tái)。同時(shí)，Magic Leap收購(gòu)了Mimesys及其實(shí)時(shí)全息視頻通話技術(shù)，顯示了體積視頻捕獲將如何改變?nèi)藗冊(cè)诓痪玫膶磉M(jìn)行交流的方式。