據外媒venturebeat報道，Facebook的AR/VR研發部門Facebook Reality Labs近日發表了一篇名為《Neural Supersampling for Real-time Rendering》的論文，該論文詳細闡述了一項全新技術“神經超采樣實時渲染”，該技術可以對實時渲染的3D內容進行超采樣處理，采用機器學習方法將低分辨率、計算上更容易成像的圖片轉換成高分辨率的輸出圖像。

如果要理解Facebook這項創新技術，我們不妨打個比方我們可以把《蒙娜麗莎》的畫像想象成一個由16個彩色正方形組成的4×4網格圖。常見的問題是，通常我們注視網格圖的時候往往會深陷于其表面凹凸不平的鋸齒狀方形圖像，而發現不了圖像原本真實的模樣。但通過機器學習方法，我們就能很快對這張網格進行計算，并從中識別出《蒙娜麗莎》的畫像。

為此，Facebook的研究人員通過三層卷積神經網絡開發了這項全新技術，如上所述在識別畫像的機器學習過程中采用了該神經網絡，并以場景統計進行了計算識別，從而能夠快速恢復畫像清晰的細節，同時節省了在實時應用中直接渲染細節所需的計算開銷。該技術不僅適用于平面圖像，而且也適用于3D渲染場景，可將“高度混疊運動”轉換為“實時的高保真度和時間點穩定性的結果”，同時考慮了顏色、深度貼圖和時間運動矢量等變量。

從計算的角度來看，這項研究表明，通過預先機器學習，我們可以將與原版《毀滅戰士》游戲相似的3D環境渲染成類似于VR游戲《雷神之錘》的游戲畫質。雖然這并不意味著游戲開發人員可以通過該方法將3D游戲直接轉化成VR游戲，但通過該技術可以讓諸如Oculus Quest的VR一體機以較少的功耗實時渲染出高分辨率的圖像輸出效果。

盡管機器學習的細節很復雜，但其最終結果是，神經網絡是使用從給定3D場景的100個視頻中捕獲的圖像進行訓練的，因為真實的用戶可能會從各種角度來體驗它。這些圖像都采用了全分辨進行渲染場景，其中1600 x 900像素場景渲染時間為140.6毫秒，而400 x 225像素場景渲染時間為26.4毫秒，4×4網格上采樣的時間為17.68毫秒，總計渲染時間為184.68毫秒，在非常接近原始圖像的情況下，渲染時間節省了近3.2倍。這樣一來，Oculus Quest用戶將能受益于性能強大的PC的計算輸出結果。

研究人員表示，他們的系統通過提供更高的重建精度，其性能優于最新版本虛幻引擎的時間抗鋸齒縮放技術。同時研究人員認為NVIDIDA的深度學習超級采樣技術（DLSS）最接近其解決方案，但是DLSS依賴于專有的軟硬件，而這些軟硬件可能無法在所有平臺上都通用。相比之下，Facebook的解決方案不需要采用特殊的軟硬件，就可以輕松集成到3D引擎中，從而實現4×4超級采樣，而普通解決方案最多只能支持2×2上采樣。

雖然Facebook正在開發的神經超采樣實時渲染技術十分新穎且應用前景廣闊，但它還并不完美。盡管該技術通過機器學習使生成的圖像具備了穩定的平滑度，但是在生成的過程中可能會丟失一些精細的細節。例如，如果以低分辨率進行渲染時最后幾幀文本沒有被正確的標記出來，那么該文本可能無法在便箋上被讀取。其次，盡管更高的性能、更好的優化有望提高系統的性能，但開發“高分辨率顯示應用”所需的高昂成本仍是短期內難以解決的問題。

即使Facebook解決方案目前面臨著很多現實問題，但綜上所述，我們依舊可以清晰的看出神經超采樣實時渲染技術對于VR/AR頭顯朝著更高分辨率、更快幀速率的方向發展起到了積極推進作用。