來源：映維網?作者?廣州客

顯然，你可以和另一個人共同經歷的最親密體驗之一是跳舞。

如果你曾和別人一起共舞，你會知道這是什么感覺。如果雙方已經十分習慣，或者你們本身就是訓練有素的舞者，共舞體驗將十分流暢和放松。但出于多種原因，這段經歷可能十分令尷尬，比如說不認識對方或不懂舞步。共舞需要彼此的信任。日前，藝術家和空間計算研究員安娜·亨森（Anna Henson）在發布于英特爾博客的博文中探索了“混合現實”中的引導體驗，即雙方同時共享虛擬世界和物理世界。下面是映維網的具體整理：

現在請想象一下，你正穿戴著笨重的 頭顯，后腦勺有一條長長的線纜，而且你正置身于一個陌生的虛擬環境中。你一開始就會暈頭轉向，但頭顯之外的聲音引導你慢慢調整呼吸，而你開始放松身心。接下來，你開始摸索這片新領域并慢慢明白自己的能力。旋轉的粉和綠色線條在你身邊移動，而你開始與它們嬉戲。

然后，這個抽象的環境中出現了新的元素。你不再孤單，這不是一個虛擬角色，而是另一個人，另一個可識別的個人。她們對你微笑，慢慢開始映射你的動作。又或者是你在映射她們。現在，顏色線條都附接在你們身上，并且像跳繩一樣將你們串聯起來。一開始有點令人尷尬，但你可以通過移動手臂，仿佛你是握住跳繩的一端。對方正在做同樣的事。很快，你們開始一起共舞。

然后舞者伸出她們的手。盡管有點猶豫，但你同樣伸出雙手并意識到自己能夠看到它們。你擺動手指，看看頭顯中的手指是否同樣如此。在這樣一個如夢如幻的時刻，你會發現你在頭顯中的雙手能夠精確對應你的實際行為。你回頭看看舞者，閱讀她們的面部表情和肢體語言。經過眼神接觸的你們開始走向對方，兩人的手并靠在一起。以上的情景可不是模擬。

正與我們共同發展。研究員保羅·杜瑞什（Paul Dourish）在他的重要著作《Where the Action Is: The Foundations of Embodied Interaction》中闡述了這一點。科技正越來越多地塑造我們娛樂，溝通，甚至是擺弄身體的方式（比如你在查看智能 時的姿態）。但無論科技有多么奇幻或先進，我們永遠無法擺脫我們的生理和心理 層面。另一方面，隨著XR、數字傳感、深度感應和計算機視覺的進步，我們將能夠實現允許計算機與周圍的物理世界進行通信。

在技術層面，所述功能正在迅速發展，并日益集成至我們每天都在使用的設備中（看看你手上的智能手機。你看到前面或后面的攝像頭嗎？你有沒有用過應用濾鏡呢？這是計算機視覺的產物）。但在人際關系，情感和心理社會層面，隨著物理體驗和數字體驗之間的界限日前模糊，而其中的人類表征和人類交互尚未得到與技術層面相同的質疑，研究或討論。

Wake

《Wake》是一款一人穿戴頭顯，并由兩名舞者引導的混合現實體驗。這款體驗通過整合動覺意識方法，與觸覺材料的交互，虛擬對象，物理VR硬件，以及位于同一空間的舞者來構建多感官整合。從映射到物理環境的黑暗虛擬環境開始，用戶與虛擬對象的持續交互將不斷照亮虛擬空間。口頭指導和對話，動覺練習和即興運動有助于用戶在這個空間中的導航。深度攝像頭使得用戶能夠感知一位即時定位的的舞者，并與對方進行簡單的協作性運動。

《Wake》主要是由藝術家和空間計算研究員安娜·亨森（Anna Henson）以及表演二人組合安娜·湯普森（Anna Thompson）和泰勒·奈特（Taylor Knight）創作而成。這個項目由卡內基梅隆大學開發，并得到了Frank-Ratchye STUDIO for Creative Inquiry支持。這個項目繼續了之前的探索，包括具身化交互，媒介體驗中的動覺意識，頭戴式XR體驗中的信任和情感，以及物理和數字之間不斷變化的界限。

《Wake》主要是作為一種判斷頭戴式XR體驗的情感，生理和人際關系質量的工具。我們首先從問題開始，一系列涉及硬件的物理情況，一系列涉及在VR中迷失方向的常見感受，以及一系列涉及社交體驗的性質。我們將從不同的角度來看待所述問題，并通過理解人類在藝術與科學交叉點中的角色來尋找共同點。這種跨學科合作鼓勵擴大對話，并推動我們對每一項專業知識的界理解。我們看到XR，特別是模糊物理和數字邊界的MR，它們從根本上暗示了身體的感知和動覺性質及其伴隨的情感反應。

《Wake》用Unity 3D進行開發，并面向HTC Vive?Pro。用戶和舞者的手腕同時穿戴Vive定位器。然后，英特爾實感D415深度攝像頭掛接在VR頭顯（對應雙眼為之）。接下來，《Wake》利用定制的算法來流式傳輸和渲染實時的高分辨率RGB+深度視頻。

開發《Wake》的第一個技術優先事項是頭顯能夠逼真地渲染舞者。為了做到這一點，我們需要令高保真度的英特爾實感深度攝像頭流以VR可接受的幀速率（90fps）運行。在過去的項目中，我們曾用不同的方式來在VR中表現舞者的身體，如抽象的虛擬角色，基于馬克點的動捕數據呈現，體三維點云捕捉等等。但是，它們都不能實時捕獲和渲染。

在《Wake》中，我們希望探索一個實時流式傳輸的效果。這將允許舞者和用戶之間的即興表演，通過身體運動和面部表情進行交流，以及將口頭交流和觸摸與視覺介導表示相結合的可能性。在項目的早期階段，這款英特爾實感深度攝像頭屬于新推出的產品，其尺寸恰好可以貼合VR頭顯的正面，并成為用戶的POV攝像頭。這類似于筆記本電腦的網絡攝像頭，但對于《Wake》而言，我們研究了遠程呈現和有形存在的交集。

眼神交流對于解釋他人的意圖至關重要。深度攝像頭能夠在實時VR體驗中實現這一功能，而先前的體驗僅限于虛擬化身，無法實現真實的眼睛接觸。在對《Wake》進行的用戶研究中，25名被試中的24人表示自己與舞者直接進行了眼神接觸。除了能夠在舞者進入虛擬空間時“看到”對方之外，由于視頻具有深度數據，而且我們實施了在網格周圍創建動態蒙版的深度過濾過程，所以舞者能夠可信地呈現在虛擬空間之中。網格同時受到虛擬環境中的照明影響，所以能夠進一步將舞者融入至虛擬空間中。

在《Wake》中，系統同時能夠通過Vive定位器追蹤舞者。這意味著共同定位的舞者可以出現在虛擬體驗之中。例如，她們可以在相同的虛擬和物理任務或體驗之中與頭顯用戶互動，并且架構物理世界和虛擬世界之間的橋梁。從舞者的角度來看：“粒子系統是我的服裝，或者我所穿的織物，重點不在于我，而用戶可能甚至不知道他們看到的旋轉線條是由另一個所控制，他們可能認為這只是模擬。但當攝像頭呈現我的真容時，他們就可以看到我的可見形式。我不再只是將他們的注意力轉移至粒子系統，而是更多的是令他們感覺我正和他們在一起。”

我們的研究和實踐旨在尋找開發技術的新方法，從而實現人類對溝通，共享體驗，感官整合和故事敘事的需求的共同發展。技術服務于項目的交流和體驗需求，而它們必須與整體體驗一起進行開發和測試。對于《Wake》而言，實時遠程呈現，以及舞者在虛擬環境中的物理存在都需要在捕獲和渲染舞者的方式方面進行創新。開發一種利用英特爾實感深度攝像頭進行流式傳輸和渲染數據的方法使這項研究成為可能。正如研究員保羅·多里希（Paul Dourish）和其他人所指出的一樣，科技與人類的共同演化不可避免。所以，我們設計能夠幫助我們共同發展的技術，系統和經驗非常重要。

更多關于這一項目的信息請訪問這個頁面。

原文鏈接：https://yivian.com/news/66139.html