原標題：為VR實現「手勢識別」需要攻克哪些難點

來源：映維網 作者 廣州客

先放一個視頻，是網絡搜集的各種手部交互產品及VR游戲內容的剪輯。能夠幫助理解手部交互在VR中是多么關鍵的事情。

手部交互在VR中的作用

“手勢識別”通常依賴更基礎的“動作捕捉”（追蹤）。良好可靠的動捕能夠輕易推導出精確的手勢識別結果，反之不成立。

李子琪將出席10月12日由映維網和IDG聯合舉辦的廣州2019小蠻腰科技AR/VR大會，并將發表《VR未來硬件交互范式探討》主題演講，歡迎有興趣的朋友報名參會探討、合作

一：四個基礎條件

VR終極手部交互范式并不是單純的“手勢識別”，它要滿足4個基礎條件，這些條件同時也是需要攻克的難點：

1. 空間定位：理想的空間定位能力，得到手部與人眼（頭顯）的精準相對位置關系，是正確渲染及交互的基礎；

2. 手部追蹤：一只正常人手大概有二十多自由度，加上手腕小臂總計約28個，追蹤需要精準，可靠，低延遲；

3. 觸覺反饋：給人以更明確更加符合直覺的反饋效果(基于視覺原理的裸手操作難以給人明確的反饋)；

4. 工業設計：（實體外設需輕便以降低疲勞，同時不會影響手部自身活動等，以及符合人體工程學佩戴舒適等）

四個基礎條件中的『1. 空間定位』與『2. 手部追蹤』有時可作為一個整體討論，統稱為追蹤定位能力，是手部交互的基石，也是通常學術界所看重的技術難點。

手部追蹤定位能力決定了人在虛擬世界能否像現實世界中一樣自由使用靈巧的雙手。

低品質的追蹤定位增加了用戶疲勞度，降低了輸入效率(要將手置于可識別區域以減少追蹤失效，增大動作幅度以彌補精度不足或自由度的缺失)，以及帶來不確定性輸入的困擾。

(可類比設想使用鼠標時，光標漂移，光標消失，移動精度不足，以及按鍵失靈等問題)。

同時追蹤定位能力是『3. 觸覺反饋』的前置條件，決定了能否在準確的位置和時間觸發產生反饋效果。

所有VR手部追蹤產品只需對照這四點基礎條件進行判斷。

二：計算機視覺方案

由于視野以及手部的自遮擋等原因無法解決『2. 手部追蹤』中的可靠性問題，手部需保持在攝像頭視野中以導致疲勞。同時無法提供『3. 觸覺反饋』，引發用戶困擾。

LeapMotion，微軟HL2的手部追蹤，OC6上Oculus Quest推出的手部追蹤，代表了人類在以計算機視覺為基礎的手部追蹤的最高水準。已經展示出了雙手自然交互的魅力，并已經在許多低交互需求的場景產生價值。然而依舊受原理機制的天花板所限制，低品質的追蹤定位能力并不能提供真正可靠舒適的交互體驗。

LeapMotion公司從融資近億美金到最終3000萬被收購，已經充分說明了基于計算機視覺的手部交互技術的局限性。

需要說明的是AR環境與VR有所差異，為了開放的外部現實環境，即使體驗相對較差，AR也會優先采取裸手方案。相比VR環境已成為基礎配置的6DoF手柄交互以及專門設計優化的OculusTouch和Knuckles手部控制器，當今AR頭顯更多采用效果差強人意的3DoF遙控器和基于計算機視覺的裸手方案。

延伸閱讀：Oculus Quest手部追蹤體驗手記

三：肌電控制方案

該技術本身對『1. 空間定位』、『2. 手部追蹤』、『3. 觸覺反饋』三項技術難點均無法解決至夠好的程度。肌電信號反映的是肌肉收縮所產生的生物電，用戶個體肌肉生理差異大。肌電是肌肉收縮(用力)的信息，與手指等位置的信息本質有所不同。以及為了平滑不可靠的肌電信號會引入較大延遲。這些都是理想交互方案的大忌。在可預見的未來中此類技術對手部的追蹤與其他方案相比，不具備優勢。

CTRL—Labs（收購了MYO肌電臂環的專利），現正與Facebook談被收購事宜，擬5-10億美金。是當今唯一融資額度巨大，對外宣稱想把此技術運用于VR/AR交互控制的公司。（補充：Facebook已經公開宣布未來想把CTRL—Labs與手部追蹤方案（Oculus Quest上采用的基于視覺的手部追蹤方案）進行結合。）

本人對此方案結合持疑惑態度。這兩種技術并無很好的互補能力，甚者會結合放大二者的缺點。

四：手柄方案

經過近幾年的行業發展，較好的VR頭顯均實現了6DoF的手柄空間定位，很好地完成了『 1.空間定位』這項基礎而又重要的條件要求。

同時，VR手柄已經從開始的棒狀（HTC Vive及PSVR手柄）迭代進化，出現了Oculus Touch和Valve Index的Knuckles，逐步向更優秀的手部追蹤及工程學迭代進步。『1. 空間定位』已經符合預期，也確實向『2. 手部追蹤』與『4. 工業設計』目標邁出了一大步。而受制于手柄形態限制，無法將『2. 手部追蹤』推向理想水準，以及對『3. 觸覺反饋』的支持較為普通。

五：數據手套方案

數據手套是個一言難盡的話題。數據手套方案給人直觀的感覺是: 『1-4』的要求都能夠滿足，只是價格較貴。很多人的偏見是認為手套形態設備就會很“準”，同時也認為使用數據手套會降低舒適度?，F實并非如此，數據手套形態與“準”并無因果關系，市面上充斥的是大量低水準昂貴的雞肋產品；而工業設計及傳感方案的好壞決定最終舒適程度。

基于數據手套捕捉人手姿態時主要使用的傳感器類型（技術原理），包括且不限于機械外骨骼傳感器式、光纖傳感器式，彎曲傳感器式，磁感應式，慣性傳感器（一般為包括加3軸速度計、3軸陀螺儀和3軸磁力計的九軸IMU）式等。

每一種類別情況要考慮的問題均不相同，但總的來說，任何一種方案想要做好絕非易事。這也是為什么長久以來沒有誕生一種低成本完成的可靠精細手部動作捕捉的技術。

當今即便普通商用版數據手套（5K-50K人民幣每套），在『2. 手部追蹤』方面實際都差強人意，是十分雞肋的存在，有時用于一些低水平的影視動作捕捉，需要復雜耗時的人工后期修正處理。若基礎追蹤定位能力都無法達標，在此基礎上去追求『3. 觸覺反饋』更是是本末倒置的做法。

僅從動作捕捉效果考量，當今紙面參數最好的數據手套，是頂配級別的光纖式數據手套，售價大概在15-20W人民幣每套，成本約在數萬人民幣。其追蹤效果大概與排除了可靠性和視野問題的頂級計算機視覺手部動捕方案相當。

過去很長時間，計算機視覺有了長足的發展，人們總想把一切問題都交由計算機（視覺）去解決。計算機目前是一個相對低進入門檻卻高產出門檻的行業，吸收了大量資源，也導致流向其它重要行業的資源十分有限。數據手套在看似無限前景的計算機視覺行業的夾縫里艱難進步，各種方案層出不窮卻未能出現真正好的大一統式的產品變革?？梢哉f當今的數據手套方案與諸如Valve Knuckles和Oculus Touch這樣的新型手柄相比，并無優勢可言。

六：我們的方案

但是！但是！但是！現今事情有了改觀

源域科技 — MASTERY 手部交互

源域科技（我們），打造了革命性的數據手套方案 MASTERY–掌控，以革新性的工程及算法方案幾乎徹底解決了上述所列的所有關鍵問題。這無疑是當今世界最為接近理想，且價格能被普通消費市場接受的方案，有望成為未來VR世界的交互范式，將整個VR行業的人機交互水準提升到一個前所未有的新高度。

資本2016年左右跟風投了大量垃圾VR項目，幾乎都失敗了，國內資本幾乎不再關注這個行業了，國內VR有關企業都只能艱難發展。與國內態度截然相反的是，美國扔在持續不斷投資發展這個行業，VR行業有了長足的發展。

PS：如果您對本項目感興趣，有合作及投資意愿的朋友與我們聯系（微信：licn2014）！返回搜狐，查看更多

責任編輯：