來源:映維網?作者?顏昳華
有人說判斷是否真笑要看眼睛。在眼球、眉毛、眼部皺紋等區域之間,我們其實可以發現不少的信息,而眼球區域的微表情有一個額外的好處:你利用這一點來判斷面部其他區域正在做什么。
早前谷歌研究院的研究已經表明,這種信息足以支持深度學習系統判斷出一系列基本的表情,而且相當精準。
Magic Leap同樣有涉足這方面的研究。日前,美國專利商標局公布了一份名為“Facial Expressions From Eye-Tracking Cameras”的Magic Leap專利申請。
所述專利主要描述了合成面部圖像的系統和方法。這家公司指出,頭顯的內朝向攝像頭可能只能觀察到面部的一部份,而專利描述的方法可以至少部分地根據成像的面部構造來生成未成像面部部分的映射,并使用所述映射來確定無法觀察的面部部分構造。然后,頭顯可以組合觀察到的部分和未觀察到的部分,從而合成全臉圖像。
Magic Leap解釋說,即使攝像頭可能無法直接觀察眉毛,或嘴唇/嘴巴/下顎附件區域,但所觀察到的攝像頭圖像可能能夠識別出肌肉收縮或特征變化。例如,攝像頭觀察到的眼周區域(眼球周圍區域)圖像可以包括一定的上眼周區域(如瞳孔上方的眼周區域),其可能能夠說明與眉毛抬高和眼睛形狀變化的相關肌肉收縮和特征改變。這樣的肌肉收縮和特征改變提供了檢測相應面部表情改變的潛力。
所以,可穿戴設備可以根據眼周區域的各種觀察特征來推斷未觀察到的區域構造。在一些實施例中,系統可以生成這樣的特征表達關聯或推斷映射。然后,可以使用各種可觀察到的特征輸入來生成映射,如皮膚的拉伸和壓縮和面部特征的形狀(皺紋和斑點等)。
另外,映射可以是表情推斷模型的一部分,而且映射可以是通用,也可以針對特定用戶進行個性化設置。例如,AR設備可以配備有代表大量用戶的通用映射,然后可以根據特定用戶圖像的分析個性化映射。
觀察到的圖像可以與推斷圖像相結合并生成全臉圖像。通過利用機器學習原理(如人工智能和神經網絡等),系統可以實時準確地分類眉毛狀態和面部特征的變化。
相關專利:Facial Expressions From Eye-Tracking Cameras
名為“Facial Expressions From Eye-Tracking Cameras”的專利申請最初于2019年3月提交,并在日前由美國專利商標局公布。需要注意的是,這只是一份專利申請,尚不確定具體的效果,以及Magic Leap將于何時 化具體的發明技術。
原文鏈接:https://yivian.com/news/66704.html