隨著VR行業技術升級，更自然的交互方式也隨之而來，自然手勢識別追蹤技術憑借更符合人真實操作習慣受到To B和To C的關注。而手勢識別技術的升級也能方便打通上下游關系，加大內容開發者創作空間，增加游戲趣味性使其交互方式得到更大提升。
由趣立科技研發的6DoF一體機解決方案“騏驥”中已經搭載最新的自然手勢識別系統，合作方可在系統中直接去調用此模塊最終完成自然手勢的識別任務。影創科技也成為國內VR行業首家擁有自然手勢識別產品化方案的公司，而全球目前也僅有Quest擁有該項技術。
?
騏驥設備下的自然手勢玩音游
【自然手勢識別】是基于計算機視覺和人工智能算法，對攝像機采集到的圖像中用戶手部區域進行檢測和對其姿態進行估計，從而得到全自由度自然手勢跟蹤的技術。通俗地可對其拆分為3個步驟：第一、要解決手在什么位置；第二、解決手是何種姿態；第三、識別手在做什么？前面兩項很多時候是放在一起做姿態預估，最后對動、靜態手勢做時間序列劃分，并完成最終的指令實現。從硬件來說，目前市面上常見的手勢識別方案中所采用的檢測設備大致分為四類：純紅外攝像機、灰度攝像機、RGB攝像機及深度攝像機。各方案都有比較明顯的優劣勢。比如深度攝像機雖然可以根據深度信息較其他方法更簡單地獲取手部區域的位置和形狀，但FOV很小、幀率很低、成本高、功耗較大，而且目前VR一體機的現狀，手勢識別與SLAM的攝像頭需要做復用，深度攝像頭很難拿來做SLAM算法，所以目前在XR的領域應用場景中會有局限性。紅外攝像機的原理是將模塊內置紅外LED光源，光線反射回手勢識別模塊的紅外攝像頭中，實現基于光學數據的手勢識別。由于使用主動光源，所以它的環境適應性好，也比較容易能檢測到手部區域，但是它同時會加大功耗，尤其是伴隨對手部使用范圍的增大，需要更多數量和更大功耗的紅外光，這對整體的ID設計以及成本都是非常大的挑戰。此方案比較知名的則是Leap Motion。針對灰度相機與RGB相機的方案，RGB相機由于能更好地將手和環境用顏色進行區分所以具備較好的識別作用，但同樣也有FOV較小、幀率較低的問題。而灰度相機優勢是FOV比較大、幀率高、覆蓋范圍大、適應性強、且成本相對可控，缺點則是難度系數較高，因為在黑白灰的世界中，要將手和復雜的環境背景準確快速得剝離開，需要在算法方面下足功夫。而6DoF解決方案“騏驥”融合的則是根據現有一體機的灰度攝像頭進行復用的方式。
騏驥設備的自然手勢識別操作
此項手勢識別技術算法經多期打磨調整，目前已達到通用狀態，算法框架可適用于任何攝像機設備中，在未來產品中，新一代的VR一體機解決方案可能采用彩色RGB攝像機和灰度攝像機的搭配（彩色負責透視、灰度負責6DoF追蹤）。而自然手勢識別本質依舊會采用基于6DoF的灰度攝像頭為主，彩色攝像頭作為輔助在識別過程中對手在與環境剝離時的精度進行補充。整個手勢識別技術比較難的是，手與面部、人體的識別不同，因為手部復雜度相對比較高、自遮擋嚴重，手部可以非常快地移動并且外觀可以在幾幀內大幅變化。而目前“騏驥”解決方案中能做到準確性高、低延遲，是因為依靠影創自研的數據深層采集和標注平臺。基于平臺有非常多的參考數據，同時在深度模型的序列方面有自研成果，并沉淀了6年多的技術積累及龐大的數據參考值。
手勢識別技術的發展能夠更好地拓寬內容開發者的想象空間，在內容創作時增加多重玩法及交互體驗，比如在玩音游的時候可以直接用手來操作，或是在RPG游戲中一個特定手勢就可以實現魔法攻擊，甚至在未來一組手勢也能夠完成“火影忍者”里的結印。
B端的應用場景則更廣泛。在智能辦公方面，隨著VR設備逐漸向辦公工具靠攏，自然手勢識別能更好地通過特定的放大縮小拖拽等手勢，完成匯報方案演講的展示，實現真正意義上的便攜式辦公環境。而教育教學中，也可更好地直接用手部識別技術完成教學課件的拆裝、組合等要求，更便捷有效地完成操作互動。相信未來隨著自然手勢識別的更進一步發展，定能催生更多的應用場景，同時還可以根據不同需求，量身定制專屬的解決方案。
文章來源：影創科技
?
原文始發于微信公眾號（艾邦VR產業資訊）：國內首款VR自然手勢識別一體機方案
