隨著Meta Quest Pro、PICO 4、奇遇MIX等VR頭戴顯示設備的發布，視頻透視VST（Video See-Through）發展到全彩階段，也推動VR發展向MR。

全彩透視（Full-color seethrough）屬于視頻透視技術（Video-seethrough），即通過相機捕捉到實時畫面， 將虛擬世界和真實世界合成后，呈現多種色彩的顯示畫面。值得注意的是，與AR設備顯示的畫面不同，全彩透視技術看到的現實世界，并非是通過人眼直接看到的真實世界，而是機器拍攝現實世界場景，經過系統處理之后投射在顯示屏上的畫面。

視頻透視（VST）光學路徑示意圖

全彩透視的技術優勢

?

VR最大的問題是視野遮擋，全彩透視解決了這個痛點問題，這也是VR之后拓展社交應用的重要路徑。

擴大用戶的活動場景——不再受限于狹小的安全區，用戶可以自由地在房間內選擇活動空間，甚至天花板也可以成為新“畫板”。

將虛擬形象和物體引入現實場景，增強可玩性和沉浸感。

全彩透視實現的硬件方案

現有的VR設備上支持的多數為黑白透視，利用主機外部的空間攝像頭以及一些簡單的算法，就可以實現不錯的透視效果。

黑白透視場景

盡管只是簡單的“上色”一步，要做到全彩透視，背后需要考慮多個技術的融合。目前，全彩透視主要可以分為四步：透視、空間錨點（放置AR物體）、三維重建、環境理解及對象識別。

全彩透視場景

在硬件上，為保證視野范圍，一般需要用到4顆攝像頭：三顆光學攝像頭，一顆TOF攝像頭，包括廣角、變頻、彩色。

奇遇MIX在VR眼鏡正面中間位置新增了兩顆1600萬像素的透視專?全彩攝像頭，實現了全彩視頻透視功能。

Meta Quest Pro采用2顆黑白攝像頭+1顆彩?攝像頭補?的方案。

PICO 4搭載4顆超廣角環境追蹤攝像頭和一顆1600萬像素的RGB攝像頭實現全彩透視。

全彩透視技術供應商

聯合光電、索尼、舜宇、歐菲光、歌爾等。

原文始發于微信公眾號（艾邦VR產業資訊）：VR全彩透視解決方案