今年六月，Meta首席執行官馬克·扎克伯格和Reality Labs首席科學家邁克爾·亞伯拉什（Michael Abrash）分享了蘭曼團隊參與的原型。他們的目標是實現一種能夠視覺再現物理現實的虛擬現實顯示器，同時將其整合在緊湊頭顯之中。

但要開發近乎完美的VR頭顯，行業依然面臨一系列的挑戰，而負責Meta顯示系統開發的道格拉斯·蘭曼在今年的Siggraph大會介紹了其中的十大障礙：

1. 高分辨率

目前的VR頭顯在分辨率方面依然離人類視覺十分遙遠。為了令虛擬世界看起來像物理世界一樣逼真、清晰，并且實現文本在中等距離的可讀性，VR顯示器的分辨率必須顯著提高。

Meta認為單眼8K，像素密度60 PPD是初步目標。作為比較，當前的Quest 2單眼2K，PPD為20。

為了幫助研究人員體驗“視網膜分辨率”，并評估其沉浸式效果，Meta開發了一款實驗原型Butterscotch。蘭曼指出，高分辨率顯示器的開發和生產不是最大的問題。問題在于支持這等高分辨率顯示器所需的計算能力。注視點渲染和云端串流可能有所幫助，但它們本身存在重大的技術挑戰。

2. 更寬的視場

蘭曼表示，行業在視場方面需要進一步努力。人類的水平視場約為200度寬。商用VR頭顯通常只提供100度的水平視場。另外，我們在垂直視場方面同樣有改進的空間。

更寬的視場對透鏡技術提出了巨大挑戰，具體可表現為視場邊緣的圖像失真。這里同樣出現了計算能力問題。視場越寬，VR頭顯需要顯示的像素越多。這導致更高的功率要求和更多的廢熱產出。

3. 人體工程學

VR頭顯依然厚重。理想狀態的VR頭顯需要足夠舒適以支持長時間穿戴。

Pancake透鏡和全息透鏡可能會有所幫助。Meta的全功能Holocake 2原型顯示了一個未來方向。但問題在于：Holocake 2使用定制激光器作為光源，但其尚未發展到可行的大規模生產水平。

4. 帶視覺校正的顯示器

完美的VR頭顯應該能夠檢測并補償用戶的視覺缺陷，這樣存在視力問題的用戶就不再需要傳統的眼鏡或隱形眼鏡。

這個問題可以通過特殊的附件進行解決，但它們不是理想的解決方案。最佳方案是頭顯可以根據用戶自身的視力來進行視覺調整。如果顯示器自帶視覺校正能力，頭顯設計師就不再需要考慮適配眼鏡等問題。

5. 變焦

困擾現代VR/AR頭顯的一個重大挑戰是視覺輻輳調節沖突。在現實世界中，人眼可以自然地對焦一個對象，而世界的其他元素則脫離焦點。VR/AR的問題是，無論你在數字世界中看向何方，你都只是盯著固定的屏幕，亦即看著相同的距離。換句話說，視覺調節（彎曲眼睛晶狀體以聚焦不同距離的對象）永遠不會改變，但視覺輻輳（眼睛向內旋轉以將每只眼睛的視圖重疊成一個對齊圖像）卻會出現，從而導致視覺輻輳調節沖突。

為了解決這個問題，Meta的研究人員開發了一種支持“漸進視覺”的顯示器。所述顯示器模擬不同的焦平面和模糊，從而幫助眼睛自然地看到虛擬世界。Meta的變焦原型稱為Half Dome，而團隊針對這個問題已經有大量的研究。

6. 支持所有人的眼動追蹤

眼動跟蹤是虛擬現實中的一項關鍵技術。它是眾多其他重要VR技術的基礎，如漸進視覺、注視點渲染和畸變校正。它同時可以在社交體驗中支持眼神交流，并且提供新的交互方式。

不過，眼動追蹤的一個問題是，它并不能支持所有人，畢竟不同人的瞳孔不盡相同。所以，行業需要一個能夠覆蓋廣泛人口的可靠解決方案。否則，這項技術不但無法提供幫助，反而會令消費者感到失望。

7. 畸變校正

透鏡固有地產生了必須由軟件校正的圖像畸變。瞳孔最輕微的移動都會導致細微但明顯的畸變。它們損害了視覺真實感，尤其是與漸進式顯示等其他技術相結合時。

為了加速校正算法的發展，Meta的研究人員開發了一個畸變模擬器。它可以用來測試不同的透鏡、分辨率和視場，而無需構建測試頭顯和特殊透鏡。

憑借這一獨特的快速原型制作能力，團隊首次能夠進行用戶研究，調查眼動追蹤畸變校正。與當今頭顯中的校正軟件不同，動態畸變校正利用眼動追蹤來更新渲染的校正，這有可能產生今天靜態校正所不能產生的始終穩定圖像。

快速原型技術有望大大加快對VR透鏡畸變和各種校正的研究，為未來VR頭顯減少畸變鋪平道路。

8. 高動態范圍（HDR）

物理對象和環境的亮度遠高于虛擬現實顯示器。針對這個問題，Meta構建了一款亮度峰值可以達到20000 NIT的原型Starburst。相比之下，HDR電視可以提供數千NIT，而Quest 2只能提供100NIT。

Starburst可以逼真地模擬封閉房間和夜間環境中的照明條件。不過，目前的原型機非常重，需要懸掛到天花板。另外，這個原型非常耗能。

值得一提的是，Meta認為HDR對視覺真實感的貢獻要大于分辨率和可變焦距，但距離實際實現最為遙遠。

9. 視覺真實感

完美的VR頭顯必須在兩個方向都做到半透明。VR用戶應該能夠看到環境，而環境同樣能夠看到VR用戶。這既是出于用戶舒適性的原因，又是出于社會接受度的原因。

頭顯傳感器記錄環境并在虛擬現實中顯示為視頻圖像。這稱為“透視”的技術已經存在于商用VR頭顯中，不過質量很差。例如，Quest 2提供了一種黑白相間的透視模式，而“Quest Pro”則應該可以以更高的分辨率和彩色透視進一步實現質量提升。

然而，系統尚未實現物理環境的完美重建。有待解決的問題之一是，透視技術捕獲的是從眼睛空間移位的世界視角，而這在長時間使用過程中可能會產生問題。所以，Meta正在研究人工智能輔助的視線合成，從而實時生成透視正確的視點，并實現高視覺保真度。

Meta同時有在探索“反向透視”的技術。VR頭顯一般會遮擋用戶的面容，但利用反向透視，第三人將可以看到VR用戶的眼睛和面部，從而可以進行眼神交流或閱讀面部表情。不過，所述技術尚未成熟。

10. 面部重建

空間共在感是Meta的最終目標之一。這家公司希望有朝一日人們能夠在虛擬空間中實現如同現實世界一樣的共在會面。為此，Meta正在展開名為Codec Avatars的項目研究。盡管團隊已經在質量方面取得了長足的進步，但相關成本依然高昂。

當然，這方面的第一步是實時讀取面部表情，并將其傳輸到VR頭顯之中，而Quest Pro將是Meta第一款提供面部追蹤的設備。

來源：映維網https://news.nweon.com/99849

原文始發于微信公眾號（艾邦VR產業資訊）：Meta：完美VR頭顯的十大障礙