AR/VR沉浸感的實現除了視覺體驗之外，容易被忽略的一點是音頻的呈現。近日雷鳥開售的全新一代XR眼鏡——Air 1S著重提到了優秀的音質表現，在業內首次搭載了超線性單元 0.5mm 沖程的揚聲器，帶來更具空間感的立體音場，提升身臨其境感。
隨著我們在數字空間中花費的時間越來越多，用戶希望在這些空間中獲得更多自然體驗，而提供逼真的聲音至關重要。支持 VR 和 AR 的聲音一直是該行業面臨的挑戰。
來源：雷朋
我們通過感官感知物質世界，而我們的感官不是靜止的。他們對我們所處的環境做出反應，即使是以我們沒有意識到的方式。然而，我們確實在某種程度上注意到，當虛擬環境的元素以人類思維記錄的方式做出某種不自然的反應時，即在支持 AR 或 VR 的環境中，用戶期望逼真并在沒有得到它注意時，我們得到了“恐怖谷”的感覺。在 VR 和 AR 中，我們需要構建能夠更好地反映我們習慣的人與人和人與環境的聯系的體驗。
在討論 AR 和 VR 的實際應用時，經常會出現音樂會和體育賽事等現場活動。在這些環境中，聲音以其自然的動態特性成為體驗的核心元素。部分體驗取決于用戶相對于聲源（舞臺、運動場、揚聲器等）的位置。
除了娛樂之外，還有一些商業應用需要探索。AR 和 VR 可以為競技場活動做些什么，它們也可以為會議做些什么。會議體驗通常比網絡研討會更有吸引力和令人愉快是有原因的，從 3D、多房間空間獲得的動態音頻就是這些原因之一。
行業領導者談到了 AR 和 VR 如何在試用產品時增強購物體驗。消費者可能想聽聽它在不同距離或在藍牙揚聲器可以派上用場的各種空間中的聲音。消費者可能想知道它在沙灘上的聲音是否和在淋浴時聆聽時一樣好。
隨著企業和創作者學習如何實現，逼真的音頻正在 VR 和 AR 中擴展。AR/VR 技術通過引入兩個主要組件來工作：模擬身臨其境的聲音環境（即模擬耳朵在穿過真實的小房間、大廳、城市場景、荒野環境等時會聽到的聲音），以及噪聲抑制和人聲提取。
空間音景旨在創造更引人入勝和身臨其境的體驗。然而，今天在實施有效的空間音景方面存在技術挑戰。最重要的是延遲。
音頻延遲是音頻到達耳機所需的時間。在音頻和視頻通信同時交付給最終用戶的數字世界中，任何延遲都會導致諸如不同步等復雜情況。例如，在游戲中，爆炸或汽車引擎在與視覺效果不同步的彎道上傾斜，使游戲玩家脫離了沉浸式體驗的意圖。就像在為工作協作而創建的數字虛擬環境中一樣，任何延遲都會破壞與同事之間預期的人與人之間的聯系。
克服這一挑戰需要使用位于個人互聯網之上的實時網絡，并且可以在全球范圍內提供廣泛的覆蓋范圍。人工智能算法可以實時監控這些網絡并自動選擇最有效的路由路徑，提供 400 毫秒或更短的超低延遲。
身臨其境的音景是通過利用多種人工智能技術來解決背景噪音問題而產生的。這項技術已經被用于游戲、社交媒體和工作場所通信。降噪耳機可以幫助聽眾調節接收端的音景，但人工智能驅動的解決方案也可以消除音頻源端分散注意力的噪音。總之，這項技術可以通過消除兩端的影響來為用戶提供最先進的體驗，否則會使聲音體驗看起來錯位。
當我們成功地讓音頻和視頻在虛擬環境中自然交互時，我們就可以向新的受眾開放 AR/VR 市場。許多消費者仍然對探索比表面更深的虛擬空間持謹慎態度。坦率地說，很多人發現不太復雜的 AR/VR 體驗帶來的“恐怖谷”效應實在是不容忽視。人工智能正在引領創造者和企業走出那個山谷。
原文始發于微信公眾號（艾邦VR產業資訊）：聲音正在成為 AR/VR 沉浸感中越來越重要的組成部分
