蘋果眼動追蹤新專利曝光：可通過生物反饋確定用戶注意力
彭博社記者 Mark Gurman 表示：“蘋果正在開發一種 AI 驅動的健康指導服務和跟蹤情緒的新技術，這是它通過健康和保健功能吸引用戶的最新嘗試。”更具體地說，“新的教練服務（代號為 Quartz）旨在保持用戶鍛煉的積極性，改善飲食習慣并幫助他們改善睡眠”。按照同樣的思路，蘋果在歐洲的一項新專利從另一個方向擴展了他們對健康的關注。
蘋果公司在歐洲申請的這一專利名為“基于眼球的生物反饋”，該申請于 2023 年 4 月 12 日在歐洲公布。該專利涉及使用 XR 頭顯顯示內容，以及確定用戶在顯示內容期間的注意力狀態。
用戶在電子設備上查看內容時的認知或注意力狀態會對用戶體驗產生重大影響。例如，在 XR 環境中使用頭戴式設備（HMD）時，可能需要保持專注和參與，以實現有意義的體驗，例如冥想、學習新技能、觀看教育娛樂內容或閱讀文檔。用于評估用戶查看和與內容交互的注意力狀態的改進技術可以增強用戶對內容的享受、理解和學習。
蘋果的專利涵蓋在呈現內容（例如，視覺或聽覺內容，可能包括現實世界的物理環境、虛擬內容或每種內容的組合）期間或之后確定用戶注意力狀態的設備、系統和方法，以增強體驗。
在示例實施中，冥想和正念練習與本專利中描述的技術相結合，可以通過為個人提供有關冥想表現的實時反饋來增強冥想體驗。
例如，對冥想感興趣的新手在冥想過程中可能難以專注于任務，他們可能會從對自己表現的準確反饋中受益。該專利中描述的技術可以根據用戶注視特征的變化來檢測用戶在冥想時何時分心。
在冥想期間找到明確的注意力缺失標志并提供表現反饋可以增強用戶體驗，從冥想課程中獲得額外的好處，并為用戶提供指導和支持性的教學方法（例如，腳手架教學方法），以推進他們的冥想練習。
眼球注視模式可以根據個人的注意力狀態和面前場景的特征而變化。這些模式可以在使用帶有眼動追蹤技術的 HMD 時獲得，同時用戶執行需要不同程度注意力的正念任務，例如集中注意力進行呼吸冥想。
在冥想過程中，注意力可能會向呼吸方向波動。當一個人在睜眼冥想任務中專注于他們的呼吸時，眼睛的注視可能會很慢，并且僅限于場景的特定區域。當個體失去注意力并開始走神時，眼睛注視穩定性可能會降低和/或眼睛注視速度可能會增加。
觀察一段時間（幾秒鐘到幾分鐘）內眼球注視速度和位置的重復測量可以深入了解用戶在不同時間尺度上的注意力狀態。這些注意力指標可用于在冥想體驗期間提供反饋。
蘋果專利圖 1 說明了顯示視覺體驗并從用戶獲取生理數據的設備；圖 2 說明了圖 1 用戶的瞳孔，其中注視特征隨時間變化；圖 3 是用于對注視特征的可變性進行分類，以確定用戶注意力狀態的方法流程圖表示。
蘋果專利圖 4A 和 4B 是說明用戶在兩種不同注意力狀態下的注視特征變化的圖表；圖 5A 和 5B 是說明用戶在兩種不同注意力狀態下的注視特征變化的圖表。
在蘋果公司的專利圖 6 中，能夠看到一個框圖，說明一個示例性設備的設備組件；圖 7 是一個示例性頭戴式設備（HMD）的框圖。
蘋果新專利為未來 HMD 研究光柵顯示器
2021 年，蘋果發布了多項與光柵顯示器有關的專利，其中實際的 Apple TV 顯示器能夠在沒有 3D 眼鏡的情況下呈現 3D 風格的內容。
近日，蘋果公布了一項名為“光柵圖像生成”的專利申請。該專利于 2023 年 5 月 3 日公布，涉及生成將在光柵顯示器上顯示圖像的方法和裝置。但是電視不是這項專利的重點，而是 HMD，這個詞在專利中被列出了大約 30?次。雖然不限于 HMD，但它是該專利的一大焦點。
在這些方法中，離線生成固定網格，并將紋理信息實時映射到固定網格。在離線過程中，物體的紋理和 3D 網格信息用于渲染物體的多個視點 UV 貼圖視圖，從顯示校準數據生成視圖。
該專利展示的方法實時捕獲紋理信息，并執行合成過程，通過基于光柵到 UV 貼圖從紋理中采樣像素，來生成多個視點的光柵圖像，然后將光柵圖像顯示在光柵顯示器上。檢測到的人員在環境中的位置可用于限制實時合成過程中生成的視點數量。
蘋果專利圖 1A 和 1B 說明了一個光柵顯示 #120 的示例。圖 1A 說明了光柵顯示器示例的 3D 前視圖，圖 1B 說明了示例光柵顯示的俯視圖。
如圖 1A 所示，光柵顯示器可以包括顯示面板 #122，該面板可以是 LCD、OLED、DLP 或 LCoS（硅上液晶）。如圖 1A 和 1B 所示，光柵透鏡?#126 可以是放大鏡（也稱為透鏡）#128 的片狀或陣列，其配置成當從略有不同的角度觀察光柵顯示器時，從不同的視點或視角（例如， VI、V2 和 V3）可以看到正在顯示的光柵圖像的不同視圖。
此外，視角半徑例如可以是 30 度；但是，可以使用更寬或更窄的視角，例如在 15 到 65 度的范圍內。作為非限制性示例，光柵顯示器?#120?可以提供 22 個視角，分布在 30 度的視角半徑上，每 1.6 度具有不同的視圖。
蘋果專利圖 1C 說明了示例設備 #100 的俯視圖，該裝置包括圖 1A 和 1B 中說明的光柵顯示器 #120。根據一些實施例，該裝置可以包括光柵顯示器、一個或多個傳感器 #140 和控制器 #160。傳感器可以收集有關物體?#190?的信息，以作為光柵顯示器上的圖像。
傳感器 #140 可以包括但不限于一個或多個攝像頭，用于捕獲對象 #190 的深度信息。控制器可以包括一個或多個處理器，其處理由傳感器捕獲的數據，以生成對象的紋理（例如，著色和陰影）和網格（例如，3D 表示）信息。從紋理和網格信息，控制器可以生成要顯示在光柵顯示器上的圖像。
蘋果專利圖 2A 說明設備 #200 可以是一個 HMD，戴在用戶的頭上，使光柵顯示器 #210 配置在他們的眼前。
作為另一示例，顯示系統 #210 可以是直接視網膜投影儀系統，其逐像素地掃描左右圖像到受試者的眼睛。為了掃描圖像，投影儀生成光束，這些光束被引導到反射組件，這些組件將光束重定向到用戶的眼睛。HMD 一詞在該專利中被列出 30 次。
蘋果專利圖 5 以圖形方式說明了離線生成光柵到 UV 貼圖的方法。
原文始發于微信公眾號（艾邦VR產業資訊）：蘋果AR/VR新專利：眼動追蹤和光柵顯示
