蘋果眼動(dòng)追蹤新專利曝光：可通過(guò)生物反饋確定用戶注意力
彭博社記者 Mark Gurman 表示：“蘋果正在開(kāi)發(fā)一種 AI 驅(qū)動(dòng)的健康指導(dǎo)服務(wù)和跟蹤情緒的新技術(shù)，這是它通過(guò)健康和保健功能吸引用戶的最新嘗試。”更具體地說(shuō)，“新的教練服務(wù)（代號(hào)為 Quartz）旨在保持用戶鍛煉的積極性，改善飲食習(xí)慣并幫助他們改善睡眠”。按照同樣的思路，蘋果在歐洲的一項(xiàng)新專利從另一個(gè)方向擴(kuò)展了他們對(duì)健康的關(guān)注。蘋果公司在歐洲申請(qǐng)的這一專利名為“基于眼球的生物反饋”，該申請(qǐng)于 2023 年 4 月 12 日在歐洲公布。該專利涉及使用 XR 頭顯顯示內(nèi)容，以及確定用戶在顯示內(nèi)容期間的注意力狀態(tài)。
用戶在電子設(shè)備上查看內(nèi)容時(shí)的認(rèn)知或注意力狀態(tài)會(huì)對(duì)用戶體驗(yàn)產(chǎn)生重大影響。例如，在 XR 環(huán)境中使用頭戴式設(shè)備（HMD）時(shí)，可能需要保持專注和參與，以實(shí)現(xiàn)有意義的體驗(yàn)，例如冥想、學(xué)習(xí)新技能、觀看教育娛樂(lè)內(nèi)容或閱讀文檔。用于評(píng)估用戶查看和與內(nèi)容交互的注意力狀態(tài)的改進(jìn)技術(shù)可以增強(qiáng)用戶對(duì)內(nèi)容的享受、理解和學(xué)習(xí)。蘋果的專利涵蓋在呈現(xiàn)內(nèi)容（例如，視覺(jué)或聽(tīng)覺(jué)內(nèi)容，可能包括現(xiàn)實(shí)世界的物理環(huán)境、虛擬內(nèi)容或每種內(nèi)容的組合）期間或之后確定用戶注意力狀態(tài)的設(shè)備、系統(tǒng)和方法，以增強(qiáng)體驗(yàn)。在示例實(shí)施中，冥想和正念練習(xí)與本專利中描述的技術(shù)相結(jié)合，可以通過(guò)為個(gè)人提供有關(guān)冥想表現(xiàn)的實(shí)時(shí)反饋來(lái)增強(qiáng)冥想體驗(yàn)。例如，對(duì)冥想感興趣的新手在冥想過(guò)程中可能難以專注于任務(wù)，他們可能會(huì)從對(duì)自己表現(xiàn)的準(zhǔn)確反饋中受益。該專利中描述的技術(shù)可以根據(jù)用戶注視特征的變化來(lái)檢測(cè)用戶在冥想時(shí)何時(shí)分心。在冥想期間找到明確的注意力缺失標(biāo)志并提供表現(xiàn)反饋可以增強(qiáng)用戶體驗(yàn)，從冥想課程中獲得額外的好處，并為用戶提供指導(dǎo)和支持性的教學(xué)方法（例如，腳手架教學(xué)方法），以推進(jìn)他們的冥想練習(xí)。眼球注視模式可以根據(jù)個(gè)人的注意力狀態(tài)和面前場(chǎng)景的特征而變化。這些模式可以在使用帶有眼動(dòng)追蹤技術(shù)的 HMD 時(shí)獲得，同時(shí)用戶執(zhí)行需要不同程度注意力的正念任務(wù)，例如集中注意力進(jìn)行呼吸冥想。在冥想過(guò)程中，注意力可能會(huì)向呼吸方向波動(dòng)。當(dāng)一個(gè)人在睜眼冥想任務(wù)中專注于他們的呼吸時(shí)，眼睛的注視可能會(huì)很慢，并且僅限于場(chǎng)景的特定區(qū)域。當(dāng)個(gè)體失去注意力并開(kāi)始走神時(shí)，眼睛注視穩(wěn)定性可能會(huì)降低和/或眼睛注視速度可能會(huì)增加。觀察一段時(shí)間（幾秒鐘到幾分鐘）內(nèi)眼球注視速度和位置的重復(fù)測(cè)量可以深入了解用戶在不同時(shí)間尺度上的注意力狀態(tài)。這些注意力指標(biāo)可用于在冥想體驗(yàn)期間提供反饋。蘋果專利圖 1 說(shuō)明了顯示視覺(jué)體驗(yàn)并從用戶獲取生理數(shù)據(jù)的設(shè)備；圖 2 說(shuō)明了圖 1 用戶的瞳孔，其中注視特征隨時(shí)間變化；圖 3 是用于對(duì)注視特征的可變性進(jìn)行分類，以確定用戶注意力狀態(tài)的方法流程圖表示。蘋果專利圖 4A 和 4B 是說(shuō)明用戶在兩種不同注意力狀態(tài)下的注視特征變化的圖表；圖 5A 和 5B 是說(shuō)明用戶在兩種不同注意力狀態(tài)下的注視特征變化的圖表。
在蘋果公司的專利圖 6 中，能夠看到一個(gè)框圖，說(shuō)明一個(gè)示例性設(shè)備的設(shè)備組件；圖 7 是一個(gè)示例性頭戴式設(shè)備（HMD）的框圖。蘋果新專利為未來(lái) HMD 研究光柵顯示器
2021 年，蘋果發(fā)布了多項(xiàng)與光柵顯示器有關(guān)的專利，其中實(shí)際的 Apple TV 顯示器能夠在沒(méi)有 3D 眼鏡的情況下呈現(xiàn) 3D 風(fēng)格的內(nèi)容。
近日，蘋果公布了一項(xiàng)名為“光柵圖像生成”的專利申請(qǐng)。該專利于 2023 年 5 月 3 日公布，涉及生成將在光柵顯示器上顯示圖像的方法和裝置。但是電視不是這項(xiàng)專利的重點(diǎn)，而是 HMD，這個(gè)詞在專利中被列出了大約 30?次。雖然不限于 HMD，但它是該專利的一大焦點(diǎn)。在這些方法中，離線生成固定網(wǎng)格，并將紋理信息實(shí)時(shí)映射到固定網(wǎng)格。在離線過(guò)程中，物體的紋理和 3D 網(wǎng)格信息用于渲染物體的多個(gè)視點(diǎn) UV 貼圖視圖，從顯示校準(zhǔn)數(shù)據(jù)生成視圖。
該專利展示的方法實(shí)時(shí)捕獲紋理信息，并執(zhí)行合成過(guò)程，通過(guò)基于光柵到 UV 貼圖從紋理中采樣像素，來(lái)生成多個(gè)視點(diǎn)的光柵圖像，然后將光柵圖像顯示在光柵顯示器上。檢測(cè)到的人員在環(huán)境中的位置可用于限制實(shí)時(shí)合成過(guò)程中生成的視點(diǎn)數(shù)量。
蘋果專利圖 1A 和 1B 說(shuō)明了一個(gè)光柵顯示 #120 的示例。圖 1A 說(shuō)明了光柵顯示器示例的 3D 前視圖，圖 1B 說(shuō)明了示例光柵顯示的俯視圖。如圖 1A 所示，光柵顯示器可以包括顯示面板 #122，該面板可以是 LCD、OLED、DLP 或 LCoS（硅上液晶）。如圖 1A 和 1B 所示，光柵透鏡?#126 可以是放大鏡（也稱為透鏡）#128 的片狀或陣列，其配置成當(dāng)從略有不同的角度觀察光柵顯示器時(shí)，從不同的視點(diǎn)或視角（例如， VI、V2 和 V3）可以看到正在顯示的光柵圖像的不同視圖。此外，視角半徑例如可以是 30 度；但是，可以使用更寬或更窄的視角，例如在 15 到 65 度的范圍內(nèi)。作為非限制性示例，光柵顯示器?#120?可以提供 22 個(gè)視角，分布在 30 度的視角半徑上，每 1.6 度具有不同的視圖。蘋果專利圖 1C 說(shuō)明了示例設(shè)備 #100 的俯視圖，該裝置包括圖 1A 和 1B 中說(shuō)明的光柵顯示器 #120。根據(jù)一些實(shí)施例，該裝置可以包括光柵顯示器、一個(gè)或多個(gè)傳感器 #140 和控制器 #160。傳感器可以收集有關(guān)物體?#190?的信息，以作為光柵顯示器上的圖像。傳感器 #140 可以包括但不限于一個(gè)或多個(gè)攝像頭，用于捕獲對(duì)象 #190 的深度信息。控制器可以包括一個(gè)或多個(gè)處理器，其處理由傳感器捕獲的數(shù)據(jù)，以生成對(duì)象的紋理（例如，著色和陰影）和網(wǎng)格（例如，3D 表示）信息。從紋理和網(wǎng)格信息，控制器可以生成要顯示在光柵顯示器上的圖像。
蘋果專利圖 2A 說(shuō)明設(shè)備 #200 可以是一個(gè) HMD，戴在用戶的頭上，使光柵顯示器 #210 配置在他們的眼前。作為另一示例，顯示系統(tǒng) #210 可以是直接視網(wǎng)膜投影儀系統(tǒng)，其逐像素地掃描左右圖像到受試者的眼睛。為了掃描圖像，投影儀生成光束，這些光束被引導(dǎo)到反射組件，這些組件將光束重定向到用戶的眼睛。HMD 一詞在該專利中被列出 30 次。蘋果專利圖 5 以圖形方式說(shuō)明了離線生成光柵到 UV 貼圖的方法。原文始發(fā)于微信公眾號(hào)（艾邦VR產(chǎn)業(yè)資訊）：蘋果AR/VR新專利：眼動(dòng)追蹤和光柵顯示
