正在閱讀:

從眼球到界面:揭秘眼動追蹤在VR領域的神奇應用與未開發(fā)潛力

掃一掃下載界面新聞APP

從眼球到界面:揭秘眼動追蹤在VR領域的神奇應用與未開發(fā)潛力

眼球追蹤技術通過特制傳感器監(jiān)測我們視線的移動,這一技術已在醫(yī)學研究、行為分析、工作場所安全、界面設計、汽車駕駛注意力監(jiān)測及計算機游戲等多個領域應用了幾十年。

編譯|Metaverse元宇宙 王秦州

眼球追蹤技術通過特制傳感器監(jiān)測我們視線的移動,這一技術已在醫(yī)學研究、行為分析、工作場所安全、界面設計、汽車駕駛注意力監(jiān)測及計算機游戲等多個領域應用了幾十年。 2017年,HTC首次將眼動追蹤技術融入其VR頭戴設備中;蘋果公司則計劃在2024年初推出的空間計算平臺Vision Pro中采用此技術。諸如索尼、惠普、Pico和Pimax等其他耳機制造商也已開始初步采用由眼動追蹤創(chuàng)新者Tobii研發(fā)的專用硬件與芯片,特別是在電腦游戲領域。

虛擬現(xiàn)實(VR)中的眼動追蹤技術能帶來圖像質量優(yōu)化、用戶體驗革新、更精準的研究手段以及適應性更強的培訓方案。同時,它也引發(fā)了對隱私的新關注,尤其是在精確追蹤注意力和收集深度醫(yī)療信息方面。 

在VR中,眼動追蹤是如何運作的呢?人眼運動是人體最快且最微妙的動作之一。盡管我們所見的世界相對靜態(tài),但眼睛卻以平滑追蹤、快速掃視以及每秒數(shù)百次微小顫動的方式聚焦于物體細節(jié)上。通過監(jiān)控這些動作的眼動追蹤工具能夠識別我們的視線焦點,并揭示思維及身體內(nèi)部發(fā)生的活動。

早在古希臘時期,柏拉圖在其著作《蒂邁歐篇》中就提出觀看是一個積極的過程,即用注意力捕捉世界上的物體。如今,研究人員更加關注我們所見之物、觀察機制及其對身心可能產(chǎn)生的意義。早期的眼球追蹤技術復雜且具有侵入性,依賴于佩戴不舒適的磁性隱形眼鏡或監(jiān)聽眼部肌肉放電的傳感器。而現(xiàn)代眼動儀通常利用紅外光反射并通過視頻眼科描記法,借助多攝像頭來追蹤反射光。 

眼動追蹤器的性能以其赫茲(每秒幀數(shù))衡量,保真度則通過分辨率和準確度來評判。分辨率代表可檢測到的最小細節(jié)級別,而準確度則反映其與實際觀察位置的一致程度。例如,高端設備如SR Research的EyeLink II可以實現(xiàn)500 Hz的采樣率、0.01度的分辨率以及0.5度的準確度,但這相對昂貴且體積較大,不適合應用于VR頭戴設備。

目前,除蘋果以外的大多數(shù)VR和AR產(chǎn)品都采用了Tobii的眼動追蹤芯片,雖然Tobii未公布其VR耳機芯片的具體規(guī)格,但參考其最新的科研用頭戴式眼鏡,能達到120 Hz的刷新率和約0.6度的精度。

眼動追蹤為VR帶來的創(chuàng)新體驗 

眼動追蹤為VR帶來了動態(tài)注視點渲染的創(chuàng)新,通過提升視網(wǎng)膜最敏感區(qū)域的圖像質量,從而提高視覺體驗。此外,如同鼠標和觸摸屏一樣顛覆性的新用戶界面范例也可能因眼動追蹤技術得以實現(xiàn)。 

據(jù)SRI計算機視覺技術實驗室首席科學家朱志偉介紹,頻率超過200Hz、精度接近0.5度的眼動追蹤系統(tǒng)足以支持視力正常的用戶在VR中享受全新的交互體驗。蘋果在其Vision Pro平臺上便運用了此類技術,使用戶可以通過凝視虛擬物體并用手勢與其互動。 

HTC VIVE業(yè)務開發(fā)和企業(yè)解決方案副總裁Thomas Dexmier表示,新的用戶體驗取決于具體應用場景。VIVE新型的眼睛和頭部追蹤器達到120 Hz的刷新率,這對于當前和近期的應用來說是最優(yōu)選擇。比如,許多消費者研究主要集中在近距離行為觀察,如貨架陳列、衣物擺放或個人在虛擬觀眾面前的行為表現(xiàn)。即使是對復雜的3D模型進行審視,也大多在短距離內(nèi)完成?!斑@意味著無需具備在遠距離下毫米級精度跟蹤的能力,”Dexmier解釋道。 

他認為,創(chuàng)造新體驗的最大挑戰(zhàn)在于如何讓設計師和研究人員輕松獲取這項技術?!耙坏┧麄円娮R到眼動追蹤的可能性,便會迅速采納?!倍诩夹g層面,開發(fā)者需要廣泛的SDK來構建未來基于眼動追蹤的應用程序,同時簡化3D內(nèi)容和眼動追蹤數(shù)據(jù)格式,以便開發(fā)者更容易創(chuàng)建新穎體驗。 

進一步改進后,人們甚至有望僅憑眼神就能剪切粘貼文本,無需使用鼠標。然而,IT服務和咨詢公司Diversified負責媒體解決方案創(chuàng)新的副總裁Jared Timmins認為,眼動追蹤技術要達到傳統(tǒng)鼠標和觸摸交互的流暢性,可能還需要多次迭代?!氨M管這些進步令人矚目,但在提高大范圍視野的準確性和精度、降低成本以及提升用戶舒適度等方面取得更多進展仍然至關重要?!?nbsp;

克服眼動追蹤技術普及的障礙 

眼動追蹤技術普及面臨的障礙包括開發(fā)出能在不同光照條件和應用場景下高效運行的低延遲眼動追蹤系統(tǒng),以及適應戴眼鏡的用戶或具有不同眼部解剖結構的個體。在用戶界面設計上,關鍵是要創(chuàng)造出自然直觀的交互方式,利用眼球運動而不引發(fā)不適或疲勞,避免常見的暈動癥或VR眩暈問題。

HarmonEyes和RightEye的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Adam Gross指出,眼動追蹤模型和應用程序在各類眼動追蹤設備間的互操作性仍有待提升?!爱斍埃瑢⒀蹌幼粉櫮P秃蛻棉D移到任何新型或不同的眼動追蹤設備上,都需要手動驗證和測試?!?/p>

他的兩家公司正在研發(fā)眼動追蹤數(shù)據(jù)聚合與轉換工具,運用人工智能和機器學習技術關聯(lián)不同追蹤器的數(shù)據(jù)結果,用于評估注意力、檢測腦震蕩影響、提升運動表現(xiàn)和制定訓練計劃等目的。 

保護隱私和道德規(guī)范對于眼動追蹤技術的推廣至關重要。隨著消費者對點擊和點贊數(shù)據(jù)使用的日益謹慎,他們可能會對追蹤其在真實和虛擬世界中的視線內(nèi)容感到更為擔憂。因此,企業(yè)和客戶必須采取適當?shù)陌踩胧┖驼邅斫鉀Q這些問題。正如Timmins所說:“如同對AI使用的顧慮一樣,強有力的數(shù)據(jù)保護實踐和自上而下的管理政策將成為所有采用眼動追蹤技術公司的必備盡職調(diào)查。” 

VR眼動追蹤技術的未來展望 

眼動追蹤技術在虛擬現(xiàn)實(VR)領域的潛力無限,它不僅可以優(yōu)化圖形渲染和交互體驗,還可能催生全新的研究方法與培訓方案。例如,在醫(yī)療領域,通過精確的眼球運動數(shù)據(jù)可以分析病人的認知狀態(tài)、注意力分布以及潛在的視覺障礙,這對于診斷神經(jīng)退行性疾病或評估創(chuàng)傷后康復進程至關重要。 

對于游戲開發(fā)者而言,眼動追蹤能夠實現(xiàn)更深層次的游戲沉浸感,讓玩家只需通過視線就能控制游戲內(nèi)角色或進行互動,大大提升了用戶體驗。同時,眼動數(shù)據(jù)可用于動態(tài)調(diào)整場景光照、視角變化等參數(shù),使游戲畫面更加逼真且適應個人視覺習慣。 

在教育領域,眼動追蹤可為教師提供關于學生學習過程中的注意力集中點和理解程度的實時反饋,有助于個性化教學策略并改進課程內(nèi)容。此外,這項技術也能應用于職業(yè)訓練,如飛行員模擬訓練、手術模擬等,通過跟蹤學員的眼球運動來評估其決策速度和準確性。 

然而,盡管眼動追蹤技術帶來了諸多益處,但在廣泛應用前仍需解決一些關鍵問題。首先,需要確保眼動追蹤設備能在不同環(huán)境條件下穩(wěn)定、準確地工作,并能舒適地適應各種人群,包括佩戴眼鏡的用戶和其他具有特殊眼部特征的人群。其次,隱私保護措施必須到位,以消除用戶對眼球運動數(shù)據(jù)被濫用的擔憂。最后,要建立統(tǒng)一的標準和接口,促進眼動追蹤硬件與軟件生態(tài)系統(tǒng)的互操作性,降低開發(fā)成本并加快應用創(chuàng)新的步伐。 

隨著技術的不斷進步和完善,眼動追蹤將在未來虛擬現(xiàn)實及更多領域發(fā)揮更大的作用,從提升娛樂體驗到深化科學研究,再到推動教育培訓方式變革,都將展現(xiàn)其強大的潛力與價值。 

本文為轉載內(nèi)容,授權事宜請聯(lián)系原著作權人。

蘋果

6.5k
  • 庫克為什么要來中國逛農(nóng)場?
  • 蘋果iPhone 16全系官方首次降價

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

從眼球到界面:揭秘眼動追蹤在VR領域的神奇應用與未開發(fā)潛力

眼球追蹤技術通過特制傳感器監(jiān)測我們視線的移動,這一技術已在醫(yī)學研究、行為分析、工作場所安全、界面設計、汽車駕駛注意力監(jiān)測及計算機游戲等多個領域應用了幾十年。

編譯|Metaverse元宇宙 王秦州

眼球追蹤技術通過特制傳感器監(jiān)測我們視線的移動,這一技術已在醫(yī)學研究、行為分析、工作場所安全、界面設計、汽車駕駛注意力監(jiān)測及計算機游戲等多個領域應用了幾十年。 2017年,HTC首次將眼動追蹤技術融入其VR頭戴設備中;蘋果公司則計劃在2024年初推出的空間計算平臺Vision Pro中采用此技術。諸如索尼、惠普、Pico和Pimax等其他耳機制造商也已開始初步采用由眼動追蹤創(chuàng)新者Tobii研發(fā)的專用硬件與芯片,特別是在電腦游戲領域。

虛擬現(xiàn)實(VR)中的眼動追蹤技術能帶來圖像質量優(yōu)化、用戶體驗革新、更精準的研究手段以及適應性更強的培訓方案。同時,它也引發(fā)了對隱私的新關注,尤其是在精確追蹤注意力和收集深度醫(yī)療信息方面。 

在VR中,眼動追蹤是如何運作的呢?人眼運動是人體最快且最微妙的動作之一。盡管我們所見的世界相對靜態(tài),但眼睛卻以平滑追蹤、快速掃視以及每秒數(shù)百次微小顫動的方式聚焦于物體細節(jié)上。通過監(jiān)控這些動作的眼動追蹤工具能夠識別我們的視線焦點,并揭示思維及身體內(nèi)部發(fā)生的活動。

早在古希臘時期,柏拉圖在其著作《蒂邁歐篇》中就提出觀看是一個積極的過程,即用注意力捕捉世界上的物體。如今,研究人員更加關注我們所見之物、觀察機制及其對身心可能產(chǎn)生的意義。早期的眼球追蹤技術復雜且具有侵入性,依賴于佩戴不舒適的磁性隱形眼鏡或監(jiān)聽眼部肌肉放電的傳感器。而現(xiàn)代眼動儀通常利用紅外光反射并通過視頻眼科描記法,借助多攝像頭來追蹤反射光。 

眼動追蹤器的性能以其赫茲(每秒幀數(shù))衡量,保真度則通過分辨率和準確度來評判。分辨率代表可檢測到的最小細節(jié)級別,而準確度則反映其與實際觀察位置的一致程度。例如,高端設備如SR Research的EyeLink II可以實現(xiàn)500 Hz的采樣率、0.01度的分辨率以及0.5度的準確度,但這相對昂貴且體積較大,不適合應用于VR頭戴設備。

目前,除蘋果以外的大多數(shù)VR和AR產(chǎn)品都采用了Tobii的眼動追蹤芯片,雖然Tobii未公布其VR耳機芯片的具體規(guī)格,但參考其最新的科研用頭戴式眼鏡,能達到120 Hz的刷新率和約0.6度的精度。

眼動追蹤為VR帶來的創(chuàng)新體驗 

眼動追蹤為VR帶來了動態(tài)注視點渲染的創(chuàng)新,通過提升視網(wǎng)膜最敏感區(qū)域的圖像質量,從而提高視覺體驗。此外,如同鼠標和觸摸屏一樣顛覆性的新用戶界面范例也可能因眼動追蹤技術得以實現(xiàn)。 

據(jù)SRI計算機視覺技術實驗室首席科學家朱志偉介紹,頻率超過200Hz、精度接近0.5度的眼動追蹤系統(tǒng)足以支持視力正常的用戶在VR中享受全新的交互體驗。蘋果在其Vision Pro平臺上便運用了此類技術,使用戶可以通過凝視虛擬物體并用手勢與其互動。 

HTC VIVE業(yè)務開發(fā)和企業(yè)解決方案副總裁Thomas Dexmier表示,新的用戶體驗取決于具體應用場景。VIVE新型的眼睛和頭部追蹤器達到120 Hz的刷新率,這對于當前和近期的應用來說是最優(yōu)選擇。比如,許多消費者研究主要集中在近距離行為觀察,如貨架陳列、衣物擺放或個人在虛擬觀眾面前的行為表現(xiàn)。即使是對復雜的3D模型進行審視,也大多在短距離內(nèi)完成?!斑@意味著無需具備在遠距離下毫米級精度跟蹤的能力,”Dexmier解釋道。 

他認為,創(chuàng)造新體驗的最大挑戰(zhàn)在于如何讓設計師和研究人員輕松獲取這項技術?!耙坏┧麄円娮R到眼動追蹤的可能性,便會迅速采納。”而在技術層面,開發(fā)者需要廣泛的SDK來構建未來基于眼動追蹤的應用程序,同時簡化3D內(nèi)容和眼動追蹤數(shù)據(jù)格式,以便開發(fā)者更容易創(chuàng)建新穎體驗。 

進一步改進后,人們甚至有望僅憑眼神就能剪切粘貼文本,無需使用鼠標。然而,IT服務和咨詢公司Diversified負責媒體解決方案創(chuàng)新的副總裁Jared Timmins認為,眼動追蹤技術要達到傳統(tǒng)鼠標和觸摸交互的流暢性,可能還需要多次迭代?!氨M管這些進步令人矚目,但在提高大范圍視野的準確性和精度、降低成本以及提升用戶舒適度等方面取得更多進展仍然至關重要?!?nbsp;

克服眼動追蹤技術普及的障礙 

眼動追蹤技術普及面臨的障礙包括開發(fā)出能在不同光照條件和應用場景下高效運行的低延遲眼動追蹤系統(tǒng),以及適應戴眼鏡的用戶或具有不同眼部解剖結構的個體。在用戶界面設計上,關鍵是要創(chuàng)造出自然直觀的交互方式,利用眼球運動而不引發(fā)不適或疲勞,避免常見的暈動癥或VR眩暈問題。

HarmonEyes和RightEye的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Adam Gross指出,眼動追蹤模型和應用程序在各類眼動追蹤設備間的互操作性仍有待提升?!爱斍?,將眼動追蹤模型和應用轉移到任何新型或不同的眼動追蹤設備上,都需要手動驗證和測試?!?/p>

他的兩家公司正在研發(fā)眼動追蹤數(shù)據(jù)聚合與轉換工具,運用人工智能和機器學習技術關聯(lián)不同追蹤器的數(shù)據(jù)結果,用于評估注意力、檢測腦震蕩影響、提升運動表現(xiàn)和制定訓練計劃等目的。 

保護隱私和道德規(guī)范對于眼動追蹤技術的推廣至關重要。隨著消費者對點擊和點贊數(shù)據(jù)使用的日益謹慎,他們可能會對追蹤其在真實和虛擬世界中的視線內(nèi)容感到更為擔憂。因此,企業(yè)和客戶必須采取適當?shù)陌踩胧┖驼邅斫鉀Q這些問題。正如Timmins所說:“如同對AI使用的顧慮一樣,強有力的數(shù)據(jù)保護實踐和自上而下的管理政策將成為所有采用眼動追蹤技術公司的必備盡職調(diào)查?!?nbsp;

VR眼動追蹤技術的未來展望 

眼動追蹤技術在虛擬現(xiàn)實(VR)領域的潛力無限,它不僅可以優(yōu)化圖形渲染和交互體驗,還可能催生全新的研究方法與培訓方案。例如,在醫(yī)療領域,通過精確的眼球運動數(shù)據(jù)可以分析病人的認知狀態(tài)、注意力分布以及潛在的視覺障礙,這對于診斷神經(jīng)退行性疾病或評估創(chuàng)傷后康復進程至關重要。 

對于游戲開發(fā)者而言,眼動追蹤能夠實現(xiàn)更深層次的游戲沉浸感,讓玩家只需通過視線就能控制游戲內(nèi)角色或進行互動,大大提升了用戶體驗。同時,眼動數(shù)據(jù)可用于動態(tài)調(diào)整場景光照、視角變化等參數(shù),使游戲畫面更加逼真且適應個人視覺習慣。 

在教育領域,眼動追蹤可為教師提供關于學生學習過程中的注意力集中點和理解程度的實時反饋,有助于個性化教學策略并改進課程內(nèi)容。此外,這項技術也能應用于職業(yè)訓練,如飛行員模擬訓練、手術模擬等,通過跟蹤學員的眼球運動來評估其決策速度和準確性。 

然而,盡管眼動追蹤技術帶來了諸多益處,但在廣泛應用前仍需解決一些關鍵問題。首先,需要確保眼動追蹤設備能在不同環(huán)境條件下穩(wěn)定、準確地工作,并能舒適地適應各種人群,包括佩戴眼鏡的用戶和其他具有特殊眼部特征的人群。其次,隱私保護措施必須到位,以消除用戶對眼球運動數(shù)據(jù)被濫用的擔憂。最后,要建立統(tǒng)一的標準和接口,促進眼動追蹤硬件與軟件生態(tài)系統(tǒng)的互操作性,降低開發(fā)成本并加快應用創(chuàng)新的步伐。 

隨著技術的不斷進步和完善,眼動追蹤將在未來虛擬現(xiàn)實及更多領域發(fā)揮更大的作用,從提升娛樂體驗到深化科學研究,再到推動教育培訓方式變革,都將展現(xiàn)其強大的潛力與價值。 

本文為轉載內(nèi)容,授權事宜請聯(lián)系原著作權人。