正在閱讀:

雙耳效應音頻:解放雙眼的新型導航技術(shù)

掃一掃下載界面新聞APP

雙耳效應音頻:解放雙眼的新型導航技術(shù)

你曾想過,是否能夠用聲音為視障人士提供導航?

文|創(chuàng)瞰巴黎 Marina Julienne

編輯|Meister Xia

導讀

閉上眼睛,讓聲音導航,輕而易舉地到達目的地,就像使用手機導航app一樣——這就是巴黎綜合理工學院兩名學者創(chuàng)辦的初創(chuàng)企業(yè)RunBlind開發(fā)的新技術(shù)。你曾想過,是否能夠用聲音為視障人士提供導航?這個新穎的項目利用“雙耳效應”再現(xiàn)3D聲音環(huán)境,讓視障者邊走邊聽“前方傳來”的聲音,由聲音指引方向。這項技術(shù)不僅服務于視障群體,還能改善普通用戶的導航體驗,讓我們不再低頭看手機,而將目光留給城市的景色。

一覽:

  • 雙耳效應音頻是指在和人耳所處的同樣聲學環(huán)境下錄制的音頻,能提供比普通立體聲更強的沉浸感。
  • 雙耳效應音頻與實時跟蹤頭部運動的傳感器配合使用,可用于導航:以一個聲音作為引導,無論使用者頭部如何轉(zhuǎn)動,聲音聽起來都像從固定的方向傳來。
  • 巴黎綜合理工學院正在開發(fā)的雙耳效應導航系統(tǒng),可用于旅游導覽、健身路線導航等,視障者和健全人都能使用。
  • 該系統(tǒng)未來將集成為一個軟件套件,以便安裝在蘋果、索尼、谷歌等市面上常見的耳機中。
  • 聲音導航使用簡單,順應人類聽覺本能,完全不必學習就能上手。

閉上眼睛,讓聲音導航,輕而易舉地到達目的地,就像使用手機導航app一樣——這就是巴黎綜合理工學院兩名學者創(chuàng)辦的初創(chuàng)企業(yè)RunBlind開發(fā)的新技術(shù)。

這個新穎的項目始于 7 年前,當時巴黎綜合理工學院數(shù)學應用中心 (CMAP) 教授 Fran ois Alouges 帶領(lǐng)課題組開始研究利用“雙耳效應”再現(xiàn)3D聲音環(huán)境,原理與利用雙眼效應再現(xiàn)立體圖像有著異曲同工之妙。

Alouges教授的合作伙伴、巴黎綜合理工學院工程師Sylvain Ferrand 曾聽說盲人運動員能在他人的帶領(lǐng)下跑步或輪滑,根據(jù)對方的腳步聲或輪滑鞋聲判斷前進方向。Ferrand大受啟發(fā),與團隊開啟了“用于引導視障運動員的雙耳空間定位技術(shù)”課題,研究如何用聲音為視障人士導航。

01 何為雙耳效應

雙耳效應音頻,又稱“模擬頭部錄音”,是指在和人耳所處的同樣聲學環(huán)境下錄制的音頻。就視覺而言,人類雙眼的視野雖然大致重合,但仍有幾厘米的偏差。大腦能處理左右兩側(cè)接收到的視覺信號差,做出正確的方位判斷。聽覺也是類似的道理。對于右側(cè)的聲源,左耳聽到的聲波相位會與右耳略有不同,但無論聲源在人的前后上下,大腦都能根據(jù)兩耳信號差異辨別出來。如果聲音響亮,大腦會意識到聲源很近;如果聲音微弱低沉,則聲源很遠。來自正前方的聲源最有利于我們的聽覺器官捕捉。

如何通過音頻技術(shù)再現(xiàn)這種環(huán)繞效果呢?答案是通過麥克風的放置位置。將兩個小麥克風安裝在仿真人頭兩側(cè)、耳朵所在處,并將間距設(shè)為 18 厘米,即真人兩耳的平均間距,錄音便能真實地再現(xiàn)兩耳聽覺的時間差、強度差。

如今,巴黎綜合理工學院的學者們專門開發(fā)了一個“合成雙耳效應”信號處理算法,可將單聲道聲源轉(zhuǎn)換成雙耳效應音頻。與實時跟蹤頭部運動的傳感器配合使用,效果更佳:使用者向右扭頭,原本來自前方的小提琴聲聽起來就像移到了頭左側(cè)。對每個聲道都進行同樣的處理,使用者戴著普通耳機就能體驗雙耳效應。杜比全景聲(Dolby Atmos)等傳統(tǒng)環(huán)繞聲技術(shù)需在房間內(nèi)放置多個揚聲器。雙耳效應環(huán)繞聲則可以與普通高保真耳機、入耳式耳機甚至智能眼鏡兼容。

02 雙耳效應音如何用于空間定位

我們平日里聽到的立體聲是 20 世紀 30 年代的專利技術(shù),其原理是通過兩個揚聲器或兩個耳機播放兩個麥克風的錄音,再現(xiàn)聲源的空間方位。坐在客廳沙發(fā)上聆聽交響樂團的立體聲錄音,聽者能分辨出鋼琴聲來自左側(cè),低音提琴來自右側(cè)。而雙耳效應音頻能提供比普通立體聲更強的沉浸感,讓聽者仿佛身臨其境。

雙耳效應音頻與頭部運動傳感器結(jié)合,可為視障者導航:以一個聲音作為引導,無論使用者頭部如何轉(zhuǎn)動,聲音聽起來都像從固定的方向傳來。Ferrand 在課題中就開發(fā)了一個這樣的系統(tǒng),視障人士能邊走邊聽“前方傳來”的聲音,由聲音指引方向。系統(tǒng)的先進之處在于能精確地定位用戶每時每刻所處的位置,并實時生成引導音。

供視障運動員使用的聲音向?qū)гO(shè)備必須具備極高的響應速度和輕便性。Ferrand 說:“我們開發(fā)的首臺樣機重達 2.7 公斤,現(xiàn)在減輕到幾克,跟普通耳機差不多,與智能手機結(jié)合使用?!弊钚乱淮鷺訖C可供視障人士半自主快走、跑步或輪滑,僅想改善體能的非專業(yè)運動員也能用。

03 多種應用場景

雙耳效應導航設(shè)備的受眾不僅限于視障群體,還包括不愿持續(xù)盯著屏幕看導航的普通用戶。2019 年,兩名學者創(chuàng)辦了RunBlind,并入駐巴黎綜合理工學院孵化器Drahi X novation 創(chuàng)新中心。隨后,在 IT 界擁有二十余年經(jīng)驗的專業(yè)創(chuàng)業(yè)家Philippe Le Borgne 加入了RunBlind,出任董事長。

RunBlind團隊正在籌集資金,用于完善技術(shù),將其集成為一個軟件套件,以便安裝在蘋果、索尼、谷歌等市面上常見的耳機中。雖然算法仍有優(yōu)化和進一步開發(fā)的空間,但在不久的將來,也許普通用戶就能完全靠悅耳的聲音導航,不再需要低頭看手機,將目光留給城市的景色。Le Borgne 說:“聲音導航使用簡單,完全不必學習就能上手,而且精度非常高,方向角度偏差最多只有幾度?!边@可比現(xiàn)有導航app機械的“前方路口靠右行駛”播報要友好得多,也高效得多。

雙耳效應導航應用范圍廣泛:在室內(nèi)可用于醫(yī)院指引、博物館導覽;在室外可用于旅游或健身路線導航…無數(shù)的場景有待進一步探索。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

雙耳效應音頻:解放雙眼的新型導航技術(shù)

你曾想過,是否能夠用聲音為視障人士提供導航?

文|創(chuàng)瞰巴黎 Marina Julienne

編輯|Meister Xia

導讀

閉上眼睛,讓聲音導航,輕而易舉地到達目的地,就像使用手機導航app一樣——這就是巴黎綜合理工學院兩名學者創(chuàng)辦的初創(chuàng)企業(yè)RunBlind開發(fā)的新技術(shù)。你曾想過,是否能夠用聲音為視障人士提供導航?這個新穎的項目利用“雙耳效應”再現(xiàn)3D聲音環(huán)境,讓視障者邊走邊聽“前方傳來”的聲音,由聲音指引方向。這項技術(shù)不僅服務于視障群體,還能改善普通用戶的導航體驗,讓我們不再低頭看手機,而將目光留給城市的景色。

一覽:

  • 雙耳效應音頻是指在和人耳所處的同樣聲學環(huán)境下錄制的音頻,能提供比普通立體聲更強的沉浸感。
  • 雙耳效應音頻與實時跟蹤頭部運動的傳感器配合使用,可用于導航:以一個聲音作為引導,無論使用者頭部如何轉(zhuǎn)動,聲音聽起來都像從固定的方向傳來。
  • 巴黎綜合理工學院正在開發(fā)的雙耳效應導航系統(tǒng),可用于旅游導覽、健身路線導航等,視障者和健全人都能使用。
  • 該系統(tǒng)未來將集成為一個軟件套件,以便安裝在蘋果、索尼、谷歌等市面上常見的耳機中。
  • 聲音導航使用簡單,順應人類聽覺本能,完全不必學習就能上手。

閉上眼睛,讓聲音導航,輕而易舉地到達目的地,就像使用手機導航app一樣——這就是巴黎綜合理工學院兩名學者創(chuàng)辦的初創(chuàng)企業(yè)RunBlind開發(fā)的新技術(shù)。

這個新穎的項目始于 7 年前,當時巴黎綜合理工學院數(shù)學應用中心 (CMAP) 教授 Fran ois Alouges 帶領(lǐng)課題組開始研究利用“雙耳效應”再現(xiàn)3D聲音環(huán)境,原理與利用雙眼效應再現(xiàn)立體圖像有著異曲同工之妙。

Alouges教授的合作伙伴、巴黎綜合理工學院工程師Sylvain Ferrand 曾聽說盲人運動員能在他人的帶領(lǐng)下跑步或輪滑,根據(jù)對方的腳步聲或輪滑鞋聲判斷前進方向。Ferrand大受啟發(fā),與團隊開啟了“用于引導視障運動員的雙耳空間定位技術(shù)”課題,研究如何用聲音為視障人士導航。

01 何為雙耳效應

雙耳效應音頻,又稱“模擬頭部錄音”,是指在和人耳所處的同樣聲學環(huán)境下錄制的音頻。就視覺而言,人類雙眼的視野雖然大致重合,但仍有幾厘米的偏差。大腦能處理左右兩側(cè)接收到的視覺信號差,做出正確的方位判斷。聽覺也是類似的道理。對于右側(cè)的聲源,左耳聽到的聲波相位會與右耳略有不同,但無論聲源在人的前后上下,大腦都能根據(jù)兩耳信號差異辨別出來。如果聲音響亮,大腦會意識到聲源很近;如果聲音微弱低沉,則聲源很遠。來自正前方的聲源最有利于我們的聽覺器官捕捉。

如何通過音頻技術(shù)再現(xiàn)這種環(huán)繞效果呢?答案是通過麥克風的放置位置。將兩個小麥克風安裝在仿真人頭兩側(cè)、耳朵所在處,并將間距設(shè)為 18 厘米,即真人兩耳的平均間距,錄音便能真實地再現(xiàn)兩耳聽覺的時間差、強度差。

如今,巴黎綜合理工學院的學者們專門開發(fā)了一個“合成雙耳效應”信號處理算法,可將單聲道聲源轉(zhuǎn)換成雙耳效應音頻。與實時跟蹤頭部運動的傳感器配合使用,效果更佳:使用者向右扭頭,原本來自前方的小提琴聲聽起來就像移到了頭左側(cè)。對每個聲道都進行同樣的處理,使用者戴著普通耳機就能體驗雙耳效應。杜比全景聲(Dolby Atmos)等傳統(tǒng)環(huán)繞聲技術(shù)需在房間內(nèi)放置多個揚聲器。雙耳效應環(huán)繞聲則可以與普通高保真耳機、入耳式耳機甚至智能眼鏡兼容。

02 雙耳效應音如何用于空間定位

我們平日里聽到的立體聲是 20 世紀 30 年代的專利技術(shù),其原理是通過兩個揚聲器或兩個耳機播放兩個麥克風的錄音,再現(xiàn)聲源的空間方位。坐在客廳沙發(fā)上聆聽交響樂團的立體聲錄音,聽者能分辨出鋼琴聲來自左側(cè),低音提琴來自右側(cè)。而雙耳效應音頻能提供比普通立體聲更強的沉浸感,讓聽者仿佛身臨其境。

雙耳效應音頻與頭部運動傳感器結(jié)合,可為視障者導航:以一個聲音作為引導,無論使用者頭部如何轉(zhuǎn)動,聲音聽起來都像從固定的方向傳來。Ferrand 在課題中就開發(fā)了一個這樣的系統(tǒng),視障人士能邊走邊聽“前方傳來”的聲音,由聲音指引方向。系統(tǒng)的先進之處在于能精確地定位用戶每時每刻所處的位置,并實時生成引導音。

供視障運動員使用的聲音向?qū)гO(shè)備必須具備極高的響應速度和輕便性。Ferrand 說:“我們開發(fā)的首臺樣機重達 2.7 公斤,現(xiàn)在減輕到幾克,跟普通耳機差不多,與智能手機結(jié)合使用。”最新一代樣機可供視障人士半自主快走、跑步或輪滑,僅想改善體能的非專業(yè)運動員也能用。

03 多種應用場景

雙耳效應導航設(shè)備的受眾不僅限于視障群體,還包括不愿持續(xù)盯著屏幕看導航的普通用戶。2019 年,兩名學者創(chuàng)辦了RunBlind,并入駐巴黎綜合理工學院孵化器Drahi X novation 創(chuàng)新中心。隨后,在 IT 界擁有二十余年經(jīng)驗的專業(yè)創(chuàng)業(yè)家Philippe Le Borgne 加入了RunBlind,出任董事長。

RunBlind團隊正在籌集資金,用于完善技術(shù),將其集成為一個軟件套件,以便安裝在蘋果、索尼、谷歌等市面上常見的耳機中。雖然算法仍有優(yōu)化和進一步開發(fā)的空間,但在不久的將來,也許普通用戶就能完全靠悅耳的聲音導航,不再需要低頭看手機,將目光留給城市的景色。Le Borgne 說:“聲音導航使用簡單,完全不必學習就能上手,而且精度非常高,方向角度偏差最多只有幾度。”這可比現(xiàn)有導航app機械的“前方路口靠右行駛”播報要友好得多,也高效得多。

雙耳效應導航應用范圍廣泛:在室內(nèi)可用于醫(yī)院指引、博物館導覽;在室外可用于旅游或健身路線導航…無數(shù)的場景有待進一步探索。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。