文|佰態(tài)
3個月之前,一家位于加拿大的VR內(nèi)容制作公司Felix & Paul工作室為了慶祝1969年的登月事件,聯(lián)合《時代周刊》共同發(fā)布了新一期的系列VR紀(jì)錄片《太空探索者》。
圖片來源:Felix & Paul工作室
毫無疑問,這部運用交互式虛擬視頻技術(shù)、號稱可以讓觀眾從國際空間站內(nèi)外體驗宇宙最后邊疆的紀(jì)錄片,出圈了。其中,整個系列紀(jì)錄片都以超高分辨率電影虛擬現(xiàn)實拍攝方式來呈現(xiàn),影片的首次太空行走也成為全篇高潮。不難看出,作為“贏在未來的技術(shù)”、“通往元宇宙的鑰匙”,XR互動技術(shù)顯然迎來了長足的發(fā)展,并且催生出各式各樣的互動形態(tài)和內(nèi)容形式,讓人們其未來發(fā)展充滿了想象。
當(dāng)我們的交互方式開始由2D向著3D迭代演變,XR互動究竟意味著什么?
01、二十年歷程,XR發(fā)展如何打破桎梏?
想要弄明白這個問題,不妨先了解一下XR互動的具體內(nèi)核。事實上,XR是一個寬泛的“大雨傘”,涵蓋了VR(Virtual Reality,虛擬現(xiàn)實)、AR(Augmented Reality,增強現(xiàn)實)以及MR(Mixed Reality,混合現(xiàn)實)。三種技術(shù)的交集,共同構(gòu)筑了XR的技術(shù)底層。
實際上,隨著數(shù)字化進程的不斷推進,VR、AR、MR技術(shù)都已經(jīng)日臻成熟。或許已經(jīng)有人聽說過AR/VR技術(shù),但是XR技術(shù)卻是依然難以被大眾所知,但實際上在不知不覺中XR技術(shù)已經(jīng)悄然影響著我們的生活。那么,XR技術(shù)神秘面紗下的真面目究竟是什么呢?
從發(fā)展階段來看,XR技術(shù)的發(fā)展大致可以分為幾個階段:
在互聯(lián)網(wǎng)尚未完全普及的1999年,跳舞機開始風(fēng)靡全球。在大街小巷,玩家根據(jù)屏幕上的箭頭指示,在地上的跳舞毯用腳踩擊,動感十足的舞曲加上高手炫酷的表演,在彼時迅速掀起了全民跳舞潮。也許大多數(shù)人并沒有意識到,跳舞機事實上也是XR互動技術(shù)早期應(yīng)用的體現(xiàn)。但那個時候的體感互動設(shè)備,往往占地面積較大、投入成本較高,并且支持的互動操作也較為有限。
時間來到2006年,任天堂發(fā)售了最新的電視游戲主機——Wii,作為第一款引入體感功能的電視游戲主機,Wii最與眾不同的特色在于Wii Remote手柄。Wii Remote可以實現(xiàn)指向定位與動作感應(yīng)兩種操作。指向定位功能可用于控制屏幕上的光標(biāo),動作感應(yīng)功能則可偵測三維空間中的移動及旋轉(zhuǎn)。在兩種功能的加持下,Wii Remote可在游戲中化為球棒、刀劍等道具,使用戶能夠?qū)崿F(xiàn)多種動作。自此,體感類游戲首次從街頭巷尾走進了玩家的家中,但盡管體積有所縮小,但使用的門檻和價格卻進一步提高,用戶需要花費高昂的價格購買專用的設(shè)備體驗。
2021年開始,市場風(fēng)起云涌,XR技術(shù)活躍在大眾視野下,包括HTC VIVE、Oculus Quest 2、PICO等虛擬現(xiàn)實設(shè)備的火爆,也讓市場看到了XR互動設(shè)備的潛力。XR設(shè)備開始更多地運用到在線演唱會、發(fā)布會現(xiàn)場、電影拍攝現(xiàn)場以及電視節(jié)目等場景,開始運用高科技感以及逼真感的XR技術(shù),例如2021年的春節(jié)聯(lián)歡晚會就首次采用了XR技術(shù)來營造更為沉浸的影視體驗。此外,包括Meta、蘋果、華為等科技型企業(yè)均開始布局XR設(shè)備的研發(fā)。
但需要注意的是,從XR互動技術(shù)發(fā)展至今,均是基于新的設(shè)備和新的平臺進行打造,對于用戶而言不僅需要購置新的體驗設(shè)備,還需要額外的學(xué)習(xí)成本才能夠?qū)崿F(xiàn)對于新設(shè)備的運用,這也成為了長期以來XR設(shè)備發(fā)展的最大痛點。
02、當(dāng)云游戲技術(shù)成為催化劑
日前,IDC發(fā)布《全球增強和虛擬現(xiàn)實支出指南》,報告中預(yù)測在2026年,亞太地區(qū)AR/VR支出將達166億美元,復(fù)合年增長率提升42.%。盡管XR互動技術(shù)存在痛點,但與整個蒸蒸日上的市場相比,這樣的短板也足以被市場忽視。但IDC分析師還預(yù)測,未來幾年內(nèi)AR/VR技術(shù)將對消費者更加友好,用戶體驗將得到改善。
在近期舉行的時尚虛擬偶像星瞳的生日會上,似乎讓人看到了XR互動進階的新突破點。
11月3-5日,時尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競鵝酒店(騰訊電競聯(lián)名店)舉辦線下生日活動,活動中的互動環(huán)節(jié)引起了外界的注意——通過借助騰訊先鋒的虛實互動技術(shù),可以讓真實用戶不借助綠幕摳圖和特殊裝備,僅憑手機便能實時投射在大屏的虛擬場景中,和星瞳進行跳舞挑戰(zhàn),還能通過系統(tǒng)對玩家骨骼姿態(tài)的判斷得到打分評級,共同解鎖AI虛實互動體驗。
顯然,這樣依靠大屏+手機的XR互動體驗,擺脫了此前對于專業(yè)XR互動設(shè)備的依賴,將XR設(shè)備繁瑣復(fù)雜的空間計算、圖形處理工作轉(zhuǎn)移至云端,僅以手機作為信號收集和互動入口的工具,并最終在大屏幕得以呈現(xiàn),自然為用戶提供了更高的自由度以及上手體驗感。
誠然,對于XR行業(yè)而言,這樣的改變尚且不足以改變生態(tài)。但需要注意的是,這確實為一直以來依賴專業(yè)設(shè)備的行業(yè)提供了新的解決方案。
從這個方面來看,星瞳AI虛實互動體驗是如何實現(xiàn)的呢?這與其背后的騰訊先鋒虛實互動技術(shù)的三大核心技術(shù)能力息息相關(guān)。
一是實時無綠幕摳圖。作為XR行業(yè)的關(guān)鍵核心技術(shù),視覺空間定位技術(shù)的發(fā)展,對整個XR生態(tài)有著至關(guān)重要的影響。而基于云端的實時4K視頻發(fā)絲級摳圖,讓用戶僅需使用普通手機攝像頭,無需綠幕、無需設(shè)備算力即可高質(zhì)量完成摳圖,幫助普通用戶將形象投射至虛擬場景中進行流暢互動,幀率可達60FPS。對于企業(yè)而言,這無疑成為了已達瓶頸的視覺空間定位技術(shù)的突破點。
二是姿態(tài)估計與動作捕捉。傳統(tǒng)的動作捕捉系統(tǒng)包括傳感器、信號捕捉設(shè)備、數(shù)據(jù)傳輸設(shè)備、數(shù)據(jù)處理設(shè)備。不僅需要多組光學(xué)動作捕捉鏡頭互相配合確定三維坐標(biāo),還需要動捕軟件算出目標(biāo)的位置、運動軌跡等信息,實現(xiàn)動作捕捉。但對于用戶而言,不僅意味著高昂的設(shè)備支出,也需要更大的空間容納相關(guān)設(shè)備。而騰訊先鋒這項技術(shù)的姿態(tài)估計與動作捕捉則不需要依賴特殊場地和拍攝設(shè)備,也無需額外穿戴,僅使用手機的普通RGB攝像頭,即可隨時隨地實現(xiàn)動作捕捉。并且支持包括身體、手部和表情在內(nèi)的高精度全身動捕,相關(guān)數(shù)據(jù)的處理也完全基于云端計算,無需用戶設(shè)備額外算力。
三是實時云端視頻流媒體AI通用處理架構(gòu)。XR頭顯可以提供最高分辨率和更清晰的視覺效果,但頭顯渲染虛擬內(nèi)容需要配備強大GPU的計算機,也進一步限制了用戶探索XR頭顯的能力邊界。而該技術(shù)整合硬件編解碼和高效神經(jīng)網(wǎng)絡(luò)推理框架,基于云游戲的能力,構(gòu)建了完整的視頻流媒體處理與云端低延遲AI計算方案。最終在云端計算能力的輔助下,能夠更好地擺脫本地計算設(shè)備的限制,讓用戶再也無需擔(dān)心手機儲存空間和硬件配置,在功能較弱的機器上也能夠提供高質(zhì)量的XR體驗。這對于AI虛實互動體驗而言,無疑是突破軟硬件條件限制的突圍點。
事實上,以上的種種核心能力,均是基于騰訊先鋒在云游戲方面的探索所積累的經(jīng)驗,受游戲的啟發(fā)而不斷拓展,也逐漸超脫于游戲之外,為更多技術(shù)的更迭提供了助推力。
03、XR破局,應(yīng)用場景外延持續(xù)拓展
據(jù)Counterpoint Research報告顯示,截至2022年二季度,Meta AR/VR設(shè)備全球市場份額達66%,市場優(yōu)勢地位明顯。PICO緊隨其后,市場份額為11%。根據(jù)IDC,全球XR頭顯出貨量復(fù)合年均增長率預(yù)計將在2024年達到38%,行業(yè)的發(fā)展前景可見一斑。
XR互動設(shè)備乘風(fēng)起,或許,我們現(xiàn)在可以預(yù)想一下XR的應(yīng)用場景了。
事實上,當(dāng)前XR已經(jīng)形成豐富的應(yīng)用場景,當(dāng)下最主要的還是應(yīng)用于C端消費級,目前包括游戲、影視娛樂等等,而在制造業(yè)、零售業(yè)、醫(yī)療、教育等B端場景,XR也開始出現(xiàn)廣泛布局。據(jù)中國信通院發(fā)布的《虛擬(增強)現(xiàn)實白皮書》,2022年XR產(chǎn)業(yè)將正式步入深度沉浸階段,市場滲透率也在進一步提升。
例如在工業(yè)方面,在《中國制造2025》重點領(lǐng)域技術(shù)路線圖重大政策文件中,虛擬現(xiàn)實被列為智能制造核心信息設(shè)備領(lǐng)域的關(guān)鍵技術(shù)之一,通過智能制造各個環(huán)節(jié)的信息獲取、實時通信,以實現(xiàn)動態(tài)交互、智能決策分析和智能控制。這樣的思路在行業(yè)內(nèi)也有了初步的應(yīng)用,包括奧迪、福特、寶馬、豐田、沃爾沃等主流車企積極引入XR技術(shù)用于汽車研發(fā)。以奧迪為例,基于VR的虛擬裝配線校驗,使流水線工人在三維虛擬空間內(nèi)完成對實際產(chǎn)品裝配工作的預(yù)估和校準(zhǔn),顯著提升了生產(chǎn)與組裝效率;同樣地,福特使用VR技術(shù)檢查汽車的整個外觀與內(nèi)飾設(shè)計,并能夠查看特定細(xì)節(jié),成為進行階段性數(shù)據(jù)驗證、業(yè)務(wù)流程參考的重要支撐。
在生物醫(yī)藥大健康產(chǎn)業(yè)方面,隨著5G技術(shù)的成熟運用,也極大地加快了XR設(shè)備的傳輸速度,結(jié)合相關(guān)設(shè)備,也能夠作為傳統(tǒng)醫(yī)學(xué)手段的有效補充。例如,總部位于美國芝加哥的醫(yī)療科技初創(chuàng)公司Level Ex 研發(fā)的VR醫(yī)療軟件——Airway Ex,能夠通過對人體組織動力學(xué)、內(nèi)窺鏡設(shè)備光學(xué)和運動流體的現(xiàn)實模擬,針對外科手術(shù)醫(yī)生提供了一種避免對人產(chǎn)生傷害的手術(shù)訓(xùn)練方式。
而在教育培訓(xùn)領(lǐng)域,XR互動技術(shù)也起到了至關(guān)重要的作用。K12教育、職教領(lǐng)域,XR都有非常大的應(yīng)用空間,XR技術(shù)可以形象地對抽象的概念進行具象表達,對難以實操的高價值設(shè)備進行虛擬仿真實訓(xùn)學(xué)習(xí)。一直以來,NASA對XR技術(shù)情有獨鐘,此前在德克薩斯州休斯頓桑尼卡特訓(xùn)練基地中建立了一個中性浮力VR實驗室,主要用于模擬空間站環(huán)境,幫助宇航員們更好地適應(yīng)重力、完成各種工作,更直觀地了解、理解太空行走的流程和可能發(fā)生的危險狀況。
而在體感游戲領(lǐng)域,XR互動技術(shù)也將成為推動游戲互動形式迭代的重要推動力。據(jù)此前基于Valve和Steam的官方數(shù)據(jù),Steam平臺頭顯每月的連接數(shù)保持上升趨勢,且增長幅度不斷加大;此外,支持XR設(shè)備的游戲數(shù)量也在持續(xù)增加,9月份Steam平臺共上線60款支持VR的游戲,相比上個月49款有所增加。據(jù)Steam平臺9月軟硬件調(diào)查結(jié)果顯示,2022年9月頭顯連接數(shù)量總體數(shù)量已經(jīng)達到Steam用戶總量的2.03%。
當(dāng)行業(yè)應(yīng)用加速落地,類似電影的《頭號玩家》時代究竟什么時候可以到來?
XR互動被行業(yè)寄予厚望,被看作是有能力接棒智能手機、成為下一代超級終端的產(chǎn)品。
總體來看,XR技術(shù)跨學(xué)科廣、涉及領(lǐng)域多、成熟速度慢,但一旦成熟將是全新的顛覆性計算平臺。值得注意的是,包括高通、蘋果、三星等企業(yè)都開始著手研發(fā)相關(guān)的硬件。但需要注意的是,距離XR黃金時代的到來,還尚且有一段距離。距離XR時代拐點的到來,還需要解決底層技術(shù)成熟度和終端設(shè)備輕量化的問題。
但這次騰訊先鋒攜手星瞳帶來的AI虛實互動體驗,也讓整個行業(yè)看到了基于云游戲技術(shù)實現(xiàn)XR互動,幫助XR產(chǎn)業(yè)更好開拓市場的可能性。
國人的創(chuàng)新是浪漫且充滿詩意的。
20世紀(jì)90年代初,錢學(xué)森在閱讀文獻時注意到了“Virtual Reality”,將之命名為“靈境”。也留下了這么一句話“靈境技術(shù)是繼計算機技術(shù)革命之后的又一項技術(shù)革命。它將引發(fā)一系列震撼全世界的變革,一定是人類歷史中的大事?!?/p>
值得慶幸的是,這樣的歷史大事,已經(jīng)悄然拉開帷幕,眾多企業(yè)也開啟了這場搶奪新時代先機的卡位戰(zhàn)??梢灶A(yù)見的是,隨著技術(shù)、生態(tài)的不斷完善,更豐富的場景不斷落地,市場對于XR的接納程度不斷提高,屬于XR互動的黃金時代也將隨之到來。