記者 | 崔鵬
4月1日晚間,騰訊將在視頻號(hào)和騰訊視頻共同播出張國(guó)榮2000年《熱.情》演唱會(huì)的超清修復(fù)版,這是張國(guó)榮生前舉辦的最后一場(chǎng)演唱會(huì)。
環(huán)球音樂旗下的寶麗金唱片公司為騰訊提供了原版演唱會(huì)母帶,騰訊云、微信、視頻號(hào)和騰訊視頻參與了本次修復(fù)和播出工作,其中為視頻做修復(fù)的是騰訊多媒體實(shí)驗(yàn)室,隸屬于CSIG(云與智慧產(chǎn)業(yè)事業(yè)群)。
1號(hào)當(dāng)天,騰訊多媒體實(shí)驗(yàn)室相關(guān)負(fù)責(zé)人接受了界面新聞等媒體的采訪,介紹本次修復(fù)工作背后的技術(shù)和故事。
多媒體實(shí)驗(yàn)室總監(jiān)李松南介紹稱,團(tuán)隊(duì)日常的工作內(nèi)容主要有兩方面:參與國(guó)際國(guó)內(nèi)多媒體(音視頻)相關(guān)的標(biāo)準(zhǔn)制定;把平時(shí)積累的技術(shù)提供給其它部門,比如騰訊云音視頻、媒體AI中臺(tái)和數(shù)據(jù)萬象都會(huì)用到它們的技術(shù)。
今年初,在一個(gè)偶然機(jī)會(huì)下,多媒體實(shí)驗(yàn)室與環(huán)球音樂旗下的寶麗金唱片進(jìn)行接觸,了解到對(duì)方擁有張國(guó)榮一場(chǎng)演唱會(huì)的母帶,而每年4月1日文化娛樂業(yè)內(nèi)都會(huì)有紀(jì)念張國(guó)榮的活動(dòng),雙方都覺得這里有合作機(jī)會(huì),就達(dá)成了相關(guān)意向。
3月初多媒體實(shí)驗(yàn)室團(tuán)隊(duì)拿到母帶,開始正式做修復(fù)工作。其中純算法跑通大概只用了2天,所以在修復(fù)工作中,單純的算法修復(fù)環(huán)節(jié)耗時(shí)并不長(zhǎng)。
但實(shí)驗(yàn)室希望盡量保留演唱會(huì)的藝術(shù)風(fēng)格,所以嘗試了不同算法和效果,希望能取得比較好的平衡。
目前,對(duì)于膠片產(chǎn)品的修復(fù)主要有物理修復(fù)和數(shù)字修復(fù)兩種,而數(shù)字修復(fù)也有人工修復(fù)和全自動(dòng)修復(fù)兩種方式。騰訊多媒體實(shí)驗(yàn)室做的是全自動(dòng)的基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的修復(fù),通過比較少的人力介入,減少后續(xù)人工修復(fù)的成本。
李松南告訴界面新聞等媒體,“我們的目標(biāo)是做自動(dòng)化的修復(fù),算法比較通用,不需要針對(duì)性的去做優(yōu)化”,讓這套修復(fù)算法能夠適配更多類似場(chǎng)景。
李松南向界面新聞等媒體介紹稱,修復(fù)流程從算法角度來說主要分為四步:
首先是智能分析模塊。主要用來分析視頻的質(zhì)量,包括失幀的類型和程度,人臉的位置等。
其次是修復(fù)模塊。主要用于修復(fù)視頻中的各種失幀,比如老片中常出現(xiàn)的噪聲、隔行失幀,然后對(duì)清晰度低的片段進(jìn)行超分。
第三是增強(qiáng)模塊。主要是讓圖像本身的內(nèi)容更清晰,更豐富。
第四是編碼模塊。在盡量低碼率的情況下還原視頻內(nèi)容,因?yàn)樵谥辈ズ忘c(diǎn)播過程中,對(duì)碼率有一定要求。
張國(guó)榮這場(chǎng)演唱會(huì)的時(shí)長(zhǎng)是兩小時(shí),傳統(tǒng)人工修復(fù)大概需要一兩個(gè)月時(shí)間,但是用純算法修復(fù)大概兩天就能跑出結(jié)果。剩下的時(shí)間,團(tuán)隊(duì)都在盡量還原演唱會(huì)的藝術(shù)表達(dá)效果。
在這方面,演唱會(huì)視頻的修復(fù)與傳統(tǒng)電影電視劇作品的修復(fù)有很大區(qū)別。
多媒體實(shí)驗(yàn)室此前為騰訊視頻的《康熙王朝》等電視劇做過修復(fù),影視劇作品的場(chǎng)景比較固定,人物運(yùn)動(dòng)和畫面色彩風(fēng)格都比較統(tǒng)一。
演唱會(huì)涉及不同色彩的燈光切換,畫面鏡頭多角度切換,針對(duì)同一個(gè)人物的遠(yuǎn)近景和大小臉切換。實(shí)驗(yàn)室在此前的修復(fù)工作中很少遇到這種復(fù)雜的場(chǎng)景,其中尤以動(dòng)態(tài)的人臉修復(fù)問題比較棘手。
現(xiàn)在行業(yè)內(nèi)主流的人臉修復(fù)大部分是基于單張照片進(jìn)行,在視頻修復(fù)上會(huì)遇到很多問題,比如臉的角度和姿態(tài)不一樣,在算法里的解決方式也不同。
另一個(gè)干擾項(xiàng)來自于燈光因素,演唱會(huì)現(xiàn)場(chǎng)的燈光顏色多變,打到人臉上就會(huì)出現(xiàn)很多算法難以處理的問題。
“我們做人臉修復(fù)時(shí)有個(gè)很大的臉特寫,那會(huì)正好燈光是紅色,打到張國(guó)榮臉上的時(shí)候,臉的顏色就跟正常不同,所以修復(fù)的時(shí)候人臉模型和修復(fù)結(jié)果需要專門做優(yōu)化。”
多媒體實(shí)驗(yàn)室2013年剛開始做視頻處理時(shí),主要基于傳統(tǒng)算法做一些視頻降噪和背景增強(qiáng),后來團(tuán)隊(duì)的很多模型依靠AI和深度學(xué)習(xí)方式在騰訊云上進(jìn)行,最開始基于卷積神經(jīng)網(wǎng)絡(luò),現(xiàn)在擴(kuò)展至使用生成網(wǎng)絡(luò)來進(jìn)行。
從視頻修復(fù)對(duì)比來看,寶麗金給的母帶分辨率非常低,大概只有720×480分辨率,做完修復(fù)以后騰訊將其做到了接近4K的分辨率,分辨率大概提升了6倍。
目前,對(duì)于老舊影視劇和演唱會(huì)作品的修復(fù),業(yè)內(nèi)并沒有統(tǒng)一的標(biāo)準(zhǔn)。也就是說,具體修復(fù)到什么程度,舞臺(tái)氛圍修復(fù)到什么樣子才算還原,有沒有達(dá)到“舊”的效果,比較依賴主觀判斷,每個(gè)人的看法都會(huì)不同。
從結(jié)果來看,寶麗金公司對(duì)修復(fù)的效果滿意,也表達(dá)了后續(xù)針對(duì)別的IP進(jìn)行合作的訴求。