文|娛樂資本論 夏雯琪
江蘇衛(wèi)視跨年晚會上，周深與鄧麗君跨時空合唱《大魚》感動了許多人，B站彈幕被“淚目”刷屏?！疤摂M鄧麗君”背后的團隊，來自數(shù)字王國（Digital Domain），這家公司曾用類似虛擬人的技術，完成了《速度與激情7》中已故男星保羅·沃克的戲份。
同樣是跨年的時間節(jié)點，百度結(jié)合AI技術推出的龔俊數(shù)字人在百度App上進行了一場直播，這是國內(nèi)首個“可交互超寫實虛擬人”，唱歌、說話都是由AI驅(qū)動，與虛擬鄧麗君走了略為不同的技術路線。
而湖南衛(wèi)視新開播的《你好星期六》，也推出了數(shù)字人小漾，與龔俊、鄧麗君的“數(shù)字孿生”不同，小漾雖然語氣神態(tài)跟謝娜神似，但湖南衛(wèi)視顯然是希望從無到有，打造一個全新的形象。
進入2022，明星與虛擬人技術的結(jié)合越來越深，越來越復雜。
AI驅(qū)動、超寫實，技術上都已成熟；而明星的“數(shù)字孿生”是否要以假亂真，還是重塑一個新的人格，也引發(fā)行業(yè)新的思考。
百度在與龔俊合作數(shù)字人時，沒想到龔俊團隊會提出：“不要100%相像，最好在外形、個性、特長等方面有一定的差異。”
最終，百度借助AI技術，讓龔俊數(shù)字人做了一系列真人做不到的事，比如互動聊天、AI作詞作曲、彈鋼琴、唱歌跳舞、直播賣貨等等。
數(shù)字王國CEO謝安對剁椒TMT透露：“數(shù)字王國事實上也可以實現(xiàn)讓AI驅(qū)動鄧麗君的形象與外界對話，鄧麗君的語言、動作、表情都可以做到非常逼真。但為了保證電視節(jié)目的萬無一失，也保護鄧麗君的形象，數(shù)字王國最終采用了更穩(wěn)妥的、中之人的方式來呈現(xiàn)?！?/p>
此外，新冠期間的好萊塢，大量“以假亂真”的明星數(shù)字人，正在成為影視劇中的虛擬替身。
不斷迭代的明星數(shù)字人，未來將去向何處？剁椒TMT跟行業(yè)前沿的幾家公司聊了聊。
面捕、唇動、TTS、NLP……多重科技加持下的龔俊數(shù)字人
如今，在百度APP中將“龔俊數(shù)字人”設置為語音搜索助理，“龔俊”便會為你播報搜索結(jié)果。百度還根據(jù)龔俊的人設特點為其設置了可由機器學習的問答，風格與“小度”的說話個性形成了極大的區(qū)別。
百度龔俊數(shù)字人項目負責人表示，從2019年開始，百度也在打造二次元數(shù)字人IP“度曉曉”，不過“明星數(shù)字人有粉絲基礎，比其他網(wǎng)紅數(shù)字人更容易破圈，可以讓更多人關注和使用百度APP，帶動語音搜索的增長?！?/p>
據(jù)悉，龔俊數(shù)字人這一項目，由百度MEG（移動生態(tài)事業(yè)群組）作為統(tǒng)籌和核心落地，聯(lián)動了百度智能云、百度大腦、語音技術部等多個部門。
在外型方面，“掃描當天影棚遭遇臺風，時間很緊張，項目組只用半小時，就掃描、捕捉好了龔俊說話時的面部表情、口型肌肉等細微變化，”負責人表示，他們利用AI 自動生成模型，將原本幾個月的制作周期壓縮到了三周。
同時，百度采集了龔俊的20條語音，依托TTS（Text To Speech）技術，合成音色接近真人的聲音；接著，基于百度的自然語言處理（NLP）技術，讓數(shù)字人可以與用戶對話，甚至在最近的直播中可以展現(xiàn)流暢的歌聲。
為了讓模型和AI語音結(jié)合起來，百度語音技術部用“唇動技術”還原了真人說話時的口型變化，使虛擬人說話時自然生動?！褒徔”救丝吹阶罱K效果后，也覺得很有趣，還愿意與龔俊數(shù)字人進行直播連線對話。”
現(xiàn)在，百度APP中的龔俊數(shù)字人只有幾個簡單動作，更深度的對話、唱歌等功能可以在百度青春版APP（Wonder）中體驗。
目前，龔俊數(shù)字人比較大的不足是動作、表情由于之前動作掃描時間有限都還不夠精細，且因為動捕數(shù)據(jù)不足，在此前的直播中，雖然說話、唱歌都是AI驅(qū)動，但肢體動作還是需要借助中之人來完成。
為了提升這些能力，需要對龔俊本人進行更長時間的動作捕捉和面部捕捉。
百度方面表示，龔俊本人也有興趣再進行一次更精細的動作捕捉，未來，龔俊數(shù)字人有望可以根據(jù)語義自動配合肢體反應，進行更復雜的互動。
2022年，百度“龔俊數(shù)字人”有兩個任務，首先是進行機器深度學習，將百度的AI交互能力進一步遷移到龔俊數(shù)字人，逐漸引入更多功能，服務百度APP的用戶。
其次就是，探索數(shù)字人商業(yè)化的道路。明星數(shù)字人的代言費顯然低于明星本人，但，數(shù)字人會自帶科技感，成為另一種的營銷優(yōu)勢。目前，除了龔俊原本代言的品牌，也有其他品牌表達想要商業(yè)合作的意愿。
不過，除了與經(jīng)紀公司共同擁有版權(quán)、不能代言競品產(chǎn)品外，明星數(shù)字人的精細度與資金成本也需要進行平衡。
“龔俊數(shù)字人第一支亮相視頻精細度最高，1秒鐘成本近萬元，而在Unreal中打造一個場景也價格不菲?！背瑢憣崝?shù)字人的制作成本較高，其強大功能上線到百度App前，還要考慮安裝包包體增大、影響用戶體驗的問題，目前它在百度App中的精細度就比較低。
“度曉曉、龔俊數(shù)字人、祝融號數(shù)字人，我們同時在走幾條不同的虛擬人道路，還需要驗證模式，再進行復制?！卑俣认嚓P負責人表示。
虛擬鄧麗君背后：數(shù)字王國如何做到以假亂真？
“照片寫實級”，這是數(shù)字王國CEO謝安頻繁提到的一個詞。
的確，作為曾負責《泰坦尼克號》等幾百部大片特效的好萊塢巨頭，打造CG級別的虛擬人，是數(shù)字王國最大的優(yōu)勢和特點，而虛擬鄧麗君這些年也經(jīng)歷了許多次技術的迭代，逐漸做到“以假亂真”。
虛擬鄧麗君初次登臺，是在2013年周杰倫演唱會上合唱新歌《千里之外》。
謝安回憶起當年第一版虛擬鄧麗君的制作過程：“我一輩子都不會忘記，當時有一位得過兩次奧斯卡獎的視效藝術家，他灰暗的辦公室里貼滿幾百張鄧麗君的照片，用瑪雅（建模軟件）一筆一劃、手工勾勒出了鄧小姐的3D模型?！?/p>
而在動作方面，虛擬鄧麗君最初由美國的一位演員模仿動作，進行捕捉，略顯浮夸，還曾受到過“像迪士尼卡通人物”的爭議；而后，他們不斷修改、研究鄧麗君虛擬人的神態(tài)和動作，提升精細度。
與當年不同的是，如今數(shù)字王國的虛擬人，早已可以通過實時渲染生成，不僅成本大幅度降低，精細度、真實感也較此前大幅度提升。
2015年，數(shù)字王國開始對人物的肌肉、毛細血管進行全方位的掃描，并引入了大量人工智能技術，利用機器深度學習去揣摩演員不同情緒下的動作和表情反饋。
今年江蘇衛(wèi)視的跨年晚會，鄧麗君背后的聲音扮演者，是由模仿鄧麗君而走紅的歌手陳佳來擔任。除此之外，數(shù)字王國結(jié)合鄧麗君生前較高清的視頻，將這些機器深度學習得到的“密碼”輸入到模型中，實時轉(zhuǎn)化為鄧麗君歌唱、交談的樣子。
“最令我們最激動的不是這八年來的合唱時刻，而是2019年底，我們曾用視頻通話軟件，讓虛擬鄧麗君和鄧麗君生前的親朋好友們對話，有好幾個人都哭了，在房間里一首首合唱，不愿意離開?！?/p>
謝安表示，“在好萊塢這個小社區(qū)，大家都知道我們是虛擬人技術的革新者。以前演員們都痛恨必須花幾小時特效化妝，還擋住了面部表情?！?/p>
在《復仇者聯(lián)盟》系列的拍攝中，數(shù)字王國結(jié)合Unreal這一游戲引擎，導演可以在監(jiān)視器上實時看到渲染后“滅霸”呈現(xiàn)的情感，節(jié)省了很多時間和成本。
新冠疫情下，一些好萊塢明星拍少數(shù)電影鏡頭時還被要求戴口罩，數(shù)字王國還可以僅僅根據(jù)臺詞、語氣，訓練機器深度學習，推測、渲染出演員的嘴型和表情，達到“以假亂真”的程度。
打造明星數(shù)字人：孿生VS新生？
從商業(yè)和新意的角度來看，與明星本人的不同之處，才是虛擬人存在的意義。
很多明星都希望數(shù)字孿生跟自己有一定區(qū)隔。林俊杰也曾在抖音首秀中，與“數(shù)字孿生”M.E同臺，雖然外型一模一樣，但數(shù)字人的個性人設與他完全相反、還有一些不同的技能才藝，達到了有趣的效果。
如果過于真實、復制，不論是明星還是普通人的數(shù)字孿生，都面臨著倫理問題的討論。一方面，已故明星的虛擬形象不應過于商業(yè)化。
“我們心里一直有一個道德準則，鄧長富先生在簽約時曾經(jīng)說，我把親妹妹交給你了，我說過不會讓他失望。所以，除了曾開展過線下演唱會、跨年這種重要時刻演出，一般都是做慈善、公益活動，我們不會去過度消費鄧小姐。”
另外，可以做到交流互動的超寫實虛擬人，也有著類似換臉技術的倫理風險。
2019年，數(shù)字王國高管Doug Roble穿著動捕設備登上TED演講臺，而大屏幕呈現(xiàn)的是孿生虛擬人“DigiDoug”的演講，他擁有逼真的毛孔、皺紋，連血液跟隨表情改變以及睫毛悄悄顫動都能實現(xiàn)，還能瞬間切換成其他寫實虛擬人。
“當你們視頻采訪我，怎么確保那是我，而不是我的虛擬替身？其實是公關團隊在幕后幫我回答？”謝安指出，新冠期間一些好萊塢演員不愿出國拍戲被隔離、感染，或者不愿和某人拍對手戲，“當他使用虛擬替身后被提名了奧斯卡，這場戲到底是誰演的？”
在“數(shù)字孿生”之外的另一條路，則是像Ayayi、柳夜熙這類“從無到有”的虛擬人。
據(jù)悉，Ins粉絲超過305萬的雀斑虛擬人“Lil mequela”，2019年營收高達7600萬元人民幣，單次代言合作百萬元起步。
“很多大品牌知名度已經(jīng)很高了，他們考慮到明星的風險，很多想打造代表自己企業(yè)文化的虛擬人，”孔繁奇表示。
不過，憑空孵化“虛擬人”遇到的難題是，建立超寫實模型成本更高；沒有粉絲基礎，從0開始要做什么人設、什么外型才能走紅，如何進行長期內(nèi)容運營？這些都是擺在數(shù)字人行業(yè)專家們面前的問題。
比如《你好星期六》里面虛擬主持人“小漾”的表現(xiàn)被網(wǎng)友評價為“還沒長大”，很多只有圖片動態(tài)的網(wǎng)紅類虛擬人目前的粉絲數(shù)、互動量已經(jīng)越來越低，沒有令人“眼前一亮”的人設和豐富內(nèi)容。
盡管虛擬人在技術發(fā)展方面已經(jīng)日趨成熟，但制作成本并未大規(guī)模降低，與此同時，缺乏運營層面的操盤手，也并未出現(xiàn)“獨角獸”公司。
曾經(jīng)，明星虛擬人需要解決的問題是“相似”，而如今，數(shù)字人行業(yè)更多考慮的是，如何讓一個數(shù)字人形象招人喜歡，甚至，過目不忘。
“不少公司找到我們，希望幫忙打造一個虛擬人。”一位數(shù)字人領域的操盤手表示：“但我們通常會反問，虛擬人長什么樣，是什么人設，要花多大的成本，后續(xù)如何運營，你們，想清楚了嗎？”