文 | 窄播 李威
這是《窄播Weekly》的第31期，本期我們關(guān)注的商業(yè)動態(tài)是：AI視頻生成大模型。
今年2月OpenAI通過Sora的發(fā)布，為AI視頻生成明確了依靠DiT（Difffusion Transfomer）架構(gòu)獲得突破的技術(shù)路徑。隨后，快手、阿里巴巴、字節(jié)跳動、美圖、生數(shù)科技、智譜AI、MiniMax紛紛入局其中，持續(xù)提升著AI視頻生成的賽道熱度。
9月，國產(chǎn)視頻生成大模型迎來了目前最重要的一輪爆發(fā)：
8月31日，MiniMax正式發(fā)布視頻模型video-01，拉開了紅毯儀式的序幕。
9月19日，阿里云CTO周靖人在云棲大會上發(fā)布全新視頻生成模型。同日，快手發(fā)布可靈1.5模型，內(nèi)部評測整體效果比可靈1.0模型提升了95%。
9月23日，美圖公司宣布美圖奇想大模型完成視頻生成能力的升級。
9月24日，字節(jié)跳動旗下火山引擎發(fā)布了PixelDance和Seaweed兩款視頻生成大模型。
9月26日，美圖公司又向所有用戶開放了AI短片創(chuàng)作工具MOKI。
9月30日，可靈又上線了「對口型」功能，支持對生成的人物上傳音頻內(nèi)容，并宣布正式全面開放API，上線了AI創(chuàng)作社區(qū)「創(chuàng)意圈」。
國慶假期，國外視頻生成大模型領(lǐng)域也迎來了新變化。當(dāng)?shù)貢r間10月4日，Sora團隊研發(fā)負(fù)責(zé)人Tim Brooks宣布離職加入DeepMind，繼續(xù)從事視頻生成和世界模擬器方面的工作。
同日，Meta對外公布了新的大模型Movie Gen。該模型支持根據(jù)文本提示創(chuàng)作視頻和音頻內(nèi)容，并允許用戶添加特效、道具、服裝或?qū)ι蓛?nèi)容中的部分元素進行簡單調(diào)整，可生成最長16秒的1080P視頻。Meta認(rèn)為，Movie Gen旨在處理從個性化視頻創(chuàng)作到復(fù)雜的視頻編輯和高質(zhì)量音頻生成等任務(wù)，并計劃于2025年在Instagram落地應(yīng)用。
從國內(nèi)到國外，巨頭與創(chuàng)業(yè)公司攜手結(jié)束了視頻生成大模型你方唱罷我登場的紅毯儀式，開始面向具體場景尋找快速落地、生效、獲益的路徑。
四個共性特征
在過去的7個月時間里，不同企業(yè)圍繞視頻生成大模型進行的探索呈現(xiàn)出了四個共性特征。
第一，視頻生成大模型的迭代速度更快，效果提升更顯著。從單一模型來看，快手可靈截止1.5版本發(fā)布，已經(jīng)進行了9次迭代，并且在上線1.5模型的同時，還在為1.0模型增加新的能力。從不同模型來看，近期發(fā)布的視頻生成大模型在生成效果上都有比較明顯的提升。
第二，幾乎所有視頻生成大模型都是現(xiàn)貨供應(yīng)，極少有像Sora一樣的期貨產(chǎn)品。阿里巴巴發(fā)布視頻生成大模型之后，即日就能在通義App和通義萬相網(wǎng)站上面向所有用戶開放。字節(jié)跳動的視頻生成大模型發(fā)布之后，火山引擎總裁譚待也表示，豆包視頻生成大模型不是「期貨」，已經(jīng)在內(nèi)測API和應(yīng)用，國慶節(jié)后會放出更多公開API。
第三，現(xiàn)貨的前提下，全量開放和限制次數(shù)的免費使用成為國產(chǎn)視頻生成大模型的共同選擇。可靈在7月23日就實現(xiàn)了全量開放，非會員每日登陸可以獲得6個視頻生成份額。阿里強調(diào)視頻生成功能在手機App端不限量免費使用。MiniMax也在海螺AI官網(wǎng)上開啟了對視頻生成功能的限免體驗。相較而言，每月向Runway支付105元，才可以獲得生成10個視頻的權(quán)益。
第四，可生成的視頻類型越來越豐富，清晰度越來越高，細(xì)節(jié)越來越逼真，視頻一致性和長度不斷提升，運動軌跡越來越符合物理規(guī)律。
可靈1.5模型支持最長2分鐘的30幀1080P高清視頻。豆包視頻生成大模型支持生成黑白、3D動畫、2D動畫、國畫等多種風(fēng)格、適配不同畫幅比例的視頻內(nèi)容。通義視頻生成大模型支持最長5秒、每秒30幀的720P視頻生成，并能生成與畫面匹配的音效，呈現(xiàn)發(fā)絲隨風(fēng)飄動、水滴上的陽光折射等細(xì)節(jié)。
這些共性特征特征的出現(xiàn)意味著，不同于OpenAI在Sora上展現(xiàn)出了「世界模擬器」的野心，國產(chǎn)的視頻生成大模型從誕生起，就選擇的是一條更落地、更現(xiàn)實的進化路徑——讓快速迭代的視頻生成大模型融入和優(yōu)化現(xiàn)有的視頻創(chuàng)作流程。
對于大模型創(chuàng)業(yè)公司而言，就像MiniMax創(chuàng)始人閆俊杰所說，人類每天消費的大部分內(nèi)容都是圖文和視頻，文字的占比并不高，具備輸出多模態(tài)內(nèi)容能力的大模型能夠獲得更高的用戶覆蓋度和使用度。
對于擁有視頻業(yè)務(wù)和用戶積累的成熟企業(yè)而言，大模型可能意味著一個重新分配蛋糕的機會，也意味著深挖已有用戶潛力的可能，最不濟，對大模型的投入也能夠在一定程度上幫助企業(yè)降低被擠下牌桌的風(fēng)險。
不同大模型有不同的突破口
從差異性上來看，內(nèi)容平臺在視頻生成大模型上已經(jīng)展現(xiàn)出了一定的優(yōu)勢。從Sora發(fā)布至今，快手的可靈與字節(jié)跳動的豆包視頻生成大模型分別在兩個不同的時間點收獲了最高光的關(guān)注。并且，可靈和豆包視頻生成大模型拿出的功能特點更能切中實際的使用需求。
可靈1.5模型可以一次性生成最多4條視頻，提升了抽卡效率，圖生視頻的時長也提高到了10秒，還上線了「使用指南」，降低用戶使用可靈的門檻?？伸`1.0模型的圖生視頻功能增加了運動筆刷功能，讓用戶能為圖中最多6個元素描繪更精準(zhǔn)的運動軌跡。
相較效果豐富的Seaweed，另一款基于DiT架構(gòu)的豆包視頻生成大模型PixelDance給到了大家更大震撼。該模型展示出了對復(fù)雜prompt的精準(zhǔn)理解能力，也更接近真實視頻創(chuàng)作習(xí)慣的動態(tài)效果與鏡頭語言，能夠在同一個prompt下實現(xiàn)多鏡頭的切換，并保持主體、風(fēng)格、氛圍的一致性。
發(fā)布會的展示中，PixelDance可以根據(jù)「一個男人站在一輛汽車前面，鏡頭向前推進，聚焦到男人拿出的鑰匙，男人打開車門」這樣的prompt，生成一個基本呈現(xiàn)其細(xì)節(jié)要求的10秒鐘視頻。在已經(jīng)發(fā)布的測評中，PixelDance也生成了高一致性，且能運用變焦、縮放、搖移等多種鏡頭語言的視頻內(nèi)容。
相較視頻平臺，擁有圖像工具產(chǎn)品基礎(chǔ)的美圖公司，將AI短劇生成作為自己視頻生成大模型能力的突破口。其面向所有用戶開放的AI短片創(chuàng)作工具MOKI，支持生成中國動畫、兒童期刊、手繪插畫、日式動漫、古典水墨等10種視覺風(fēng)格的短劇作品。從一些測評來看，其對宮崎駿動畫風(fēng)格、黏土動畫風(fēng)格都有不錯的呈現(xiàn)。
阿里巴巴的通義視頻生成大模型、MiniMax的video-01主要強調(diào)了模型底層能力的優(yōu)化。阿里巴巴采用了中英文雙語標(biāo)注，從語義理解環(huán)節(jié)就強化了對中文表達(dá)的支持，對中國風(fēng)視頻內(nèi)容的生成有更好的支持，并能對簡單的prompt進行靈感擴寫，提升視頻生成的效果。MiniMax則會強調(diào)生成的視頻內(nèi)容可媲美電影質(zhì)感。
奔向場景的三條路徑
隨著玩家的基本聚齊，視頻生成大模型的競爭開始進入到尋找規(guī)模化落地場景的階段。我們可以為視頻生成大模型找到從C端到B端的豐富的應(yīng)用場景，比如朋友圈內(nèi)容、AI短劇、視頻廣告、口播內(nèi)容、宣傳片、節(jié)目制作、電影后期……這些場景大致可以被劃分為三類，也是大模型奔赴場景的三條路徑。
第一，直面普通用戶，尋求快速增長。快手在快影上、字節(jié)跳動在即夢AI上，都在進行著直接面向普通用戶的探索。但是，對于大多數(shù)普通用戶來說，視頻剪輯、視頻生成都不是高頻次的功能，需要以更大的用戶基數(shù)來對沖大部分用戶使用頻次的不足。
以視頻生成大模型目前的能力水準(zhǔn)，并不足以滿足用戶簡單便捷地生成所需視頻內(nèi)容的要求。提出能生成有效視頻內(nèi)容的prompt，對大部分人都還是一種挑戰(zhàn)。這也是為什么，阿里會在視頻大模型中增加靈感擴寫功能。視頻生成大模型還處在PS階段，但大部分用戶需要的是美圖秀秀。
這種落差的存在，讓視頻生成大模型面向普通用戶的使用，更多會從某個極其具體且剛需的場景切入。像之前大火過的妙鴨相機、黏土特效以及能讓照片說話唱歌的EMO模型，都屬于具體且剛需的娛樂場景。他們還肩負(fù)著讓更多普通用戶對大模型產(chǎn)品形成精準(zhǔn)預(yù)期的責(zé)任。
在此基礎(chǔ)上，從有趣向有用過渡，不斷找到具體且剛需的場景，可能是視頻生成大模型面向普通用戶進行拓展的關(guān)鍵。
第二，服務(wù)個體的創(chuàng)作者，降低創(chuàng)作門檻。這類用戶往往是個人或小團隊，創(chuàng)作需求更持續(xù)，更有創(chuàng)作沖動，卻缺乏生產(chǎn)高成本、高概念視頻作品的能力。視頻生成大模型讓這些個體創(chuàng)作者有機會付出更多時間成本，通過精調(diào)prompt和抽卡，來降低金錢成本，將更多靈感和想象力轉(zhuǎn)化為視頻作品。
對于視頻平臺而言，這些撐起內(nèi)容創(chuàng)作生態(tài)基礎(chǔ)的個體創(chuàng)作者，是最重要的服務(wù)對象。更低的視頻創(chuàng)作門檻，更豐富多彩的靈感表達(dá)，意味著更為繁榮的視頻內(nèi)容生態(tài)。剪映、即夢AI、快影、YouTube、Instagram正在融入的視頻生成大模型能力，甚至美圖公司的MOKI，都會將服務(wù)這部分創(chuàng)作者作為一個重點。
即夢AI和剪映市場負(fù)責(zé)人陳欣然在活動上展示了一個融合AI能力的創(chuàng)作流程。在這個流程中，創(chuàng)作者可以利用AI生成一個故事腳本，然后在AI輔助下完成視覺設(shè)定，在故事腳本和視覺設(shè)定基礎(chǔ)上生成視頻內(nèi)容，并配以AI生成的音樂和音效，利用AI智能剪輯輸出完整作品。這種理想的視頻創(chuàng)作的工作流能夠極大釋放創(chuàng)作者的潛力。
YouTube也在將Google的視頻生成大模型能力融入其中。2023年，YouTube就已經(jīng)支持創(chuàng)作者通過自然語言在短視頻平臺YouTube Shorts中生成視頻背景。今年，隨著對AI視頻生成大模型Veo的集成，創(chuàng)作者可以為YouTube Shorts生成6秒的短片，或者為視頻添加過渡場景。
第三，服務(wù)企業(yè)客戶，將視頻生成能力植入到現(xiàn)有的內(nèi)容生產(chǎn)流程中，提供輔助，降低成本?？伸`與東方衛(wèi)視合作，在中秋晚會的《博物館奇妙夜》節(jié)目中，讓文物都「活」了過來，支撐了創(chuàng)意的實現(xiàn)。利用剪映的內(nèi)容營銷創(chuàng)作工具，用戶上傳商品素材或頁面鏈接，就能一鍵生成不同風(fēng)格的帶貨視頻。
東吳證券在研報中認(rèn)為，AI滲透率提升的核心驅(qū)動力在于企業(yè)的降本增效訴求。根據(jù)東吳證券的測算，全AI模式下，電影、長劇、動畫片、短劇的制作成本分別為2.5/9.3/3.7/0.4萬元人民幣，相較于傳統(tǒng)模式成本降低幅度超95%；人機共創(chuàng)模式下，電影制作成本有望降低43%。
Runway與獅門影業(yè)的合作表明企業(yè)與視頻生成大模型結(jié)合的意愿在提升。在這個合作中，Runway將使用獅門影業(yè)的電影目錄來訓(xùn)練自定義視頻模型，使其可以生成電影視頻，并利用其增強創(chuàng)作者的作品。當(dāng)然，這個探索需要更長時間，并具備很強的不確定性。
盡管一些創(chuàng)作者反對將其作品應(yīng)用于大模型的訓(xùn)練，但2024年動畫藝術(shù)家工會（Animation Guild）對美國55萬名影視行業(yè)從業(yè)者進行的問卷調(diào)查顯示，已經(jīng)有69%的公司在使用生成式AI技術(shù)，其中約44%的公司將其應(yīng)用于生成3D模型，39% 的公司應(yīng)用于設(shè)計角色和環(huán)境。
需要更多成功模板
從Runway與獅門影業(yè)的合作中，我們也可以看到一個趨勢。在視頻生成大模型之上，一個視頻生成大模型的應(yīng)用生態(tài)正在出現(xiàn)。將視頻生成大模型的能力針對特定場景進行模板化，是這個應(yīng)用生態(tài)的最核心工作。Runway就有意將和獅門影業(yè)共同開發(fā)的模型授權(quán)為模版，供個人創(chuàng)作者構(gòu)建和訓(xùn)練自己的自定義模型。
美圖公司對MOKI的功能設(shè)計就是一個細(xì)分場景模板化的案例。MOKI將創(chuàng)意短片的創(chuàng)作過程分成可以進行微調(diào)的三個步驟：通過用戶提供的故事梗概和現(xiàn)成腳本生成分鏡腳本和設(shè)定選項；根據(jù)分鏡腳本生成畫面，并支持修改細(xì)節(jié)；最后輸出帶有配樂的視頻內(nèi)容。
另一種模板化的路徑是與行業(yè)頂尖的創(chuàng)作者合作，推出最佳實踐。快手在不久前宣布啟動「可靈AI」導(dǎo)演共創(chuàng)計劃，聯(lián)合李少紅、賈樟柯、葉錦添、薛曉路、俞白眉、董潤年、張吃魚、王子川、王卯卯9位導(dǎo)演，依托可靈的技術(shù)能力，制作出品9部AIGC電影短片。其中沉淀出來的最佳實踐，也能為更多內(nèi)容創(chuàng)作者使用可靈提供借鑒。
我們也看到，越來越多的視頻生成大模型開始面向企業(yè)開放API接口，借助更多企業(yè)的力量，共同開發(fā)視頻生成大模型的場景化模板。Runway 為其視頻生成大模型Gen-3 Alpha Turbo開放了僅限受邀者使用的API接口，供受邀者在應(yīng)用中構(gòu)建視頻生成功能。Luma、Vidu也都推出了自己的API開放計劃。
在過去半年多的時間里，我們見證了視頻生成大模型的快速迭代發(fā)展，也看到了人們?yōu)槠鋵ふ易罴褢?yīng)用場景的諸多努力。在視頻生成大模型領(lǐng)域，還有很多不確定性，比如現(xiàn)有的技術(shù)路徑是否能夠?qū)崿F(xiàn)視頻生成能力的最大化，會不會有新的技術(shù)路徑出現(xiàn)，以及如果將視頻生成能力融入進Butterflies這樣的AI社區(qū)會產(chǎn)生什么樣的效果。這需要更多時間去探索和驗證。