文 | Tech星球 陳橋輝
今年最火的兩款全球AI產(chǎn)品,當(dāng)屬視頻生成大模型產(chǎn)品Sora和音樂生成大模型產(chǎn)品Suno。
今年4月,經(jīng)Suno爆改的周杰倫金曲《以父之名》和《夜曲》直接封神,在音樂界掀起了一股不小的波瀾。不少人認為,這兩條賽道會催生出新的爆款產(chǎn)品,誰能夠拿下其中一條賽道,誰就能成為AI行業(yè)的王者。
兩款A(yù)I產(chǎn)品的火爆,迅速點燃了國內(nèi)大廠對這兩條賽道的爭奪戰(zhàn)。阿里發(fā)布了通義萬相AI視頻服務(wù),字節(jié)跳動發(fā)布了“PixelDance”,快手發(fā)布了視頻大模型產(chǎn)品“可靈”,QQ音樂、網(wǎng)易云音樂也發(fā)布了AI創(chuàng)作功能,而AI頭部公司的Minimax、生數(shù)科技、智譜AI也紛紛跟進。
在這兩條熱門賽道中最不遺余力的當(dāng)屬字節(jié)。9月24日,火山引擎在深圳舉辦AI創(chuàng)新巡展上,發(fā)布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型,意味著字節(jié)正式宣告進軍AI視頻生成賽道。
不僅如此,字節(jié)還在音樂生成賽道上,推出了Seed-Music音樂生成模型,并于今年7月推出了發(fā)布了全新版本的海綿音樂APP,主打“一鍵創(chuàng)作你的AI音樂”,這款產(chǎn)品也是字節(jié)AI音樂產(chǎn)品的代表作。
至此,字節(jié)完成了在AI視頻和AI音樂這兩條熱門賽道上的全布局?;鹆θ_之下的字節(jié),能夠得償所愿嗎?
字節(jié)AI賽道創(chuàng)業(yè):試錯、內(nèi)部賽馬并舉
豆包視頻生成大模型的發(fā)布,是字節(jié)在AI領(lǐng)域的一次重磅亮相。
據(jù)火山引擎介紹,豆包視頻生成模型基于DiT架構(gòu),通過高效的DiT融合計算單元,讓視頻在大動態(tài)與運鏡中自由切換,擁有變焦、環(huán)繞、平搖、縮放、目標跟隨等多鏡頭語言能力。
而在此前視頻生成模型大多只能完成簡單指令,豆包視頻生成模型則能實現(xiàn)自然連貫的多拍動作與多主體復(fù)雜交互。例如,后者可以讓不同人物完成多個動作指令的互動,使人物樣貌、服裝細節(jié)甚至頭飾,在不同運鏡下也保持一致,接近實拍效果。
基于豆包視頻生成大模型,字節(jié)內(nèi)部也推出了相關(guān)的具有AI視頻生產(chǎn)能力的產(chǎn)品,主要由兩個業(yè)務(wù)團隊在推進,一個是豆包,一個是剪映,可以看做是內(nèi)部的一場賽馬。
豆包對外的產(chǎn)品是豆包APP,剪映則是即夢AI APP,兩者的底層技術(shù)都是使用的豆包視頻生成大模型,即夢使用的是豆包視頻生成大模型“PixelDance”。
兩款產(chǎn)品雖然都有著視頻生成能力,但即夢更具有代表性。
即夢的前身是Dreamina,是原字節(jié)跳動中國CEO、轉(zhuǎn)崗至剪映的業(yè)務(wù)負責(zé)人張楠的創(chuàng)業(yè)項目。剛上線之時,這僅僅是一個文生圖的創(chuàng)作產(chǎn)品。隨后,Dreamina瞄上了Sora的潛力,內(nèi)部基于PixelDance模型開始研發(fā)視頻生成能力,今年2月,Dreamina的視頻生成服務(wù)開啟對外測試。
今年5月,Dreamina改名即夢,宣布其AI作圖和AI視頻生成功能全量上線,并在抖音內(nèi)進行大量投放。張楠更是在朋友圈轉(zhuǎn)發(fā),稱即夢剛剛上線,還有很多待優(yōu)化的地方。
音樂生成方面,海綿音樂APP則是字節(jié)的代表,這款產(chǎn)品是字節(jié)在AI賽道上試錯的一個典型案例。海綿音樂的前身是2022年2月的海綿樂隊APP。Tech星球了解到,這是字節(jié)內(nèi)部的一款創(chuàng)業(yè)項目,但這款產(chǎn)品誕生之初并不是奔著AI而去,而是服務(wù)于汽水音樂和抖音上對音樂編輯有所需求的用戶。
到了2022年底,隨著國內(nèi)AI浪潮出現(xiàn)后,海綿樂隊才開始轉(zhuǎn)向AI領(lǐng)域,并加入AI作曲能力,但此時的創(chuàng)作能力很一般,“因為此時的字節(jié),并沒有成體系的音樂生成大模型,海綿樂隊只能靠自己去摸索”,一位曾在海綿樂隊工作的員工向Tech星球表示。
2023年6月推出了新版本,主打哼唱成曲和伴奏制作,雖然在AI能力上仍不出眾,但對接下來的試錯和更新提供了經(jīng)驗。隨著豆包音樂生成模型的出現(xiàn),才讓海綿樂隊有了一戰(zhàn)之力,最終在今年7月,更名為海綿音樂,主攻AI音樂創(chuàng)作賽道。目前,已經(jīng)開始在各渠道進行投放推廣。
需要注意的是,字節(jié)的AI產(chǎn)品在這兩條賽道上的發(fā)展并不是獨立,而是相互競爭。豆包、即夢在近期也開始推出音樂生成服務(wù),逐步滲透到AI音樂賽道,“競爭是無可避免的,誰都想成為爆款A(yù)I產(chǎn)品,誰都想成為或繼續(xù)保持在內(nèi)部的核心位置,這無疑需要AI產(chǎn)品更加具有綜合體驗”,即夢的一位運營告訴Tech星球。
左手視頻,右手音樂
據(jù)七麥數(shù)據(jù)顯示,字節(jié)視頻生成APP即夢自今年8月上線以來,在iOS端的攝影與錄像(免費)榜單的排名逐漸上升,兩個月時間,已經(jīng)穩(wěn)定在前40的名次,安卓端,近30天日均下載量,為22978次。
借助抖音APP以及投放,即夢的視頻生成服務(wù)逐漸成為不少抖音創(chuàng)作者的首選。但即夢并不滿足于此,今年8月,即夢開始在AI短劇領(lǐng)域的創(chuàng)作探索。聯(lián)合抖音、博納影業(yè)AIGMS制作中心出品并制作《三星堆:未來啟示錄》。即夢還在抖音內(nèi)發(fā)起了“即夢AI迷你劇場”的活動,支持AI短劇的創(chuàng)作。
截至9月,豆包大模型日均tokens使用量已經(jīng)超過1.3萬億,相比5月首次發(fā)布時猛增十倍,其中不乏即夢所作出的貢獻。
在商業(yè)模式上,即夢已推出會員體系,有79元單月、69元連續(xù)包月和659元包年的基礎(chǔ)會員等不同訂閱方式。具體來說,基礎(chǔ)會員每月可使用505個積分生成約2020張圖片或168個AI視頻。
有分析人士認為,即夢目前的產(chǎn)品功能、商業(yè)模式聚焦于服務(wù)UGC(用戶生成內(nèi)容),與抖音的生態(tài)融合將是未來的發(fā)展重點。
相比于字節(jié)在視頻生成方面取得的成績,字節(jié)在音樂生成方面,目前仍然是不溫不火。七麥數(shù)據(jù)顯示,海綿音樂有著廣告投放,但并沒有在iOS端,取得排名,近30日日均下載量僅為15次。
音樂行業(yè)人士李磊認為,雖然AI音樂很火,但好聽的AI歌曲創(chuàng)作多來自于專業(yè)人士,普通用戶對于AI音樂生成工具的使用門檻和學(xué)習(xí)成本也有一定的要求,如果工具過于復(fù)雜或難以使用,就會影響用戶的體驗和接受度。而且,用戶對AI音樂的接受度也需要時間來培養(yǎng)。
“字節(jié)在多個領(lǐng)域都有業(yè)務(wù)布局,在資源有限的情況下,公司需要在不同業(yè)務(wù)之間進行資源分配和權(quán)衡。AI音樂生成領(lǐng)域雖然具有很大的發(fā)展?jié)摿Γ谇捌谛枰罅康难邪l(fā)投入和市場推廣,相比于更加成熟的AI視頻,公司肯定更愿意加大對這一塊的力度投入”,一位汽水音樂的運營小可告訴Tech星球。
下一個AI爆款,還是燒錢深坑
不可否認,AIGC(人工智能生成內(nèi)容)是一個巨大的市場,量子位智庫預(yù)計,2024年我國AIGC應(yīng)用市場規(guī)模達到200億。2030年,我國AIGC應(yīng)用將成為萬億規(guī)模市場,五年(2024-2028年)平均復(fù)合增長率超過30%。
目前,國內(nèi)在視頻生成模型方面,有優(yōu)勢的是快手和字節(jié)跳動,因為二者的業(yè)務(wù)離視頻更近,能夠待其視頻生成足夠優(yōu)秀之后會快速完成拉新,并帶動用戶體驗提升。
而背靠快手的視頻生成AI產(chǎn)品可靈,也成為了字節(jié)在AI視頻賽道上最有力的競爭者。
可靈的發(fā)展速度也很迅猛,今年8月的官方數(shù)據(jù)顯示,可靈累計生成視頻數(shù)量超過1600萬,不到2個月,可靈AI已有超過360萬用戶,累計生成3700萬個視頻和超過一億張圖片。
近日,快手副總裁、大模型團隊負責(zé)人張迪宣布,可靈AI將內(nèi)測視頻人臉模型功能。該功能基于創(chuàng)新的ID保持能力,支持用戶自助訓(xùn)練人臉模型,完成訓(xùn)練后,可使用該模型進行5秒至10秒的文生視頻。
此外,AI視頻生成技術(shù)研發(fā)成本高和周期長也是一個事實。據(jù)界面新聞報道,百度CEO李彥宏稱“百度不做Sora”后,有關(guān)“中國版Sora到底值不值得做”的話題,在微博、小紅書等社交媒體引發(fā)眾多爭論。
李彥宏在內(nèi)部講話中稱,Sora這種視頻生成模型的投入周期太長,10年、20年都可能拿不到業(yè)務(wù)收益,無論多火爆,百度都不去做。
AI音樂生成方面,版本正在快速迭代,字節(jié)仍需快馬加鞭。近日,AI音樂創(chuàng)作平臺Suno推出的一項創(chuàng)新功能——SunoScenes,允許用戶通過上傳照片和視頻作為提示詞,生成與之相匹配的30秒音樂。
而且,音樂數(shù)據(jù)的版權(quán)問題也是一個挑戰(zhàn)。獲取合法的音樂數(shù)據(jù),需要與版權(quán)方進行合作,這可能會增加成本和難度。同時,音樂數(shù)據(jù)的質(zhì)量也參差不齊,如何篩選和整理高質(zhì)量的音樂數(shù)據(jù)用于模型訓(xùn)練是一個重要的問題。