正在閱讀:

李彥宏最新內(nèi)部講話:開源大模型不如閉源,后者會持續(xù)領(lǐng)先

掃一掃下載界面新聞APP

李彥宏最新內(nèi)部講話:開源大模型不如閉源,后者會持續(xù)領(lǐng)先

在李彥宏看來,大模型開源并非眾人拾柴火焰高,反而是閉源模型在能力上會持續(xù)領(lǐng)先。

作者:范劍磊

界面新聞記者 | 李如嘉

界面新聞編輯 | 宋佳楠

4月11日,界面新聞獲悉,百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏在一場內(nèi)部講話中首次談及文心大模型為何不開源,以及對于大模型開源與閉源的路線選擇的看法。

此外,他還提到了關(guān)于AI創(chuàng)業(yè)者應(yīng)該專注模型還是應(yīng)用、創(chuàng)業(yè)公司既做模型又做應(yīng)用的“雙輪驅(qū)動”是否是一個好模式等業(yè)界焦點話題。

大模型開源意義不大

在大模型領(lǐng)域,目前有開源和閉源兩種技術(shù)路線。

例如馬斯克旗下的人工智能初創(chuàng)公司“xAI”選擇了開源路線,此前其正式開源了全球最大參數(shù)的大語言模型Grok-1。Meta的大語言模型Llama系列,以及在開源社區(qū)備受關(guān)注的Mistral AI等,國內(nèi)的智源“悟道”大模型百川智能大模型、阿里的通義千問模型也都是開源大模型。

掀起大模型熱潮的OpenAI開發(fā)的GPT-3.5、GPT-4選擇了閉源,百度文心大模型也是如此。

李彥宏在內(nèi)部講話中提到,關(guān)于文心是否需要開源,百度內(nèi)部有過非常激烈的討論,最終決定不開源。當(dāng)時的判斷是,市場上一定會有開源的模型,而且不止一家會開源。在這種情況下,多百度一家開源不多,少百度一家開源也不少。

這個市場上不缺我們這一家開源的模型。我們要開源還得自己去維護一套開源的版本,這是不劃算的?!?/span>他認(rèn)為,模型開源的意義其實不是很大,這些開源模型在外零散、小規(guī)模地去做各種驗證應(yīng)用,沒有經(jīng)過大算力的驗證。

在他看來,與傳統(tǒng)的軟件開源不同,大模型開源并非眾人拾柴火焰高。反而是閉源模型在能力上會持續(xù)領(lǐng)先,而不是一時的領(lǐng)先。

有行業(yè)人士同樣對界面新聞表示,此前開源軟件的優(yōu)勢在于大家共享代碼,可以做到多人共同修復(fù)bug,使得軟件不斷更新。然而大模型本身是一個黑盒,在有人提交修改后就有重新訓(xùn)練的可能,每次訓(xùn)練都會消耗大量的算力和資金,并不像從前開源軟件一樣在多人共同開發(fā)方面有如此大的受益。

上述人士判斷,長期來看,閉源更能集中智力、算力等資源對大模型進行迭代,比起開源效率更高。

李彥宏也強調(diào),閉源的優(yōu)勢還在于有真正的商業(yè)模式,能賺到錢去聚集算力、聚集人才。在成本上,同等能力下,閉源模型的推理成本更低、響應(yīng)速度更快同等參數(shù)的情況下,閉源模型的能力也更強。

今天不管是在中國也好、在美國也好,最強的基礎(chǔ)模型都是閉源的,而各種各樣的小模型、最好的小模型,都是通過大模型蒸餾來的。通過大模型降維做出來的模型就是更好的,這樣也會導(dǎo)致閉源在成本上、在效率上會有優(yōu)勢。他說。

關(guān)于大模型的開源閉源之爭,百川智能首席執(zhí)行官王小川此前接受界面新聞采訪時也有所提及。他的觀點是,大模型本身不代表消費端,不像安卓、IOS需要二選一,今天從企業(yè)端的角度,開源閉源都很需要。

王小川很看重開源帶來的價值,他認(rèn)為,未來80%的企業(yè)會用到開源模型,因為開源模型小巧,而閉源沒法對很多場景做出上佳適配。

AI創(chuàng)業(yè)者的核心競爭力并非模型本身

除對開、閉源路線表態(tài)外,李彥宏還對AI創(chuàng)業(yè)者創(chuàng)業(yè)公司提出了自己的看法。

他認(rèn)為,一些做模型的創(chuàng)業(yè)公司所謂的“雙輪驅(qū)動”不是一個好模式,既做模型又做應(yīng)用,勢必會分散精力。創(chuàng)業(yè)公司的精力和資源都是有限的,當(dāng)資源有限時更應(yīng)該專注,而不是去搞所謂的“雙輪驅(qū)動”。

而對AI創(chuàng)業(yè)者來說,核心競爭力不應(yīng)該是模型本身,這是非常耗資源,而且需要很長時間的堅持才能跑出來。創(chuàng)業(yè)者真正的優(yōu)勢應(yīng)該是在某一個領(lǐng)域的知識、數(shù)據(jù)

假如你今天想找一個黃色的無兜的男士泳褲,你在任何一個電商平臺上都找不到,這種需求目前的技術(shù)是解決不了的。大模型如果有領(lǐng)域知識就可以解決,這就是靠領(lǐng)域知識能夠提供獨特價值的例子。他說。

在他看來,市面上有大量模型,大的、小的、開源的、閉源的,在特定應(yīng)用當(dāng)中如何使用這些模型的組合是有技巧的,這是創(chuàng)業(yè)者可以干的事兒,是可以提供價值增益的。

而關(guān)于外界所擔(dān)心的如果用了文心或者閉源模型,做得好就會被抄襲、被搶飯碗,李彥宏也回應(yīng)稱,在移動時代,微信沒有去吃掉拼多多,滴滴也沒有變成騰訊的一部分。它們都各自提供了自己獨特的價值,有自己非常不一樣的競爭力。它們的興起都是依賴移動生態(tài)里的一個封閉平臺——微信,但它們并不怕微信去搶它的飯碗,所以沒有必要擔(dān)心基礎(chǔ)模型通吃AI的應(yīng)用。

中信建投研報指出,當(dāng)前國內(nèi)大模型能力逐步提升,中文領(lǐng)域處理和部分特性如長文本處理等有對齊和領(lǐng)先優(yōu)勢。隨著Kimi熱度提升,國內(nèi)多家大模型廠商加入長文本能力競爭,產(chǎn)業(yè)消費端落地加速。國內(nèi)大模型應(yīng)用元年已至。

在模型逐漸成熟后,未來大模型將在產(chǎn)品和應(yīng)用層上展開新一輪比拼和爭奪。李彥宏這番講話也是在吸引更多應(yīng)用層開發(fā)者選擇文心大模型。

在此前的百度2023年第四季度及全年財報電話會上,李彥宏透露,百度智能云四季度總營收84億元,其中大模型為云業(yè)務(wù)帶來約6.6億元增量收入。

目前,文心大模型的日調(diào)用量已超過5000萬次,季度環(huán)比增長190%。去年12月,約有2.6萬家企業(yè)調(diào)用文心大模型,季度環(huán)比增長150%。三星、榮耀、汽車之家等企業(yè)均與百度達成合作。

自發(fā)布以來,百度不斷降低文心大模型的推理成本,目前已降低至去年3月版本的1%。

李彥宏還表示,未來,多模態(tài)或多模態(tài)的融合,比如文字到視頻,是非常重要的基礎(chǔ)模型開發(fā)的方向,是AGI(通用人工智能)的一個必要方向百度已經(jīng)在這些領(lǐng)域進行投資,并會在未來繼續(xù)進行投資。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。

百度

6.4k
  • 蘿卜快跑想從香港駛向全球
  • 蘿卜快跑回應(yīng):已獲批香港首個自動駕駛牌照,開啟全球業(yè)務(wù)拓展

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

李彥宏最新內(nèi)部講話:開源大模型不如閉源,后者會持續(xù)領(lǐng)先

在李彥宏看來,大模型開源并非眾人拾柴火焰高,反而是閉源模型在能力上會持續(xù)領(lǐng)先。

作者:范劍磊

界面新聞記者 | 李如嘉

界面新聞編輯 | 宋佳楠

4月11日,界面新聞獲悉,百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏在一場內(nèi)部講話中首次談及文心大模型為何不開源,以及對于大模型開源與閉源的路線選擇的看法。

此外,他還提到了關(guān)于AI創(chuàng)業(yè)者應(yīng)該專注模型還是應(yīng)用、創(chuàng)業(yè)公司既做模型又做應(yīng)用的“雙輪驅(qū)動”是否是一個好模式等業(yè)界焦點話題。

大模型開源意義不大

在大模型領(lǐng)域,目前有開源和閉源兩種技術(shù)路線。

例如馬斯克旗下的人工智能初創(chuàng)公司“xAI”選擇了開源路線,此前其正式開源了全球最大參數(shù)的大語言模型Grok-1。Meta的大語言模型Llama系列,以及在開源社區(qū)備受關(guān)注的Mistral AI等,國內(nèi)的智源“悟道”大模型、百川智能大模型、阿里的通義千問模型也都是開源大模型。

掀起大模型熱潮的OpenAI開發(fā)的GPT-3.5、GPT-4選擇了閉源,百度文心大模型也是如此。

李彥宏在內(nèi)部講話中提到,關(guān)于文心是否需要開源,百度內(nèi)部有過非常激烈的討論,最終決定不開源。當(dāng)時的判斷是,市場上一定會有開源的模型,而且不止一家會開源。在這種情況下,多百度一家開源不多,少百度一家開源也不少。

這個市場上不缺我們這一家開源的模型。我們要開源還得自己去維護一套開源的版本,這是不劃算的?!?/span>他認(rèn)為,模型開源的意義其實不是很大,這些開源模型在外零散、小規(guī)模地去做各種驗證應(yīng)用,沒有經(jīng)過大算力的驗證。

在他看來,與傳統(tǒng)的軟件開源不同,大模型開源并非眾人拾柴火焰高。反而是閉源模型在能力上會持續(xù)領(lǐng)先,而不是一時的領(lǐng)先。

有行業(yè)人士同樣對界面新聞表示,此前開源軟件的優(yōu)勢在于大家共享代碼,可以做到多人共同修復(fù)bug,使得軟件不斷更新。然而大模型本身是一個黑盒,在有人提交修改后就有重新訓(xùn)練的可能,每次訓(xùn)練都會消耗大量的算力和資金,并不像從前開源軟件一樣在多人共同開發(fā)方面有如此大的受益。

上述人士判斷,長期來看,閉源更能集中智力、算力等資源對大模型進行迭代,比起開源效率更高。

李彥宏也強調(diào),閉源的優(yōu)勢還在于有真正的商業(yè)模式,能賺到錢去聚集算力、聚集人才。在成本上,同等能力下,閉源模型的推理成本更低、響應(yīng)速度更快同等參數(shù)的情況下,閉源模型的能力也更強。

今天不管是在中國也好、在美國也好,最強的基礎(chǔ)模型都是閉源的,而各種各樣的小模型、最好的小模型,都是通過大模型蒸餾來的。通過大模型降維做出來的模型就是更好的,這樣也會導(dǎo)致閉源在成本上、在效率上會有優(yōu)勢。他說。

關(guān)于大模型的開源閉源之爭,百川智能首席執(zhí)行官王小川此前接受界面新聞采訪時也有所提及。他的觀點是,大模型本身不代表消費端,不像安卓、IOS需要二選一,今天從企業(yè)端的角度,開源閉源都很需要。

王小川很看重開源帶來的價值,他認(rèn)為,未來80%的企業(yè)會用到開源模型,因為開源模型小巧,而閉源沒法對很多場景做出上佳適配。

AI創(chuàng)業(yè)者的核心競爭力并非模型本身

除對開、閉源路線表態(tài)外,李彥宏還對AI創(chuàng)業(yè)者創(chuàng)業(yè)公司提出了自己的看法。

他認(rèn)為,一些做模型的創(chuàng)業(yè)公司所謂的“雙輪驅(qū)動”不是一個好模式,既做模型又做應(yīng)用,勢必會分散精力。創(chuàng)業(yè)公司的精力和資源都是有限的,當(dāng)資源有限時更應(yīng)該專注,而不是去搞所謂的“雙輪驅(qū)動”。

而對AI創(chuàng)業(yè)者來說,核心競爭力不應(yīng)該是模型本身,這是非常耗資源,而且需要很長時間的堅持才能跑出來。創(chuàng)業(yè)者真正的優(yōu)勢應(yīng)該是在某一個領(lǐng)域的知識、數(shù)據(jù)

假如你今天想找一個黃色的無兜的男士泳褲,你在任何一個電商平臺上都找不到,這種需求目前的技術(shù)是解決不了的。大模型如果有領(lǐng)域知識就可以解決,這就是靠領(lǐng)域知識能夠提供獨特價值的例子。他說。

在他看來,市面上有大量模型,大的、小的、開源的、閉源的,在特定應(yīng)用當(dāng)中如何使用這些模型的組合是有技巧的,這是創(chuàng)業(yè)者可以干的事兒,是可以提供價值增益的。

而關(guān)于外界所擔(dān)心的如果用了文心或者閉源模型做得好就會被抄襲、被搶飯碗,李彥宏也回應(yīng)稱,在移動時代,微信沒有去吃掉拼多多,滴滴也沒有變成騰訊的一部分。它們都各自提供了自己獨特的價值,有自己非常不一樣的競爭力。它們的興起都是依賴移動生態(tài)里的一個封閉平臺——微信,但它們并不怕微信去搶它的飯碗,所以沒有必要擔(dān)心基礎(chǔ)模型通吃AI的應(yīng)用。

中信建投研報指出,當(dāng)前國內(nèi)大模型能力逐步提升,中文領(lǐng)域處理和部分特性如長文本處理等有對齊和領(lǐng)先優(yōu)勢。隨著Kimi熱度提升,國內(nèi)多家大模型廠商加入長文本能力競爭,產(chǎn)業(yè)消費端落地加速。國內(nèi)大模型應(yīng)用元年已至。

在模型逐漸成熟后,未來大模型將在產(chǎn)品和應(yīng)用層上展開新一輪比拼和爭奪。李彥宏這番講話也是在吸引更多應(yīng)用層開發(fā)者選擇文心大模型。

在此前的百度2023年第四季度及全年財報電話會上,李彥宏透露,百度智能云四季度總營收84億元,其中大模型為云業(yè)務(wù)帶來約6.6億元增量收入。

目前,文心大模型的日調(diào)用量已超過5000萬次,季度環(huán)比增長190%。去年12月,約有2.6萬家企業(yè)調(diào)用文心大模型,季度環(huán)比增長150%。三星、榮耀、汽車之家等企業(yè)均與百度達成合作。

自發(fā)布以來,百度不斷降低文心大模型的推理成本,目前已降低至去年3月版本的1%。

李彥宏還表示,未來,多模態(tài)或多模態(tài)的融合,比如文字到視頻,是非常重要的基礎(chǔ)模型開發(fā)的方向,是AGI(通用人工智能)的一個必要方向。百度已經(jīng)在這些領(lǐng)域進行投資,并會在未來繼續(xù)進行投資。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。