界面新聞?dòng)浾?| 于浩

10月26日，在由界面新聞主辦的2023 REAL科技大會(huì)上，北京智源人工智能研究院副院長(zhǎng)林詠華發(fā)表了題為《打造大模型技術(shù)的“Linux”，為AI未來(lái)十年發(fā)展打下堅(jiān)實(shí)根基》的主題演講。

在生成式人工智能的熱潮下，大模型及相關(guān)應(yīng)用正在步入研發(fā)落地的新階段。而回望人工智能產(chǎn)業(yè)的發(fā)展，“質(zhì)量”成為實(shí)現(xiàn)AI落地的“最后一公里”問(wèn)題，即能否達(dá)到產(chǎn)業(yè)、工業(yè)的發(fā)展要求。針對(duì)這一點(diǎn)，林詠華的觀點(diǎn)是，大模型會(huì)比小模型更具挑戰(zhàn)。 

她特別提到，大模型的訓(xùn)練數(shù)據(jù)、數(shù)據(jù)配比、訓(xùn)練數(shù)據(jù)輸入順序，訓(xùn)練過(guò)程中的所有超參設(shè)置都沒(méi)有完全公開(kāi)，因此難以完全復(fù)現(xiàn)大模型的能力和問(wèn)題；同時(shí)，大模型進(jìn)行算法修改和重新訓(xùn)練的投入極高，使得企業(yè)很難對(duì)其進(jìn)行修補(bǔ)。再者，算法、數(shù)據(jù)和過(guò)程都有可能存在“debug”，問(wèn)題成因難以分析。

這些因素都決定了基礎(chǔ)模型將會(huì)影響下游模型的能力，做基礎(chǔ)模型的企業(yè)機(jī)構(gòu)需要不斷打磨。

林詠華強(qiáng)調(diào)，未來(lái)10年，大模型必然牽引人工智能走向美好的星辰大海，但在當(dāng)下面臨多種挑戰(zhàn)，包括基礎(chǔ)大模型費(fèi)用昂貴、訓(xùn)練數(shù)據(jù)集獲取不易、評(píng)測(cè)方法參差不齊、工具碎片化、計(jì)算資源日益受限等。 

在她看來(lái)，開(kāi)源開(kāi)放讓從業(yè)人員得以站在前人的基礎(chǔ)上繼續(xù)前行。智源此前的一系列發(fā)布動(dòng)作也表明，其試圖利用開(kāi)源開(kāi)放來(lái)解決上述產(chǎn)業(yè)挑戰(zhàn)。 

具體到基礎(chǔ)大模型方面，近日智源宣布悟道·天鷹Aquila大語(yǔ)言模型系列全面升級(jí)，其中340億參數(shù)的Aquila2-34B在多個(gè)榜單均表現(xiàn)搶眼。此外，智源將Aquila2模型系列全部開(kāi)源，Aquila2的創(chuàng)新訓(xùn)練算法、FlagScale框架、FlagAttention算子集以及語(yǔ)義向量模型BGE均已同步開(kāi)源。

據(jù)林詠華透露，智源研究院所開(kāi)放的全球最大的中文數(shù)據(jù)集WuDaoCorpora目前已對(duì)外開(kāi)放低風(fēng)險(xiǎn)數(shù)據(jù)200G，至今已有數(shù)萬(wàn)次下載。 

評(píng)測(cè)方法方面，林詠華指出，大模型在生成能力、認(rèn)知能力、人類思維能力的測(cè)評(píng)方面都面臨著挑戰(zhàn)：除少數(shù)生成任務(wù)外，生成能力仍主要依靠人類評(píng)分；認(rèn)知的邊界難以確定；測(cè)評(píng)人類思維能力需要新的復(fù)雜測(cè)試集合、定義新的測(cè)試方式。 

計(jì)算資源方面，國(guó)內(nèi)廠商所采用的架構(gòu)和開(kāi)發(fā)工具鏈的不同、眾多的AI框架、層出不窮的場(chǎng)景等等因素，使得異構(gòu)芯片間適配工作量大、開(kāi)發(fā)復(fù)雜度高、評(píng)測(cè)標(biāo)準(zhǔn)也難以統(tǒng)一。 

針對(duì)這兩方面的挑戰(zhàn)，智源研究院分別推出了大模型評(píng)測(cè)體系及評(píng)測(cè)平臺(tái)FlagEval以及AI芯片評(píng)測(cè)開(kāi)源項(xiàng)目FlagPerf。 

“大模型已經(jīng)從語(yǔ)言模型走向多模態(tài)，這是技術(shù)走向落地的一個(gè)重要階段。”林詠華表示，未來(lái)大模型會(huì)從互聯(lián)網(wǎng)應(yīng)用逐步走向千行百業(yè)，“我們希望看到大模型走出數(shù)字世界，走向物理世界，走向自動(dòng)駕駛、機(jī)器人等場(chǎng)景。”