文 | 藍(lán)媒匯 陶然
編輯 | 魏曉
歲末年初,蘋果加快了在大模型領(lǐng)域的步伐。
上個(gè)月,蘋果先是推出了名為Ferret的多模態(tài)大語(yǔ)言模型,圖像處理技術(shù)堪稱驚艷;而后又發(fā)布了一篇題為《閃存中的大型語(yǔ)言模型:在有限內(nèi)存下高效的大型語(yǔ)言模型推理》的論文,直指大模型落地iPhone等“內(nèi)存有限”設(shè)備的方法。
進(jìn)入新年,Siri助手將搭載生成式模型Ajax的消息,再次不脛而走。
去年六月和九月的兩次重要發(fā)布會(huì),蘋果分別掏出了早有傳聞的XR項(xiàng)目和iPhone系列的慣例年更,前者市場(chǎng)反響平平,后者擠牙膏被批像是被“卡脖子”了,硅谷All in大模型之時(shí),蘋果官方對(duì)人工智能這一年度熱詞始終閉口不談。
公司CEO庫(kù)克曾解釋道,蘋果有計(jì)劃在更多產(chǎn)品中加入AI,但要“深思熟慮”。
現(xiàn)如今,也許是想好了,也許是技術(shù)突破了,留了一手的蘋果,終于不藏了。
iPhone的AI時(shí)刻,來(lái)了?
Siri助手AI化其實(shí)早有預(yù)兆:去年七月份,彭博社發(fā)文稱蘋果內(nèi)部正在暗中測(cè)試一款對(duì)標(biāo)OpenAI和谷歌的生成式AI工具,暫定名“Apple GPT”。
因使用Google JAX框架進(jìn)行構(gòu)建,Apple GPT的開發(fā)框架被命名為Ajax。
當(dāng)時(shí)的消息稱,蘋果LLM技術(shù)的最大用武之地,便是整合在Siri內(nèi)部,讓語(yǔ)音助手以更為智能的方式協(xié)助用戶。
現(xiàn)在,更多細(xì)節(jié)被透露——蘋果發(fā)布的論文稱,這項(xiàng)將大語(yǔ)言模型放在閃存中優(yōu)化運(yùn)行的技術(shù),較傳統(tǒng)運(yùn)行方法提高了4-5倍(CPU)和20-25倍(GPU)的推理速度。
把大象(大模型)裝進(jìn)冰箱(手機(jī))里的方法,來(lái)了:先減少閃存?zhèn)鬏數(shù)臄?shù)據(jù)量,再提高每次傳輸?shù)耐掏铝俊?/p>
先看框架:以手機(jī)為例,平時(shí)購(gòu)機(jī)時(shí)的【12+256G】、【16+512G】,12/16為運(yùn)行內(nèi)存,256/512為儲(chǔ)存空間。
以此類推絕大部分移動(dòng)設(shè)備存儲(chǔ)結(jié)構(gòu),運(yùn)存空間小,但讀取速率高(DRAM 10GB/s);儲(chǔ)存空間大,但讀取速率相對(duì)較低(Flash Memory 1GB/s)
一般來(lái)說(shuō),大模型的推理階段,模型加載、分析數(shù)據(jù)需要直接占用運(yùn)存,而目前主流手機(jī)市場(chǎng)最大的16GB運(yùn)存,也并不能完全滿足大模型所需的空間:模型大?。臼謾C(jī)內(nèi)存。
蘋果給出的解決方案是“先減少閃存?zhèn)鬏數(shù)臄?shù)據(jù)量”——把大模型完全體放在空間更大的儲(chǔ)存中,運(yùn)行時(shí)只調(diào)用必要數(shù)據(jù)進(jìn)入運(yùn)存。
這并非一個(gè)簡(jiǎn)單的搬箱子過(guò)程,如何正確篩選出所有必要數(shù)據(jù),以及如何把數(shù)據(jù)快速由閃存?zhèn)鬏數(shù)竭\(yùn)存,是兩個(gè)需要解決的問(wèn)題。
方法之一被命名為sliding window(滑窗):
假設(shè)大模型正在處理Once upon a time there was a kid who had a dream這句話,在處理“Once upon a time there”這段字符的時(shí)候,圖中上半部分的青色格子(神經(jīng)元)處于激活狀態(tài);而當(dāng)處理字段變到“upon a time there was”(往后推進(jìn)了一個(gè)字符),圖中下半部新啟用了藍(lán)色格子,并刪除了了此前青色部分的幾個(gè)格子(以粉色標(biāo)注),其余青色保持不變。
這就是sliding Window的核心思想:查缺補(bǔ)漏,多退少補(bǔ)。在大模型運(yùn)行過(guò)程中,只保留一開始就激活的神經(jīng)元,后續(xù)的每次運(yùn)算,都基于前一次參數(shù)進(jìn)行刪除和添加,省去了一部分重復(fù)工作。
當(dāng)然,這種預(yù)設(shè)也并非沒(méi)有問(wèn)題,知乎博主@Civ發(fā)文稱,sliding window可用的核心假設(shè)是大模型在處理相鄰數(shù)據(jù)時(shí)前后具有相似性,但這個(gè)相似性蘋果沒(méi)有展開論證。
再者是傳輸:將多次傳輸?shù)臄?shù)據(jù)拼接后一次性讀取,保持連續(xù)完整的“數(shù)據(jù)”,避免多次復(fù)制拖慢時(shí)間;另外,提前預(yù)留出一個(gè)較大的空間(較大,但仍遠(yuǎn)遠(yuǎn)小于模型整體占用),避免在數(shù)據(jù)傳輸過(guò)程中,因多次增加空間而加大設(shè)備的計(jì)算量。
此前,藍(lán)媒匯在《AI PC發(fā)布,聯(lián)想真的想通AI了嗎?》中提及,限制大模型進(jìn)入移動(dòng)端的瓶頸就是模型占地太大,影響設(shè)備本身正常運(yùn)轉(zhuǎn),或者塞不進(jìn)去導(dǎo)致無(wú)法運(yùn)行。
蘋果這項(xiàng)新研究的諸多技術(shù)細(xì)節(jié),都在指向空間的壓縮,包括數(shù)據(jù)體量,也包括運(yùn)算所占用的算力。
發(fā)力多模態(tài)
之前有個(gè)段子(也可能是真事兒),說(shuō)是大模型搞不定人機(jī)驗(yàn)證,是因?yàn)锳I被設(shè)定不能說(shuō)謊,所以無(wú)法選擇“我不是機(jī)器人”。
去年十月份,蘋果還是以論文的形式公布了一項(xiàng)研究成果:Ferret大模型,自己搞定谷歌人機(jī)驗(yàn)證了。
遙遙領(lǐng)先于GPT4。
不久之前,蘋果公布了更多Ferret模型的細(xì)節(jié)、功能。
圖/蘋果 Github Ferret模型介紹
和GPT4相比,F(xiàn)erret的領(lǐng)先之處在于,它不僅能準(zhǔn)確識(shí)別并處理圖像內(nèi)容,還能用算法區(qū)分圖片中各種元素(人、物體等等),并根據(jù)用戶指令找出對(duì)應(yīng)元素。
這種多模態(tài)理解能力,使得Ferret能夠同時(shí)處理用戶輸入的圖像和自然語(yǔ)言,并且由于其算法能夠?qū)D像中的元素準(zhǔn)確拆分、定位,F(xiàn)erret可以準(zhǔn)確理解如“圖片右上角”、“靠近沙發(fā)”這類指令。
相比于卷瘋了的自然語(yǔ)言處理,這種基于圖像的交互使得信息更加直觀。
最近一次更新,蘋果提供了Ferret的7B和13B兩個(gè)版本,并創(chuàng)建了包含了1.1M個(gè)樣本的GRIT的數(shù)據(jù)集以豐富空間知識(shí),進(jìn)一步增強(qiáng)功能。
考慮到蘋果相當(dāng)成熟的產(chǎn)品生態(tài)以及巨量用戶規(guī)模,AI落地帶來(lái)的換機(jī)潮等收益,或?qū)O為可觀。
2023年被稱為是AI的iPhone時(shí)刻,現(xiàn)在,蘋果的AI時(shí)刻大約也快到了。