文｜數(shù)智前線 徐鑫
編輯｜任曉漁
大模型的浪潮正在向家電和消費(fèi)電子終端蔓延。3月14日開(kāi)幕的中國(guó)家電及消費(fèi)電子博覽會(huì)AWE 2024成了觀察這股趨勢(shì)的窗口。
過(guò)去一年來(lái)，各個(gè)行業(yè)都在探索和大模型結(jié)合的可能性。
家電廠商們也加入了行列。在AWE2024，海信、三星、長(zhǎng)虹等不少參展的品牌都已意識(shí)并參與到了這股浪潮里，展出了與大模型集合的產(chǎn)品；一些解決方案商如聆思科技、思必馳等也有將大模型接入終端的軟硬一體解決方案。在這些落地探索中，明顯能看到，如何把大模型能力和家電場(chǎng)景更好結(jié)合起來(lái)，找到更合適的場(chǎng)景，仍然是當(dāng)下家電企業(yè)最大的挑戰(zhàn)。
數(shù)智前線也觀察到，大模型要真正落地端側(cè)仍然有很長(zhǎng)的路要走。參展的行業(yè)人士認(rèn)為，端側(cè)智能會(huì)帶來(lái)模型研發(fā)和算力支撐兩方面的成本，只有產(chǎn)生相應(yīng)的價(jià)值，才能真正實(shí)現(xiàn)在家電場(chǎng)景的落地。
01、新的試驗(yàn)場(chǎng)
今年的AWE，有不少企業(yè)從企業(yè)戰(zhàn)略角度提到了AI，展臺(tái)上也推出了不少AI產(chǎn)品。
比如發(fā)布了電視行業(yè)大模型的海信。3月15日上午，海信視像正式發(fā)布自研星海大模型。海信視像總裁李煒在發(fā)布會(huì)上稱，“所有大屏的體驗(yàn)，都值得用AI重塑一遍”。
此前，電視廠商通過(guò)AI能力提升畫(huà)質(zhì)和音頻效果達(dá)到體驗(yàn)提升的案例并不少。
比如利用AI芯片驅(qū)動(dòng)算法，通過(guò)調(diào)整亮度、對(duì)比度、顯色等，提升電視的畫(huà)質(zhì)。在運(yùn)動(dòng)畫(huà)面的表現(xiàn)上，運(yùn)動(dòng)物品的殘像殘影可以通過(guò)AI算法去快速消除，還有電壓不穩(wěn)定時(shí)，通過(guò)算法在色階切換時(shí)馬上改變它的電壓，來(lái)保證畫(huà)面的流暢性。數(shù)智前線在海信和三星等多個(gè)廠商的展臺(tái)上都看到了相應(yīng)的產(chǎn)品。
而電視如何與大模型結(jié)合？海信視像相關(guān)人士告訴數(shù)智前線，目前他們?cè)诤Ｐ诺?k屏幕發(fā)聲激光電視上已經(jīng)在生成式生活服務(wù)建議、語(yǔ)音驅(qū)動(dòng)的模糊內(nèi)容檢索、實(shí)時(shí)英語(yǔ)對(duì)話和游戲助理四個(gè)場(chǎng)景里嵌入了大模型的能力。
比如，用戶可以直接表達(dá)來(lái)上海待三天，想去哪里玩，幫忙規(guī)劃下行程。這個(gè)旅游攻略生成后，可以掃碼下載到手機(jī)端。而大模型驅(qū)動(dòng)的內(nèi)容檢索，對(duì)電視影音檢索理解能力的提升，用戶記得模糊劇情，也可以借助大模型的理解能力檢索，找到自己想看的影音內(nèi)容。
而游戲助理功能，則是基于大模型的任務(wù)編排和執(zhí)行的能力，自動(dòng)識(shí)別用戶的設(shè)備進(jìn)入游戲，免去了設(shè)備的參數(shù)設(shè)置流程。它還能監(jiān)測(cè)到用戶玩的游戲類型，比如射擊類游戲，它會(huì)調(diào)整相應(yīng)的畫(huà)質(zhì)和音質(zhì)，自動(dòng)顯示準(zhǔn)星輔助，方便用戶瞄準(zhǔn)。
另一家參展商三星也從戰(zhàn)略層面重視AI，打出了“AI for All”的Slogan。
在三星的展臺(tái)上，電視、手機(jī)、冰箱和洗衣機(jī)等產(chǎn)品都強(qiáng)調(diào)設(shè)備具備AI能力，以三星的一款電視為例，在畫(huà)面影像增強(qiáng)上，4k信號(hào)進(jìn)來(lái)，通過(guò)AI芯片和卷積神經(jīng)網(wǎng)絡(luò)的處理，提升成8k的畫(huà)質(zhì)。另外在球類運(yùn)動(dòng)的轉(zhuǎn)播時(shí)，由于視頻商為了減少帶寬壓力，上傳后信號(hào)會(huì)壓縮，比如從50赫茲到25赫茲，導(dǎo)致畫(huà)面上就看不清球，而AI可以增強(qiáng)顯示效果。
另外，三星手機(jī)的一些應(yīng)用已經(jīng)接入大模型的能力。據(jù)悉，這是與文心一言的合作，實(shí)現(xiàn)手機(jī)實(shí)時(shí)轉(zhuǎn)錄和翻譯功能，在端側(cè)直接完成轉(zhuǎn)寫(xiě)和翻譯。
大模型落地電視，長(zhǎng)虹也有動(dòng)作。長(zhǎng)虹旗下的云帆AI平臺(tái)電視打出的標(biāo)簽是“全球首個(gè)基于大模型的智能家電AI平臺(tái)”。它有AI對(duì)話、AI壁畫(huà)和口語(yǔ)陪練三個(gè)功能。
現(xiàn)場(chǎng)的產(chǎn)品經(jīng)理介紹，AI對(duì)話主要是文生文的功能，比如對(duì)著電視提問(wèn)上海的美食，它能生成一些關(guān)于上海美食的介紹。而AI壁畫(huà)可以把用戶描述的內(nèi)容生成圖像，并設(shè)置為電視壁紙?？谡Z(yǔ)陪練是家庭場(chǎng)景里孩子可以跟電視進(jìn)行英文對(duì)話，提高英語(yǔ)口語(yǔ)能力。
除了家電廠商的產(chǎn)品，解決方案商也有動(dòng)作。青島國(guó)創(chuàng)智能家電研究院的工程師介紹，他們針對(duì)家庭健康的場(chǎng)景，研發(fā)出了一個(gè)健康食譜類的大模型，家里有牛肉和土豆，大模型就能推薦幾個(gè)菜并且列出菜譜。如果冰箱可以識(shí)別出食材，這些食譜在屏幕上就能展示。這個(gè)方案目前正在和海爾做整體方案。這也是大模型與家電結(jié)合的一個(gè)嘗試。
有科大訊飛背景的聆思科技在展臺(tái)上也展出了大模型對(duì)全屋控制體驗(yàn)的改善和升級(jí)。
該公司工程師告訴數(shù)智前線，他們從去年就開(kāi)始在嘗試把大模型接入空調(diào)等家庭場(chǎng)景，目前已經(jīng)與一些頭部家電企業(yè)合作，這些企業(yè)的產(chǎn)品尚在研發(fā)中，但很快就會(huì)上市。
在實(shí)現(xiàn)方式上，他們的視覺(jué)語(yǔ)音大模型 AI 開(kāi)發(fā)套件是一個(gè)軟硬件一體的解決方案，包含一個(gè)端側(cè)的芯片開(kāi)發(fā)板，里面有NPU接入訊飛星火的大模型。大模型本身跑云上，用戶用語(yǔ)音下指令。一些原來(lái)空調(diào)很難識(shí)別的指令，比如“回南天”這個(gè)詞，在有了大模型的理解能力后，空調(diào)就能聽(tīng)懂，會(huì)變得更加聰明。
本屆AWE上，不少家電產(chǎn)品上能看到AI的身影，大模型的字樣已經(jīng)零星出現(xiàn)在一些展臺(tái)，家電和消費(fèi)電子產(chǎn)品正在成為大模型落地的新試驗(yàn)場(chǎng)。
02、“你要用大模型做什么？”
當(dāng)問(wèn)及某款A(yù)I功能的空調(diào)產(chǎn)品是否應(yīng)用了大模型的能力時(shí)，一個(gè)空調(diào)展臺(tái)的人士反問(wèn)，“你用大模型做什么？除非是用戶有新的需求，必須要通過(guò)它進(jìn)行實(shí)現(xiàn)，作為廠家才有可能進(jìn)行系統(tǒng)的升級(jí)。否則，我們不會(huì)花那么大的人工成本和精力去開(kāi)發(fā)這個(gè)東西?！?/p>
這個(gè)回應(yīng)可能代表了當(dāng)下家電行業(yè)里不少人士的看法。它折射出的潛臺(tái)詞是，如何找到家電產(chǎn)品與大模型結(jié)合的剛需場(chǎng)景。很多行業(yè)當(dāng)下應(yīng)用大模型遭遇了找場(chǎng)景問(wèn)題，這也是大模型落地家電的第一重挑戰(zhàn)。
一些家電行業(yè)人士認(rèn)為，應(yīng)用大模型，并不是去創(chuàng)造一些新的概念，而是要構(gòu)建一個(gè)吸引用戶的場(chǎng)景，大模型能在里面不突兀地能夠解決問(wèn)題。
“用戶在洗衣服，在平時(shí)日常的吹空調(diào)的過(guò)程中，它的痛點(diǎn)很明顯的，我們通過(guò)AI的技術(shù)來(lái)幫助用戶能夠更簡(jiǎn)便操作設(shè)備。圍繞著用戶日常使用習(xí)慣和平時(shí)的痛點(diǎn)，要用AI的技術(shù)幫助用戶來(lái)解決實(shí)際問(wèn)題。”海信愛(ài)家展臺(tái)上一位解決方案工程師認(rèn)為，不能為了大模型而大模型。
業(yè)界普遍認(rèn)為大模型的優(yōu)勢(shì)在它的泛化特性，如何用好這種泛化特性，可能是尋找到合適場(chǎng)景的關(guān)鍵。
聆思科技的工程師介紹，他們?cè)诳照{(diào)里加入大模型后，用戶可以更自由與設(shè)備對(duì)話。針對(duì)空調(diào)場(chǎng)景專門訓(xùn)練的模型了解空調(diào)設(shè)備的故障和使用方式，一旦空調(diào)滴水，用戶提問(wèn)，大模型能夠理解意思，它可以去說(shuō)明書(shū)里調(diào)用相關(guān)的知識(shí)來(lái)引導(dǎo)操作。這個(gè)體驗(yàn)就比之前的智能語(yǔ)音的能力有了大幅提升。
云米智能家居GTM林石列也看到，大模型幫助定位用戶使用過(guò)程中的問(wèn)題和疑惑并幫助用戶解答場(chǎng)景的價(jià)值，“比如開(kāi)關(guān)或者插座能支持多大功率的電器，我可能不知道。我隨口問(wèn)一下我們?cè)泼仔∥?，你的插座能用多大的功率？它就能解答?！?/p>
另外，在推薦場(chǎng)景里，他認(rèn)為，大模型可以基于用戶所處的環(huán)境，通過(guò)各類傳感數(shù)據(jù)，針對(duì)地區(qū)的日落時(shí)間和紫外線情況，去推薦一個(gè)光照的個(gè)性化解決方案?！按竽Ｐ筒⒉皇且脕?lái)做多復(fù)雜的事，而是通過(guò)它的計(jì)算能力，讓產(chǎn)品學(xué)習(xí)用戶的需求更快一點(diǎn)?！?/p>
長(zhǎng)虹智能家居板塊的工程師告訴數(shù)智前線，他們看到未來(lái)智能家居板塊與大模型結(jié)合的場(chǎng)景可能是，人不再主動(dòng)發(fā)出指令，設(shè)備可以主動(dòng)服務(wù)人?！案鶕?jù)用戶的使用習(xí)慣，去學(xué)習(xí)和判斷用戶的需求。各類家電設(shè)備和系統(tǒng)能主動(dòng)提供服務(wù)，這是機(jī)器去學(xué)習(xí)的過(guò)程。大模型能否在這個(gè)過(guò)程發(fā)揮作用，可能是行業(yè)拭目以待的。”
長(zhǎng)虹云帆AI平臺(tái)電視產(chǎn)品人士則介紹，目前他們推出的三個(gè)場(chǎng)景都是特意挑選，也是比較適合展示在大屏上展示的功能。
在手機(jī)上，一些人士看到大模型落地可能會(huì)使得用戶使用手機(jī)的習(xí)慣發(fā)生改變，可能不再有App，去APP化，而在家電和家庭場(chǎng)景里，前些年許多廠商都希望把電視作為家庭設(shè)備的入口，大模型到來(lái)后，電視作為家庭中控入口被重新提及。
該人士認(rèn)為電視要作為入口，需要開(kāi)發(fā)專門的Agent框架?！艾F(xiàn)在都在提Agent框架，要做到去App化，就要搭建這樣的框架。這也是我們今年的研究方向之一，希望能做到今年上線?！鄙鲜鋈耸空f(shuō)。
在一些更小型的設(shè)備例如攝像頭等產(chǎn)品上，一些工程師們就認(rèn)為沒(méi)有看到太好的場(chǎng)景要在端側(cè)去接入大模型。創(chuàng)維智能攝像頭展臺(tái)，一位工程師告訴數(shù)智前線，比如智慧屏，其實(shí)本身就有類似于備忘的功能，而大模型的強(qiáng)項(xiàng)在自然語(yǔ)言溝通，老人或小孩用這個(gè)東西，可能未來(lái)就變成類似于機(jī)器人的角色了。
在展會(huì)上，一些行業(yè)上下游人士已經(jīng)對(duì)大模型嵌入設(shè)備表露出了濃厚的興趣。在聆思科技的展臺(tái)，一個(gè)家電行業(yè)的制造端口人士已經(jīng)在詢問(wèn)除了軟硬件一體的模組的成本，后續(xù)用戶調(diào)用大模型能力時(shí)如何付費(fèi)的問(wèn)題。
03、端側(cè)落地大模型還有多遠(yuǎn)？
數(shù)據(jù)前線觀察，目前家電和各類消費(fèi)電子產(chǎn)品接入大模型能力的產(chǎn)品主要還是從云端調(diào)用大模型的能力。
業(yè)界普遍反饋，目前家電產(chǎn)品要在端側(cè)實(shí)現(xiàn)大模型落地，從模型能力和端側(cè)的算力能力條件都不太具備。
首先是模型方面，目前國(guó)內(nèi)的大模型廠商們尚未發(fā)布能在端側(cè)運(yùn)行的模型。在海外，去年5月谷歌在年度開(kāi)發(fā)者大會(huì)上發(fā)布了PaLM2，四種尺寸的模型里最小的Gecko可以在移動(dòng)設(shè)備上運(yùn)行，各方反饋稱速度足夠快，即使離線狀態(tài)也可以進(jìn)行交互應(yīng)用。當(dāng)時(shí)業(yè)界認(rèn)為端側(cè)運(yùn)行大模型有了可能。不過(guò)根據(jù)官方文檔顯示，這個(gè)模型并不支持文本生成及對(duì)話的能力。
一位國(guó)內(nèi)大模型廠商方資深人士告訴數(shù)智前線，目前端側(cè)的算力大小可能有不同，但整體看他預(yù)估模型的參數(shù)規(guī)模要小于5B才更適合到端側(cè)運(yùn)行；另一位家電行業(yè)人士則給出了7B大小的概念。這和目前運(yùn)行在云端集群上的模型不是一個(gè)量級(jí)。
而單靠家電廠商們自己去開(kāi)發(fā)端側(cè)可運(yùn)行模型，是一筆巨大的投入，多數(shù)企業(yè)不具備這個(gè)能力。長(zhǎng)虹云帆AI平臺(tái)電視人士告訴數(shù)智前線，他們不打算自己投入研發(fā)底層模型，投入太大。此前一位電腦配件企業(yè)的創(chuàng)始人嘗試將大模型和設(shè)備結(jié)合時(shí)也發(fā)現(xiàn)，研發(fā)上的投入成本驚人，對(duì)他們是巨大的壓力。
三星展臺(tái)上一位資深行業(yè)人士認(rèn)為，手機(jī)設(shè)備的利潤(rùn)率明顯高于家電產(chǎn)品，因此手機(jī)廠商們有實(shí)力去投入大模型的研發(fā)，而家電企業(yè)多數(shù)在資金能力上不具備模型研發(fā)和投入的條件。三星目前手機(jī)端已有端側(cè)大模型的能力，未來(lái)在家電場(chǎng)景里，同一個(gè)模型經(jīng)過(guò)剪裁和調(diào)整可以用到家電設(shè)備上。
其次是，目前邊緣算力層面，還不足以支持大模型部署到邊緣。即使是非常輕量級(jí)的模型，到設(shè)備上也需要非常大的算力支撐，會(huì)帶來(lái)巨大的成本提升。家電市場(chǎng)競(jìng)爭(zhēng)激烈，價(jià)格提升后產(chǎn)品的市場(chǎng)空間可能變小，“我們要提供的是具有質(zhì)價(jià)比的產(chǎn)品，不能把產(chǎn)品售價(jià)定得高高的，用戶說(shuō)，我只是使用了它的1% 、2%的這種能力，這樣就很多冗余在里面。”海信愛(ài)家板塊的智能解決方案人士說(shuō)。
一位芯片行業(yè)相關(guān)人士提到，目前業(yè)界通常認(rèn)為，存儲(chǔ)和計(jì)算需求在5GB以下，才視作可以進(jìn)入到端側(cè)運(yùn)行。而對(duì)存儲(chǔ)和計(jì)算的能力要求在5GB到20GB之間，通常認(rèn)為適合部署在邊側(cè)，更大的則適合在云上。
同時(shí)，還有多位受訪人士認(rèn)為，家庭場(chǎng)景里很多時(shí)候并不太需要把大模型放到端側(cè)?！凹译娫O(shè)備現(xiàn)在很容易連網(wǎng)。從便捷性、安全性，還是穩(wěn)定性角度，目前連接云端效率都非常高的。有現(xiàn)成網(wǎng)絡(luò)資源的話，就應(yīng)該用這個(gè)資源，而不是說(shuō)專門去搞一個(gè)硬件跑，不劃算?！瘪鏊伎萍颊古_(tái)的技術(shù)人士告訴數(shù)智前線。
該人士提到，他們的模組里大模型是跑在云上。把大模型放到云端跑，反映到產(chǎn)品端，成本的上升幅度非常小，甚至還有可能出現(xiàn)下降?！艾F(xiàn)在放在邊緣端側(cè)的，只需要一個(gè)聽(tīng)指令的收音工具，它只是加了一個(gè)WiFi模組芯片，其實(shí)并沒(méi)有增加多少成本，甚至此前離線的一些命令詞都可以去掉，一些在本地的GPU算力也可以閹割掉，成本還有可能降低?！?/p>
哪些大模型的場(chǎng)景一定要在端側(cè)去完成呢？百度資深人士告訴數(shù)智前線，端側(cè)沒(méi)有時(shí)延，或者時(shí)延非常短。那些對(duì)時(shí)延要求特別高的場(chǎng)景在端側(cè)完成體驗(yàn)肯定會(huì)更好。
三星智能家居展臺(tái)解決方案人士則介紹，家庭場(chǎng)景里，云上和端側(cè)會(huì)有分工。家庭場(chǎng)景里一旦錄入了用戶的使用習(xí)慣，形成了策略，就可以下放到本地執(zhí)行。策略不需要每天更新，本地算力不夠，要運(yùn)算的放到云端。
青島國(guó)創(chuàng)智能研究院的工程師也在探索和嘗試往端側(cè)部署模型，他們認(rèn)為隨著模型不斷優(yōu)化和端側(cè)算力的不斷提升，會(huì)有一些模型直接運(yùn)行在家電邊緣端。
另外，除了直接部署到端側(cè)，業(yè)界認(rèn)為，家庭場(chǎng)景里，在云之下，端之上，有一個(gè)邊側(cè)的計(jì)算和智能中樞也是一種解決方案。
云米智能家居GTM林石列提到，他們正在開(kāi)發(fā)一個(gè)類似中樞網(wǎng)關(guān)的產(chǎn)品，現(xiàn)在它的計(jì)算能力還有待加強(qiáng)。未來(lái)推出一個(gè)性能更好的主機(jī)，可以直接來(lái)負(fù)責(zé)整個(gè)家庭的計(jì)算，一些大模型可以部署到這個(gè)網(wǎng)關(guān)或者主機(jī)上。
“快速高效的決策放到端側(cè)，端側(cè)很便捷去交互，這是大的發(fā)展趨勢(shì)，但仍然有一個(gè)長(zhǎng)期發(fā)展的過(guò)程?！币晃恍袠I(yè)觀察人士稱。