正在閱讀:

“三只羊盧某”網(wǎng)傳錄音系大模型偽造,AI安全問(wèn)題何解?

掃一掃下載界面新聞APP

“三只羊盧某”網(wǎng)傳錄音系大模型偽造,AI安全問(wèn)題何解?

以AI技術(shù)對(duì)他人的音視頻素材進(jìn)行“克隆”并惡意使用已成為AI安全問(wèn)題的重災(zāi)區(qū)。

圖片來(lái)源:界面圖庫(kù)

界面新聞?dòng)浾?| 伍洋宇

界面新聞編輯 | 文姝琪

以“三只羊”為事件核心的輿論仍在繼續(xù)發(fā)酵,這次是由錄音偽造引起的AI安全顧慮。 

此前,三只羊網(wǎng)絡(luò)科技有限公司因直播帶貨的“香港美誠(chéng)月餅”涉嫌虛假宣傳、欺騙消費(fèi)者等問(wèn)題引發(fā)輿情風(fēng)波。同一時(shí)間,網(wǎng)上一段流傳的“三只羊盧某某”錄音為這家MCN招致更多批判聲音。

該錄音顯示為“三只羊盧某某”在酒后的一段言論,內(nèi)容牽連三只羊旗下多位女主播,整體呈現(xiàn)盧某面對(duì)市場(chǎng)與消費(fèi)者持有的傲慢態(tài)度,以及對(duì)相關(guān)人士的不尊重表達(dá)。

9月26日晚,合肥市公安局高新分局通報(bào),該局接三只羊公司報(bào)警稱(chēng),網(wǎng)上傳播涉盧某某的音視頻不實(shí),嚴(yán)重侵害其合法權(quán)益。經(jīng)過(guò)偵查,9月22日晚,該局將犯罪嫌疑人王某某(男,25歲)抓獲,并在其電腦、手機(jī)和制作AI音頻的網(wǎng)站中發(fā)現(xiàn)偽造相關(guān)音視頻的證據(jù);結(jié)合其供述、調(diào)查取證,并經(jīng)部、省專(zhuān)業(yè)機(jī)構(gòu)檢驗(yàn)鑒定,認(rèn)定報(bào)案所涉網(wǎng)傳音視頻系偽造。

隨后,9月27日,一家名為Reecho睿聲的AI公司發(fā)布聲明稱(chēng),近日,公司收到合肥警方調(diào)取證據(jù)通知書(shū),針對(duì)網(wǎng)絡(luò)上廣泛傳播的“盧某錄音門(mén)”事件所涉及的音視頻部分,經(jīng)與合肥警方配合查實(shí),確系嫌疑人使用該司自主研發(fā)的AI配音大模型平臺(tái),由盧某此前直播片段的約30秒錄音進(jìn)行克隆,并通過(guò)文本進(jìn)行生成。

上海大邦律師事務(wù)所高級(jí)合伙人游云庭對(duì)界面新聞?dòng)浾弑硎?,在上述案件中?/span>嫌疑人王某某涉嫌誹謗罪,行為特征是以虛構(gòu)的事實(shí)毀壞他人聲譽(yù)。盧某可以要求發(fā)布內(nèi)容的網(wǎng)站刪除侵權(quán)內(nèi)容,并且在刑事調(diào)查結(jié)束,取得相應(yīng)法律文書(shū)后民事起訴侵權(quán)者。

隨著人工智能技術(shù)的飛速發(fā)展,AI技術(shù)已經(jīng)滲透到社會(huì)生活的各個(gè)角落,但隨之而來(lái)的AI安全問(wèn)題也日益凸顯。在這背后,以AI技術(shù)對(duì)他人的音視頻素材進(jìn)行“克隆”并惡意使用成為AI安全問(wèn)題的重災(zāi)區(qū)。

目前市場(chǎng)上的AI大模型音視頻生成產(chǎn)品涵蓋了多個(gè)領(lǐng)域,包括但不限于視頻內(nèi)容創(chuàng)作、音頻處理、角色動(dòng)畫(huà)合成等。這些產(chǎn)品一方面從效率層面為大量企業(yè)和個(gè)人用戶(hù)帶去了便利,但另一方面也成為不法分子的牟利工具。

今年以來(lái),全國(guó)各地已經(jīng)發(fā)生多起“AI換臉”導(dǎo)致的詐騙案件。其中,一起發(fā)生在香港的詐騙案件涉案金額高達(dá)2億港元,而犯罪嫌疑人正是使用Deepfake技術(shù)“AI換臉”和AI音頻合成了一場(chǎng)“高管會(huì)議”。

面對(duì)這些容易紊亂視角或直接導(dǎo)致財(cái)產(chǎn)損失的AI安全問(wèn)題,除了公眾層面的每一位個(gè)體都對(duì)接受的音視頻內(nèi)容提高警惕性與分辨能力,在產(chǎn)品層面,平臺(tái)如何從技術(shù)與法律的角度預(yù)防負(fù)面事件的發(fā)生也同樣重要。

就前述案件中提供技術(shù)的公司是否要擔(dān)責(zé)的問(wèn)題,游云庭表示,還是要看該公司是否履行平臺(tái)的合規(guī)責(zé)任。“根據(jù)互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定,如果履行了合規(guī)義務(wù)的,我覺(jué)得他們責(zé)任比較小,否則的話(huà)會(huì)有麻煩?!?/span>

首先,該公司需要進(jìn)行算法備案,并在實(shí)際運(yùn)行當(dāng)中使用的是備案算法。其次,公司應(yīng)該對(duì)使用的用戶(hù)身份有認(rèn)證,如果沒(méi)有,公司也會(huì)存在法律風(fēng)險(xiǎn)。另外,平臺(tái)應(yīng)當(dāng)對(duì)用戶(hù)進(jìn)行提示,要求用戶(hù)不得利用平臺(tái)的服務(wù)進(jìn)行違法行為。

ReechoAI睿聲官網(wǎng)顯示,其是由深圳市言域科技有限公司提供的AI語(yǔ)音大模型技術(shù)產(chǎn)品及AI有聲內(nèi)容社區(qū)。經(jīng)界面新聞?dòng)浾咴诨ヂ?lián)網(wǎng)信息服務(wù)算法系統(tǒng)查詢(xún),“深圳市言域科技有限公司”這一主體旗下暫無(wú)相關(guān)備案記錄。另外,其關(guān)聯(lián)主體“深圳市呦絡(luò)科技有限公司”也無(wú)備案記錄。

在技術(shù)角度,游云庭認(rèn)為需要判別一個(gè)問(wèn)題,即對(duì)于用戶(hù)生成的可能涉嫌違法的內(nèi)容,這些內(nèi)容根據(jù)現(xiàn)有的識(shí)別違法和不良信息的特征庫(kù),是否能審核出具有違法屬性?!叭绻黠@涉嫌違法的,但他們沒(méi)有審核出來(lái)的,也會(huì)存在問(wèn)題?!庇卧仆ケ硎?,但更大可能性在于用戶(hù)內(nèi)容難以完全落實(shí)審核,這種情況下平臺(tái)的責(zé)任也會(huì)較輕。 

此外,平臺(tái)應(yīng)當(dāng)對(duì)用戶(hù)生成的內(nèi)容進(jìn)行“AI生成”等相關(guān)標(biāo)注。但由于這類(lèi)生成內(nèi)容被標(biāo)注后的刪除操作也相對(duì)簡(jiǎn)單,AI內(nèi)容的辨識(shí)問(wèn)題仍然任重道遠(yuǎn)。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

“三只羊盧某”網(wǎng)傳錄音系大模型偽造,AI安全問(wèn)題何解?

以AI技術(shù)對(duì)他人的音視頻素材進(jìn)行“克隆”并惡意使用已成為AI安全問(wèn)題的重災(zāi)區(qū)。

圖片來(lái)源:界面圖庫(kù)

界面新聞?dòng)浾?| 伍洋宇

界面新聞編輯 | 文姝琪

以“三只羊”為事件核心的輿論仍在繼續(xù)發(fā)酵,這次是由錄音偽造引起的AI安全顧慮。 

此前,三只羊網(wǎng)絡(luò)科技有限公司因直播帶貨的“香港美誠(chéng)月餅”涉嫌虛假宣傳、欺騙消費(fèi)者等問(wèn)題引發(fā)輿情風(fēng)波。同一時(shí)間,網(wǎng)上一段流傳的“三只羊盧某某”錄音為這家MCN招致更多批判聲音。

該錄音顯示為“三只羊盧某某”在酒后的一段言論,內(nèi)容牽連三只羊旗下多位女主播,整體呈現(xiàn)盧某面對(duì)市場(chǎng)與消費(fèi)者持有的傲慢態(tài)度,以及對(duì)相關(guān)人士的不尊重表達(dá)。

9月26日晚,合肥市公安局高新分局通報(bào),該局接三只羊公司報(bào)警稱(chēng),網(wǎng)上傳播涉盧某某的音視頻不實(shí),嚴(yán)重侵害其合法權(quán)益。經(jīng)過(guò)偵查,9月22日晚,該局將犯罪嫌疑人王某某(男,25歲)抓獲,并在其電腦、手機(jī)和制作AI音頻的網(wǎng)站中發(fā)現(xiàn)偽造相關(guān)音視頻的證據(jù);結(jié)合其供述、調(diào)查取證,并經(jīng)部、省專(zhuān)業(yè)機(jī)構(gòu)檢驗(yàn)鑒定,認(rèn)定報(bào)案所涉網(wǎng)傳音視頻系偽造。

隨后,9月27日,一家名為Reecho睿聲的AI公司發(fā)布聲明稱(chēng),近日,公司收到合肥警方調(diào)取證據(jù)通知書(shū),針對(duì)網(wǎng)絡(luò)上廣泛傳播的“盧某錄音門(mén)”事件所涉及的音視頻部分,經(jīng)與合肥警方配合查實(shí),確系嫌疑人使用該司自主研發(fā)的AI配音大模型平臺(tái),由盧某此前直播片段的約30秒錄音進(jìn)行克隆,并通過(guò)文本進(jìn)行生成。

上海大邦律師事務(wù)所高級(jí)合伙人游云庭對(duì)界面新聞?dòng)浾弑硎荆谏鲜霭讣校?/span>嫌疑人王某某涉嫌誹謗罪,行為特征是以虛構(gòu)的事實(shí)毀壞他人聲譽(yù)。盧某可以要求發(fā)布內(nèi)容的網(wǎng)站刪除侵權(quán)內(nèi)容,并且在刑事調(diào)查結(jié)束,取得相應(yīng)法律文書(shū)后民事起訴侵權(quán)者。

隨著人工智能技術(shù)的飛速發(fā)展,AI技術(shù)已經(jīng)滲透到社會(huì)生活的各個(gè)角落,但隨之而來(lái)的AI安全問(wèn)題也日益凸顯。在這背后,以AI技術(shù)對(duì)他人的音視頻素材進(jìn)行“克隆”并惡意使用成為AI安全問(wèn)題的重災(zāi)區(qū)。

目前市場(chǎng)上的AI大模型音視頻生成產(chǎn)品涵蓋了多個(gè)領(lǐng)域,包括但不限于視頻內(nèi)容創(chuàng)作、音頻處理、角色動(dòng)畫(huà)合成等。這些產(chǎn)品一方面從效率層面為大量企業(yè)和個(gè)人用戶(hù)帶去了便利,但另一方面也成為不法分子的牟利工具。

今年以來(lái),全國(guó)各地已經(jīng)發(fā)生多起“AI換臉”導(dǎo)致的詐騙案件。其中,一起發(fā)生在香港的詐騙案件涉案金額高達(dá)2億港元,而犯罪嫌疑人正是使用Deepfake技術(shù)“AI換臉”和AI音頻合成了一場(chǎng)“高管會(huì)議”。

面對(duì)這些容易紊亂視角或直接導(dǎo)致財(cái)產(chǎn)損失的AI安全問(wèn)題,除了公眾層面的每一位個(gè)體都對(duì)接受的音視頻內(nèi)容提高警惕性與分辨能力,在產(chǎn)品層面,平臺(tái)如何從技術(shù)與法律的角度預(yù)防負(fù)面事件的發(fā)生也同樣重要。

就前述案件中提供技術(shù)的公司是否要擔(dān)責(zé)的問(wèn)題,游云庭表示,還是要看該公司是否履行平臺(tái)的合規(guī)責(zé)任?!案鶕?jù)互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定,如果履行了合規(guī)義務(wù)的,我覺(jué)得他們責(zé)任比較小,否則的話(huà)會(huì)有麻煩?!?/span>

首先,該公司需要進(jìn)行算法備案,并在實(shí)際運(yùn)行當(dāng)中使用的是備案算法。其次,公司應(yīng)該對(duì)使用的用戶(hù)身份有認(rèn)證,如果沒(méi)有,公司也會(huì)存在法律風(fēng)險(xiǎn)。另外,平臺(tái)應(yīng)當(dāng)對(duì)用戶(hù)進(jìn)行提示,要求用戶(hù)不得利用平臺(tái)的服務(wù)進(jìn)行違法行為。

ReechoAI睿聲官網(wǎng)顯示,其是由深圳市言域科技有限公司提供的AI語(yǔ)音大模型技術(shù)產(chǎn)品及AI有聲內(nèi)容社區(qū)。經(jīng)界面新聞?dòng)浾咴诨ヂ?lián)網(wǎng)信息服務(wù)算法系統(tǒng)查詢(xún),“深圳市言域科技有限公司”這一主體旗下暫無(wú)相關(guān)備案記錄。另外,其關(guān)聯(lián)主體“深圳市呦絡(luò)科技有限公司”也無(wú)備案記錄。

在技術(shù)角度,游云庭認(rèn)為需要判別一個(gè)問(wèn)題,即對(duì)于用戶(hù)生成的可能涉嫌違法的內(nèi)容,這些內(nèi)容根據(jù)現(xiàn)有的識(shí)別違法和不良信息的特征庫(kù),是否能審核出具有違法屬性?!叭绻黠@涉嫌違法的,但他們沒(méi)有審核出來(lái)的,也會(huì)存在問(wèn)題?!庇卧仆ケ硎荆罂赡苄栽谟谟脩?hù)內(nèi)容難以完全落實(shí)審核,這種情況下平臺(tái)的責(zé)任也會(huì)較輕。 

此外,平臺(tái)應(yīng)當(dāng)對(duì)用戶(hù)生成的內(nèi)容進(jìn)行“AI生成”等相關(guān)標(biāo)注。但由于這類(lèi)生成內(nèi)容被標(biāo)注后的刪除操作也相對(duì)簡(jiǎn)單,AI內(nèi)容的辨識(shí)問(wèn)題仍然任重道遠(yuǎn)。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。