近日，孫儷、鄧超工作室發(fā)文打假，揭露網(wǎng)絡(luò)上大量利用AI偽造兩人形象和聲音進(jìn)行虛假?gòu)V告宣傳的行為。盡管工作室嚴(yán)正聲明，但截至5月20日，仍有不少偽造視頻未被清理，部分賬號(hào)甚至利用克隆的明星聲音制作“雞湯”視頻引流變現(xiàn)。

大量名人被換臉帶貨

當(dāng)“全紅嬋帶貨土蜂蜜”“古天樂被游戲代言”等土味廣告泛濫網(wǎng)絡(luò)，你或許會(huì)震驚于名人竟也開始代言此類廣告。然而，更令人咋舌的是，這些廣告與名人本尊毫無關(guān)聯(lián)，而是AI擬聲的商業(yè)欺詐。這些偽造視頻模式大同小異，明星“現(xiàn)身說法”推薦減肥、育兒等產(chǎn)品，臺(tái)詞僅替換產(chǎn)品名，評(píng)論區(qū)還貼出購(gòu)買鏈接。

AI擬聲騙局早已蔓延。去年12月，“張文宏”講解蛋白棒的AI假視頻走紅，中老年消費(fèi)者紛紛受騙下單。古天樂、林峰等港星肖像、聲音被合成為賭博、游戲代言宣傳片，經(jīng)紀(jì)公司緊急辟謠。就連雷軍的標(biāo)志性普通話，也被AI用于虛假理財(cái)廣告。

從明星到企業(yè)家，AI假帶貨受害者名單不斷加長(zhǎng)。實(shí)現(xiàn)這些，最低僅需一元，就能在二手平臺(tái)買到“聲音克隆工具包”。兩年前，“AI孫燕姿”翻唱引發(fā)驚嘆，如今，一鍵生成明星帶貨視頻已成現(xiàn)實(shí)，假?gòu)V告播放量動(dòng)輒破百萬。

綜藝節(jié)目也成重災(zāi)區(qū)。劉曉慶、應(yīng)采兒等明星在節(jié)目中的畫面被P上廣告，成為保健品、減肥藥“代言人”。這些視頻如流水線生產(chǎn)的贗品，低成本引流，規(guī)避代言費(fèi)用。除了上文提及的一些名人，劉德華、謝霆鋒、楊紫等眾多明星也遭遇此類侵權(quán)，推薦產(chǎn)品五花八門，且均未標(biāo)注AI生成。

AI技術(shù)讓偽造變得容易

AI合成明星聲音和視頻的技術(shù)門檻越來越低，相關(guān)軟件隨處可見，甚至有詳細(xì)教程。一些中介還傳授如何利用克隆的明星聲音進(jìn)行商業(yè)變現(xiàn)，包括帶貨勵(lì)志書籍、做IP收學(xué)員等。然而，這些行為均涉嫌違法，不僅侵犯了明星的肖像權(quán)和聲音權(quán)，還誤導(dǎo)了消費(fèi)者。

電商平臺(tái)“AI配音”服務(wù)，明星聲音200元一條，素人50元，包教包會(huì)。商家直言，AI擬聲帶貨商品資質(zhì)不明、廠商不清，涉事店鋪多為新注冊(cè)賬號(hào)。平臺(tái)未提示“該畫面可能由AI生成”，客觀上助長(zhǎng)了“假帶貨”風(fēng)氣。

AI換臉、擬聲技術(shù)還被用于詐騙。騙子用AI合成靳東聲音陪老人聊天，騙走近百萬養(yǎng)老錢。福建一公司老板被AI合成的“合作伙伴”騙走430萬。

這些以假亂真的聲音從何而來？學(xué)者解釋，采集聲音關(guān)鍵特征，配合語(yǔ)速和情感參數(shù)，少量樣本就能完成克隆。聲音樣本采集方式多樣，可能是推銷電話、公開演講，甚至是客服回電。

AI擬聲應(yīng)用唾手可得。手機(jī)應(yīng)用商店里，“AI配音”相關(guān)App下載量超千萬次。198元就能解鎖付費(fèi)會(huì)員，錄入名人聲音無需授權(quán)證明。二手交易App上，AI聲音克隆低至10塊以內(nèi)。

面對(duì)AI擬聲、換臉和假新聞，保持懷疑與求證，或許是我們應(yīng)對(duì)虛假內(nèi)容的最后堡壘。

消費(fèi)者對(duì)AI騙局難以維權(quán)

消費(fèi)者吳鑫就差點(diǎn)被這類直播間欺騙。他想購(gòu)買韓國(guó)Hexkin品牌的護(hù)膚品，刷視頻時(shí)偶然進(jìn)入一個(gè)名為@暢姐美妝護(hù)膚（韓國(guó)專場(chǎng)）的直播間，演員舒暢正在介紹并售賣該品牌護(hù)膚品。出于對(duì)舒暢的信任，吳鑫打算下單，卻在點(diǎn)擊商品鏈接時(shí)發(fā)現(xiàn)，商品竟是名為HanjiLian的產(chǎn)品。兩款產(chǎn)品包裝相似，不仔細(xì)看很容易買錯(cuò)。吳鑫留言詢問，卻被踢出直播間。之后，他發(fā)現(xiàn)平臺(tái)上有許多類似賬號(hào)，直播內(nèi)容都是舒暢帶貨，但商品鏈接與介紹不符。他截圖私信舒暢的官方賬號(hào)，得知這些均非舒暢賬號(hào)，工作人員提醒他謹(jǐn)慎下單。

這些盜播賬號(hào)與明星賬號(hào)高度相似，比如抖音賬號(hào)@瓷炫姐姐與演員秋瓷炫的賬號(hào)頭像一致。@瓷炫姐姐直播時(shí)，播放的是秋瓷炫之前的帶貨錄播視頻，介紹的是Hexkin品牌產(chǎn)品，商品鏈接卻是類似包裝但名為KaFanLin的產(chǎn)品。消費(fèi)者若不仔細(xì)辨別，會(huì)誤以為真是秋瓷炫在直播帶貨，收到貨后才發(fā)現(xiàn)品牌不同。

這些盜播賬號(hào)不僅欺騙消費(fèi)者，損害其權(quán)益，還破壞明星形象和聲譽(yù)。消費(fèi)者和明星面對(duì)這些盜播騙子，都很難維權(quán)，因?yàn)橘~號(hào)被發(fā)現(xiàn)后會(huì)很快注銷，騙子再注冊(cè)新賬號(hào)繼續(xù)行騙。

深度偽造為何難以遏制

偽造名人賬號(hào)帶貨現(xiàn)象猖獗，與追責(zé)困難緊密相關(guān)。此類賬號(hào)數(shù)量龐大、分布廣泛，逐個(gè)維權(quán)幾乎不可能。而且，這些賬號(hào)手段多樣，如趁深夜放出帶貨視頻，早上又將其屏蔽，讓消費(fèi)者投訴無門，也增加了被發(fā)現(xiàn)的難度。

這種亂象不能再持續(xù)下去。目前已有《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等規(guī)定，對(duì)生成AI的規(guī)范使用提出要求，特別是在內(nèi)容審核、信息標(biāo)識(shí)方面，后者還明確規(guī)定使用AI生成內(nèi)容不得侵害他人肖像權(quán)。

然而，AI產(chǎn)業(yè)快速發(fā)展，信息呈爆炸式增長(zhǎng)，給AI信息甄別帶來極大困難。據(jù)《2024人工智能安全報(bào)告》，2023年基于AI的深度偽造欺詐暴增3000%，基于AI的釣魚郵件增長(zhǎng)1000%，形勢(shì)十分嚴(yán)峻。

解決問題的關(guān)鍵在于執(zhí)行，短視頻平臺(tái)作為生成AI的主要使用場(chǎng)景，要主動(dòng)擔(dān)起主體責(zé)任。對(duì)生成AI內(nèi)容進(jìn)行更嚴(yán)格審核，定期大規(guī)模篩查內(nèi)容，一旦發(fā)現(xiàn)違規(guī)使用，就對(duì)賬號(hào)嚴(yán)肅處理。

北京郵電大學(xué)互聯(lián)網(wǎng)治理與法律研究中心主任謝永江指出，網(wǎng)絡(luò)平臺(tái)應(yīng)加強(qiáng)專業(yè)類賬號(hào)的注冊(cè)管理和日常巡查，防止虛假標(biāo)注誤導(dǎo)網(wǎng)民。對(duì)于利用AI生成假神醫(yī)等新型科技手段虛假宣傳的企業(yè)，要依法追究其法律責(zé)任。執(zhí)法部門也應(yīng)提升執(zhí)法能力，配備相應(yīng)技術(shù)，快速有效識(shí)別并打擊此類違法行為。

（文章綜合《人民日?qǐng)?bào)》《南方都市報(bào)》《新周刊》等）

編輯：卡卡

策劃/審核：Ziven