中國消費者報報道(記者王小月)昔日需要整支團隊協(xié)作完成的復活視頻制作,如今僅憑一張圖、從冒持人一句話(huà)即可實(shí)現,用主生成式人工智能(AIGC)技術(shù)的到名待全飛速發(fā)展正深刻改變著(zhù)內容創(chuàng )作生態(tài)。與此同時(shí),造治理當AI視頻生成技術(shù)以驚人的假亂速度走向規?;瘧?,其濫用風(fēng)險不容忽視,象亟各種紛雜的鏈條人工智能生成信息常常讓人難辨真假,這給行業(yè)監管和平臺治理都提出了新的復活挑戰。
AI視頻濫用亂象頻發(fā)
10月15日,從冒持人據“北京市場(chǎng)監管”微信公眾號消息,用主2025年6月,到名待全北京市海淀區市場(chǎng)監管局查處了某公司利用AI技術(shù)冒用央視知名主持人名義和形象的造治理虛假廣告案。該公司通過(guò)AI技術(shù)剪輯知名主持人視頻,假亂加入自行設計的象亟口播內容,在自有網(wǎng)絡(luò )視頻賬號上以短視頻等形式發(fā)布普通食品“深海多烯魚(yú)油”廣告,宣稱(chēng)“可以解決頭暈頭痛、手麻腳麻、四肢乏力”等醫療功效,違反了《廣告法》相關(guān)規定,已接受行政處罰。
值得一提的是,這也是北京市場(chǎng)監管部門(mén)運用《廣告法》對濫用AI技術(shù)冒用知名人物形象發(fā)布虛假廣告問(wèn)題的首次“亮劍”。
當前,生成式AI成為重要的生產(chǎn)力工具,監管的此次亮劍釋放了明確信號,技術(shù)應用不能逾越法律紅線(xiàn)。近年來(lái),人工智能技術(shù)成熟,“AI換臉”門(mén)檻降低,不法商家利用AI深度偽造知名人士面容和聲音,炮制AI“李鬼”。
此案僅是AI技術(shù)被濫用的冰山一角。隨著(zhù)AI視頻生成技術(shù)門(mén)檻大幅降低、效率飛速提升,其“雙刃劍”效應日益顯現。10月14日,已故茶界泰斗張天福被AI工具“復活”為茶企代言一事引發(fā)關(guān)注。視頻發(fā)布賬號歸屬福建張天福品牌管理有限公司,工作人員承認,視頻系AI制作。
今年4月,中國國家話(huà)劇院發(fā)表聲明,稱(chēng)發(fā)現社會(huì )上有公司未經(jīng)其同意擅自使用話(huà)劇《青蛇》作品,違法進(jìn)行冒演、虛假宣傳,濫用AI換臉技術(shù),偷換概念,公開(kāi)售票,欺騙觀(guān)眾,造成嚴重負面影響,侵犯中國國家話(huà)劇院的合法權益。此外,某平臺一部微短劇被曝疑似使用了AI技術(shù),未經(jīng)授權將某知名演員的面部特征移植到其他演員臉上,后版權方采取了下架處理,刪除了爭議片段。
北京社會(huì )科學(xué)院副研究員王鵬對《中國消費者報》記者表示,這一現象是技術(shù)濫用與流量經(jīng)濟畸形結合的產(chǎn)物,反映了AI技術(shù)普惠化進(jìn)程中創(chuàng )新工具與行騙手段的邊界模糊問(wèn)題,其背后是利益驅動(dòng)下的倫理失范。
AIGC亟待內容治理
AI生成技術(shù)的低門(mén)檻化使得仿冒成本大幅降低,不法分子可快速批量生產(chǎn)虛假內容,突破傳統造假的技術(shù)壁壘。此類(lèi)行為不僅侵犯名人肖像權、聲音權等人格權益,更可能誤導公眾認知。
為什么AI仿冒會(huì )出現井噴?鄭揚洋表示,現在可以靠“開(kāi)源模型+云端API”實(shí)現30秒克隆聲音和人臉,生產(chǎn)成本比之前低。平臺容易給前3秒完播率的權重最高,若把名人帶貨等內容放在首幀,算法可能會(huì )自動(dòng)放大,這讓不法分子嘗到了“AI換臉”的甜頭。
面對AIGC帶來(lái)的新挑戰。9月1日起,國家互聯(lián)網(wǎng)信息辦公室等四部門(mén)聯(lián)合發(fā)布的《人工智能生成合成內容標識辦法》(以下簡(jiǎn)稱(chēng)《辦法》)施行。這是全球范圍內第一部關(guān)于人工智能生成合成內容標識的國家標準,也意味著(zhù)所有利用人工智能技術(shù)生成、合成的文本、圖片、音頻、視頻、虛擬場(chǎng)景等信息,必須依法添加相應的聲明標識。
根據《辦法》,人工智能生成合成內容標識包括顯式標識和隱式標識。其中,AI生成視頻,要求在視頻起始畫(huà)面和視頻播放周邊的適當位置添加顯著(zhù)的提示標識。
記者看到,8月29日至9月1日,騰訊、快手、小紅書(shū)、嗶哩嗶哩、微博、抖音等6家平臺均發(fā)布公告稱(chēng)已按照相關(guān)規定提供AI內容標識聲明功能。對于未主動(dòng)標識的AI生成內容,平臺有權添加標識??焓?、嗶哩嗶哩、小紅書(shū)還在公告中強調用戶(hù)不得惡意篡改、隱匿平臺相關(guān)標識。
但在實(shí)際應用中,AI視頻標注仍存在諸多難點(diǎn)。用視頻模型工具生成的視頻,如果用戶(hù)有心將AI水印進(jìn)行擦除,平臺則存在無(wú)法識別AI視頻的可能性。
一業(yè)內人士表示,盡管已有一些AI內容檢測技術(shù),但生成模型迭代速度更快,“破綻”修補迅速,檢測技術(shù)往往處于被動(dòng)追趕狀態(tài),實(shí)現百分百精準識別異常困難。
全鏈條治理待完善
如何來(lái)減少利用換臉技術(shù)侵權的行為?天元律師事務(wù)所合伙人李昀鍇表示,內容發(fā)布平臺是內容傳播和觸達公眾的關(guān)鍵環(huán)節,因此承擔著(zhù)監督和管理的重要責任。平臺的責任主要體現在制定明確的平臺規則、提供技術(shù)或功能支持、履行內容審核義務(wù)、采取必要處置措施。如果內容平臺未盡到義務(wù),監管部門(mén)可以依據《網(wǎng)絡(luò )安全法》《網(wǎng)絡(luò )信息內容生態(tài)治理規定》等,對平臺采取警告、通報批評、責令限期改正、罰款等行政措施。
而對于內容發(fā)布者這一AI標識的直接責任人,李昀鍇稱(chēng),目前《辦法》實(shí)質(zhì)上沒(méi)有規定內容發(fā)布者不標注的法律責任,如果單純依靠發(fā)布者的自覺(jué)性,規定的效果或大打折扣。實(shí)踐中,內容平臺作為傳播渠道,其強制性要求和技術(shù)干預是關(guān)鍵。
“部分生成工具具備‘去標識化’功能,可自動(dòng)擦除平臺水印或干擾哈希比對,導致現有監測系統出現漏檢?!编崜P洋認為,一個(gè)解決方案是端側硬水印配合鏈上備案,而非僅靠平臺事后刪除。
鄭揚洋表示,平臺可以做降阻前置警告,比如在視頻前3秒強制彈窗“本內容含AI生成畫(huà)面”,紅色進(jìn)度條1秒,降低用戶(hù)“無(wú)意識信謠”。從傳播角度看來(lái),既然使用名人來(lái)AI生成虛假視頻,建議由主流平臺與權威媒體共建“AI辟謠”專(zhuān)區,一鍵跳轉可做真偽對比。
薩摩耶云科技集團AI機器人行業(yè)研究員鄭揚洋對《中國消費者報》記者表示,現行規范性文件對“訓練源頭”和“刑事罰則”覆蓋仍需要加強,建議需盡快推動(dòng)人工智能統一立法,把生成、傳播、平臺責任一并納入,形成全鏈條合規指引。
對此,王鵬進(jìn)一步表示,目前缺乏針對AI技術(shù)的專(zhuān)屬立法。當前法律框架主要基于傳統肖像權、個(gè)人信息權和著(zhù)作權等概念,未針對AI換臉等生成式技術(shù)的特點(diǎn)制定專(zhuān)門(mén)規范,明確其使用規范、責任劃分及處罰標準。雖然《民法典》《著(zhù)作權法》《廣告法》均有作出懲罰性賠償的相關(guān)規定,但獲賠的案件不多,導致缺乏足夠的震懾力,很多侵權方的違法成本可能遠低于侵權行為可能為其帶來(lái)的商業(yè)利益。
(責任編輯:知識)