文、图 / 羊城晚报全媒体记者 罗清峣

越来越多的人对于 AI 双刃剑效用感到担忧。近日，以深度伪造技术（Deepfake）为核心技术的 AI 换脸、语音模拟相关新闻层出不穷。5 月 22 日，一骗子使用智能 AI 技术十分钟诈骗 430 万元；B 站音乐区 up 主掀起了一波 AI 翻唱热潮，AI 孙燕姿全网走红；带货主播 AI 换脸成女明星引发热议……随着 AI 技术的发展，其自身的安全、伦理等问题越来越重要，如何明晰真伪边界，让科技持续 " 向善 "，这是一个持久性的命题。

换脸直播

(资料图片仅供参考)

动动手指能变性别

业内人士分不清真伪

" 看了好几个直播间，我都惊呆了，要么是佟丽娅，要么是迪丽热巴，全都把脸换成了明星带货。" 近日，从事直播行业的小美在社交媒体上的发言引发大量讨论。记者发现，不少商家把主播 AI 换脸成女明星进行带货已成常态，有些直播间的 AI 换脸达到了以假乱真的地步，如果不是一些非常明显的破绽，一般人根本分不清 " 真假女明星 "。

为了查看 AI 换脸直播与真人直播的区别，记者顺着多位网友的爆料，来到了某个以 s 开头的服装品牌的直播间，该品牌每天会在平台上进行直播带货，而主播疑似 "AI 换脸 " 女星杨幂，" 五官几乎一模一样，连牙齿都一样。" 爆料人表示，自己曾向该品牌的客服质疑主播是 AI 换脸，官方客服回应她 " 长得像，化妆的 "。

为了验证官方回复是否属实，记者邀请业内人士，英荔人工智能教育研究院成员陈海权一同到该直播间观看直播。十分钟内，除了出现了数次脸型突然变大或者变小的情况外，没有其他破绽出现。陈海权表示，这个破绽无法判断是 AI 换脸时出现的识别失误还是真人的瘦脸特效。他表示，以目前的技术，只要有足够的预算和时间，可以把 AI 脸做得基本和真人无异，仅凭人眼基本无法分辨是 AI 换脸还是真人，" 除非发现特别的破绽，普通人很难区分 "。

也正好是看到了 " 破绽 "，不然小包还发现不了卖茶叶的不是迪丽热巴，差点上当。小包告诉记者，她五月中旬在抖音直播间看到一个五官和迪丽热巴几乎一模一样的主播在售卖茶叶，" 最后两单在三号链接，老板们赶紧下单。" 说着说着，主播低下了头，" 主播低头整理头发的时候，脑门上全是黑的。" 这时，她才知道主播不是真的迪丽热巴。

记者发现，目前网络平台上有多款可以进行 AI 换脸的软件出售，售价从几十元到上万元不等。有男博主表示，花 99 元购买软件之后，只用一台电脑和一个摄像头就能让人 " 换个面容 " 直播。记者来到该博主的直播间，看到他确实只用 " 动动手指 "，就能使用软件把自己从一个男性变成 " 肤白貌美 " 的女性。

语音模拟

"AI 孙燕姿 " 拥有超千首作品

孙燕姿感叹人类无法超过 AI

记者了解到，AI 换脸使用到了深度伪造技术（Deepfake），该技术能将图片或视频合并叠加到源图片或视频上，借助神经网络技术进行大样本学习，将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。该技术的运用除了最常见的 AI 换脸外，还包括人脸合成、视频生成以及语音模拟等。在语音模拟中，最贴近生活的例子就是地图软件里的明星语音包，目前许多地图还推出了语音定制服务，用户只需要录入 3-9 句话，就能拥有定制语音包。

" 讽刺的是，人类无法超越它已指日可待 "5 月 23 日，歌手孙燕姿《我的 AI》一文，首度回应了自己对 AI 技术的看法。据了解，近来 B 站音乐区 up 主掀起了一波 AI 翻唱热潮。在 AI 技术的加持下，孙燕姿、周杰伦、林俊杰、陈奕迅等大咖纷纷化身 "AI 点唱机 "。据不完全统计，目前 "AI 孙燕姿 " 已经拥有超过 1000 首翻唱作品，最火的作品播放量甚至突破百万。

" 你跟一个每几分钟就推出一张新专辑的‘人’还有什么好争的。" 孙燕姿在文中自嘲，她感叹人类再怎么快也无法超越 AI 技术。" 你并不特别，你已经是可预测的，而且不幸的是，你也是可塑的。"

律师分析

擅自使用艺人肖像进行商业活动

侵犯了明星的肖像权

但无论是 AI 换脸明星还是语音模拟明星翻唱，都可能造成侵权。

广州径文律师事务所律师陈文妍表示，未经明星允许，或未经经纪公司授权，擅自使用艺人肖像进行商业活动，侵犯了明星的肖像权。" 使用 AI 换脸的技术，若导致了特定主体的形象被扭曲，且视频大量传播后导致主体的社会评价显著降低，就又侵害了这个主体的名誉权。" 清华大学法学院博士研究生孙鸿亮补充道，根据个人信息保护法的规定，若是没有正当化事由去处理人脸信息，既侵害了个人信息权益，也侵害了隐私权。

孙鸿亮表示，根据民法典和个人信息保护法的规定，侵权人要承担侵权损害赔偿责任，制作短视频的人获得的利益全部要赔偿给权利主体。

不少明星已经拿起法律的武器对付商业 AI 换脸行为，记者查阅到，2021 年 9 月歌手林俊杰曾状告上海宽娱数码科技有限公司、肖某，公告详细显示为肖像权纠纷，肖某在 B 站的个人账号中发布了多个娱乐视频，林俊杰的肖像被 AI 换脸放在了视频中，最后法院判肖某公开赔礼道歉，并向原告赔偿经济损失，精神损害抚慰金等 275000 元。

如今很多商家为了规避风险，会使用许多特效，改变 AI 换脸明星后的某些特征，让主播和明星 " 似像非像 "，该行为能否认定为侵权呢？陈文妍表示，肖像权最核心的是可识别性，" 如果换了脸后，普通人能够一眼看出他就是某个明星，也可以认定为侵权。"

为何对于商业 AI 换脸行为法律明令禁止却还屡禁不止？陈文妍认为原因是，目前 AI 技术属于较新的技术，在现实当中还没有很多的司法实践和判例，" 所以许多商家都想尝一尝，试一试。"

AI 诈骗

高科技诈骗层出不穷

有人十分钟被骗 430 万元

官方提示转账前辨别身份

如果说通过 AI 换脸进行商业行为只是侵害了某些特定人群的权益，那么近期多起在国内外发生的利用 AI 技术实施的电信诈骗案件则是面向整个社会的犯罪行为，需要全社会重视起来，进行预防和反制。

近日，包头警方发布一起利用人工智能（AI）实施电信诈骗的典型案例冲上热搜。福州市某科技公司法人代表郭先生 10 分钟内被骗 430 万元。4 月 20 日中午，郭先生的好友突然通过微信视频联系他，自己需要 430 万元保证金，想借郭先生公司的账户走账，好友向郭先生要了银行卡号，还把银行转账底单的截图通过微信发给郭先生。基于对好友的信任，加上已经视频聊天核实了身份，郭先生没有核实钱款是否到账，十分钟内，就分两笔把 430 万元转到了好友朋友的银行卡上。

转账完毕后，郭先生拨打好友电话，好友不知道此事，他这才反应过来，原来他遇上了高端的电信诈骗。骗子通过智能 AI 换脸和拟声技术，佯装好友对他实施了诈骗。幸运的是，接到报警后，警方成功止付拦截 336.84 万元，但仍有 93.16 万元被转移，目前正在全力追缴中。

记者再以 "AI 电信诈骗 " 为关键词进行检索，发现近年来此类案例还不少，据平安包头、交口政法等官方通报，常州的小刘接到 " 初中同学 " 视频电话后，" 借 " 了 6000 元给骗子；公司财务小王接到领导电话信以为真，转款 2 万元给骗子；王某接到省外某派出所 " 警官 " 微信视频，对方宣称，王某涉嫌洗钱等违法犯罪，需要向 " 安全账户 " 转账，因对方通过视频与王某进行了 " 交流 "，王某深信不疑，最终受骗……

利用高科技实施电信诈骗，对普通老百姓来说，等同于 " 降维打击 "，该如何预防 AI 诈骗呢？共青团北京市委员会官方微博提供了两个识别 AI 换脸的小技巧：在视频聊天时，如果担心有对方有 AI 换脸诈骗的可能，你可以要求对方，将一根手指或者其他物体放在脸前来回移动。也可以要求对方左转或者右转，然后观察他的侧脸。

新规实施

加强深度合成内容管理

建立健全辟谣机制和申诉、投诉、举报机制

值得庆幸的是，越来越多的人和相关机构关注到了深度合成技术的安全问题，记者了解到，今年 1 月 10 日起施行的《互联网信息服务深度合成管理规定》，从技术提供者、服务使用者以及监管等各方面，对技术的应用提出规范。

新规要求深度合成服务提供者主体不得利用深度合成服务从事违法活动，还要建立健全用户管理制度，制定和公开管理规则等，加强深度合成内容管理，建立健全辟谣机制和申诉、投诉、举报机制。同时要求深度合成服务提供者落实信息安全主体责任，建立健全管理制度和技术保障措施，制定公开管理规则、平台公约，对使用者进行真实身份信息认证，明确应用程序分发平台应当落实安全管理责任，核验深度合成类应用程序相关情况。

此外，《规定》也提出了明确的数据和技术管理规范。其中包括，深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。

五月初，相关短视频平台也发布关于人工智能生成内容的平台规范及行业倡议。要求创作者、主播、用户、商家、广告主等平台生态参与者，在应用生成式人工智能技术时，遵循规范，发布者应对人工智能生成内容进行显著标识，帮助其他用户区分虚拟与现实；禁止利用生成式人工智能技术创作、发布侵权内容，包括但不限于肖像权、知识产权等。一经发现，平台将严厉处罚；禁止利用生成式人工智能技术创作、发布违背科学常识、弄虚作假、造谣传谣的内容。

同时平台将提供虚拟人的注册能力，并对已注册的虚拟人形象进行保护；平台将提供用户反馈渠道，方便用户反馈违规生成内容。

( 更多新闻资讯，请关注羊城派 pai.ycwb.com )

来源 | 羊城晚报羊城派

责编 | 张齐 王隽杰

校对 | 马曼婷

标签：