您的位置:首页 > 管理 >

Deepfake轻松编辑换脸视频 口型和音素不受语言限制

2019-06-13 11:11:04 来源: 硅星人

本来是为了方便视频剪辑,这项技术却足以成为真相的噩梦。最近几年,出现了不少利用深度学习编辑视频的技术。最著名的必然是 Deepfake,导...

本来是为了方便视频剪辑,这项技术却足以成为真相的噩梦。

最近几年,出现了不少利用深度学习编辑视频的技术。

最著名的必然是 Deepfake,导致明星换脸视频肆虐色情网站;以及诞生于去年的 Deep Video Potrait (DVP),轻松生成以假乱真的演讲视频,让新闻机构和政治人物一度恐慌。

如果你以为这些就足够令人担忧,那你就太小看深度学习研究者了。在他们的眼中,只要是以科学的名义,没有任何技术是受限的——即便可能造成严重的道德危机。

最近,研究者开发出了一种通过深度学习去操纵视频的全新技术,可以在一句话中增加、删掉甚至是修改任意词句让视频中的演讲者说出任意想说的话而且看起来仍然十分自然,就好像演讲者自己说出来的那样

比方说,财经电视台的原报道是“苹果股价收盘于191.45美元”,研究者将数字更改为“182.25美元”,在英文中发音和口型完全不一样的两组数字,最终效果很难看出来是被修改过的:

可怕之处在于:操纵视频的方法十分简单,只需要修改视频转录的文本即可。这个技术可以自己找到文本在视频中对应的位置,自动生成语音和脸部模型,然后自动贴上去,生成新的视频……

研究者通过调研发现,59.6%的受试者认为被这项技术编辑过的视频是真实的视频,反而有20%的受试者认为未经编辑过的视频是假的。

也就是说,经过这个管道的加工生成的视频,足以骗过大多数人的眼睛。

这项技术目前尚未对公众开放,也没有一个普通人可以使用的编辑软件,因为它仍处于研究和测试阶段。研究者来自斯坦福大学、德国马克斯普朗克信息学院、普林斯顿大学和 Adobe 研究院。这份研究已经提交到了计算机图形顶会 SIGGRAPH 2019 上,如果你感兴趣也可以点击文章下方的“阅读原文”查看论文。

这项技术实际上融合了多种深度学习方法,包括语音识别、唇形搜索、人脸识别和重建,以及语音合成。

简单来说,研究者首先对视频的图像和声音分别进行处理,将需要修改部分的画面和音素分离出来把修改后语句的音素组装进去,再根据这些单词的发音生成新的人脸模型,最后混合渲染成一个新的视频。

分解步骤大致如下:

1)输入视频,要求必须是talking-head video,也即以人脸(可以包括上半身)为主要画面,以演讲为主要内容的视频;

2)输入需要修改的字句,以及修改后的文字;

3)使用音素对齐 (phoneme alignment) 技术对视频里的发言进行索引,方便后续工作。音素就是单词的组成部分,比如“苹果”由拼音 ping 和 guo 组成;

4)使用唇形搜索 (viseme search),在原视频里找到需要修改的视频片段和对应的音素;

5.a)听觉上,把修改后词句的音素组装起来,嵌入到原视频里;

5.b)视觉上,对视频当中的人脸进行追踪建模,然后根据修改后词句的发音,为视频的每一帧重建一张下半脸的画面(因为大部分讲话时的面部动作不会涉及鼻子以上),再重新渲染出一段视频(无声);

6)再用视频中演讲者的语音资料合成新的语音,最后混合剪辑成一个新的视频。

从左到右:不同音素对应的帧;从上到下:原始视频到渲染、最终合成的效果

从左到右:不同音素对应的帧;从上到下:原始视频到渲染、最终合成的效果

研究者找来了138名群众参与用户调研,让他们观看三组视频然后给出真或者假,也即未经编辑和编辑过的判断。这三组视频分别为 A(真实),B(真实),C(用 A 作为基础,把 B 的词句替换进去的“假视频”)。而且,研究者事先告诉了受试者,这次调研的主题是“视频编辑”,因此受试者清楚自己看到的肯定会有假视频,因此会更机警地寻找“马脚”。

59.6%的受试者认为 C 组是真实的视频;20%的受试者反而认为原始、未经编辑的视频是假的。

研究者也把这项新技术和 Deepfake、MorphCut 以及 DVP 等“前辈”进行了对比。他们发现,新管道在嘴部动作、口腔内画面合成(牙齿、舌头等)上性能更好,而前辈生成的插入帧往往十分生硬,稍加留意就能看出漏洞。

下图:Deepfake(Face2Face) 在插入帧上出现了牙齿幻影。

下图:DVP 对牙齿的还原出现了高可辨的错误。

下图:DVP 对牙齿的还原出现了高可辨的错误。

下图:DVP 对画中人上肢动作的还原出现了问题,导致了延续性漏洞(影视术语,指剪辑导致了不合逻辑的画面,比如手举着的两帧之间出现了手消失的一帧)。

报错的 Yoshua Bengio

报错的 Yoshua Bengio

下图:MorphCut(Adobe Premier Pro 里的一个功能,在生硬的编辑中插入计算机生成的帧以使画面顺滑)让画中人面部出现严重的重影

糊掉的 Yoshua Bengio

糊掉的 Yoshua Bengio

研究人员发现,输入的视频越长,最终的编辑效果越好,视觉上更自然,对40分钟的视频素材进行训练,便能够达到论文以及视频展示的最优效果;但是,即便只使用极少量的数据,比如两分钟的视频进行训练,最终合成的人脸误差率也才只有0.021,仅比40分钟视频(0.018)高了0.003。

这意味着,这项技术可以用于一段很短的视频,并不需要大量数据也可以达到上乘效果。

论文提到,修改的词句长短和成片质量的好坏并没有直接相关性,但是唇形搜索和音素搜索的结果会影响最终编辑效果。比方说,如果修改词句的口型和发音在数据集里从来没有出现过,效果可能就不会太好。(研究者采用的参数混合方法也可以弥补这一情况,比如 fox 可以用 v 和 ox 组合而成,不一定需要带 f 的词语。)

在用时方面,论文显示 3D 人脸建模每一帧花费110毫秒,也一段长度1小时、60fps演讲者一直在讲话的视频(下同)需要396分钟或者六个半小时;音素对齐需要大约20分钟;唇形搜索最短仅需10分钟,最长2小时;人脸合成每帧需要132毫秒,1小时视频需要将近8小时合成,过程中的神经网络训练用时最长,需要42小时左右。

完成了上述步骤后,编辑者就可以对视频随意修改,如果只是修改部分词句的话,花费的时间和训练/前期准备相比可忽略不计。

比方说某政客演讲完,理论上最快两天后网上就能出现一段意思被完全扭转,但完全看不出任何问题的“假视频”。

而如果放到新闻的语境当中,这项技术突然变成了最令人们担忧的事情。这一方法对计算量有一定需求,因此路人不一定有能力完成,但如果是黑客或者敌对政治人物想要对受害者进行有组织的污蔑攻击,本篇论文所描述的这一方法简直不能更好用。

今天,英国一家营销机构在其 Instagram 账号上发布了一小段扎克伯格的讲话。在视频中,扎克伯格戴着标志性毫无“人味”的表情,表示“想象一下,有一个人,完全控制着数十亿人被盗的数据,他们所有的秘密,他们的生活,他们的未来。我完全归功于幽灵。幽灵告诉我,谁能掌控数据,谁就能掌控未来。“

”幽灵“是这家营销机构正在推广的一个装置艺术展览,这则视频其实这场展览的营销。视频本身也是用 Deepfake 或者类似的技术制作的,技术来自于以色列公司 Canny.ai,声音则是找了一个跟扎克伯格完全不像的人努力装出来的。事实上,这家营销机构还”找来了“特朗普、金·卡戴珊、摩根·弗里曼等著名人物,制作了类似的视频。

如果说这些视频人畜无害的话,那么另外一则技术含量根本没多高的剪辑视频,则对一位美国顶级政客带来了巨大的伤害。

前几周,两段美国众议院议长南希·佩洛西“口齿不清”的视频流传于网上。很快,这段视频就被人发现使用了非常无聊的剪辑手法,让佩洛西看起来像是喝多了或者快要中风一样。包括 Facebook 在内的一些社交网站和视频平台拒绝取缔这些视频。

在当前社会极端化和对抗日益严重,以及假新闻盛行的大环境下,类似的视频往往具有极强的传播势能。而更先进的技术让视频的质量变得更好,相应地对受害者的伤害,以及对社会造成的进一步撕裂,只会更加严重。

研究者在论文中指出,他们认为这项研究的主要目的是简化视频编辑人员(以及内容产业整体)的工作压力。比如那些念错台词或者漏拍的场景,现在可以直接用深度学习算法生成精确的画面和声音,不再需要重新花大价钱重拍。

另一个重要的使用场景是翻译。论文中(以及配套的视频里)演示了跨语言生成视频的效果,因为本质上被剪辑的不是词语,而是口型和音素,不受语言的限制(比如,许多欧洲国家语言共享音素)。

如果有一部电影需要译制成西班牙语版,过去的做法是译制厂直接后期配音。而现在有了这项技术,可以直接生成发音准确,而且口型同样准确的译制片了。

当然,电影只是一个极端的案例。不那么极端的话,比方说你是一个美妆博主,想要把观众群扩展到海外,正好可以用这项技术生成其他语言版本的视频,即便发音不百分之百精确也没有关系。

最后一个使用场景,是生成二次元偶像带视觉形象的虚拟语音助理。有了这个技术,应该就可以生成可以看见的林志玲/郭德纲导航了。研究者在论文中提到,除了用神经网络,他们的技术也可以搭配macOS 的语音合成器(speech synthesizer)使用,让合成语音更加容易。(文/光谱)

精选 导读

GCEA发起ISA与HiCoin合作 打造全球首个去中心化加密资产平台

6月11日,全球加密资产生态联盟(简称GCEA)发起联盟成员之一ISA(全球战略联盟)与HiCoin在京举行了战略合作签约仪式发布会。ISA韩国数30名联

发布时间: 2019-06-13 10:36
币库   2019-06-13

哈啰出行/宁德时代/支付宝成立合资公司 进入两轮电动车市场

6月12日下午消息,哈啰出行、宁德时代、支付宝今日联合宣布成立合资公司,进入两轮电动车市场,首期投入10亿元。哈啰出行CEO杨磊将兼任合资

发布时间: 2019-06-13 10:21
学院   2019-06-13

华为nova 5贴膜曝光 业内首商用Mali-G76 GPU支持40W快充

P30和P30 Pro之后,华为下一款重量级新品便是即将登场的nova 5。6月12日消息,博主@数码闲聊站曝光了疑似华为nova 5的贴膜。贴膜暗示该机采

发布时间: 2019-06-13 09:48
科技   2019-06-13

三星Galaxy S10烟波蓝曝光 S10+搭载前置双摄+4100mAh电池

有数码博主曝光了三星Galaxy S10系列国行版新配色——烟波蓝,目前尚无法鉴别该消息真伪。三星S10e搭载5 8英寸屏幕,后置双摄,无屏幕指纹;S10

发布时间: 2019-06-13 09:45
科技   2019-06-13

小米手环4钢铁侠版晒出 屏幕增大39.9%+16000多种颜色表盘

6月11日消息,小米创办人,董事长兼CEO雷军晒出小米手环4钢铁侠定制版,发布会在昨日14点举行。雷军表示,超级英雄即将登场!别忘了,今天下

发布时间: 2019-06-12 17:02
学院   2019-06-12

中国器官捐献日全国超60%登记人来自支付宝 单日人数增长近10倍

6月11日消息,昨天是中国器官捐献日,数据显示,通过支付宝登记器官捐献人数单日同比增长近10倍。另据施予受器官捐献志愿者登记信息,超过6

发布时间: 2019-06-12 16:58
学院   2019-06-12

Honda与阿里和科大讯飞合作 开发第三代Honda CONNECT系统

今天,Honda在2019年亚洲消费电子展(CES Asia 2019)上宣布与阿里巴巴集团和科大讯飞股份有限公司开展合作,共同开发第三代Honda CONNECT(智

发布时间: 2019-06-12 16:27
行业   2019-06-12

联想将发布ThinkPad P1二代 显示器将获得Pantone认证

6月11日消息最初的2018 ThinkPad P1基本上是ThinkPad X1 Extreme采用Xeon CPU和Quadro GPU进行改装而来的,以吸引专业工作站用户。该系列产

发布时间: 2019-06-12 16:24
行业   2019-06-12

Harmony和Chainlink合作 为其智能合约提供安全数据

为了区块链安全,Harmony和领先的预言机(Oracle)服务提供商Chainlink达成合作。Chainlink网络会为其智能合约提供可靠安全的输入和输出数据

发布时间: 2019-06-12 15:29
币库   2019-06-12

高通希望美国反垄断裁决延期 要求LG保持芯片权限

北京时间6月12日上午消息,据路透社报道,高通希望通过上诉将美国针对其制定的反垄断裁决延期执行,但LG电子却在周二对此提出反对。这家韩

发布时间: 2019-06-12 15:10
学院   2019-06-12