您的位置:首页 > 互联网 >

AI算法漏洞是可以实现的:让自动驾驶撞墙 戴上口罩刷别人的脸

2020-10-29 08:25:16 来源: 51cto

那些专家们曾经担心过的 AI 算法漏洞是可以实现的,没想到过的也可以实现。刚刚过去的 1024,极棒大赛上演了全新形式的人机攻防对决。劫持正

那些专家们曾经担心过的 AI 算法漏洞是可以实现的,没想到过的也可以实现。

刚刚过去的 1024,极棒大赛上演了全新形式的人机攻防对决。

劫持正在飞行的无人机、干扰自动驾驶汽车 「致盲」、戴上口罩刷别人的脸结账,在上周六的 GeekPwn 2020 国际安全极客大赛上,全球顶级白帽黑客们向我们揭开了 AI 模型、物联网、5G 等领域的不少未知漏洞。

本次大赛,有超过 600 支来自不同科技公司、大学的极客队伍报名参赛,最终有近 50 支在 10 月 24 日共同面向 500 万元奖金池发起了冲击。

决赛开始之前,今年的 GeekPwn 大赛早在 3 月即开放了各赛题的报名,4 月份各项比赛公布规则,在 8 月底 CAAD 线上比赛宣告结束。10 月 24 日来到现场的团队,各个身怀绝技。

他们面临的挑战也不同以往——主办方为选手们准备了全新的挑战。今年的八大赛题包括「新基建」安全大赛、基于漏洞攻破挑战赛、非基于漏洞攻破挑战赛、云安全比赛、少年黑客马拉松大赛、虚假人脸 AI 识别大赛、AI 变脸口罩挑战赛以及窃密与反窃密挑战赛。每个赛题下还分为多个单项比赛,关注不同的方向。

其中,腾讯安全联合 GeekPwn 举办的国内首个新基建安全大赛涵盖了 5G、物联网和人工智能,其中各个挑战者们针对车联网、无人机、安检设备、智能电表等目标的破解,让人们对这些产业的安全有了新的认识。

戴上口罩,刷别人的脸

刷脸门禁、手机解锁、机场安检…… 使用人工智能算法的人脸识别,最近已经成为人们每天都在使用的技术。因为 2020 年初的新冠疫情,越来越多佩戴口罩的情形为人脸识别带来了新的挑战。有一些科技公司已经推出了即使戴上口罩也能识别出人脸的新技术,据称准确率可以达到 99%。但另一方面,人们佩戴的口罩覆盖了人脸的很大一部分面积,也为加入对抗样本进行人脸识别破解留下了「后门」。

这场挑战模拟了人脸识别自动售货机和 ATM 取货场景,选手们可以利用 AI 算法自制印上攻击样本的口罩遮挡自己的面部,需要在 150 秒内让售货机与取款机人脸识别算法识别成主办方指定的目标,包括蒋昌建、「美国队长」克里斯 · 埃文斯、伊隆 · 马斯克等人。

在这其中,挑战的目标还包括白盒算法(ArcFace 算法)与黑盒算法两个赛道。顾名思义,黑盒算法是指攻击者事先并不知晓人脸识别算法的构成,破解难度更大。

GeekPwn 创始人王琦(大牛蛙)戴上了假冒主持人蒋昌建的口罩:AI 对抗样本的攻击,并不是把目标人脸的一部

比赛对于两台机器各设置了三个难度递增的关卡,每一关口罩的有效攻击区域依次递减,对抗样本图案在口罩上的面积从 75%,降低至 67%,再降低至 50%,难度逐渐增大,前一关挑战失败则意味着失去后一关的挑战资格。

入围决赛的团队包括 AFMask 团队,海棠初白团队,来自清华大学和北京大学的动动动动弦团队,以及来自清华大学计算机系和 RealAI 的 TSAIL 队。

戴上口罩,我就能变脸取钱吗?我们时常会听到各家厂商谈起「金融级别安全」的支付技术,要想破解跟钱有关的人脸识别系统,并不是说说那么简单的,事实上比赛的进程也验证了人们的预料。

第一个出场的动动动动弦团队,在第一轮两个挑战均告失败;第二组 AFMask 团队两项第一轮均破解成功,但在第二轮两项均挑战失败。TSAIL 和海棠初白两队也都倒在了第一轮。

刷脸支付难以破解,或许也是因为挑战的规则略显严格:每次尝试仅有 45 秒时间,只有一组队伍闯过了第一关。另外由于比赛只要求「置信度」达到 50% 即告闯关成功,在现实世界中支付环境的要求显然更高,对于我们来说,刷脸支付被「盗号」的可能性仍然很低。

让 Autopilot「自动撞墙」

自动驾驶虽然距离大规模应用还有一段时间,但是在量产车上已经有不少可以让司机解放双手的辅助驾驶功能了。对于不少人来说,有没有 L2 级自动驾驶已经成为了最近买车时着重考虑的因素。在本届极棒大赛中对自动驾驶的干扰挑战,向我们展示了这种技术的一些隐患。

进行本次挑战的白帽黑客吴潍浠表示,要对汽车自动驾驶系统中的毫米波雷达进行干扰,采用的设备体积很小,价格也不贵。目前毫米波雷达是各类传感器中公认稳定性较高的方式。

我们知道,目前的一些辅助驾驶技术,如特斯拉上的 Autopilot,是通过摄像头和雷达来收集路面信息的,不同汽车选择的传感器不太一样(如特斯拉就没有用到激光雷达),但算法会收集所有的输入信息进行综合判断。技术人员制作的攻击用白色小盒子,看起来很不起眼,但它可以造成的扰乱效果却可以「致命」。

首先是没有干扰的测试,汽车的自动驾驶会在遇到纸箱堆成的「墙」面前停下来。

把干扰器放到「墙脚下」,令人疑惑的现象出现了:汽车在进入自动驾驶模式后,看到眼前由纸箱堆成的墙之后似乎犹豫了一下,有一个减速过程,但无法识别前面的物体又加速撞了上去。最终「事故」发生,在实际环境下的黑客攻击宣告成功。

在很多带有自动驾驶功能的汽车中,只要有一种传感器给出危险讯号,则系统就会指示车辆刹停。但在实验中汽车仍然撞向障碍物,这次挑战的成功,让人们意识到在自动驾驶汽车进入实用化之前,还有很多工作要做。

据主办方 GeekPwn 介绍,毫米波雷达攻击的测试结果已提交给特斯拉方面,黑客们也将帮助车企对自动驾驶安全进行持续改进。

在 10 月 24 日的比赛现场,还有很多挑战成功的项目:来自 TQL(清华 - 奇安信联合研究中心)的安全研究人员利用位未知安全漏洞以云端接入的方式,对正在作业的植保无人机发起攻击,成功获取了植保无人机的最高使用权限,使其偏离原定航道。来自凤凰解码(Phoenix Decoder,PhD)的白帽黑客也成功利用视频协议中的未知安全漏洞,以网络接入云端的方式,对智能摄像头实施了远程攻击。

这些闻所未闻的漏洞,为什么都出现在 GeekPwn 上?

最近一两年里,我们见证了人工智能技术的大量落地。在每天都面临各种变化的安全领域,新的形势与挑战正在出现。实际上,AI 安全有两层含义:即用 AI 方法解决安全问题,以及 AI 技术的安全防护问题。

「GeekPwn 曾经举办过的『数据追踪挑战赛』,鼓励人们用 AI 的方法从大量的数据中快速、准确的定位恶意网站或恶意应用,」极棒大赛负责人杨泉说道。「在 AI 技术大量进入实践阶段时,其自身的安全问题,又成了人们需要重点关注的领域。GeekPwn 连续多年举办的 CAAD(对抗样本攻防赛)比赛对人工智能可能存在的安全问题进行赛题设置,通过比赛的方式暴露 AI 算法的缺陷,进而促进人工智能更健康的发展。」

站在攻击者的视角将威胁预演,提前暴露风险,并警告被破解厂商,是提升数字安全防御体系长久以来一直通行的方式,这也正是 GeekPwn 大赛的核心价值所在。今年的国际安全极客大赛已经是第七届了,在这些年的极棒大赛里,我们见证了 AI 技术的大规模应用,以及「对抗样本攻击」等破解技术的兴起,极客们在赛场上已经披露了数百个高危漏洞。

今天,每个人都在使用各种各样的电子设备,这说明安全漏洞在我们的生活中普遍存在。然而我们一直在享受新技术带来的便利,却忽略了技术背后存在的隐患,极棒通过挑战比赛的方法将未知漏洞展示出来,让人们对于新技术有了更多的认识,同时也唤起了对于技术安全防范的重视。

除了发现漏洞,还有培养新人。本届 GeekPwn 还举办了首届「少年黑客马拉松大赛」,吸引了很多十到十六岁的黑客前来参赛。相比热度越来越高的机器学习,信息安全有时会被人们认为门槛过高,不过杨泉对此有着不同的看法。

「各个行业都有自己的入行『门槛』,我不认为行业不同,门槛就有高下,」杨泉表示。「AI 现在正被人热捧,可是人工智能已经经历了六七十年默默无闻的发展历史。目前看网络安全的人才有很大缺口,是因为近些年网络安全越来越受到重视,行业需求越来越大。至于门槛高低,从个体来谈,更多的是对网络安全行业的热情和投入,只要具备一定的基础知识,加上必须的努力和研究,就会取得不错的成绩。」

极客们还将继续挑战自我,为构建安全的应用作出更多贡献。而极棒大赛的组织者们表示,明年的 GeekPwn 还会有更多新比赛出现。但是,始终不变的是发现、鼓励、培养安全人才。GeekPwn 希望能让更多人了解、理解安全,让人们生活的更加安全。

关键词:

精选 导读

募资55亿港元万物云启动招股 预计9月29日登陆港交所主板

万科9月19日早间公告,万物云当日启动招股,预计发行价介乎每股47 1港元至52 7港元,预计9月29日登陆港交所主板。按发行1 167亿股计算,万

发布时间: 2022-09-20 10:39
管理   2022-09-20

公募基金二季度持股情况曝光 隐形重仓股多为高端制造业

随着半年报披露收官,公募基金二季度持股情况曝光。截至今年二季度末,公募基金全市场基金总数为9794只,资产净值为269454 75亿元,同比上

发布时间: 2022-09-02 10:45
资讯   2022-09-02

又有上市公司宣布变卖房产 上市公司粉饰财报动作不断

再有上市公司宣布变卖房产。四川长虹25日称,拟以1 66亿元的转让底价挂牌出售31套房产。今年以来,A股公司出售房产不断。根据记者不完全统

发布时间: 2022-08-26 09:44
资讯   2022-08-26

16天12连板大港股份回复深交所关注函 股份继续冲高

回复交易所关注函后,大港股份继续冲高。8月11日大港股份高开,随后震荡走高,接近收盘时触及涨停,报20 2元 股。值得一提的是,在7月21日

发布时间: 2022-08-12 09:56
资讯   2022-08-12

万家基金再添第二大股东 中泰证券拟受让11%基金股权

7月13日,中泰证券发布公告,拟受让齐河众鑫投资有限公司(以下简称齐河众鑫)所持有的万家基金11%的股权,交易双方共同确定本次交易的标的资

发布时间: 2022-07-14 09:39
管理   2022-07-14

央行连续7日每天30亿元逆回购 对债市影响如何?

央行12日再次开展了30亿元逆回购操作,中标利率2 10%。这已是央行连续7日每天仅进行30亿元的逆回购缩量投放,创下去年1月以来的最低操作规

发布时间: 2022-07-13 09:38
资讯   2022-07-13

美元指数创近20年新高 黄金期货创出逾9个月新低

由于对美联储激进加息的担忧,美元指数11日大涨近1%创出近20年新高。受此影响,欧美股市、大宗商品均走弱,而黄金期货创出逾9个月新低。美

发布时间: 2022-07-13 09:36
资讯   2022-07-13

美股三大股指全线下跌 纳斯达克跌幅创下记录以来最大跌幅

今年上半年,美股持续回落。数据显示,道琼斯指数上半年下跌15 3%,纳斯达克综合指数下跌29 5%,标普500指数下跌20 6%。其中,纳斯达克连续

发布时间: 2022-07-04 09:51
推荐   2022-07-04

融资客热情回升 两市融资余额月内增加超344亿元

近期A股走强,沪指6月以来上涨4%,融资客热情明显回升。数据显示,截至6月16日,两市融资余额1 479万亿元,月内增加344 67亿元,最近一个半

发布时间: 2022-06-20 09:41
资讯   2022-06-20

4个交易日净买入超百亿元 北向资金持续流入A股市场

北向资金净流入态势延续。继6月15日净买入133 59亿元后,北向资金6月16日净买入44 52亿元。自5月27日至今,除6月13日以外,北向资金累计净

发布时间: 2022-06-17 09:37
推荐   2022-06-17