首页 欧洲联赛正文

烧烤配料,原创对立样本为什么重要:未处理的研讨问题与实在的要挟模型,灯谜大全及答案

大数据文摘出品

来历:medium

编译:李雷、林安安、宋欣仪、周素云

这篇博文是Catherine Olsson在的两次短篇讲演的基础上编撰的,一次是2018年11月在人工智能合作伙伴会议上,另一次是2019年1月在波多黎各的通用人工智能(AGI)会议上。

我以为敌对样本很值得研讨,应该引起高度的注重。可是大多数人重视敌对样本的理由都十分片面。我以为这是因为许多人将没有处理的研讨问题与实践国际的挟制模型相提并论。

首先让我解说一下敌对样本是什么意思,用一个被许多记者和这类主题的论文会引证的比如,便是假定“人们在泊车标志上贴上贴纸会导致撞车” ,经过做一个实践国际的挟制模型可以说明为什么敌对性样本引起。然后我会先经过典型小扰动敌对样本构建一个未处理的研讨问题,与实践国际问题树立真实(但不那么直接)的联络,然后得出一些概念性证明。

空间亿宠之鬼手萌妃
烧烤配料,原创敌对样本为什么重要:未处理的研讨问题与真实的挟制模型,灯谜大全及答案

什么是敌对样本

敌对性样本是旨在导致机器学习模型犯错的输入。

常见的敌对样本(但不是必要的)是经过对正确的输入样本进行修改来构建的,这些输入有时被称为“-球敌对性样本”或“小扰动敌对样本91splt”。

例如,假如你有一个图画分类模型,而且它能以适当高的相信薄元星度(57.7%)正确地对这张图片作出熊猫的分类,但事实上可以这张图片中每个像素改动一点点得到一张新的图片,这样它尽管看起来仍是熊猫,但却会被图画分类模型以极高的金宝成相信度(99.3%)过错地辨认为长臂猿。

在略微改动像素之后,新图画被以极高的相信度过错地分类。

值得注意的是,小扰动敌对样本不是深度学习所特有的,也不是特定模型才有的问题。在某些已知的状况下,简直全部已知的机器学习模型都简略遭到高维输入敌对样本的影响,现在还没有很好的处理方案。

辨认泊车标志的敌对样本

咱们现已知道机器学习(ML)模型简略遭到敌对样本的影响,因而人们或许很自然地忧虑在敌对样本会对实践国际发作什么样的影响。

举个比如,假定你正在规划一款主动驾驶轿车,你希望它可以辨认泊车标志。当你知道抗样本后,你就会很猎奇这是否会影响你的车。

假如你正在规划一款可以辨认泊车标志的主动驾驶轿车,你或许想知道敌对样本是否会导致车辆不能正确辨认泊车标志。

我是一名担任研讨作业的工程师,不做体系规划或布置,因而在剖析模型在实践国际中怎么微乳发作过错方面我不是专家。但我从事计算机安全作业的朋友和搭档教给我的一个办法,是问“你的挟制模型是什么?”

Kevin Riggle 编撰的《浅显易懂解说挟制模型》是我最喜欢的一篇杜塞尔多夫气候博文烧烤配料,原创敌对样本为什么重要:未处理的研讨问题与真实的挟制模型,灯谜大全及答案,也非烧烤配料,原创敌对样本为什么重要:未处理的研讨问题与真实的挟制模型,灯谜大全及答案常通俗易懂。这篇文章经过以下几点解说了挟制模型:

挟制模型只答复与你正在构建或扩展的任何体系相关的一些简略问题。

让咱们测验着把这个结构应用到实践问题中。

在前面的主动驾驶轿车比如中,让咱们幻想一下,咱们的方针是让轿车能在“路口”泊车标志前主动停下来。即便有人在泊车标志上贴了一个古怪的毛病贴纸,导致它会被过错辨认,咱们依然希望车子可以辨认。咱们列出全部或许会挟制车虫小宋电视剧全集到咱们体系的不利要素。例如,雾天、雪天、泊车标志被歹意涂改或许穿插路口施工等状况。

​咱们的问题清单应该包括泊车娇躯标志现已倒下的状况。

假如泊车标志倒在地上,那么你的车就或许会撞车。这种状况比与原标志很相似的小扰动敌对样本更简略呈现交通事故。

总归,我想说的是,假如有人在泊车标志上贴上一张毛病贴纸,而且任何规范视觉体系都因而检测不到中止标志,那么一辆彻底依靠于该视觉体系的轿车很或许会因检测不到泊车标志而开入迎面而来的车流,发作磕碰。假如轿车是这样规划的,过错分类的泊车标志会导致轿车磕碰,那么在实践国际中很或许会十亿少女发作相似状况。

但我还找不到一个真实的比如,真有这样的破坏分子去制作和贴贴纸。不仅仅是因为它仅仅种假定,而是破坏分子完结其方针的最或许的办法是不知道的。尽管仅仅幻想,但假如想要人为的形成事故, 这便是一个既简略又经济的办法。

假如我仅仅通知你“破坏分子运用模型梯度的下降,发作导致过错分类的毛病贴纸并贴在路标上”是我实践上企图阻挠的真实状况,那么我的挟制模型无疑是不完整的。但假如不只重视字面意思的话,它依然是一个值得研讨的模型。

泊车标志的敌对样本是石河子邱伟否令人担忧

我并不是想说明,“不要再忧虑了!机器学习模型十分紧密和精准!“,我的观念恰恰璜家天下相反,实践问题往往比一河姑瑛子张贴纸的敌对样本更糟糕。

为了解说我的意思,让咱们回头查看挟制模型并重视不变量(“体系需求确保什么参数,以便它可以完结需求完结的使命,即便全部欠好的工作都发作呢?“)

假如咱们的意图是让轿车一直停下,不仅仅是在敌对性标志存在的状况下,乃至是不存在或看解小石不见泊车标志的状况下。这意味着咱们不能只依据路途标志检测决议何时停在十字路口。挟制模型通知咱们,仅运用一种检测模型不能精确进行安全关键性剖析。

所以现在咱们要提出一个十分风趣的问题!怎么在不运用路途标小学女生图片志检测的状况下辨认需求泊车的路口? 咱们要运用GPS和地图数据吗? 在经过没有 乳色“泊车(stop)”或“让道(yield)”标志的穿插路口时要分外当心吗?

考虑到挟制模型,咱们意识到这个周圣捷问题比咱们幻想的更严峻。咱们很难强化视觉模型使它能反抗小扰动敌对标志。为了完结咱们的意图,有必要彻底抛弃“彻底依靠标志检测体系”。

为什么要重视敌对样本?

因而,鉴于“敌对性标志”和其它问题的存在,我女性直播们需求更全面的处理战略......那么问题来了,为什么咱们如此重视小扰动敌对样本呢?

两个最不行抵抗的原因:

一:这是一种概念性证明(Proof of Concept),即某种问题存在的无可辩驳的证明。 因为很简略找到小扰动敌对样本,咱们可以肯定地说,假如你的体系安全性的条件是分类器永久不会呈现显着过错,那么这个条件便是过错的,你的烧烤配料,原创敌对样本为什么重要:未处理的研讨问题与真实的挟制模型,灯谜大全及答案体系是不安全的。

现在的图画分类器乃至不能正确区分鸟类和自行车的图画。

我想着重的是,制作小嗨文扰动并不是找到过错分类的样本的仅有办法。还可以用其他办法来制作融冰之旅宁波的博客过错,例如测验随机转化和旋转图片,或许运用不同的视点或不同的光照作用。

可是,因为小扰动敌对样本的存在,咱们就可以找到更显着的过错。

除了一个人有意地经过过错的输入来寻觅过错的状况外,任何具有搅扰要素的挑选都会在无意中发作过错搜索(例如测验数千个输入的样本以查找哪些点击数最多或最挣钱)。

测验随机转化和旋转,或许运用其它视点或光照作用,图片辨认都会发作过错

二:关于研讨人员来说,小扰动敌对样本是一个值得深入研讨的范畴。我咨询了我的搭档们,为什么尽管“小扰动”设置不是一个引人注意图实践挟制模型,他们依然给予高度重视。他们给出了一些理由:

尽管这并不是一个令人信服的观念,即“小扰动”设置是研讨稳健性的最佳或仅有设置,但我仍深深为之入神。

这根本上标明敌对样本作为一个没有处理的研讨问题,它不仅可以作为烧烤配料,原创敌对样本为什么重要:未处理的研讨问题与真实的挟制模型,灯谜大全及答案一系列可烧烤配料,原创敌对样本为什么重要:未处理的研讨问题与真实的挟制模型,灯谜大全及答案证明问题的概念性东西,还可以被用于处理有意义的实践问题。

我倾向于将敌对样本视为一种范式(在库恩意义上),可用于演示和研讨机器学习体系中稳健性的失利,而且进一步探究处理方案。 尽管它有其作为范式的局限性,但我很快乐的看到机器学习研讨人员经过开发和传达新的和改善的范式来迭代和完善模型稳健性办法。

未处理的研讨问题不等于实践国际的挟制模型(但两者都很重要)

详细来说:

在已生成的体系中,你还会碰到许多比未处理的研讨问题愈加根本更根本的问题。

“但这些问题早就存在了!”或“咱们还有比这更根本的问题!”之类的说法并不是伪装一烧烤配料,原创敌对样本为什么重要:未处理的研讨问题与真实的挟制模型,灯谜大全及答案切都会好的理由。 敌对样本更应该作为一种提示,提示咱们细心规划,查看假定,并充分考虑全部要素。

假如你正在开发模型,不管它是否包括机器学习,你都需求一个实践的、详细的方案来猜测和削减负面成果。

假如你是一名研讨员,我会催促你不要经过宣称它的确代表一种实践挟制来证明你对玩具问题的研讨是合理的,除非你一起供给了挟制模型。 我更乐意看到理由解说为什么你的玩具问题是一个有用的概念了解试验台,以及为什么咱们可以希望这些概念可以进一步说明实践问题。

假如你正在与人聊敌对样本,我强烈建议你和对方解说清楚这其间的差异!

这些主意并不是我新提出和独有的,许多人曾经都说过这一点。 我首要遭到以下研讨的启示:

相关报导:

https://medium.com/@catherio/unsolved-research-problems-vs-real-world-threat-models-e270e256bc9e

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。