机器之心发布
作者:Hongge Chen
近日,针对深度学习系统的对抗性样本攻击问题,来自麻省理工学院,加州大学戴维斯分校,IBM Research 和腾讯 AI Lab 的学者在 arXiv 上发表论文提出对于神经网络图像标注系统(neural image captioning system)的对抗样本生成方法。实验结果显示图像标注系统能够很容易地被欺骗。
深度学习系统正在越来越广泛地应用于各种场景中,帮助人类完成许多繁琐的工作。但是在很多方面上,计算机科学家们并不完全理解深度学习的工作机理。最近的研究显示,深度学习系统可能将两张人眼看不出任何差别的图片识别成两个完全不同的物体。这些样本的存在让人们对深度学习系统的鲁棒性提出了质疑。关于对抗样本的研究正在逐渐成为近期深度学习的热点方向之一。
与之前的相关研究不同的是,这一篇由来自麻省理工学院、加州大学戴维斯分校、IBM Research 和腾讯 AI Lab 的学者撰写的论文将对抗样本攻击延伸到了图像标注(image captioning)系统领域。图像标注标系统能从给定的图像中自动生成一段描述性文字。这一技术還能够帮助视觉上有障碍的人了解新闻、社交网站等媒体上的图像的含义。图像标注系统中的对抗样本同样有着严重的危害。想象一下,你的图片经过肉眼无法察觉的改造后,自动标注系统可能会对这张图片生成任何无关、完全相反甚至恶意的描述。
与仅由卷积神经网络(CNN)构成的图像识别分类器相比,图像标注系统由于涉及机器视觉和自然语言生成两个方面,结构更为复杂(Encoder-Decoder 结构,CNN+RNN),并且输出值所在的空间也要更大。在这篇文章中,作者设计了三种对抗样本的生成模式:
(1)有目标攻击(targeted attack):对于一张图片和一个目标标注句子,生成一个对抗样本,使得标注系统在其上的标注与目标标注完全一致;
(2)关键词目标攻击(targeted keyword attack):对于一张图片和一组关键词,生成一个对抗样本,使得标注系统在其上的标注含有所有的关键词;
(3)无目标攻击(untargeted attack):对于一张图片,生成一个对抗样本,使得标注系统在其上的标注与原标注无关。
作者通过一个求解优化问题来生成对抗样本,并设计了新颖的损失函数来实现高效的搜索。该方法成功地在 Show-and-Tell 模型和 MSCOCO 数据集上生成了人眼无法识别的对抗样本,并且这些对抗样本还能够迁移到带有 Show-Attend-and-Tell 模型上。
论文中的有目标对抗样本示例。新的标注都是人为指定的目标,而 Show-and-Tell 给出的标注和目标相同。左图中 Show-and-Tell 模型将一个关于纳达尔的对抗样本标注为了「一名女子正在浴室里刷牙。」;右图中 Show-and-Tell 模型将一个关于停车标志的对抗样本标注为了「一只棕色的泰迪熊躺在床上。」
论文中关键词目标攻击的示例。左图中给定「猫」、「狗」和「飞盘」三个关键词,生成了一个蛋糕图片的对抗样本使得 Show-and-Tell 模型给出了「一只狗和一只猫正在玩飞盘。」的标注。右图中给定「足球」、「群」和「玩」三个关键词,生成了一个长颈鹿图片的对抗样本使得 Show-and-Tell 模型给出了「一群年轻人在玩一个足球的游戏。」的标注。
文中无目标攻击的示例。左图中的披萨饼图片对抗样本使得 Show-and-Tell 生成了「几把雨伞坐在草地上。」的标注。右图中火车图片的对抗样本使得 Show-and-Tell 生成了「几只狗躺在地上」的标注。
给定一张图片 I,文中作者将寻找对抗扰动构造为一个由损失函数 loss 和 2-范数构成的优化问题:
1.有目标攻击
给定一个目标标注句子 S,文中提出了基于未归一化的概率(logits)的损失函数和基于对数概率(log probability)的损失函数形式。
2.关键词目标攻击
给定一组关键词 K,文中也提出了两种损失函数形式,以鼓励所有的关键词都在标注句子中的出现。
3.无目标攻击
文中还给出了两种用于在没有给定任何目标信息时的无目标攻击损失函数,使得对抗样本的标注和原始图片不同。
在 Show-and-Tell 模型和 MSCOCO 数据集上生成有目标攻击和关键词目标攻击对抗样本的成功率和平均 2-范数畸变
在 Show-and-Tell 模型上生成的对抗样本可以迁移到 Show-Attend-and-Tell 模型上,左图中 Show-and-Tell 模型将一个关于浴室的对抗样本标注为「一名男子在冲浪板上冲浪。」,而同一个对抗样本在 Show-Attend-and-Tell 上的标注结果为「一名男子在空中的冲浪板上。」。右图中 Show-and-Tell 模型将一个关于书桌的对抗样本标注为「一只猫躺在浴室里的盥洗台里。」,而同一个对抗样本在 Show-Attend-and-Tell 上的标注结果为「一只猫坐在浴室盥洗台里。」
论文:Show-and-Fool: 为神经网络图像标注系统设计对抗样本(Show-and-Fool: Crafting Adversarial Examples for Neural Image Captioning)
论文地址:
https://arxiv.org/pdf/1712.02051.pdf
论文摘要:当今典型的深度学习图像标注系统(neural image captioning system)主要采用编码-解码的架构,包含两个主要的部分。其一是一个卷积神经网络(CNN),用于对图像特征的提取。其二是一个递归神经网络(RNN),用于标注句子(caption)的生成。我们从关于卷积神经网络的图像分类器对于对抗扰动(adversarial perturbation)的鲁棒性的分析中获得灵感,提出了名为 Show-and-Fool 算法来生成图像标注系统的对抗样本。与图像分类系统中仅有有限的分类标签不同的是,为图像标注系统生成人眼难以区分的对抗样本更加困难,因为可能的标注句子所在的空间几乎是无限大的。在这篇文章中,作者设计了三种对抗样本的生成模式:(1)有目标攻击(targeted attack)(2)关键词目标攻击(targeted keyword attack)(3)无目标攻击(untargeted attack)。我们通过一个求解优化问题来生成对抗样本,并设计了新颖的损失函数来实现高效的搜索。在 Google 的 Show-and-Tell 模型和 MSCOCO 数据集上该方法能够成功生成人眼难以分辨的对抗样本,使得 Show-and-Tell 模型输出给定标注。并且这些生成的对抗样本能够迁移到带有注意力机制的 Show-Attend-and-Tell 模型上。这些对抗样本的出现显示出对于深度学习图像标注系统鲁棒性分析的必要性。尽我们所知,这是第一个为图像标注系统生成有效对抗样本的工作。
【看趣味体育,赏体坛趣事】第9届女足世界杯小组赛进入最后一轮,中国队即将对阵本届世界杯实力榜第一的英格兰,只要不输球,就将进入世界杯淘汰赛。中国球迷普遍害怕这种打平即出线的情形,因为男足在这种情况下基本都被淘汰了。而此次面对世界杯实力榜第一的英格兰,看起来形势更加不乐观。不同的是,这场比赛登场的是“铿锵玫瑰”中国女足!在整个世界杯历史上,只要中国女足站上世界杯赛场,还从未在小组赛中被淘汰过!
“铿锵玫瑰”的历史战绩历史上,中国女足7次参加世界杯决赛阶段比赛,全部小组出线。其中4次小组头名晋级,3次小组第二晋级,共打入45球丢掉22球。具体来看:
NO.1:1991年第一届中国女足世界杯——小组赛2胜1负,小组头名晋级
小组赛,中国队先后4:0大胜挪威(后来的亚军),2:2战平丹麦,4:1大胜新西兰,进10球丢3球闯入淘汰赛。
NO.2:1995年第二届瑞典女足世界杯——小组赛2胜1负,小组头名晋级
小组赛,中国队先后3:3打平美国,4:2击败加拿大,3:1轻取丹麦,打入11球丢6球闯入淘汰赛。
NO.3:1995年第三届美国女足世界杯——小组赛3战3胜,小组头名晋级
小组赛,中国队2:1战胜瑞典,7:0狂胜加纳,3:1战胜澳大利亚,打入12球丢2球,以全胜战绩闯入淘汰赛。这一年,孙雯、刘爱玲、高红、赵利红、张欧影、范运杰、温莉蓉等名将组成的“铿锵玫瑰”拿下世界杯亚军!
NO.4:2003年第四届美国女足世界杯——小组赛2胜1平,小组头名晋级
小组赛,中国队以两个1:0战胜加纳、俄罗斯,1:1打平澳大利亚,打入3球丢1球,以不败的成绩闯入淘汰赛。(“世界女足第一人”孙雯在此次世界杯后告别国家队)
NO.5:2007年第五届中国女足世界杯——小组赛2胜1负,小组第二晋级
小组赛,中国队先后3:2险胜丹麦,0:4负于巴西,2:0击败新西兰,打入5球丢6球,小组第二闯入淘汰赛。
NO.6:2015年第七届加拿大女足世界杯——小组赛1胜1负1平,小组第二晋级
小组赛,中国队先后0:1负于加拿大,1:0战胜荷兰,2:2打平新西兰,打入3球丢3球,小组第二闯入淘汰赛。
NO.7:2019年第八届法国女足世界杯——小组赛1胜1负1平,小组第二晋级
小组赛,中国队先后0:1负于德国,1:0战胜南非,0:0打平西班牙,打入1球丢1球,小组第二闯入淘汰赛。
“铿锵玫瑰”目前的出线形势目前中国队前两场比赛,先是0:1负于丹麦,之后在10人应战的情况下艰难1:0击败海地,目前积3分,净胜球为0。由于对阵海地的比赛中中国队得到一张红牌,在相同积分下有红牌的队伍会淘汰出局,所以只要中国队战败,哪怕和丹麦队积分、净胜球相同,也要面临被淘汰。要想小组出线,就不能输球。但对比中英两对目前的状态,中国队明显占优:
中国队阵容齐整,士气高昂
目前中国队除了张睿因为红牌不能出战,其他球员状态良好,阵容相对整齐。去年亚洲杯夺冠的班底都在,还补充了沈梦雨、吴海燕、古雅莎等强将,王霜、唐佳丽、张林燕,沈梦雨,王珊珊等核心球员都可以出场,球队众志成城,士气旺盛。尤其是小将张琳艳这几场的发挥实在太好了,欧美高大球员根本防不住她,这个感觉很类似于高大强壮的欧美球员防不住矮小灵活的梅西。英格兰主帅也注意到了这一点,将张琳艳列为头号威胁。
英格兰多人缺阵,相对保守
反观英格兰队,预选赛打出10场进80球丢0球的惊人数据之后,进入世界杯反而没有了那种霸气,两场比赛都只打入了1个进球,还有一粒是点球。之前那种恐怖的攻击力完全消失了。这主要是其2022年女足欧洲杯夺冠时的三大绝对主力米德、柯比、威廉森因伤未能随队参加世界杯,球队的攻击线实力大大下降。而祸不单行,在对阵丹麦的比赛中,球队核心主力,女足欧洲杯决赛MVP沃尔什(世界第一后腰)因伤下场,已明确无法在对阵中国的比赛中登场,英格兰的防守失去了中场最大的屏障。
同时,英格兰目前已经拿下6分铁定出线,在这种情况下球队的首要任务肯定不是力拼中国,守住一分保住小组第一,避免继续出线伤病减员才是英格兰最大的任务。
亚洲冠军VS欧洲冠军,激动人心的比赛即将上演。在关键的时刻,你尽可以相信中国女足;“铿锵玫瑰”,绝不会在世界杯的小组赛上凋谢!加油,中国女足!我是【火焰符号趣味体育】,平凡的我因为你们的每一个肯定而成长,你的关注、点赞和转发是每一个笔者前进的动力。