第六届"强网"拟态final-后门攻击技术报告

后门攻击赛题TOP1技术报告

A.得分情况

B.攻击实现流程

1.攻击方法简介

使用经典的badnet方法原理来对yolov3进行后门攻击，即添加毒化数据到网络训练集里，通过训练增加网络识别时毒化特征与特定类别的关联性。难点就是挑选攻击有效性和隐蔽性兼顾的patch的形状、大小、位置。
具体而言，基本攻击方法如下：选取特定样式、大小的patch->选取毒化的训练数据->毒化数据->拿毒化数据集训练网络。

2.攻击流程

基本攻击流程如下：选取特定样式、大小的patch->选取毒化的训练数据->毒化数据->拿毒化数据集训练网络。

数据处理
数据处理是决定攻击效果的关键步骤。主要包括确定patch的样式、大小、位置，以及毒化数据的选取方式。下面我们将详细说明我们数据处理的选择。

1.Patch样式选择：
由于规则限制，所有图片上的patch形状必须一致，这限制了基于样本特定的patch添加策略。因此patch无法根据图片包含的语义信息，如目标标识的特征和大小进行调整。我们选择了以下patch作为候选：纯色patch(图2.a，图2.b)、提取直行标识后的patch(图2.c)、彩色patch(图1.d)。需要说明的是，考虑到拟态模型，提取直行标识后的patch不能是基于yolov3网络的，而是包含一些跨网络的语义特征。

根据实验结果，为了增加特征显著性，我们放弃了使用单色patch，和提取直行标识后的patch，选择了具有显著特征的彩色patch。

2.Patch位置选择：
我们考虑了两种patch的位置选择模式，分别是box位置无关模式，box位置相关模式。
Box位置无关模式下，我们考虑将patch固定贴在图片的右下角加入候选（图3.a）；Box位置相关模式下，我们考虑将patch贴在box的中心位置或右方位置（图3.b、图4.c）。

根据实验结果，我们发现选择patch贴在box中心位置的特征效果更好。

3.Patch大小选择：
我们考虑了5050,2020,1010,77四种规格的patch。通过实验证实，5050和2020的patch的隐蔽性太差。选择77的patch，fid计算值（使用pytorch-fid模块计算）是-21e-5了，隐蔽性很高。
4.毒化数据选择处理：
这一步主要是确定毒化数据的选取规则，主要考虑了抽样方式和毒化率。
我们抽样方法是将训练集按标签的种类划分为诸多子集，从每个子集中随机抽出一定比例的毒化数据。
我们设置的毒化率（在这里我们定义的是毒化数据：正常数据）候选是1：5，1：10。针对部分攻击效果差的类型(红绿灯、公交车道、机动车道)，毒化比例设置为1：2，进行强化训练。

C.攻击样例

篇幅原因，展示下面几个例子。可以看出确实攻击有效。

D.攻击分析

优势分析：
1.经过多次实验选取特征相对比较明显的patch形状
2.在不损失攻击能力的前提下，选取了7*7的彩色patch，fid非常低，攻击隐蔽性十分高。
3.采取box位置相关的策略来确定patch的位置，在空间关系上将毒化特征与box进行一定的关联
4.增加前攻击效果不好的类别数据的毒化比例，一定程度提高了分数。

可能改进：
本方法所候选的patch仅仅靠人脑臆想，然后在候选中通过实验来确定patch的形状，大小和位置，没有比较可靠的patch优化方法，因为进行一次迭代需要的时间太长了，很难用传统的机器学习优化方法，根据模型训练出来的最终结果来优化出优秀的patch。
所以我认为可能的改进如下：
1.白盒场景下，在一定程度上解决yolov3模型的可解释性问题。提取出yolov3网络处理下，与直行标识关联性最高的高级语义特征。再将这个高级语义特征解码后加到毒化数据里。
2.拟态场景下，彻底解决目标检测模型可解释性问题，提取出网络处理下与目标特征关联性最高的语义特征，并将其加到毒化数据里。