时间：2026-01-17 分类：应用电子
现有的物理对抗攻击方法大多数局限于平面补丁，即使是可以执行多角度攻击的对抗样本也存在鲁棒性不足、泛化性不够、在数字域和物理域的攻击效果差距较大等问题。基于此，提出一种白盒车辆对抗纹理生成方法：在训练数据集中添加不同亮度和对比度的图像，并在每一代训练后生成的纹理上添加模拟现实环境的噪声，利用贝叶斯优化算法来优化不同损失项权重，最后添加正则化项减小模型过拟合。针对现有数据集模型和掩码无法完全重合的问题，提出一种修复方法用于修复图像来缩小数字仿真和现实拍摄的差距。通过数字仿真实验和物理世界实验表明，与现有对抗纹理生成算法相比，此算法实现了更高的平均攻击成功率和更低的平均精确率。
关键词：对抗攻击;物理攻击;纹理生成;白盒攻击
论文《基于数据增强的车辆鲁棒对抗纹理生成》发表在《系统工程与电子技术》，版权归《系统工程与电子技术》所有。本文来自网络平台，仅供参考。
0 引言
深度神经网络(deep neural network，DNN)因其强大的性能而备受关注，在计算机视觉(computer vision，CV)领域有着广泛的应用。目标检测作为CV任务之一，其目标是在图像或视频中准确地识别和定位标记出图像中的目标物体的类别、位置、大小(通常使用矩形框)，是实例分割、目标跟踪、图像描述等视觉任务的基础[1]。对抗样本的有效性在目标检测模型中也得到了印证[2]。针对对抗攻击和对抗样本的研究有助于研究者理解DNN模型，发现模型的漏洞并构建更加鲁棒的模型，成为近年来热门的研究领域。
相比于在数字域图像上添加扰动的数字攻击来说，物理域的对抗攻击的实现更加具有挑战性，因为其必须考虑现实世界中的各种约束，例如遮挡、视角、光线变换、成像损失等[3]，但由于攻击者不易直接修改被攻击者传入DNN模型的数字图像，所以物理域的对抗攻击的研究具有很大的研究意义。
在过去几年里，国内外的研究学者对不同场景和不同任务的DNN的应用和执行对抗攻击进行了一系列的研究工作。早期制造物理对抗样本的方式为在待测物体上张贴对抗补丁——通过将小型的、带有扰动性图案的补丁附加到待测物体上，攻击基于深度学习的目标检测模型[4-6]。然而，这种方式除了比较显眼，容易引起被攻击者警觉以外，鲁棒性也很低，只有在补丁正面面对镜头时才能有效攻击，待测物体转换角度或者镜头改变观察角度就会使得攻击失效。当前，研究者更倾向于对抗伪装方法，可以克服对抗补丁的缺陷，产生具有多角度的攻击。对抗伪装纹理不同于对抗补丁，对抗纹理的任意局部都具有对抗性，因此可以从不同的角度执行攻击[7]。
基于对抗伪装的攻击方法大多将车辆作为目标对象，因为其外表比较复杂，并且在自动驾驶领域扮演着重要的角色。文献[8-10]利用真实感渲染引擎，在数字环境中模拟物理世界来训练对抗伪装纹理，但由于传统渲染有其局限性，后续的研究者利用可微分渲染技术训练纹理。文献[11-12]利用可微分的渲染器在神经网络上进行训练，将生成的对抗纹理覆盖至3D汽车模型上并渲染为2D图像，再将渲染后的2D图像合成到背景图案中，在神经网络中进行梯度和损失计算，但这样无法将模型与本身场景中的阴影和光线准确融合，损失了合成图片的真实感。文献[13-14]同时考虑到真实感和可微分性两个方面，能够将渲染模型与背景融合得更加真实，文献[15]还考虑了现实中的各种天气对图像采集的影响。
然而，由于3D模型的非平面性，在3D车辆模型上生成对抗伪装纹理比直接在二维图像上进行训练更加具有挑战性。并且，在虚拟数字环境里模拟现实世界中的环境始终存在误差，因为计算资源和算法的限制，渲染引擎无法完全准确地模拟现实世界的物理效应，而且物理世界的对抗样本在被相机镜头拍摄时，由于成像干扰，一些微小的扰动无法被捕捉到，使得对抗样本的攻击性减弱，这就导致在物理世界中进行实验时攻击效果总是弱于在数字环境中仿真的攻击效果。并且，尽管目前的公开数据集中含有车辆的位置和姿态信息，但存在掩码和渲染后生成的图像无法完全对齐的问题。
据此，本文提出一种面向目标检测的车辆对抗纹理生成方法，生成一种全覆盖的车辆对抗伪装纹理。具体来说，改进现有的纹理生成框架，引入数据增强模块和正则化项，使其生成的纹理更加具有鲁棒性和泛化性。重新定义损失函数，包含对抗损失、平滑损失和正则化损失;修改对抗损失项中有关分类损失的计算方式，使得对抗纹理在训练时更倾向于使模型输出错误的结果。利用贝叶斯优化算法对训练中多个损失项权重问题提出一种解决方案。实验表明，本文提出的方法具有更好攻击效果，并且具有更优秀的鲁棒性和泛化性来应对不同角度和不同目标检测模型的观测，能够成功攻击性能优异的目标检测模型。
1 相关工作
1.1 数字攻击和物理攻击
数字对抗攻击主要通过对数字图像上的像素扰动来进行攻击，通常在摄像头成像之后进行。这种攻击通过向模型输入特定的、经过精心设计的、与原始图像相似的对抗样本，使得模型在面对这些样本时产生错误。在过去的几年里，数字攻击进行一系列研究，通过添加全局或局部的扰动，提出了诸如快速梯度符号法(fast gradient-sign method，FGSM)[16]、投影梯度下降(projected gradient descent，PGD)[17]、C&W(Carlini&Wagner)[18]等经典数字攻击算法。在目标检测领域，也涌现了定向对抗目标性梯度攻击(targeted adversarial objectness gradient attacks，TOG)[19]、Daedalus[20]等高效的数字攻击方法。虽然这些攻击方法在数字世界中取得了不错的效果，但当其被引入物理世界时，攻击能力会显著下降，因为摄像头很难捕捉到这些细微的扰动。
而物理对抗攻击则更侧重于对物理对象的直接干预。这种攻击在摄像头成像之前进行，通过在现实生活中对物体本身、周边环境或传感器添加特殊标记来实施攻击。在研究界已经对物理对抗样本的生成进行了诸多探索，比如CAMOU(camouflage learning)[8]考虑各种物理变化，在仿真平台上尝试对复杂的3D模型——车辆进行攻击;涂装式对抗伪装(coated adversarial camouflage，CAC)[10]通过3D打印技术成功地制造具有对抗性的车辆模型;双重注意力抑制(dual attention suppression，DAS)[11]利用神经渲染来训练对抗纹理，同时考虑到物理对抗攻击的有效性和隐蔽性;全覆盖伪装攻击(full-coverage camouflage attack，FCA)[12]在DAS的基础上利用神经渲染器来减小攻击在数字域和物理域的差距，并实现对车体表面的全覆盖伪装。
对于在样本上添加微小扰动的数字攻击来说，物理攻击由于成像时的损失，添加的扰动将更加明显，因而被攻击者将更容易发现对抗样本。而对于侵入被攻击者的数字空间更改样本的数字攻击来说，物理攻击的形式将更为隐蔽，因为物理攻击是在现实世界中对被检测的物体添加扰动，属于实体攻击，而不是直接更改输入的样本数据。
1.2 可微分渲染和神经渲染器
可微分渲染是一个同时包含正向和逆向过程的渲染方法，其能够进行渲染并计算像素对场景参数的导数。可微渲染技术的提出极大地拓宽了基于优化和基于深度学习神经网络的逆渲染方法的设计空间，因为传统渲染天然具有不可微性，难以应用于这些方法的优化过程中[21]。神经渲染是一种利用DNN进行图像合成的技术，其能够基于现有图像和视频数据生成新的场景，可以在深度学习模型上进行优化和训练。相较于传统渲染器通过各种算法计算物体在3D场景中的材质和光照，神经渲染器通过学习大量数据来模拟渲染过程，还可以通过将渲染集成到神经网络中进行对纹理的优化和训练。
CAMOU和ER(enlarge-and-repeat)[9]、CAC利用传统的渲染器进行对抗纹理的渲染，但由于渲染过程不可微，在模拟器上解决物理攻击的问题仍具有挑战性。后来的研究者将研究重点转向可微分渲染：利用可微分渲染器计算和传播梯度，以控制纹理的生成。DAS、FCA、多层特征感知攻击(multi-layer feature-aware attack，MFA)[22]和形状约束的物理伪装攻击(shape constraint physical camouflage attack，SC-PCA)[23]利用Kato等人[24]提出的可微分神经网格渲染器将覆盖了对抗伪装纹理的3D模型渲染到2D图像上，并在神经网络的迭代训练中更新纹理;可微变换攻击(differentiable transformation attack，DTA)[13]与可迁移和强效车辆规避的对抗伪装(adversarial camouflage for transferable and intensive vehicle evasion，ACTIVE)[14]利用可微分变换网络在纹理发生变化时学习渲染对象的预期变换，同时保留目标对象的原始属性;基于UV映射的鲁棒准确伪装攻击(robust and accurate UV-map-based camouflage attack，RAUCA)[15]通过收集多种天气的数据集，并将环境特征和UV神经渲染器相结合，获得在不同天气条件下真实的伪装图像;灵活物理伪装(flexible physical camouflage，FPA)[25]从扩散模型中学习对抗图案，并且可以将得到的对抗纹理进行UV展开，在物理世界中部署目标时不会丢失太多对抗信息。
1.3 超参数调优和贝叶斯优化
超参数调优是优化机器学习模型性能的关键阶段，随着模型复杂度的增加，需要调整的超参数数量亦会增加。超参数调优是一个非常耗时的过程，由于需要在大型数据集上重复训练复杂模型，其成本可能会变得过高[26]。相比于传统的网格搜索或随机搜索方法，贝叶斯超参数调优通常能够在更少的迭代次数内找到更优的超参数组合，从而提高了调优的效率。贝叶斯优化是一种用于优化目标函数的方法，结合了贝叶斯推断和优化技术，目标是在尽可能少的函数评估次数下找到全局最优解。
贝叶斯优化的核心思想是利用代理模型预测目标函数的行为，并使用该模型指导下一次函数评估的位置，目的是寻找超参数使得目标函数得到最优解，代理模型通常是高斯过程。本文利用贝叶斯优化的思想，通过动态调整损失项权重，提高模型的泛化能力和训练效果。文献[27]通过高斯过程建立机器学习模型的性能与其超参数之间的关系，将超参数调整问题抽象为优化问题，并使用贝叶斯优化来解决该问题。
2 方法
2.1 问题定义
给定一个具有参数$ heta_{f}$的DNN目标检测模型$F(cdot)$，训练权重$w$，未添加任何扰动的干净样本$x$，样本所在的数据集$X$，样本$x$的真值标签$y$和数据集$X$的标签集合$Y$。$x in X$，$y in Y$。$x$为二维图像，$x in R^{H×W×3}$，其中$H$表示图像的高度，$W$表示图像的宽度。将$x$输入$F(cdot)$进行检测，则目标检测模型$F(cdot)$可以正确检测干净样本$x$的位置和分类，表述为：
[F(x)=y quad(1)]
给定添加了对抗性扰动的对抗样本$x_{adv}$。将$x_{adv}$输入检测模型$F(cdot)$，模型无法正确检测对抗样本$x'$的位置或分类，表述为：
[F(x_{adv}) eq y quad(2)]
给定训练集${X, Y, Theta, E}$，其中$X$为采集的图像集合，$Y$为采集图像$x$的真值标签集合，$Theta$为图像中的待测物体(本文中为车辆)的位置和姿态信息的集合，$ heta in Theta$：
[ heta=egin{bmatrix} veh_{x,label} & veh_{y,label} & veh_{z,label} \ veh_{Pitch} & veh_{yaw} & veh_{roll} end{bmatrix}]
$E$为相机镜头的位置和姿态信息的集合$e in E$：
[e=egin{bmatrix} cam_{x,label} & cam_{y,label} & cam_{z,label} \ cam_{Pitch} & cam_{yaw} & cam_{roll} end{bmatrix}]
图1展示了一个3D场景，对上文中提到的车辆和相机的坐标信息和姿态信息的关系进行了可视化描述。
图1 相机和模型坐标信息示意图 Schematic diagram of camera and model coordinate information
给定车辆模型$M$、神经渲染器$R$和原始纹理$T_{ori}$，原始纹理$T_{ori}$经过纹理生成模型训练后生成具有对抗性的对抗纹理$T_{adv}$。
利用二值掩码$m(m in R^{H×W×1})$去除原始图像中的像素信息，按照原始数据集中的车辆、相机的位置和姿态信息$ heta$、$e$，利用神经渲染器$R$将覆盖了对抗纹理$T_{adv}$的对抗模型$M_{adv}$渲染为2D图像$I_{adv}$，并合成到原始图像场景中，并使用物理转化函数$Phi$弥合数字域和物理域之间的差距，生成对抗样本$x_{adv}$：
[x_{adv} = Phi(I_{adv}, m, x) = m cdot I_{adv} + (1 - m) cdot x quad(3)]
式中：掩码$m$为二值图像，目标区域的值设置为1，背景区域的值设置为0。
生成的对抗样本$x_{adv}$输入到目标检测模型$F(cdot)$中进行检测时，得到检测器的输出$O = F(x_{adv}, heta_{f})$。$F$是具有参数$ heta_{f}$的目标检测模型。$F$未成功检测到对抗样本中的模型$M_{adv}$，则攻击成功。表述为：
[O = F(x_{adv}, heta_{f}) eq y quad(4)]
2.2 本文方法
本文基于FCA框架对纹理生成方式进行了优化，改进的纹理生成框架如图2所示。
图2 车辆对抗纹理生成框架 Fig.2 Vehicle adversarial texture generation framework
本文调整了纹理生成的方式，具体表现在以下几个方面。首先，将数据集中的图片进行亮度和对比度的调整，模拟现实世界中的光线变化，并将变换后的图片加入到权重训练的训练集中使检测模型的权重具有更强的鲁棒性，能够在不同的光线条件下正确识别被测物体。其次，本文在每一代训练后对训练得到的纹理加入了一定比例的高斯噪声、椒盐噪声和高斯模糊，用来模拟现实世界中的各种噪声，因为传感器在成像时会有噪声的干扰，这一步骤旨在将噪声干扰纳入优化流程中，以减小对抗样本在数字域和物理域之间的差异。第三，本文重新定义了损失函数中的分类损失项，引导模型将纹理向分类错误的方向优化。第四，本文在损失函数的权重设置方面引入了贝叶斯优化，自动调整不同损失项的损失函数权值。最后，本文在纹理训练的过程中添加了正则化项，减小模型的过拟合，使生成的对抗纹理具有跨模型和数据集的攻击能力，增加纹理的可迁移性。
训练目标是生成具有对抗性的全覆盖伪装纹理，其可以通过涂层或贴膜等方式附着到3D汽车模型上，不被检测模型正确检测。本文将对抗纹理$T_{adv}$的生成设置为一个优化问题，通过优化损失函数来对纹理进行优化，目标函数表示为：
[T_{adv}^{*} = argmax_{T_{adv}} J(F(Phi(R(M, T_{adv}; e, heta), m, x)), y) quad(5)]
式中：$T_{adv}^{*}$表示最优的对抗纹理;$J$表示衡量实际值与真值标签之间的差距的损失函数;$F$表示计算损失的目标检测模型。这里为了使得检测模型无法正确检测到目标，所以实际值与真值标签的差距应该尽量大。
2.3 算法设计
2.3.1 数据增强
本文使用的数据增强方法体现在两个方面：一是在训练检测模型的权重时改变原始训练集的亮度和对比度，并将变换后的图片加入到训练集中;二是训练对抗纹理时在每代训练完成后在生成的纹理上按一定比例添加高斯随机噪声、椒盐噪声和高斯模糊。图3展示了这些噪声。
图3 纹理添加噪声示意图 Fig.3 Schematic diagram of noise added to texture
2.3.2 贝叶斯优化损失权重
贝叶斯优化算法会根据已有的训练数据和损失函数的表现，自动调整不同部分损失函数的权重，使得损失函数最小化。通过不断地迭代优化，找到使得损失函数最小的权重组合，从而使得模型在训练过程中能够更好地拟合数据。
本文通过贝叶斯优化算法，根据模型在训练集上的表现，自动调整不同部分损失函数的权重，使得模型在训练过程中更好地适应数据。本文利用贝叶斯优化算法调整对抗损失$L_{adv}$和平滑损失$L_{smooth}$的权重，控制生成纹理在对抗性和平滑性中保持平衡。
本文中，损失项权重$a$和$b$在优化过程中遵循的公式为：
[egin{cases} a^{*} = argmin_{a} L_{total} = argmin_{a}(a L_{adv} + b L_{smooth} + lambda L_{reg}) \ b^{*} = argmin_{b} L_{total} = argmin_{b}(a L_{adv} + b L_{smooth} + lambda L_{reg}) \ s.t. a + b = 1; a eq 0; b eq 0 end{cases}]
2.3.3 损失函数设计
本文的损失函数设计分为3个部分，分别为平滑损失$L_{smooth}$、对抗损失$L_{adv}$和正则化损失$L_{reg}$，其中对抗损失包含分类损失、置信度损失和边界框损失，也就是检测模型在训练时的损失函数。总损失函数$L_{total}$表示为：
[L_{total} = a L_{adv} + b L_{smooth} + lambda L_{reg}]
式中：$a$、$b$和$lambda$表示各损失项的权重。
平滑损失$L_{smooth}$：为了减少生成对抗纹理中相邻像素之间的差异，保证纹理的平滑性和连续性，本文沿用FCA和MFA引用的总变差来定义平滑损失，公式表示为：
[L_{smooth} = sum_{i,j} (x_{i,j} - x_{i+1,j})^{2} + sum_{i,j} (x_{i,j} - x_{i,j+1})^{2} quad(8)]
式中：$x_{i,j}$代表对抗样本坐标$(i,j)$处的像素值，表示这个像素的亮度或颜色信息。
对抗损失$L_{adv}$：本文的目标检测模型$F(cdot)$为YOLO(you only look once)v3-空间金字塔池化(spatial pyramid pooling，SPP)，其本身是一个一阶段检测模型，并且包含分类损失$L_{cls}$、置信度损失$L_{obj}$和边界框损失$L_{box}$3个损失函数，本文修改这些损失项的定义，使模型无法正确定位或分类目标。本文中攻击检测模型本身回归和分类，将对抗损失$L_{adv}$构造为：
[L_{adv} = alpha L_{adv}^{box} + eta L_{adv}^{obj} + gamma L_{adv}^{cls} quad(9)]
式中：$alpha$、$eta$、$gamma$是对抗损失$L_{adv}$中每个损失项的权重，用以平衡每个损失项的贡献。本文沿用了FCA对边界框损失和置信度损失的设置，重新定义了分类损失。下文将详细介绍每个损失项的设计思路。
边界框损失$L_{box}$：本身计算目标检测算法检测结果与真实标注之间的交并比(intersection over union，IoU)，原本检测模型的边界框损失为：
[L_{box} = sum_{i=1}^{N} (1 - IoU(b_{i}, b_{i}^{gt}))]
式中：$b_{i}$和$b_{i}^{gt}$分别是模型对目标的第$i$个尺度预测结果和对应的真实值。
通过最大化IoU的值使得模型向预测框与目标框检测重叠度越高的方向优化。$L_{adv}^{box}$通过计算目标框与预测框，抑制目标区域的预测边界框。首先，从预测值中提取与目标对应的子集。然后，计算该子集中的预测框。接着，通过计算预测框与目标框之间的IoU，得到IoU值。最后，将IoU值取平均并添加到$L_{adv}^{box}$中，通过优化$L_{adv}^{box}$使得模型向预测有误的边界框优化。公式表示为：
[L_{adv}^{box} = sum_{i=1}^{N} IoU(b_{i}, b_{i}^{gt})]
式中：$N$表示多尺度YOLO输出的预测框个数。
分类损失$L_{adv}^{cls}$：分类损失的作用是衡量目标检测模型在预测目标类别时的准确性，通过比较模型预测的类别与真实类别之间的差异来评估模型的分类性能。本文将二分类交叉熵损失中的预测为正类别的标签值设置为0，而预测为负类别的标签值设置为1，这样模型在优化的过程中会忽视正确的分类信息而学习到错误的分类信息，将会更倾向于往分类错误的方向优化纹理。公式表示为：
[L_{adv}^{cls} = frac{1}{N} sum_{i=1}^{N} -[y_{i} cdot ln p_{i} + (1 - y_{i}) cdot ln(1 - p_{i})]]
式中：$y_{i}$表示样本中第$i$个类别的标签值。为了使模型往错误预测的方向优化，所以与常规设置不同，检测正确时标签值为0，而检测错误时标签值为1;$p_{i}$表示目标被预测为第$i$个类别的概率。
置信度损失$L_{adv}^{obj}$：置信度损失表示检测框是否包含对象的置信度，本文沿用FCA对置信度损失的设置并选择对象置信度得分作为本文的$L_{adv}^{obj}$。
正则化损失$L_{reg}$：正则化通过在损失函数中引入正则化项使得模型更趋于选择简单的参数配置，限制模型的复杂度，从而减少模型的过拟合现象。本文对模型参数的$L_{2}$范数进行惩罚，公式表示为：
[L_{reg} = sum (frac{w^{2}}{2} + frac{b'^{2}}{2})]
式中：$w$表示模型的权重;$b'$表示模型的偏置。本文方法的伪代码由算法1表示。
算法1 基于数据增强的鲁棒对抗纹理训练方法
输入：训练集${X, Y, Theta, E}$，3D模型$(M, T_{ori})$，神经渲染器$R$，样本对应的二值掩码$m$，带权重文件的检测器$(F, w_{0})$，损失函数权重初始值$(a_{0}, b_{0})=(0.5, 0.5)$
输出：对抗纹理$T_{adv}$
步骤1：带有随机噪声的初始对抗纹理$T_{adv0}$
步骤2：for $i$ to the max epochs do
步骤3：从训练集$(X, Y, Theta, E)$中选择小批量样本$(x, y, heta, e)$
步骤4：$I_{adv} leftarrow R((M, T_{adv}), ( heta, e))$
步骤5：$x_{adv} leftarrow Phi(I_{adv}, m, x)$
步骤6：$O leftarrow F(x_{adv}; heta_{f})$
步骤7：通过式(6)计算对抗损失$L_{adv}$和平滑损失$L_{smooth}$的贝叶斯优化损失项权重$(a^*, b^*)$
步骤8：计算总损失$L_{total} = a^* L_{adv} + b^* L_{smooth} + lambda L_{reg}$
步骤9：通过式(5)优化对抗纹理$T_{adv}$
步骤10：$T_{adv} leftarrow T_{adv} + Noise module$
步骤11：end for
步骤12：return $T_{adv}$
2.3.4 渲染图像修复
本文选择使用基于快速行进算法的Telea算法。具体来说，先处理待修复区域边缘上的像素点，然后向内推进直至修复完成。具体操作步骤如下：首先将图像转换为灰度图像，再使用阈值分割将RGB(red green blue)值为(0,0,0)的纯黑色与其他灰度的像素块分割开，生成掩码图像，再使用修复函数根据周围像素修复图像中缺失的部分。图4展示了本文使用方法的修复过程。
图4 渲染图像修复过程 Fig.4 Process of rendering image restoration
现有数据集存在渲染图像无法完全覆盖原样本中的目标的问题，这导致在利用神经渲染器渲染模型的2D图像到场景中时目标周围会出现突兀的黑色轮廓，如图4(a)所示。针对这个问题，本文将渲染后的图片进行修复，以减小生成图片的不自然度，使之更符合相机在真实物理环境中采集到的图像。
3 实验
3.1 实验设置
本文在数字仿真环境中进行攻击效果的测试。
实验环境：本文训练纹理和测试攻击效果的硬件平台配置如下：显卡为NVIDIA GeForce RTX 3090，显存为24GB，深度学习开发框架为PyTorch，版本为1.8.0，编程语言为Python3.8，CPU为Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz，操作系统为Windows10，CUDA版本为11.0。
数据集：CARLA(car learning to act)模拟器是一种用于自动驾驶研究的开源模拟器，其基于虚幻引擎4，提供一个高度可定制的虚拟城市环境，可以模拟真实世界的道路、交通工具和行人等元素。在本文的实验中，为了与之前的研究工作进行比较，本文选择使用与DAS、FCA、MFA相同的数据集来训练对抗纹理并评估对抗纹理的攻击效果，这个数据集由12500张训练图片和3000张测试图片构成，并有图片对应的掩码、3D车辆模型以及车辆与相机镜头对应的位置和姿态信息。
评价指标：本文的攻击方式为白盒非定向攻击，检测模型漏检或未正确分类目标(本文为覆盖了对抗纹理的车辆)视为攻击成功。
为了横向评估本文方法，第1个评估指标选择为Wu等[28]在2020年提出的攻击成功率(attack success rate，ASR)，即未添加扰动时可以正确检测到目标车辆与添加扰动后无法正确检测到目标车辆的数量百分比：
[ASR = frac{count[F(x_{adv}) eq y] - count[F(x) eq y]}{count[F(x) = y]}]
第2个评估指标设定为$P@0.5$，其反应了IoU阈值为0.5时模型的精确率$P$，计算公式为：
[P = frac{TP}{TP + FP} quad(15)]
式中：$TP$表示实际为正样本，检测为正样本的数量;$FP$表示实际是负样本，而检测为正样本的数量。
第3个评估指标为漏检率(miss rate，MR)，指在一次检测中未能发现真正存在的正样本的比例，包含没有检测到或检测为负样本的情况，可以直观地展现出检测模型的漏检情况。本文漏检率公式为：
[MR = frac{GT - TP}{GT} quad(16)]
式中：$GT$表示实际的正样本数量。
对比方式：本文选择未进行攻击(无纹理)、随机噪声纹理以及公开了纹理样式或纹理训练代码的攻击方法进行对比，在同一台服务器上的相同配置环境中完成了所有测试。
本文选择的测试模型为经典目标检测模型，具体为YOLOv5[29]、单次多框检测器(single shot multibox detector，SSD)[30]、Faster区域卷积神经网络(faster region convolutional neural networks，faster R-CNN)[31]、检测transformer(detection transformer，DETR)[32]以及新发布的YOLOv9[33]，其模型结构和测试权重都是在公开的代码和通用的大型数据集中提供和训练的。
实现细节：本文训练模型为YOLOv3-SPP，其在YOLOv3[34]的基础上引入了SPP模块，提高模型对小物体的检测能力。Adam作为优化器，学习率设置为0.01，batch size大小为1，训练1代为训练1个数据集，最大训练代数设置为5，对抗损失内部损失项权重按照YOLOv3模型默认的参数值的$alpha=0.05$、$eta=1.0$、$gamma=0.5$设置，正则化项损失权重为$lambda=0.001$，初始化纹理设置为random。训练500次执行一次贝叶斯参数优化，在参数空间中随机采样5个初始点，每次优化过程进行10次迭代。第2.3.1节提到的噪声添加比例为0.01。图5展示了不同训练次数/代数得到的纹理效果。
图5 不同训练次数设置下的对抗纹理效果 Fig.5 Adversarial texture effects for different training number settings
3.2 实验结果及分析
3.2.1 数字域实验
本节按照第3.1节中选取的指标对本文方法的各项性能进行了评估。表1~表3定量对比了本文方法和其他纹理方案的攻击效果，对这些数据进行定性和定量的分析能更有效地理解DNN模型，其中粗体数据表示一种检测器上最好的攻击效果。所有参与对比的纹理样式如图6所示。表4展示了不同纹理在不同检测模型中的攻击效果(红色边框表示攻击成功，即检测模型未检测到;绿色边框表示攻击失败，即检测模型成功检测)。
表1 数字世界测试集ASR对比结果(%)
|攻击方法|YOLOv5|YOLOv9|Faster R-CNN|SSD|DETR|平均ASR|
|随机噪声|19.8|21.2|26.8|38.5|42.3|29.7|
|FCA|55.8|40.0|35.4|54.6|72.8|51.7|
|DAS|16.5|0.8|2.0|6.6|31.4|11.5|
|本文方法|51.1|40.8|39.0|48.4|87.1|53.3|
表2 数字世界检测模型精确率对比结果(%)
|攻击方法|YOLOv5|YOLOv9|Faster R-CNN|SSD|DETR|平均精确率|
|无攻击|75.4|82.4|63.6|86.5|54.4|72.5|
|随机噪声|62.5|68.2|55.8|78.8|40.6|61.2|
|FCA|27.4|45.3|46.4|75.3|21.0|43.1|
|DAS|66.1|69.7|61.7|83.9|45.0|65.3|
|本文方法|36.2|50.5|48.6|65.6|13.4|42.9|
表3 数字世界检测模型MR对比结果(%)
|攻击方法|YOLOv5|YOLOv9|Faster R-CNN|SSD|DETR|平均MR|
|无攻击|39.4|27.7|41.1|63.2|32.1|40.7|
|随机噪声|51.4|43.0|56.9|77.4|60.8|57.9|
|FCA|73.2|56.6|62.0|83.3|81.6|71.3|
|DAS|49.4|28.2|42.3|65.7|53.5|47.8|
|本文方法|70.4|57.2|64.1|81.0|91.3|72.8|
图6 参与数字世界对比实验的纹理效果 Fig.6 Texture effects involved in digital world comparative experiments
表4 不同纹理攻击效果的可视化对比
|攻击方法|YOLOv5|YOLOv9|Faster R-CNN|SSD|DETR|
|无攻击| | | | | |
|随机噪声| | | | | |
|FCA| | | | | |
|DAS| | | | | |
|本文方法| | | | | |
从以上几个表格的对比可以看出，比起其他形式的纹理，本文提出的方法在一部分检测模型上具有良好的攻击效果。在所有检测器上的平均值下降了29.6%，在DETR检测器上的值下降了41%。此外，本节还对比了在2024年2月发布的YOLOv9模型，在YOLOv9上的值下降37.1%，ASR也达到了40.8%，是几种对比方法中攻击效果最好的。尽管不是作用于所有检测器都能达到最好的攻击效果，但本文方法还保持了良好的可迁移性，在不同的检测模型上都具有攻击性，因为本文提出的方法对检测模型的分类损失进行了攻击，而所有类型的检测模型在训练时都会计算分类损失。在相同的系统环境、检测权重、测试集和参数设置下，本文的方法在几项纹理方法的对比中平均数据是最好的，这证明本文提出的方法具有良好的攻击效果，并且还有一定的泛化性。尽管这里统计的值并不完全准确，因为在数据集标注时只考虑了目标模型，未考虑场景中本身自带的车辆，也未考虑到因模型性能问题而导致本身不是正样本的目标而检测成正样本的情况，但从这项数据的统计趋势也能够定量地看出不同纹理之间的攻击效果。值得一提的是，几乎所有纹理都能够在DETR上取得良好的攻击效果，本文方法生成的纹理更是在所有攻击指标中都达到了最优值。这可能是因为DETR是基于Transformer的检测模型，对抗纹理能够干扰这里的一些模块使其失灵。另外，DAS在攻击性能上表现不佳，因为DAS在考虑攻击性的同时也在考虑视觉自然性，即能够实现更隐蔽的攻击，这使得DAS丧失了一定攻击性，但整体伪装比较自然，并且DAS纹理不是全覆盖的，攻击的鲁棒性不及全覆盖的伪装纹理。在一部分检测模型上，随机噪声的ASR高于DAS，这说明全覆盖的随机噪声也是具有一定攻击性的。最后，在观察未能成功攻击检测模型的对抗样本时，发现本文方法攻击失败的情况大多是镜头在车辆侧面的情况，这可能是因为检测模型在训练时学习到的“car”的信息包括轮胎和车窗的部分。而对抗纹理只覆盖了车身表面，未能覆盖轮胎和车窗，所以在镜头对准汽车的侧身而暴露出轮胎时，检测模型就能够成功检测到目标车辆而导致攻击失败，在俯视角度则更容易攻击成功。
3.2.2 物理域实验
本节进行了几组实验验证本文提出方案在物理世界中的有效性。为了使得实验结果更加直观，本节比较了上节数字域实验中提到的几种攻击方法和目标检测模型，如图7所示。
图7 参与物理世界对比实验的纹理效果 Fig.7 Texture effects involved in physical world comparative experiments
本节收集测试集的方式如下：使用大型喷绘机打印聚氯乙烯(polyvinyl chloride，PVC)海报的对抗纹理裁剪并粘贴到1∶24大小的模型车辆上，将不同纹理的汽车模型放置在旋转展示台上，展示台的转速约为3.16r/min，在距离分别为0cm、25cm、50cm、1m，高度分别为50cm、1m、1.5m处分别录制视频，每5帧截取一张图像，共收集到13155张测试集图像，拍摄设备为华为nova7手机，拍摄环境为室内。
本节选择ASR作为评价指标来对比不同纹理的攻击效果，评价结果列于表5，其中粗体数据表示一种检测器上最好的攻击效果。图8展示了本文方法生成的纹理在物理世界的攻击效果。
表5 物理世界ASR对比结果(%)
|攻击方法|YOLOv5|Faster R-CNN|SSD|DETR|平均ASR|
|随机噪声|29.9|14.8|11.4|33.2|22.3|
|FCA|11.7|7.7|8.5|27.7|13.9|
|DAS|6.4|0|4.3|15.9|6.7|
|本文方法|25.0|24.7|37.8|52.1|34.9|
图8 对抗纹理在物理世界中的攻击效果 Fig.8 Attack effects of adversarial textures in physical world
与其他攻击方法相比，本文提出的方法在不同的目标检测模型上取得了最高的平均ASR，这表明这种方法在现实世界中可以有效地攻击目标检测模型，误导其输出错误结果。但相较于在数字域中的仿真实验，攻击成功率有所下降，这可能是因为采用的贴纸是光面材质，表面有一定程度的反光，并且拍摄时有一定的成像损失，导致损失了一部分纹理信息。在分析攻击失败的检测结果时，同第3.2.1节的观察结果相同，一些拍摄到汽车模型侧面的图像更容易被检测成功，这可能是因为DNN学习到“car”的主要特征就是车窗、轮胎和形状。并且在现实物理世界攻击成功的情况中，目标检测模型更容易检测不到汽车模型，而不是检测为其他物体。
3.3 消融实验
在本节将对比本文使用模块以及损失函数对攻击效果的影响，训练代数均设置为1，其他参数值不变。表6展示了不同消融模块设置下的攻击有效性，指标为$P@0.5$(%)。表6中第一列为在最终模型上删去某个模块/损失函数，$a+b$为权重设置项，粗体表示一种检测器上最好的攻击效果。从表6中可以看出，不同的损失项和模块有不同的影响，如果去掉对抗损失，生成的纹理就是检测模型认为识别为“car”的目标应该具有的纹理。这里主要对比了贝叶斯权重设置对于模型的影响，实验表明不同的模块和损失项设置均有一定效果，贝叶斯权重设置和分类损失一起应用对纹理攻击性能影响较大。图9将消融实验中对比的纹理进行了可视化。
表6 删除不同模块后纹理攻击对比结果(%)
|消融模块|YOLOv5|SSD|Faster R-CNN|DETR|
|$a+b$|43.7|76.1|48.2|17.2|
|$L_{reg}$|42.1|78.5|49.4|14.8|
|$L_{adv}^{cls}$|45.4|70.4|50.1|18.5|
|$a+b + L_{adv}^{cls}$|69.6|82.9|56.4|40.6|
|$a+b + L_{reg}$|45.7|77.4|49.1|17.9|
|$L_{smooth}$|43.9|83.3|49.3|16.2|
|$L_{adv}$|74.1|79.6|61.1|52.0|
图9 消融项纹理可视化 Fig.9 Texture visualization of ablation terms
本节对数据增强前后的训练权重对应的对抗纹理和YOLOv3官方公布的权重用于训练得到的对抗纹理也进行了对比，结果如表7所示，指标为$P@0.5$(%)，其中粗体数据表示最好的攻击效果。图10将不同权重设置的生成纹理可视化。
表7 不同训练权重设置生成纹理攻击对比结果(%)
|权重|YOLOv5|Faster R-CNN|SSD|DETR|
|YOLOv3权重|37.1|56.3|77.1|16.2|
|本文权重|36.2|48.6|65.6|13.4|
图10 不同训练权重设置下生成的纹理效果 Fig.10 Texture effects generated with different training weight settings
另外，在进行消融实验的过程中还发现，增加的噪声模块对纹理的样式和攻击效果差别不大，这可能是因为每次噪声添加的比例不大，并且在后续的训练中随着纹理一起被优化了。尽管如此，本文的方法仍保留了这个模块，因为设计这个模块的初衷是希望在仿真平台中模拟现实世界存在的成像干扰，本文旨在纳入成像过程中固有的噪声因素，即便这些噪声在通过迭代优化算法处理后，在仿真环境中已难以直观体现其对攻击效果的具体影响。
4 结束语
针对现有纹理生成算法鲁棒性差的问题，本文基于现有的纹理生成框架，通过数据增强扩充数据集以及设置贝叶斯优化权重参数和分类损失项，设计一种面向目标检测的车辆鲁棒对抗纹理生成方法。针对现有数据集目标和掩码不匹配的问题，利用图像修复算法使得渲染了对抗纹理的模型和场景更接近真实世界的图像。在数字世界的测试中，与现有的纹理生成算法相比，本文提出的对抗纹理可以取得最高的平均ASR和最低的模型平均精确率。在现实物理世界的测试中也表明本文提出的方法具有一定的有效性和鲁棒性。
本文对数字域的纹理生成算法进行了设计，并证明本文算法的有效性和鲁棒性，但目前的纹理还比较显眼，容易被受攻击者发现。在接下来的研究中，将在保持攻击性的条件下对对抗纹理的隐蔽性和泛化性进行探索，同时探究更高效的对抗样本从数字域向物理域的转化机制，为在现实物理世界中实现更有效的对抗攻击提供坚实基础。
参考文献
[1] ZOU Z X, CHEN K Y, SHI Z W, et al. Object detection in 20 years: a survey[J]. Proceedings of the IEEE, 2023, 111(3):257-276.
[2] 汪欣欣, 陈晶, 何琨, 等. 面向目标检测的对抗攻击与防御综述[J]. 通信学报, 2023, 44(11):260-277.
[3] GUESMIA, HANIF M A, OUNIB, et al. Physical adversarial attacks for camera-based smart systems: current trends, categorization, applications, research challenges, and future outlook[J]. IEEE Access, 2023, 11:109617-109668.
[4] WANG Y J, LYU H R, KUANG X H, et al. Towards a physical world adversarial patch for blinding object detection models[J]. Information Sciences, 2021, 556:459-471.
[5] ZHU X P, LI X, LI J M, et al. Fooling thermal infrared pedestrian detectors in real world using small bulbs[C]∥Proc. of the AAAI Conference on Artificial Intelligence, 2021, 35(4):3616-3624.
[6] HOORY S, SHAPIRA T, SHABTAI A, et al. Dynamic adversarial patch for evading object detection models[EB/OL].[2024-02-28].https:∥arxiv.org/pdf/2010.13070v1.pdf.
[7] HU Z H, HUANG S Y, ZHU X P, et al. Adversarial texture for fooling person detectors in the physical world[C]∥Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022:13307-13316.
[8] ZHANG Y, FOROOSH H, DAVID P, et al. CAMOU: learning physical vehicle camouflages to adversarially attack detectors in the wild[C]∥Proc. of the International Conference on Learning Representations, 2018.
[9] WU T, NING X F, LI W S, et al. Physical adversarial attack on vehicle detector in the carla simulator[EB/OL].[2024-02-28].https:∥arxiv.org/pdf/2007.16118.pdf.
[10] DUAN Y X, CHEN J L, ZHOU X Y, et al. Learning coated adversarial camouflages for object detectors[C]∥Proc. of the 31st International Joint Conference on Artificial Intelligence, 2022:891-897.
[11] WANG J K, LIU A S, YIN Z X, et al. Dual attention suppression attack: generate adversarial camouflage in physical world[C]∥Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021:8565-8574.
[12] WANG D H, JIANG T S, SUN J L, et al. FCA: learning a 3D full-coverage vehicle camouflage for multi-view physical adversarial attack[C]∥Proc. of the AAAI Conference on Artificial Intelligence, 2022.
[13] SURYANTO N, KIM Y, KANG H, et al. DTA: physical camouflage attacks using differentiable transformation network[C]∥Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022:15305-15314.
[14] SURYANTO N, KIM Y, LARASATI H T, et al. Active: towards highly transferable 3D physical camouflage for universal and robust vehicle evasion[C]∥Proc. of the IEEE/CVF International Conference on Computer Vision, 2023:4305-4314.
[15] ZHOU J W, LYU L Y, HE D J, et al. RAUCA: a novel physical adversarial attack on vehicle detectors via robust and accurate camouflage generation[EB/OL].[2024-02-28].https:∥arxiv.org/pdf/2402.15853.pdf.
[16] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[C]∥Proc. of the International Conference on Learning Representations, 2014.
[17] MADRY A, MAKELOVA, SCHMIDT L, et al. Towards deep learning models resistant to adversarial attacks[C]∥Proc. of the International Conference on Learning Representations, 2018.
[18] CARLINI N, WAGNER D. Towards evaluating the robustness of neural networks[C]∥Proc. of the IEEE Symposium on Security and Privacy, 2017:39-57.
[19] CHOW K H, LIU L, GURSOY M E, et al. TOG: targeted adversarial objectness gradient attacks on real-time object detection systems[EB/OL].[2024-02-28].https:∥arxiv.org/pdf/2004.04320.pdf.
[20] WANG D R, LI C R, WEN S, et al. Daedalus: breaking non-maximum suppression in object detection via adversarial examples[J]. IEEE Trans. on Cybernetics, 2021, 52(8):7427-7440.
[21] 叶子鹏, 夏雯宇, 孙志尧, 等. 从传统渲染到可微渲染:基本原理、方法和应用[J]. 中国科学:信息科学, 2021, 51(7):1043-1067.
[22] CHEN W, ZHANG Y S, LI Z H, et al. MFA: multi-layer feature-aware attack for object detection[C]∥Proc. of the 39th Conference on Uncertainty in Artificial Intelligence, 2023.
[23] WANG H, QIN J J, HUANG Y X, et al. SC-PCA: shape constraint physical camouflage attack against vehicle detection[J]. Journal of Signal Processing Systems, 2023, 95(12):1405-1424.
[24] KATO H, USHIKU Y, HARADA T. Neural 3D mesh renderer[C]∥Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, 2018:3907-3916.
[25] LI Y, TAN W Y, ZHAO C X, et al. Flexible physical camouflage generation based on a differential approach[EB/OL].[2024-02-28].https:∥arxiv.org/pdf/2402.13575.pdf.
[26] MENDES P, ROMANO P, GARLAND. Hyper-parameter tuning for adversarially robust models[EB/OL].[2024-02-28].https:∥arxiv.org/pdf/2304.02497.pdf.
[27] WU J, CHEN X Y, ZHANG H, et al. Hyperparameter optimization for machine learning models based on Bayesian optimization[J]. Journal of Electronic Science and Technology, 2019, 17(1):26-40.
[28] WU Z, LIM S N, DAVIS L S, et al. Making an invisibility cloak: real world adversarial attacks on object detectors[C]∥Proc. of the 16th European Conference, 2020.
[29] JOCHER G. Yolov5[EB/OL].[2024-02-28].https:∥github.com/ultralytics/yolov5.
[30] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[C]∥Proc. of the 14th European Conference, 2016:21-37.
[31] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Trans. on Pattern Analysis And Machine Intelligence, 2016, 39(6):1137-1149.
[32] CARION N, MASSA F, SYNNAEVE G, et al. End-to-end object detection with transformers[C]∥Proc. of the European Conference on Computer Vision, 2020:213-229.
[33] WANG C Y, YEH I H, LIAO H Y M. YOLOv9: learning what you want to learn using programmable gradient information[EB/OL].[2024-02-28].https:∥arxiv.org/pdf/2402.13616v2.pdf.
[34] REDMON J, FARHADI A. Yolov3: an incremental improvement[EB/OL].[2024-02-28].https:∥arxiv.org/pdf/1804.02767.pdf.
