一、背景介绍

随着计算机图形学的快速发展和人们对现实世界信息需求的增加，传统的2D图像已经不能很好地满足人们的需求，因此人们开始将目光转向3D数据。3D数据补充了2D图像，为更好地了解周围环境提供了机会。3D数据有许多数据格式，例如：深度图像(Depth image)、点云(Point cloud)、网格 (Mesh) 以及体素 (Voxel grid)。点云是最常用的数据格式之一，它保留了三维空间中的原始几何信息，并由大量的点组成，每个点都具有空间位置。 1716219007233 尽管深度学习在计算机视觉任务中取得了巨大成功，但对抗攻击的存在揭示了其脆弱性。此外，对抗性攻击为深度学习模型的评估和改进提供了一种强有力的手段，通过模拟攻击场景来识别模型的潜在弱点，并据此设计更加健壮的模型架构。随着3D点云数据在自动驾驶汽车、医疗保健、机器人技术等多个领域的广泛应用，确保这些系统在面对恶意攻击时的安全性和鲁棒性变得尤为重要。点云对抗攻击是其中一个日益受到关注的研究课题。点云对抗性样本在3D空间中不易被识别，但对模型的预测结果却有显著的影响。与2D图像的对抗攻击相比，点云的3D特性使得对抗样本的生成和检测更为复杂。图像和点云的对抗样本有以下几个主要区别：

  1. 输入数据: 对抗图像是2D数据表示，而对抗点云是3D数据表示。这意味着用来防御对抗图像和点云的方法可能需要考虑到输入数据的不同维度和特征。
  2. 对抗扰动: 对抗图像可能通过对图像像素添加小的扰动来进行修改，而对抗点云可能通过对点云中的单个点或点群应用扰动来进行修改。这意味着用来防御对抗图像和点云的方法可能需要针对所使用的特定类型的对抗扰动进行定制。
  3. 复杂性: 对抗点云可能比对抗图像更难防御，因为应用于点云的扰动可能更难识别和移除。这可能需要使用更复杂的防御方法，例如能够检测并从输入点云中移除对抗扰动的方法。

二、攻击策略

点云是无序并且不规则的。而图像的像素值时固定在0-255之间的，相较之下，点云的扰动空间是连续的，这意味着点云的扰动空间十分大，对对抗样本的生成提出了挑战。另外，点云中常见的衡量扰动大小的指标不再仅仅是传统意义上的lp范数，还有Hausdorff Distance和Chamfer Distance。 后者在实际衡量对抗样本与原始点云中更加常见。根据优化类型，可以大致将对抗攻击分为：基于梯度优化、基于点云变换以及基于点扰动等。

1. 梯度优化攻击

基于梯度的对抗性攻击方法，它扩展了Goodfellow等人在2014年提出的原始FGSM概念，将这种攻击方法应用于3D点云数据。FGSM的核心思想在于，通过分析模型损失函数相对于输入数据的梯度，可以确定导致模型预测错误的方向。 JGBA 是一种白盒攻击方法，它通过结合梯度信息和统计异常值移除（Statistical Outlier Removal, SOR）防御策略的逆过程来生成对抗性点云。这种方法的目的是在不显著改变点云外观的情况下，生成能够欺骗分类器的对抗性样本。JGBA的关键是在优化过程中加入了一个额外的正则项，该项与SOR防御策略相关。通过这种方式，攻击者生成的对抗性样本不仅能够欺骗模型，而且能够抵抗SOR等常见的防御机制。 1716219018927

2. 点云变换攻击

点云变换攻击是一种在变换域中对3D点云数据进行操作的对抗性攻击方法。这种攻击策略的核心思想是将点云数据从其原始的输入空间转换到另一个变换空间（例如频率域），在变换空间中对数据进行修改，然后再将修改后的数据转换回原始空间以输入到深度学习模型中。 1716219024442 例如，Liu等人提出的基于频率域的攻击，通过图傅里叶变换将点云转换到频率域，然后选择性地修改低频或高频成分来生成对抗性样本。这种方法利用了低频成分对点云整体结构的影响，以及高频成分对细节的影响，通过精心设计的修改来误导深度学习模型。 点云变换攻击是对抗性攻击研究中的一个重要方向，它提供了一种不同于直接在原始空间操作的方法，为研究点云数据的安全性和鲁棒性提供了新的视角。

3. 点扰动攻击

基于点的扰动有多种形式，包括，点移攻击、点删除攻击和点添加攻击。后两个都改变了点云中点的数量，从而也无法用传统的方法进行优化。以下是这三种攻击类型的总结：

  • 点移攻击通过轻微移动点云中的点来生成对抗性样本。这种攻击的关键在于选择性地调整点的位置，以改变模型的预测结果，同时尽量保持点云的原始结构和外观。例如，KNN attack通过限制相邻点之间的距离来移动点，以生成对抗性样本。
  • 点删除攻击通过从点云中移除（或“删除”）某些点来生成对抗性样本。攻击者通常会识别并删除对模型分类决策至关重要的点，即所谓的“关键点”。删除这些点会改变点云的数据分布，从而可能误导模型做出错误的分类。Drop100和Drop200攻击是点删除攻击，它们分别移除不同数量的点。
  • 点添加攻击通过向点云中添加新的点来生成对抗性样本。这些新添加的点旨在改变模型对点云的理解和分类。攻击者可能会利用特定的策略来选择添加点的位置，以最大化攻击效果。例如，使用形状先验指导的攻击方法通过添加点来生成对抗性样本，这些点是根据点云的结构先验知识来确定的。

三、防御策略

通过探索有效的对抗防御策略，可提高深度学习模型在3D点云分类任务中的安全性和可靠性。针对点云的防御策略包括数据集中的点云数据预处理、模型架构的改进以及重新训练模型以增强其对攻击的抵抗力。

1. 数据驱动

数据驱动的防御策略主要集中于输入数据的预处理，目的是在模型接收数据之前消除或减少对抗性扰动的影响。这包括简单的数据变换，数据预处理，对抗性训练等

  • 数据变换：通过随机采样（SRS）可以减少对抗性添加或移除点的影响，通过随机丢弃输入点云中的一些点来进行预处理，这有助于减少对抗性添加或删除点的影响。而统计异常值移除（SOR）能够识别并剔除那些远离其他点的异常点，从而降低对抗性攻击的成功率。具体来说，利用点云中每个点与其最近邻点之间的平均距离来识别并移除异常值，这些异常值可能是对抗性攻击引入的。
  • 数据增强： 其中DUP-Net提出了去噪和上采样网络，首先使用SOR去除异常点，然后通过上采样网络增加点云的密度，以恢复对抗性攻击改变的原始结构。PointCutMix通过交换两个点云样本中的点或点的近邻来创建新的训练样本，并混合相应的标签。
  • 特征提取： 包括低通滤波和结构化稀疏编码，前者的思想源于减少对抗攻击引入的高频信息。稀疏编码技术则是提取点云中的关键特征，并去除可能由攻击引入的噪声。

2. 模型驱动

另外一类防御策略是模型驱动。模型驱动的防御策略则侧重于改进模型架构或通过重新训练来增强模型的鲁棒性。这包括使用对抗性训练，即在训练过程中引入对抗性样本以迫使模型学习更加鲁棒的特征表示；以及设计新的网络结构。

  • 模型结构：如Defense-PointNet，它通过分离特征提取器和分类器，并引入鉴别器来区分原始和对抗性样本。加入CCM可以提高模型对局部和全局上下文的理解，减少对抗性扰动的影响。此外，还有研究通过改进池化操作或集成学习方法来增强模型的鲁棒性。
  • 模型训练：主要是以对抗性训练，在训练过程中引入对抗性样本，使模型在面对这些样本时能够学习到更鲁棒的特征。也可以通过引入额外的正则化项，通过额外的正则化项来鼓励模型学习更加泛化的特征，减少对特定噪声的敏感性。最后的选择就是重头训练，并且使用不同的数据增强技术，来提高模型的鲁棒性。
  • 综合策略：包括融合前面提到的数据驱动策略以及模型驱动防御策略。也可以通过多模型集成多数投票策略来减少单一模型可能受到的对抗性攻击的影响。

四、总结与展望

对抗性攻击对3D点云的研究不仅对于提高现有系统的安全性至关重要，而且对于推动深度学习模型的发展和创新也具有重要意义，可以提高模型的泛化能力，以适应真实世界的应用需求，未来的研究需要在理论和实践层面上都进行深入探索，以确保这些技术在面对不断演变的威胁时能够保持其有效性和可靠性。此外，将研究成果从模拟环境转移到现实世界的应用中，对于评估和改进模型在实际条件下的表现至关重要。

参考文献

[1] Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv:1412.6572, 2014.

[2] Li X, Chen Z, Zhao Y, et al. Pointba: Towards backdoor attacks in 3d point cloud[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 16492-16501.

[3] Gao K, Bai J, Wu B, et al. Imperceptible and Robust Backdoor Attack in 3D Point Cloud[J]. arXiv preprint arXiv:2208.08052, 2022.

[4] Xiang Z, Miller D J, Chen S, et al. A backdoor attack against 3d point cloud classifiers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 7597-7607.

[5] Tian G, Jiang W, Liu W, et al. Poisoning morphnet for clean-label backdoor attack to point clouds[J]. arXiv preprint arXiv:2105.04839, 2021.

[6] Hu S, Liu X, Zhang Y, et al. Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 15014-15023.

[7] Eykholt K, Evtimov I, Fernandes E, et al. Robust physical-world attacks on deep learning visual classification[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 1625-1634.

[8] Tu J, Ren M, Manivasagam S, et al. Physically realizable adversarial examples for lidar object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 13716-13725.