(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229298.8 (22)申请日 2022.03.09 (71)申请人 西北工业大 学 地址 710072 陕西省西安市碑林区友谊西 路127号 (72)发明人 蒋晓悦　王众鹏　冯晓毅　夏召强　 韩逸飞　 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/00(2006.01) G06T 9/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于去噪和超分辨率重构融合的攻击图像 防御方法 (57)摘要 基于去噪和超分辨率重构融合的攻击图像 防御方法。 针对智 能攻击图像防御任务， 本文提 出采用去噪和超分辨率重构融合的策略实现对 攻击噪声的多阶段消除方法。 由于深度智能网络 存在着一定的缺陷， 所以攻击者可设计特定的噪 声叠加于输入图像 之上， 诱导深度网络的识别结 果错误。 因而， 消除攻击图像中的攻击噪声， 是实 现攻击防御的有效途径之一。 首先， 本文采用多 级嵌套的编解码网络， 对图像中的噪声进行粗清 洗。 由于噪声主要是高频信息， 因而多尺度编解 码网络可以利用低频信息引导高频信息的重构， 进而实现对高频噪声的消除。 然后， 本文使用超 分辨率重构网络对噪声进行精清洗， 通过在超分 重构过程中注入高频分量， 破坏残留的对抗噪声 的分布。 本算法有效地结合了自编码器去噪和超 分辨率重构来进行对抗防御。 在实验中， 本文提 出的样本清洗防御算法在自制的卫星对抗样本数据集上取得了优异的防御效果。 样本清洗之 后， 攻击噪声完全被清除， 在EfficientNet网络 的识别中准确率 提升了42.67％。 权利要求书1页 说明书9页 附图4页 CN 114881852 A 2022.08.09 CN 114881852 A 1.本发明提出一种基于去噪和超分辨率重构融合的攻击图像防御 方法， 该方法主要分 为两个部分： 多 级嵌套编解码网络以及超分辨 率重构网络 。 (1)多级嵌套编解码网路 本发明选取了两个编解码器子网络作为骨干网络。 该网络通过子网络之间的特征融合 和注意力机制逐步地学习对抗噪声的分部， 尽可能地保留有效地信息， 最终达到到达防御 的目的。 该网络的损失函数如公式(1)所示。 其 中Lchar代表Charbonnier损失， Ledge代表边缘 损失， Xs代表去噪后的图像， Y代表ground ‑truth图像， S代表每一个阶段， λ一般取0.05。 Charbonnier损失的计算公 式如公式(2)所示。 边缘损失的计算公式如公式(3)所示， 其中Δ 代表拉普拉斯算子， ε取10‑3。 本发明使用卫星对抗样本库对去噪防御网络进行训练， 采用 Adam优化方法对网络参数进 行更新， 当公式(1)中损失函数值最小时停止训练， 得到最终的 训练好的网络 。 该网络最后会将对抗样本进行去噪， 得到 重构的干净样本 。 (2)超分辨 率重构网络 本发明选取传统 的残差网络作为骨干网络， 在每个残差块内去除了一个批归一化层和 一个卷积层， 并在末尾处添加了一个上采样层， 最后得到了一个超分辨率网络。 该网络通过 向样本中添加高频分量来破坏原有的对抗噪声， 从而达到防御的效果。 该网络的损失函数 如公式(4)所示。 L2表示l1损失， yi表示ground ‑truth图像， f(xi)表示超分辨率后的 图像。 本 发明使用DIV2K数据集对超分辨率防御网络进行训练， 采用Adam优化方法对网络参数进行 更新， 当公式(4)中的损失函数值最小时停止训练， 得到最终的训练好的网络。 该网络最后 会将对抗样本进行超分辨 率放大， 得到 重构的干净样本 。 权　利　要　求　书 1/1 页 2 CN 114881852 A 2基于去噪和超分辨 率重构融合的攻 击图像防御方 法 技术领域： [0001]本发明属于图像处 理领域， 具体涉及一种对抗防御方法。 现有技术： [0002]近年来， 卷积神经网络已经广 泛应用于各类计算视觉任务， 包括图像分类、 目标检 测、 语义分割和视觉问答等。 同时， 这些基本的计算视觉任务， 也应用于各类智能平台， 例如 自动驾驶、 疾病诊断以及军事策略系统等。 但是， 深度神经网络也存在一定的问题， 具有一 定的不可解释性， 同时它也容易受到特定扰动噪声的影响。 也就是说， 如果在输入图像中叠 加一些专门设计的扰动噪声， 则原有的神经网络将会受到攻击噪声的干扰而 无法输出正确 的识别结果。 [0003]在现实世界中， 这种错误也是十分致命的， 比如一些黑客故意将添加了攻击噪声 的图片散播于网络之中， 使得检索系统受到攻击， 输出的检索结果与输入的信息不一致， 借 此他们可以传播一些有害的信息和图片， 以至于侵害青少年的身心健康。 而在军事中， 敌方 可通过算法精心设计虚假目标来欺骗和攻击机器学习系统， 使军事智能系统无法正常工 作， 甚至产生颠 覆性错误决策， 导 致战场的毁灭性失败。 [0004]对抗防御方法按照策略方向主要分为两类， 第一种是主动防御方法， 第二种是被 动防御方法。 [0005]主动防御方法通过整体对抗训练或防御性蒸馏等方法来调整特定模型的参数。 整 体对抗训练， 通过软化决策边界， 从而使网络正规化， 从而包含附近的对抗图像。 防御性蒸 馏通过使用蒸馏机制获得的软标签重新训练给定模型， 以本质上类似的方式提高了模型的 鲁棒性。 主动防御方法通常需要计算量大的可微变换。 此外， 这些转换很容易受到进一步的 攻击， 因为对手可以利用可微模块 来规避这些攻击 。 [0006]被动防御方法的假设模型是一个黑箱， 不知道其中的网络结构， 主要通过应用各 种变换来减轻输入图像域中的对抗扰动对模型 的影响。 它基本上解决了上述问题， 但在去 除敌方噪声时容 易丢失关键的图像内容， 导 致对非对抗图像的分类性能较差 。 [0007]发明目的： [0008]针对目前被动防御通过变换去除输入图像对抗扰动容易丢失关键的图像内容， 导 致对非对抗图像的分类性能较差的问题， 本发明提供一种基于去噪和超分辨率重构融合的 攻击图像防御方法， 构造了一个基于去 噪和超分辨率重构 融合的对抗防御网络， 使得对抗 样本被动防御效果更好、 性能更高。 发明内容： [0009]本发明提供一种基于去噪和超分辨率重构融合的对抗防御方法， 构造了一个基于 去噪和超分辨率重构融合的对抗防御网络。 该网络可以视为一个 “并行+串行”的网络结构 。 它分为三个阶段， 第一个和第二个阶段主要由编解码 器组成， 作为自编码 器子网络。 而第三 个阶段由残差块网络和上采样模块组成， 作为超分辨率子网络。 经过实验得知， 自编 码器网说　明　书 1/9 页 3 CN 114881852 A 3