(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210214781.9 (22)申请日 2022.03.07 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 毕秀丽　吴让磊　肖斌　刘波　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 专利代理师 刘小红 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于JPEG指纹的深度特征融合图像篡 改检测方法 (57)摘要 本发明请求保护一种基于JPEG指纹的深度 特征融合图像篡改检测方法， 涉及数字图像处 理、 计算机视觉、 深度学习等技术领域。 具体步骤 为： 1)搜集并整理公开的未压缩的图像样本； 2) 对图像样本进行两种方式篡改并标注获得篡改 图像样本以及标签以完成图像篡改数据集的构 建； 3)利用制作的图像篡改数据集对深度特征融 合网络进行训练； 4)利用训练得到的模 型对两种 篡改图像进行测试， 得到最终效果。 本方法利用 特征融合卷积神经网络训练得到的模型可以对 现实中的篡改图像进行检测， 具有实际意义， 并 且取得较好的检测精度。 权利要求书2页 说明书5页 附图2页 CN 114677332 A 2022.06.28 CN 114677332 A 1.一种基于JPEG指纹的深度特 征融合图像篡改检测方法， 其特 征在于， 包括以下步骤： (1)获取公开的未压缩 且未篡改图像数样本； (2)对搜集到 的篡改图像样本使用Photoshop进行拼接和复制移动两种方式的篡改并 标注篡改区域， 获得篡改图像样本以及篡改区域的标签， 完成篡改图像数据集的构建； (3)利用步骤(2)处理后得到的篡改图像数据集对特征融合网络进行模型训练， 所述特 征融合卷积神经网络包括图像噪声流模块、 图像梯度流模块和密集连接模块； 所述图像噪 声流模块使用空间富模型提取输入图像的噪声特征向量； 所述图像梯度流模块使用离散小 波变换提取输入图像的梯度特征向量； 所述密集连接模块中的卷积采用密集连接方式增加 特征的复用率； (4)利用步骤(3)训练得到的模型对输入的图像进行测试， 得到最终的检测结果。 2.根据权利要求1所述的一种基于JPEG指纹的深度特征融合图像篡改检测方法， 其特 征在于， 所述图像噪声流模块使用空间富模型高通滤波器提取输入图像的噪声特征向量， 具体包括： 所述图像噪声流模块在输入图像上利用空间富模型高通滤波器提取JPEG指纹， 然后进行卷积核 大小为1×1的卷积操作， 然后再进行一次大小为2 ×2， 步长为2的最大池化 操作， 最终得到具有3 0幅特征图的JPEG指纹特 征向量。 3.根据权利要求1所述的一种基于JPEG指纹的深度特征融合图像篡改检测方法， 其特 征在于， 所述图像梯度流模块使用离散小波变换提取输入图像的梯度特征向量， 具体包括： 所述图像梯度流模块在输入图像的每个颜色通道上执行三阶Haar离散小波变换， 每阶小波 分解分别得到12幅的梯度特 征向量。 4.根据权利要求1所述的一种基于JPEG指纹的深度特征融合图像篡改检测方法， 其特 征在于， 所述密集连接模块有三个， 在第一个密集连接模块中会将图噪声流的30幅特征图 和图像梯度流的每阶12幅特征图融合为42幅JP EG指纹特征， 然后进 行3次卷积核大小为3 × 3卷积操作， 卷积的连接方式为密集连接； 之后会重复2次这样的操作， 最后得到最 终的30幅 JPEG指纹特 征图。 5.根据权利要求1所述的一种基于JPEG指纹的深度特征融合图像篡改检测方法， 其特 征在于， 所述 步骤(3)对深度特 征融合卷积神经网络进行模型训练具体包括： 1)将训练数据集作为输入送入到深度特 征融合卷积神经网络中； 2)对于图像噪声流， 输入图像经过一个由空间富模型高通滤波器组成的卷积得到5幅 噪声特征图， 然后经过一层1 ×1的卷积和一层2 ×2的最大池化层， 最终得到具有30 幅特征 图的噪声特 征向量Fn； 3)对于图像梯度流， 输入图像的每个颜色通道经过三阶Haar离散小波变换得到3个具 有12幅特 征图的梯度特 征向量Fg1,Fg2,Fg3； 4)将噪声特征向量Fn和梯度特征向量Fg1沿通道方向拼接为具有42幅特征图的特征向 量Fn+g1， 然后将Fn+g1输入到一个密集连接模块得到具有30幅特征图的特征向量Fj2； 然后把 Fj2经过2×2的最大池化操作后与Fg2沿通道方向进行拼接得到42幅具有全局特征的特征向 量Fj2+g2， 然后将Fj2+g2输入到一个密集连接模块得到具有30幅特征图的特征向量Fj3； 然后把 Fj3经过2×2的最大池化操作后与Fg3沿通道方向进行拼接得到42幅具有全局特征的特征向 量Fj3+g3， 最后将Fj3+g3输入到一个密集连接模块得到具有30幅特征图的JPEG指纹特征向量 Fj4权　利　要　求　书 1/2 页 2 CN 114677332 A 26)把Fj4通过SegNet网络的解码器解码， 得到最终的预测结果。 6.根据权利要求5所述一种基于JPEG指纹的深度特征融合图像篡改检测方法， 其特征 在于： 所述 步骤2)的噪声流和步骤3)的梯度流的特 征提取是同步进行训练的。 7.根据权利要求5所述的一种基于JPEG指纹的深度特征融合图像篡改检测方法， 其特 征在于： 整个深度特征融合卷积神经网络通过最小化交叉熵损失函数来对 预测的结果进 行 优化， 交叉熵损失函数如下 所示： 其中pi和mi分别是网络第i个输入图像的预测结果和实际的标签， N代 表总样本数。权　利　要　求　书 2/2 页 3 CN 114677332 A 3