(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221025493 3.8 (22)申请日 2022.03.14 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 彭真明　韩雅琪　鲁天舒　廖靖雯　 且若辰　易海杨　张一薇　练睿旖　 (74)专利代理 机构 成都正煜知识产权代理事务 所(普通合伙) 51312 专利代理师 袁宇霞 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融入局部结构信息的集成感知红外成 像舰船检测方法 (57)摘要 本发明公开了一种融入局部结构信息的集 成感知红外成像舰船检测方法， 其主要步骤为： 步骤一、 红外遥感舰船数据准备并进行预处理和 数据集划分； 步骤二、 将训练集图像输入集成感 知网络进行迭代训练， 该网络的工作流程为： 使 用双向特征融合网络提取骨干特征， 使用上下文 注意力网络提取空间注意力， 使用Mask ‑RPN生成 候选框， 使用融入局部结构信息的检测头进行最 终检测； 步骤三、 将测试集图像输入训练完毕的 集成感知网络得到预测框位置及其概率， 经过 非 极大值抑制操作去除冗余框后得到最终检测结 果， 本发明将局部结构信息作为先验知识监督网 络进行多源信息感知， 有效降低了虚警率， 明显 减少小目标漏检， 增强了复杂海洋环 境下的检测 鲁棒性。 权利要求书4页 说明书9页 附图4页 CN 114612769 A 2022.06.10 CN 114612769 A 1.一种融入局部结构信息的集成感知红外成像舰船检测方法， 其特征在于， 包括如下 步骤： 步骤1： 准备红外 遥感舰船 数据并进行 预处理和数据集划分， 得到训练集和 测试集； 步骤2： 将训练集输入集成感知网络进行迭代训练， 该集成感知网络的工作流程为： 将 原始图像输入双向特征融合网络提取骨干特征， 将骨干特征输入上下文注意力网络得到空 间注意力掩膜以进 行骨干特征的增强， 将注意力掩膜和增强后的骨干特征输入Mask ‑RPN提 取候选框， 将候选框输入融入局部结构信息的检测头进行目标框位置回归和目标框概率预 测； 步骤3： 将测试集的图像输入训练完毕的集成感知网络得到预测框位置及其概率， 经过 非极大值抑制操作去除冗余框后得到最终检测结果。 2.根据权利要求1所述的一种融入局部结构信息的集成感知红外成像舰船检测方法， 其特征在于， 所述 步骤1的具体步骤如下： 步骤1.1： 将准备的红外遥感数据进行辐射定标、 大气校正的预处理工作， 得到预处理 的红外遥感数据的数据集； 步骤1.2： 将步骤1.1得到的数据 集按照7∶3的比例随机划分为训练集和测试集， 将训练 集中的舰船目标使用4参数元组(xc， yc， w， h)进行轴向框标注， 其中xc为轴向框中心点x轴 坐标、 yc为轴向框中心点y轴坐标， w 为轴向框的宽， h为轴向框的高。 3.根据权利要求1所述的一种融入局部结构信息的集成感知红外成像舰船检测方法， 其特征在于， 所述 步骤2具体如下： 步骤2.1： 对集成感知网络的第一个子网络双 向特征融合网络中的骨干网部分使用在 ImageNet上预训练的骨干网进 行参数初始化， 集 成感知网络其余参数使用截断正态分布进 行随机初始化； 步骤2.2： 冻结骨干网的最底层参数， 使其在训练中保持初始值； 步骤2.3： 随机挑选步骤1.2得到的训练集中的图像进行在线数据增广， 手段包括： 水平 翻转、 垂直翻转、 随机角度旋转、 添加随机参数高斯噪声、 随机参数g amma校正； 步骤2.4： 将步骤2.3得到的增广后图像输入集成感知网络， 该网络的第一个子网络为 双向特征融合网络， 用于提取骨干特征， 由骨干网、 双向特征融合模块和感受野扩张模块组 成， 具体构架为： 双向特征融合网络首先使用骨干网的前4层提取图像的多尺度特征， 得到 分辨率分别为原图的1/22， 1/42， 1/82， 1/162的4个特征图Ci(i∈[1， 4])， 然后用双向特征融 合模块将C2， C3， C4融合， 得到与C3尺寸相同的融合特 征图F， 具体融合公式如下： F＝Conv1×1[UpSample(C4)]+CA(C3)+CA{Conv1×1[DownSample(C2)]}   (1) 其中， CA为通道注意力模块， UpSample为2倍双线性差值上采样， DownSample为2倍双线 性差值降采样， Co nv1×1为512维1×1卷积核； 随后融合特 征图F进一 步输入基于空洞卷积的感受野 扩张模块， 该模块的表达式如下：权　利　要　求　书 1/4 页 2 CN 114612769 A 2其中， Atous_Conv1为3 ×3×512×256的空洞率为2的空洞卷积核， Atous_Conv2为3 ×3 ×128×128的空洞率为4的空洞卷积核， Atous_Conv3为3 ×3×128×128的空洞率为8的空 洞卷积核， Conv1×1为128维1 ×1卷积核， 表示通道堆叠操作， P为最终输出的感受野扩张后 的特征图； 步骤2.5： 将步骤2.4得到的特征图P输入集成感知网络的第二个子网络——上下文注 意力网络， 该上下文注意力网络以监督学习的方式计算出两个空间注意力掩模M1与M2， 训练 掩模M1和M2的真实值MASK1和MASK2都为前景为1、 背景为0的二值化图像， 二者的区别为 MASK1直接将训练集标注框内的区域填充为1、 其余区域填充为0， 而MASK2将训练集标注框 放大一倍后的区域填充为 1、 其余区域填充为0， 上下文注意力网络的具体结构为： 将特征图 P输入4层256维3 ×3的卷积层， 后接2个独立的2维3 ×3卷积层， 再使用softmax操作得到网 络学习出的M1与M2， M1与M2中的值的取值范围在[0， 1]区间， M1与M2加权相加得到最终学习到 的上下文注意力掩模M， 上下文注意力掩模M与特征图P 中的元素对应位置相乘得到目标增 强、 目标周边局部信息增强、 背景抑制后的特 征图P′； 步骤2.6： 将步骤2.5得到的特征图P ′和上下文注意力掩模M输入集成感知网络的第三 个子网络——Mask ‑RPN网络， 该Mask ‑RPN网络提取的目标候选框由两部分组成： 基础候选 框和附加候选框， 其中基础候选框来源于RPN网络， RPN网络首先将特征图P ′输入512维3 ×3 卷积层， 然后在每个特征点上生成K个锚框， 使用含有4K个卷积核的分支预测候选框位置， 使用含有 K个卷积核的分支预测候选框类别概率， 附加候选框为对掩模M进行阈值分割后提 取出的所有连通区域的最小外 接矩形； 步骤2.7： 将步骤2.5得到的特征 图P′和步骤2.6得到的目标候选框输入集成感知网络 的第四个子网络——融入局部结构信息的检测头， 该检测头首先在特征图P ′上根据目标候 选框位置进 行ROI Align， 然后输入骨干网的第5层和全局平均池化层得到深度特征， 同时， 将目标候选框位置映射至原始图像得到候选图像块， 计算每个候选图像块的局部结构信 息， 包括几何特征、 纹理特征和对比度特征， 计算几何特征时首先将原始图像进 行OSTU阈值 分割， 然后计算连通域个数、 最大连通区域的矩形度R、 长宽比A、 紧凑度C得到3维几何特征， 公式如下： R＝Area/Rectangle_A rea      (3) C＝L×L/Area      (5) 其中， Area为最大连通区域面积， Rectangle_Area为最大连通区域最小外接矩形的面权　利　要　求　书 2/4 页 3 CN 114612769 A 3