(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210117000.4 (22)申请日 2022.02.08 (71)申请人 南京邮电大 学 地址 210000 江苏省南京市栖霞区文苑路9 号 (72)发明人 高浩　黄卫　冯书谊　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/30(2006.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于深度学习的红外图像漏气漏液检 测方法及系统 (57)摘要 本发明提供一种基于深度学习的红外图像 漏气漏液检测方法， 该方法包括以下步骤： 采集 漏气漏液场景下的红外热图像数据； 对漏气漏液 场景下的红外热图像数据进行预处理， 在红外热 图像数上标注漏气漏液信息， 得到训练数据集， 并使用该训练数据集训练目标检测网络， 获得训 练完成的目标检测网络权重； 获取并预处理待检 测场景下的红外热成像数据， 加载训练完成的目 标检测网络权重， 对目标检测网络输入待检测场 景下的红外热成像数据进行实时检测， 获取检测 结果； 将检测结果可视化输出。 本发明基于深度 学习的目标检测算法， 使用现场数据进行训练神 经网络， 使用神经网络相对于传统方法更加快 速、 准确和稳定的特性， 提高检测的自动化程度 和精确度。 权利要求书3页 说明书11页 附图4页 CN 114627052 A 2022.06.14 CN 114627052 A 1.一种基于深度学习的红外图像漏气漏液检测方法， 其特 征在于， 包括以下步骤： 采集漏气漏液场景 下的红外热图像数据； 对漏气漏 液场景下的红外热图像数据进行预处理， 在红外热图像数上标注漏气漏 液信 息， 得到训练数据集， 并使用该训练数据集训练目标检测网络， 获得训练完成的目标检测网 络权重； 获取并预处理待检测场景下的红外热成像数据， 加载训练完成的目标检测网络权重， 对目标检测网络 输入待检测场景 下的红外热成像数据进行实时检测， 获取检测结果； 将检测结果可视化输出。 2.根据权利要求1所述的红外图像漏气漏液检测方法， 其特征在于， 红外热图像数据的 获取方法包括： 对红外热成像仪进行标定以获取红外热成像仪的参数信息， 并使用红外热 像仪采集待检测场景下的视频数据并解析所述视频数据得到待检测场景下的红外热图像 数据； 其中红外热像仪为IR ‑HiNet‑640设备， 获取得到的单张热成像图像分辨率大小为640* 512， 可测温度范围为 ‑22℃至+550℃； 对红外热图像数据进行 预处理的方法包括以下步骤： 对所述红外热图像数据进行增强， 以降低红外热成像中的噪声干扰； 对红外图像数据进行图像增强的方法包括形态学 滤波操作； 所述形态学 滤波操作包括图像膨胀腐蚀和图像锐化。 3.根据权利要求1所述的红外图像漏气漏液检测方法， 其特征在于， 使用训练数据集训 练目标检测网络的方法包括以下步骤： 使用Kmeans算法对训练数据集进行聚类分析得到锚候选框大小， 并分配到目标检测网 络的大、 中、 小三个特 征尺度上； 使用经过MS  COCO数据集进行训练后的网络权重作为目标检测网络的初始权重， 使用 所述训练数据集对目标检测网络进行训练， 得到最终训练的网络参数权 重信息。 4.根据权利 要求3所述的红外图像漏气漏液检测方法， 其特征在于， 使用Kmeans算法对 样本进行聚类分析 得到锚候选 框并分配到三个特 征尺度上， 具体方法步骤为： 步骤A:初始化k个anchor  box， 通过在所有的标注得到的bounding  box中随机选取k个 值作为k个anchor  box的初始值， 其中k为 设定值， anchor  box是锚候选框， bou nding box为 数据集中标注得到的检测框； 步骤B:分别计算各boundi ng box与个anc hor box的交并比IOU； 交并比计算方式为anc hor box和boundi ng box的交集和并集的比值: 式中， ∩为取交集， ∪为取并集,IOU为交并比； 计算距离参数d， 表示 其误差： d＝1‑IOU 步骤C:经过前一步的计算可以的到各bounding  box对于各 anchor box的误差d(n,k)， d(n,k)表示第n个boundi ng box和第k个anc hor box的误差距离；权　利　要　求　书 1/3 页 2 CN 114627052 A 2通过比较第i个bounding  box其对于各anchor  box的误差距离集{d(i,1)， d(i,2)， …, d(i,k)},选取最小 误差的anchor  box， 将该bou nding box分类入该最小 误差的anchor  box 的分类集； 对于每个boundi ng box均进行分类， 获得 各anchor box的分类集； 步骤D:对于各 anchor box的分类集中的bounding  box， 求分类集中的bounding  box的 宽高中值大小， 将其作为该anc hor box新的尺寸； 重复步骤B ‑D， 比较新计算得到的bouding  box所属的anchor  box和原先该bouding   box所属的anc hor box， 如果 一致则停止， 若不 一致则跳转重复步骤B ‑D， 继续计算。 5.根据权利要求1所述的红外图像漏气漏液检测方法， 其特征在于， 所述目标检测网络 为改进的YOLO  v4网络， 包括以下部分： 主干网络： 用来 提取红外图像数据的特 征图； 特征提取网络： 用来进一 步提取红外图像数据的特 征图； 特征融合网络： 用来将特 征图进行融合； 检测框选取网络： 用于 选取检测框； 目标检测网络的构造方法包括以下步骤： 借鉴CSPNet后融合的思想， 使用新的特征提取网络代替原有的连续的DBL卷积模块； 分 别提取两路径的特征图并进 行融合， 一路使用1*1的卷积保留低层的语义信息， 另一路通过 多层的卷积池化激活层获取高维语义特 征， 最终通过shor tcut拼接在一 起； 提出了新的特征融合模块将三个尺度的特征图进行融合， 以提高目标检测网络的精度 和速度； 将所述目标检测网络的输入尺寸大小设置为红外热图像数据的原 始尺寸大小。 6.根据权利要求5所述的红外图像漏气漏液检测方法， 其特征在于， 所述主干网络为 CSPdarknet； 所述特 征提取网络为CS PDarknet53； 所述CSPDarknet包括CSPX模块； 所述CSPX模块使用1 ×1卷积将输入特征分解为主干和 旁支， 其中主干为dar knet的残差结构， 包含5个残差块， 旁支则是由1 ×1卷积构成的特征变 换分支， 通过级联的方式实现特征融合； CSPDarknet使用Mish激活函数作为网络的非线性 单元。 7.根据权利要求5所述的红外图像漏气漏液检测方法， 其特征在于， 所述特征融合模块 使用FPN和ASF F特征融合算法将三个尺度的特 征图进行融合， 具体包括以下步骤： 使用大、 中、 小三个尺度检测不同大小的目标， 对三个尺度的特 征信息进行了融合； 对于通道数不 一致的情况应用1*1的卷积层将特 征通道数压缩到相同层中； 上采样时， 采用转置卷积的方式进行 上采样； 下采样时， 对于1/2比例的 降采样， 使用3*3的卷积层， 步幅为2， 同时修改通道数量和分 辨率； 对于1/4的比例， 在2步卷积之后添加一个步幅为2的最大池化层。 8.根据权利要求5所述的红外图像漏气漏液检测方法， 其特征在于， 所述目标检测网络 还包含用于评价模型 的预测值和真实值不一样的程度的损失函数， 所述损失函数包含： 边 界框回归损失函数、 分类损失函数、 置信度损失函数； 其中， 分类损失函数和置信度损失函数采用交叉熵； 回归损失函数采用CIOU损失函数；权　利　要　求　书 2/3 页 3 CN 114627052 A 3