(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210125024.4 (22)申请日 2022.02.10 (65)同一申请的已公布的文献号 申请公布号 CN 114155246 A (43)申请公布日 2022.03.08 (73)专利权人 国网江西省电力有限公司电力科 学研究院 地址 330096 江西省南昌市高新区民营 科 技园民强路8 8号 专利权人 国家电网有限公司 　 江西师范大学 (72)发明人 王文彬　辛建波　胡蕾　范瑞祥　 卢源文　 (74)专利代理 机构 南昌丰择知识产权代理事务 所(普通合伙) 36137 专利代理师 吴称生(51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 113160170 A,2021.07.23 CN 110569762 A,2019.12.13 CN 111126385 A,2020.0 5.08 CN 111862115 A,2020.10.3 0 US 20210 56351 A1,2021.02.25 黄荣锐 等. “基于改进Faster R- CNN的铝型 材表面缺陷检测 ”. 《北京信息科技大 学学报》 .2021,第3 6卷(第5期),第57- 62页. 审查员 丁园园 (54)发明名称 一种基于可变形卷积的输电塔销钉缺陷检 测方法 (57)摘要 本发明涉及电气设备状态 监测领域， 特别涉 及一种基于可变形卷积的输电塔销钉缺陷检测 方法， 其包含基于ResNet 50与特征金字塔的目标 初始检测网络、 整流模块和基于可变形卷积的目 标二次检测网络； 引入ResNet 50特征提取方式能 获得目标更多的特征， 同时引入 特征金字塔能更 好地适应目标大小变化， 且采用激活函数 Sigmoid， 在测试图像时， 降低 阈值， 使得更多 的 目标感兴趣区域作为目标初始 检测区域， 降低目 标的漏检情况； 采用整流模块对目标初始检测区 域进行图像矫正， 并在四个卷积层的基础上引入 可变形卷积， 使得目标二次检测网络能适应销钉 缺陷在不同视角中的形变， 准确识别形变的目 标， 去除目标初始检测结果中的虚警。 权利要求书2页 说明书8页 附图2页 CN 114155246 B 2022.06.14 CN 114155246 B 1.一种基于可变形 卷积的输电塔销钉缺陷检测方法， 其特 征在于， 包括如下步骤： 步骤S1、 建立基于ResNet50与特征金字塔的目标初始检测网络， 使用样本数据集对目 标初始检测网络进行训练， 得到目标初始检测网络的参数以及激活函数Sigmoid的基准阈 值λ， 且设定所述目标初始检测网络对测试图像进 行销钉缺陷检测时的激活函数Sigmoid 的 实际阈值 为 λ＇ ， 且 λ＇ ≤ λ； 步骤S2、 所述目标初始检测网络得到的目标初始检测区域， 即包含销钉缺陷的局部区 域， 输入整流模块内进行矫 正， 再输出矫 正后的图像； 步骤S3、 建立基于可变形卷积的目标二次检测网络， 所述目标二次检测网络包括特征 提取模块和全连接层， 所述特征提取模块包括四个卷积层、 一个可变形卷积层和特征融合 单元， 矫正后的图像输入至所述特征提取模块内， 将一个所述可变形卷积层和四个所述卷 积层得到的特征图分别进行两倍上采样得到特征， 然后把特征通过Add操作横向连接至前 一层特征， 通过所述特征融合单元得到融合后的特征图， 将 融合后的特征图输入至所述全 连接层， 得到一个二分类结果输出， 通过二分类结果判断是否属于销钉缺陷； 在步骤S2内， 所述整流模块包括： 定位网络， 用于回归仿射变换的六个参数， 输入图像进行仿射变换 得到输出图像； 网格生成器， 用于针对输出图像的每个坐标点， 根据仿射变换的六个参数通过矩阵运 算得到输入图像的坐标点； 采样器， 用于针对网格生成器得到的输入图像的坐标点， 以其相邻像素值为采样信息 采用双线性插值法得到坐标点的像素值； 在步骤S3内， 四个卷积层依次为卷积层conv1、 卷积层conv2、 卷积层conv3和卷积层 conv4， 卷积层conv1包括三个卷积块， 卷积层conv2包括四个卷积块， 卷积层conv3包括六个 卷积块， 卷积层co nv4包括三个卷积块。 2.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法， 其特征在 于， 在步骤S 3内， 可变形卷积层由卷积块加上像素偏移 量得到， 所述像素偏移 量的学习是利 用插值方法通过反向传播进行 学习。 3.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法， 其特征在 于， 步骤S1包括如下步骤： 步骤S11、 基于ResNet50 的特征提取： 设定有五个阶段， 第一阶段通过卷积和池化方式 对输入的图像进行预处理， 从而输出特征图C1， 第二阶段至第 五阶段对输入的特征图进行 特征提取， 其中， 第二阶段的输入为第一阶段的输出， 第三阶段的输入为第二阶段的输出， 第四阶段的输入为第三阶段的输出， 第 五阶段的输入为第四阶段 的输出， 第二阶段至第 五 阶段输出的特 征图分别为特 征图C2、 特 征图C3、 特征图C4和特 征图C5； 步骤S12、 特征金字塔 的构建： 将特征图C2、 特征 图C3、 特征 图C4、 特征图C5构成特征金 字塔， 从特征图C5开始， 特征图C5经过1 ×1卷积得到特征图P5， 将特征图P5通过最近邻距离 方法进行两倍上采样得到特征图P5＇ ， 特征图C4通过1 ×1卷积调整通道数得到特征图C4＇ ， 分辨率相同的特征图P5＇ 和特征图C4＇ 逐元素相加进行特征融合处理， 得到相加的特征图， 并进行3×3的卷积处理， 得到特征图P4； 将特征图P4通过最近邻距离方法进行两倍上采样 得到特征图P4＇ ， 特征图C3通过1 ×1卷积调整通道数得到特征图C3＇ ， 分辨率相同的特征图 P4＇ 和特征图C3＇ 逐元素相加进行特征融合处理， 得到相加的特征图， 并进行3 ×3的卷积处权　利　要　求　书 1/2 页 2 CN 114155246 B 2理， 得到特征图P3； 将特征图P3通过最近邻距离方法进行两倍上采样得到特征图P3＇ ， 特征 图C2通过1 ×1卷积调整通道数得到特征图C2＇ ， 分辨率相同的特征图P3＇ 和特征图C2＇ 逐元 素相加进行 特征融合处 理， 得到相加的特 征图， 并进行3 ×3的卷积处 理， 得到特 征图P2； 步骤S13、 目标建议框分析： 对特征图P5、 特征图P4、 特征图P3、 特征图P2和最大池化层， 分别设定以16 ×16、 32×32、 64×64、 128×128、 256×256为锚框大小， 以图像中的每个点为 中心设定相应的锚框， 将每 个锚框视为目标感兴趣区域； 步骤S14、 目标感兴趣区域池化： 对每一个目标感兴趣区域， 在特征图P5、 特征图P4、 特 征图P3、 特 征图P2中选择 特征图， 进行池化操作； 步骤S15、 目标区域调整及类别判断： 将池化操作的结果输入全连接层， 全连接层的输 出经1×1卷积输入到目标预测 框和激活函数Sigmoid中， 目标预测框调整目标感兴趣 区域 大小后反馈到目标感兴趣区域的池化处理， 通过不断迭代得到准确的目标区域， 激活函数 Sigmoid对输入的特征值进行判断， 如果激活函数Sigmoid的输出大于基准阈值λ， 则认 为检 测到目标。 4.根据权利要求1所述的一种基于可变形卷积的输电塔销钉缺陷检测方法， 其特征在 于， 所述定位网络由两个卷积操作和一个全连接层构成， 将输入的图像先后进行两个卷积 操作， 然后将卷积操作的输出进而输入至全连接层， 回归出六个参数值， 形成一个2 ×3的矩 阵， 该矩阵的值对应着仿射变换的参数。权　利　要　求　书 2/2 页 3 CN 114155246 B 3