(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210196175.9 (22)申请日 2022.03.02 (65)同一申请的已公布的文献号 申请公布号 CN 114266771 A (43)申请公布日 2022.04.01 (73)专利权人 深圳市智源空间创新科技有限公 司 地址 518000 广东省深圳市南 山区西丽 万 科云城国际创新谷 6栋A座3002室 专利权人 深圳市环水 管网科技 服务有限公 司 (72)发明人 李清泉　郭文浩　王全　刘志　 朱家松　朱松　元鹏鹏　李秋棪　 (74)专利代理 机构 深圳智汇远见知识产权代理 有限公司 4 4481 专利代理师 聂磊　郑江燕 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/20(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 112800955 A,2021.0 5.14 US 2006239580 A1,20 06.10.26 CN 111401419 A,2020.07.10 WO 2020088433 A1,2020.0 5.07 仝朝.列车轴承内圈外表面的C CD曲面图像 重构及缺陷特 征提取研究. 《中国优秀博硕士学 位论文全文数据库(硕士) 工程科技 Ⅱ辑》 .2021,第C 033-478页. 仝朝.列车轴承内圈外表面的C CD曲面图像 重构及缺陷特 征提取研究. 《中国优秀博硕士学 位论文全文数据库(硕士) 工程科技 Ⅱ辑》 .2021,第C 033-478页. 审查员 张倩倩 (54)发明名称 基于改进扩展特征金字塔模型的管道缺陷 检测方法及装置 (57)摘要 本发明公开了一种基于改进扩展特征金字 塔模型的管道 缺陷检测方法及装置， 属于计算机 领域。 其中， 该方法包括： 采集管道内部曲面的原 始图像； 对所述原始图像进行畸变转换， 得到二 维平面图像； 在多个尺度对所述二维平面图像进 行特征采样， 构建所述二维平 面图像的特征金字 塔采样模型， 其中， 所述特征金字塔采样模型包 括多个按照尺度排列的管道特征图； 基于所述特 征金字塔采样模型生成所述管道内部的缺陷特 征图； 根据所述缺陷特征图识别所述二维平面图 像在边缘区域的缺陷类别。 通过本发明， 解决了 相关技术中管道缺陷检测的准确率低的技术问 题， 尤其是边缘变形区域， 提高了缺陷检测和分类的准确性。 权利要求书3页 说明书13页 附图5页 CN 114266771 B 2022.06.03 CN 114266771 B 1.一种基于改进扩展特 征金字塔模型的管道缺陷检测方法， 其特 征在于， 包括： 采集管道内部曲面的原 始图像； 对所述原 始图像进行畸变转换， 得到二维平面图像； 在多个尺度对所述二维平面图像进行特征采样， 构建所述二维平面图像的特征金字塔 采样模型， 其中， 所述特 征金字塔采样模型包括多个按照尺度排列的管道特 征图； 基于所述特 征金字塔采样模型生成所述管道内部的缺陷特 征图； 根据所述 缺陷特征图识别所述管道内部曲面上的缺陷类别； 其中， 所述特征金字塔采样模型为EFPN， 基于所述特征金字塔采样模型生成所述管道 内部的缺陷特征图包括： 从所述EFPN的第一阶层获取主输入特征， 从所述EFPN的第二阶层 获取参考输入 特征， 其中， 所述EFPN由所述第一阶层和所述第二阶层组成； 将所述主输入 特 征和所述参考输入特征嵌入超分辨率模块生成纹理特征图； 基于所述纹理特征图拓展生成 所述管道内部的缺陷特征图； 基于所述纹理特征图拓展生成所述管道内部的缺陷特征图包 括： 基于第一缩小尺度对所述二维平面图像进行下采样， 得到第一中间特征图C2′； 采用以 下公式拓展生成所述管道内部的缺陷特征图P2′： P2′=P2s↑2+ C2′； 其中， P2s为纹理特征图， ↑ 2表示通过最近邻插值进行两次上 标。 2.根据权利要求1所述的基于改进扩展特征金字塔模型的管道缺陷检测方法， 其特征 在于， 对所述原 始图像进行畸变转换， 得到二维平面图像， 包括： 确定二阶径向畸变系数k1， k2； 遍历所述原始图像中的实际像素点在物 理坐标系中的实际坐标点 （x,  y） ， 采用以下畸 变模型对所述实际坐标点 （x,  y） 进行畸变转换， 得到二 维平面图像中理想像素点的对应坐 标点 ： 其中， k1， k2为二阶径向畸变系数， r2=(x2+y2)。 3.根据权利要求1所述的基于改进扩展特征金字塔模型的管道缺陷检测方法， 其特征 在于， 在多个尺度对所述二维平面图像进行特征采样， 构建所述二维平面图像的特征金字 塔采样模型， 包括： 基于第一缩小尺度对所述 二维平面图像进行 下采样， 得到第一中间特 征图； 基于第二缩小尺度对所述第一中间特 征图进行 下采样， 得到第二中间特 征图； 基于第三缩小尺度对所述第二中间特 征图进行 下采样， 得到第三中间特 征图； 基于第四缩小尺度对所述第三中间特 征图进行 下采样， 得到第四中间特 征图； 将所述第四中间特 征图确定为第一管道特 征图； 将所述第一管道特征图上采样至与所述第三中间特征图相同的尺度后融合所述第三 中间特征图生成第二管道特 征图； 将所述第二管道特征图上采样至与所述第二中间特征图相同的尺度后融合所述第二 中间特征图生成第三管道特 征图；权　利　要　求　书 1/3 页 2 CN 114266771 B 2将所述第三管道特征图上采样至与所述第一中间特征图相同的尺度后融合所述第一 中间特征图生成第四管道特 征图； 采用所述第 一管道特征图， 所述第 二管道特征图， 所述第 三管道特征图， 所述第四管道 特征图构建所述 二维平面图像的扩展特 征金字塔采样模型网络 EFPN。 4.根据权利要求3所述的基于改进扩展特征金字塔模型的管道缺陷检测方法， 其特征 在于， 将所述主输入特 征和所述 参考输入特 征嵌入超分辨率模块生成纹理特征图包括： 将所述主输入特征作为第一输入信息输入纹理特征转换器FTT， 以及将所述参考输入 特征作为第二输入信息输入所述FTT， 其中， 所述主输入特征包括第一管道特征图P5， 第二 管道特征图P4， 第三管道特 征图P3， 所述参考输入特 征包括第四管道特 征图P2； 采用以下公式通过 所述FTT输出纹理特征图P2s： 其中， Et()表示纹理提取器组件， Ef()表示特征内容提取器组件， ↑2x表示通过子像素卷 积进行两倍 放大， ||表示特征级联。 5.根据权利要求1所述的基于改进扩展特征金字塔模型的管道缺陷检测方法， 其特征 在于， 根据所述 缺陷特征图识别所述管道内部曲面上的缺陷类别包括： 将所述缺陷特征图的边 缘区域划分为多个预测框； 通过转移通道尺寸上的像素增加每个预测框在宽度和高度尺寸上的像素点， 得到卷积 层特征F； 采用以下公式对所述卷积层特征进行随机混洗， 重新排列为形状为rH   × rW  × C的 缺陷灰度图： 其中， PS(F)x,y,c表示像素 随机混洗之后在坐标 （x,  y, c） 上的输出特征像素， r表示放 大系数， ， R表示卷积核的输入范围， W表示预测框的宽， H表示预测框的高， C表示预测的缺陷类别， c为像素的灰度值； 采用所述 缺陷灰度图确定所述管道内部曲面上的缺陷类别。 6.一种基于改进扩展特 征金字塔模型的管道缺陷检测装置， 其特 征在于， 包括： 采集模块， 用于采集管道内部曲面的原 始图像； 转换模块， 用于对所述原 始图像进行畸变转换， 得到二维平面图像； 构建模块， 用于在多个尺度对所述二维平面图像进行特征采样， 构建所述二维平面图 像的特征金字塔采样模型， 其中， 所述特征金字塔采样模型包括多个按照尺度排列的管道 特征图； 生成模块， 用于基于所述特 征金字塔采样模型生成所述管道内部的缺陷特 征图； 识别模块， 根据所述 缺陷特征图识别所述管道内部曲面上的缺陷类别； 其中， 所述特征金字塔采样模型为EFPN， 所述生成模块包括： 获取单元， 用于从所述 EFPN的第一阶层获取主输入特征， 从所述EFPN的第二阶层获取参考输入特征， 其中， 所述 EFPN由所述第一阶层和所述第二阶层组成； 生成单元， 用于将所述主输入特征和所述参考 输入特征嵌入超分辨率模块生成纹理特征图； 拓展单元， 用于基于所述纹理特征图拓展生权　利　要　求　书 2/3 页 3 CN 114266771 B 3