(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210285543.7 (22)申请日 2022.03.22 (71)申请人 南京工业大 学 地址 211816 江苏省南京市浦口区浦珠南 路30号 (72)发明人 彭宏京　许名扬　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 田凌涛 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于PA-MLFPN工件表面多尺度微小缺陷检 测方法 (57)摘要 本申请公开了基于PA ‑MLFPN工件表面多尺 度微小缺陷检测方法， 步骤为： 构建PA ‑MLFPN特 征提取模型。 以VGG16主干特征提取网络模型在 先， PA‑MLFPN在中， 预测层在后， 构成检测模型。 以多尺度微小缺陷目标工件表 面图像为输入， 以 缺陷定位框和分类为输出， 针对检测模型训练， 获得检测模型。 PA ‑MLFPN首先在TUM编码器部分 使用不同dilated  rate的空洞卷积代替传统卷 积， 用平均池化操作进行下采样； 并在原TUM的基 础上增加一条自下而上的特征增强路径将浅层 特征插值到深层中； 在SFAM第二阶段引入ECA模 块进行通道上的权值分配； 本发 明可对尺度多变 且尺度较小的工件表面 缺陷目标进行检测。 权利要求书3页 说明书7页 附图4页 CN 114638809 A 2022.06.17 CN 114638809 A 1.基于PA ‑MLFPN工件表面多尺度微小缺陷检测方法， 其特征在于， 执行以下步骤A至步 骤D， 获得工件表面缺陷检测模型， 然后基于VGG16主干特征提取网络所获检测目标工件的 微小缺陷样本图像,应用工件表面缺陷检测模型， 获得目标工件图像中多尺度微小缺陷分 别所对应的预设缺陷分类； 步骤A:基于MLFPN模型， 以微小缺陷样本图像为输入， 以多层特征金字塔为输出,构建 PA‑MLFPN特征提取模型 步骤B： 基于Prediction  layer预测层， 以微小缺陷图像的多层特征金字塔图像为输 入， 以图像中多尺度微小缺陷分别所对应的预设缺陷分类为输出， 构建 分类模型； 步骤C： 以PA ‑MLFPN特征提取模型在先， 分类模型在后顺序连接， 且分类模型输入端连 接PA‑MLFPN特征提取模 型输出端， 构成以单个缺陷位置的工件表 面多尺度微小缺陷的图像 为输入， 以图像中多尺度微小缺陷分别所对应的预设缺陷分类为输出的检测模型； 步骤D： 基于预设数量的各个包含单个缺陷位置的工件表面多尺度微小缺陷样本图像、 以及各个工件表面多尺度微小缺陷样本图像分别所对应的预设缺陷分类， 以微小缺陷样本 图像为输入， 以图像中多尺度微小缺陷分别所对应的预设缺陷分类为输出， 针对检测模型 进行训练， 获得工件表面 缺陷检测模型。 2.根据权利要求1所述的基于PA ‑MLFPN工件表面多尺度微小缺陷检测方法， 其特征在 于， 工件表面多尺度微小缺陷包 含的预设缺陷包括划痕缺陷、 凸粉缺陷、 擦伤缺陷。 3.根据权利要求1所述的基于PA ‑MLFPN工件表面多尺度微小缺陷检测方法， 其特征在 于， 还包括获得各个包含单个缺陷位置的工件表面多尺度微小缺陷图像， 对该工件表面多 尺度微小缺陷图像数据集按照预设比例进 行数据划分， 划分为训练集、 测试集和验证集， 具 体为： 在工件生产流水线 上， 使用一台采样设备在固定位置对每一个工件进行拍照采样； 对 采集到的工件表 面图像通过labelimg进行表面缺陷标注， 并且将通过Labelimg进行表 面标 注过的图像制作为VOC格式的数据集； 通过imgaug数据增强对数据集中图像进行数据增强； 将增强后的数据集以( 训练集+验证集):测试集的比例为9:1， 训练集:验证集的比例为9:1 进行随机划分。 4.根据权利要求1所述的基于PA ‑MLFPN工件表面多尺度微小缺陷检测方法， 其特征在 于， 所述步骤A中， 所述PA ‑MLFPN模型包括FFMv1特征融合模块、 基本特征层、 多级FFMv2特征 融合模块、 多级改进的TUM细化U型模块、 以及改进的SFAM基于尺度的特征聚合模块， 所述 FFMv1特征融合模块作为所述PA ‑MLFPN模型的输入端， 所述FFMv1  特征融合模块的输出端 与基本特征层的输入端相连， 所述基本特征层的输出端与各个FFMv2特征融合模块的输入 端、 以及第一级改进的TUM细化U型模块的输入端分别相连， 所述多级FFMv2特征融合模块与 多级改进的TUM细化U型模块交替堆叠连接， 最后一级的改进的TUM细化U 型模块的输出端与 改进的SFAM基于尺度的特征聚合模块的输入端相连， 所述改进的SFAM基于尺度的特征聚合 模块的输出端作为PA ‑MLFPN模型的输出端； 所述对PA ‑MLFPN模型进行训练的步骤包括以下 步骤101至步骤104： 步骤101:基于FFMv1特征融合模块， 以conv4_3和conv5_3为输入， 以多工件表面多尺度 微小缺陷基本特 征层为输出， 随后进入步骤102； 步骤102:以工件表面多尺度微小缺陷基本特征层为输入， 输入至第一级TUM模型进行 进一步特征提取， 以不同层级输出 的六个尺度的微小缺陷基本特征图为输出， 随后进入步权　利　要　求　书 1/3 页 2 CN 114638809 A 2骤103； 步骤103:以基本特征层和第一级TUM模型获得的六个尺度基本特征图中最大特征图为 输入， 输入至第一级FFMv2特征融合模块， 得到第一级融合的特征图； 然后以第一级融合的 特征图和 基本特征层图为输入， 输入至第二级FFMv2模型， 得到第二级融合特征图， 以交替 堆叠多级改进的TUM细化U 型模型和FFMv2特征融合模块的方式以前一级融合特征图和基本 特征层图为输入， 以后一级融合特征图为输出， 获得浅层特征金字塔特征图， 中层特征金字 塔特征图和深层特 征金字塔特 征图， 随后进入步骤104； 步骤104:基于SFAM模块进行特征聚合， 以浅层特征金字塔特征图、 中层特征金字塔特 征图、 深层特征金字塔特征图中尺寸相同的金字塔特征层图为输入， 以多层特征金字塔图 为输出， 之后对获得的多层特 征金字塔使用E CA模块进行通道上权值的分配。 5.根据权利要求3所述的基于PA ‑MLFPN工件表面多尺度微小缺陷检测方法， 其特征在 于， 所述TUM细化U型模型在编码器部分采用dilated  rate分别设置为(2， 2， 3， 3， 1)的步长 为1的3×3空洞卷积来进行特征学习， 并且采用步长为2的平均池化操作来进行下采样， 并 在原U型结构的基础上增加一条从浅层到深层的信息传输路径将浅层特征金字塔特征的细 节位置信息插值到深层， 即Ti经过卷积核尺寸为3 ×3， 步长为2的卷积， 特征图尺寸缩减为 原来的一半即Conv(Ti)， 然后和Ci+1进行逐元素相加， 得到的结果再经过一个卷积核尺寸为 3×3， 步长为1的卷积得到Ti+1， 计算公式为。 。 6.根据权利要求3所述的基于PA ‑MLFPN工件表面多尺度微小缺陷检测方法， 其特征在 于， 基于SFAM对获得的多层特征金字塔图使用ECA模块进 行通道上权值的分配， 的具体步骤 为： 步骤Ⅴ‑1： 对于SFAM模块初步聚合的多层特征金字塔图的特征层进行全局平均池化， 获得C个通道的权 重， 随后进入步骤 Ⅴ‑2； 步骤Ⅴ‑2： 通过内核大小为k的一维卷积来实现局部跨通道 交互信息来获取C个通道的 权重系数， 其中 内核大小k 通过通道数C的函数自适应确定， 计算公式为： 其中， |t|odd表示取最近 的奇数， 且b与γ分别取1和2， 最后将C个通道的权重系数通过 Sigmoid函数得到C个0到1之间的值， 分别对应原始通道的权重C， 并将其与多层特征金字塔 图相乘来进行加权然后输出， 得到多 级特征金字塔特 征图。 7.根据权利要求1所述的基于PA ‑MLFPN工件表面多尺度微小缺陷检测方法， 其特征在 于， 步骤A中， 还 包括对获得的PA ‑MLFPN模型,进行微调训练， 具体为： 训练时采用Focal  loss计算分类损失， 采用Smooth  L1计算回归损失， 最终采用的损失 函数是Focal loss与Smooth L1的结合： L＝Lfl+LSL1 所述分类损失Focal  loss计算公式为: 权　利　要　求　书 2/3 页 3 CN 114638809 A 3