(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210256643.7 (22)申请日 2022.03.16 (71)申请人 南京航空航天大 学 地址 210007 江苏省南京市秦淮区御道街 29号 (72)发明人 汪俊　涂启帆　李大伟　易程　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 王磊 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于渐进式分割网络的细微缺陷分析 方法 (57)摘要 本发明公开一种基于渐进式分割网络的细 微缺陷分析方法， 包括步骤： 采集部件表面的原 始图像， 并将其裁剪为若干小块图像； 将小块图 像分别输入细微缺陷特征提取网络中提取图像 特征； 根据提取到的图像特征将小块图像分为缺 陷图和不包含缺陷的背景图； 对于缺陷图， 将其 提取到的图像特征输入缺陷分割网络中， 以获取 对应缺陷的分割掩膜图； 根据分割掩膜图对缺陷 进行定量分析， 获取缺陷的面积、 长度和宽度等 信息。 本发 明通过设定合适的重叠阈值对原始图 像进行重叠性分割， 在保证缺陷完整性的同时提 高缺陷检测的检测效率和检测精度， 并通过深度 神经网络 首先对裁剪后的图像进行分类， 然后仅 对包含缺陷的图像做检测分析， 进一步提高了缺 陷检测的效率。 权利要求书2页 说明书5页 附图3页 CN 114612444 A 2022.06.10 CN 114612444 A 1.一种基于渐进式分割网络的细微 缺陷分析 方法， 其特 征在于， 包括以下步骤： 步骤S1、 采集部件表面的原始图像， 并将原始图像裁剪为具有一定大小的若干小块图 像， 用于后续对细微 缺陷的检测分析任务； 步骤S2、 将小块图像分别输入训练好的细微 缺陷特征提取网络中提取图像特 征； 步骤S3、 根据提取到的图像特 征将小块图像分为 缺陷图和不包 含缺陷的背景图； 步骤S4、 对于缺陷图， 将其通过细微缺陷特征提取网络提取到的图像特征输入训练好 的缺陷分割网络中， 以获取对应缺陷的分割掩膜图； 步骤S5、 根据分割掩膜图对缺陷进行定量分析， 获取对应缺陷的各类指标信息， 所述指 标信息包括 缺陷的面积、 长度和宽度。 2.如权利要求1所述的一种基于渐进式分割网络的细微缺陷分析方法， 其特征在于， 步 骤S1中采用重叠性裁剪方式将原图像裁剪为小块图像， 若小块图像的宽高分别为w和 h， 则 相邻两个小块图像重 叠区域的宽为 w·op或高为h ·op， 其中op为重 叠阈值。 3.如权利要求2所述的一种基于渐进式分割网络的细微缺陷分析方法， 其特征在于， 所 述重叠阈值的计算公式为： 其中， Max( ·)函数表示取最大值操作， W、 H分别表示原始图像的长度和宽度， Wi、 hi分别 表示某个缺陷样 本的长度和宽度， δ是一个约束值， 根据所有缺陷样本中缺陷目标的距离分 布计算得 出： 其中， (xi,yi)表示某个缺陷样本相对于图像左上角的基准原点得到的缺陷 目标的中心 点坐标， N代 表缺陷数据集中缺陷样本的总数。 4.如权利要求1所述的一种基于渐进式分割网络的细微缺陷分析方法， 其特征在于， 步 骤S2中， 所述细微缺陷特征提取网络包括残差单元模块和跨尺度特征融合模块， 所有特征 尺度下采样操作均由步长更大的卷积层完成， 且跨尺度特征融合模块中使用三种卷积核 大 小不同的卷积层对残差单 元模块的输出 特征进行不同感受野大小的特 征信息提取。 5.如权利要求4所述的一种基于渐进式分割网络的细微缺陷分析方法， 其特征在于， 所 述细微缺陷特征提取网络依次包括第一残差单元模块、 跨尺度特征融合模块和 第二残差单 元模块； 跨尺度特征融合模块使用三个卷积分支分别对第一残差单元模块输出的特征进 行 不同感受野大小的特征信息提取， 分支(1)仅使用卷积核大小为1 ×1的卷积层， 分支(2)和 分支(3)分别使用卷积核大小为3 ×3、 5×5的卷积层， 并在分支首尾 分别添加卷积核大小为 1×1的卷积层； 将三个卷积支路提取的特征与第一残差单元模块的输出特征进 行融合作为 第二残差单元模块的输入， 并将第二残差单元模块的输出作为整个特征提取网络的最终输 出； 所述第二残差单 元模块的输入f(x,y,C)表示 为：权　利　要　求　书 1/2 页 2 CN 114612444 A 2其中， h为第一残差单元模块的输出特征， α、 β、 γ分别表示分支(1)、 分支(2)、 分支(3) 提取的特征， x、 y、 c分别表示特征信息图长度、 宽度、 深度三个维度的索引； X、 Y、 C分别代表 在这三个维度上的最大索引值。 6.如权利要求5所述的一种基于渐进式分割网络的细微缺陷分析方法， 其特征在于， 在 保持感受野大小不变的情况下， 将分支(3)中大小为5 ×5的卷积核替换为两个级联的大小 为3×3的卷积核， 以进一 步减少特 征提取时的计算消耗。 7.如权利要求1所述的一种基于渐进式分割网络的细微缺陷分析方法， 其特征在于， 步 骤S4中， 所述缺陷分割网络包括分类、 定位和分割三个分支， 分类分支用于输出缺陷的分类 置信度， 定位分支用于输出缺陷的位置信息， 分割分支用于输出缺陷的分割掩膜图， 通过设 定分类置信度阈值筛 选得到最终的缺陷位置信息及对应的分割掩膜图。 8.如权利要求1所述的一种基于渐进式分割网络的细微缺陷分析方法， 其特征在于， 步 骤S5中， 统计分割掩膜图中非零像素点的总数， 并将其作为对应缺陷的面积； 获取分割掩膜 图中非零像素区域的最小外 接矩形， 将最小外 接矩形的长和宽作为对应缺陷的长和宽 。权　利　要　求　书 2/2 页 3 CN 114612444 A 3