(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210288579.0 (22)申请日 2022.03.23 (65)同一申请的已公布的文献号 申请公布号 CN 114565628 A (43)申请公布日 2022.05.31 (73)专利权人 中南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路2号 专利权人 中南大学湘雅医院 (72)发明人 王勇　靳振涛　赵爽　陈翔　 (74)专利代理 机构 长沙麓创时代 专利代理事务 所(普通合伙) 43249 专利代理师 贾庆 (51)Int.Cl. G06T 7/12(2017.01) G06T 7/13(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113344951 A,2021.09.0 3CN 113658200 A,2021.1 1.16 CN 111951288 A,2020.1 1.17 CN 112802012 A,2021.0 5.14 CN 113034505 A,2021.0 6.25 CN 113793345 A,2021.12.14 CN 113807355 A,2021.12.17 CN 112215850 A,2021.01.12 CN 114004811 A,2022.02.01 US 2021089807 A1,2021.0 3.25 周涛 等.用于肺部肿瘤图像分割的跨模态 多编码混合注意力 U-Net. 《光子学报》 .202 2,第 51卷(第4期), 王雪 等.基 于多尺度感知和语义 适配的医 学图像分割算法. 《吉林大 学学报 （工学版） 》 .2022,第52卷(第3期), 邱云飞 等.基 于 DeepLabV3+与注意力机制 相结合的图像 语义分割. 《激光与光电子学进 展》 .2022,第59卷(第4期), 龚晓庆.基 于改进的 n nU-Net 胰腺分割模 型. 《西北 大学学报( 自然科 学版)》 .2021,第51 卷(第4期), (续) 审查员 黄文琪 (54)发明名称 一种基于边界感知注意的图像分割方法及 系统 (57)摘要 本发明公开了一种基于边界感知注意的图 像分割方法及系统。 在现有分割任务的基础上， 添加了一个边缘预测的辅助任务， 两个任务共享 同一个特征编码网络， 但独享自己的特征解码网 络； 特征解码网络由一组基于交互注 意力机制的 注意力解码单元串联组成； 在编码网络和分割解 码网络之间设计了多个边缘 感知分割模块， 旨在 从边缘解码网络中引入边缘信息作为增强分割 特征边缘部分的强线索； 融合所述的编码网络、 解码网络和边缘感知分割模块， 得到最终的分割网络， 两个任务联合训练、 相互引导和辅助。 相比 于现有的图像 分割方法， 本发 明可以大大提高分 割的准确度， 并提升分割结果的边 缘细节。 [转续页] 权利要求书3页 说明书6页 附图1页 CN 114565628 B 2022.09.13 CN 114565628 B (56)对比文件 郭学俊 等.基 于边缘感知和小样本学习的 多尺度带钢表面 缺陷分割方法. 《太原理工大 学 学报》 .202 2, Ruxin Wang 等.Boundary-aware co ntext neural netw ork for medical ima ge segmentati on. 《Medical Ima ge Analy sis》 .2022, Fei Xie 等.Lesi on Segmentati on Framework Based o n Convolutional Neural Networks with Dual A ttention Mechanism. 《electro nics》 .2021, Huisi Wu 等.De ep boundary-aware semantic ima ge segmentati on. 《Computer Animation Virtual W orlds》 .2021, Ali Hatamizadeh 等.End-to- End Boundary Aware Netw orks for Medical Ima ge Segmentati on. 《arXiv》 .2019,2/2 页 2[接上页] CN 114565628 B1.一种基于边界感知注意的图像分割系统， 其特征在于， 包括公共特征编码网络， 所述 公共特征编码网络包括若干n个串联的残差块， 其中上一级残差块的输出作为下一级残差 块的输入； 每个残差块通讯连接一个注意力解码单元和一个边缘感知分割模块， 边缘感知 分割模块通信连接一个分割解码网络模块； 注意力解码单元依 次串联形成预测解码网络； 分割解码网络模块依 次串联形成分割解码网络； 公共特征编码网络的第n个残差块通讯连 接有两个空洞空间金字塔池化模块， 其中第n个残差块的输出和 一个空洞空间金字塔池化 模块的输出作为第n个注意力解码单元 的输入； 第n分割残差块的输出作为第n个边缘感知 分割模块输入,第n个边缘感知分割模块的输出和另一个空洞空间金字塔池化模块的输出 做为第n个分割解码网络模块的输入； 其中第i个注意力解码单元 的输入为第i个残差块的 输出和第i+1个注意力解码单元的输出； 第i个边缘感知分割模块的输入为第i个残差块的 输出和第i个注意力解码单元 的输出； 第i个分割解码网络模块的输入为第i个边缘感知分 割模块的输出和 第i+1个分割解码网络模块的输出； 第i个残差块的输入为初始图像或第i ‑ 1个残差块的输出； 其中1≤i＜n； 将初始图像输入基于边界感知注意的图像分割系统， 得到初始图像的分割的预测概率 图Ps和边缘的预测概 率图Pe。 2.如权利要求1所述的基于边界感知注意的图像分割 系统， 其特 征在于， n ＝4。 3.如权利要求1所述的基于边界感知注意的图像分割系统， 其特征在于， 所述公共特征 编码网络以ResNet50网络作为编码网络的骨干网络原型， 并去除最后的全连接层和分类 层， 保留剩 余的卷积块和残差块； 且ResNet50网络最后两个残差块中的卷积核步幅设置为 1， 使得编码网络后续残差模块的输出特征图的大小不变， 编 码网络最 终输出的特征图的高 宽是输入图像的1/8。 4.如权利要求1所述的基于边界感知注意的图像分割系统， 其特征在于， 第i个注意力 解码单元 的图像处理流程为： 第i+1个注意力解码单元 的输出或空洞空间金字塔池化模块 的输出作为低分辨率的特征图I1， 以第i个残差块的输出作为高分率输入特征图I2； 先将低 分辨率的特征图I1通过1*1的卷积， 将特征图通道调整为与高分率输入特征图I2相同的大 小， 得到特征图F1； 将特征图F1上采样至与高分率输入特征图I2相同的大小， 得到特征图F2； 对特征图F1和F2执行通道维度的拼接， 对拼接后的特征进行一次3*3的卷积操作以得到特征 图F3， 卷积核的数量与特征图F2的通道数量一致， 保证特征图F3的通道数量与特征图F1和特 征图F2一致； 对特征图F3执行一次sigmoid操作， 将特征图F3所有的特征值归一化到0 ‑1之 间， 得到注意力图谱Att ‑Map； 执行注意力操作， 将注意力图谱Att ‑Map分别与F1和F2做点乘 操作， 分别得到关注后的特征图F1*和F2*； 最后对关注后的特征图F1*、 F2*以及特征图F3执行 点加操作， 得到注意力解码单 元的最终输出 特征图Fout。 5.如权利要求1所述的基于边界感知注意的图像分割系统， 其特征在于， 第i个边缘感 知分割模块的图像处理流程为： 以第i+1个注意力解码单元的输出或空洞空间金字塔池化 模块的输出公共编码网络模块的输出作为特征图Xseg， 以第i个注 意力解码单元的输出作为 边缘解码网络中注意力解码单元的输出作为特征图Xedge； 对特征图Xseg执行1*1的卷积操 作， 将通道数调整为与特征图Xedge通道数相同， 得到特征图Xseg1； 将特征图Xseg1与特征图 Xedge做点乘的注意力操作， 得到注意后的边界注意力特征； 对特征图Xseg1执行sigmoid操作， 归一化到0 ‑1之间， 并与自身执行点乘操作， 得到自注意力后的特征， 并将自注意力后的特权　利　要　求　书 1/3 页 2 CN 114565628 B 3