(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210107300.4 (22)申请日 2022.01.28 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 韩文华　 (74)专利代理 机构 北京市汉坤律师事务所 11602 代理人 姜浩然　吴丽丽 (51)Int.Cl. G06V 10/26(2022.01) G06V 40/10(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 图像处理方法、 神经网络及其训练方法、 装 置和设备 (57)摘要 本公开提供了一种图像处理方法、 神经网络 及其训练方法、 装置和设备， 涉及人工智能技术 领域， 具体涉及计算机视觉、 图像处理和深度学 习技术。 该方法包括： 利用多个编码层对待处理 图像进行协同处理， 以得到具有不同尺寸的多个 第一特征图； 对每一个第一特征图进行特征提 取， 以得到具有目标尺寸的至少一个第二特征 图， 目标尺 寸包括多个第一特征图中的尺寸最小 的第一特征图的尺寸； 对尺寸最小的第一特征图 进行特征提取， 以得到第三特征图； 基于第三特 征图的尺 寸， 在第二特征图中确定要进行融合的 第一待融合特征图； 将第一待融合特征图与第三 特征图进行融合， 以得到第四特征图； 以及利用 多个解码层对第四特征图进行协同处理， 以得到 图像处理结果。 权利要求书4页 说明书12页 附图7页 CN 114429548 A 2022.05.03 CN 114429548 A 1.一种图像处 理方法， 包括： 利用多个编码层对待处理图像进行协同处理， 以得到具有不同尺寸的多个第一特征 图； 对所述多个第 一特征图中的每一个第 一特征图进行特征提取， 以得到具有目标尺寸的 至少一个第二特征图， 所述目标尺寸包括所述多个第一特征图中的尺寸最小的第一特征图 的尺寸； 对所述尺寸最小的第 一特征图进行特征提取， 以得到与 所述多个第 一特征图各自对应 的至少一个第二特征图均不同的第三特征图， 其中， 所述第三特征图与所述尺寸最小的第 一特征图的尺寸相同； 基于所述第 三特征图的尺寸， 在与 所述多个第 一特征图各自对应的至少一个第 二特征 图中确定要 进行融合的至少一个第一待融合特 征图； 将所述至少一个第一待融合特征图与所述第三特征图进行融合， 以得到第 四特征图； 以及 利用多个解码层对所述第四特 征图进行协同处 理， 以得到图像处 理结果。 2.如权利要求1所述的方法， 其中， 所述多个解码层包括对所述第四特征图进行逐步上 采样的多个上采样层， 其中， 所述利用多个解码层对所述第三特征图进行协同处理， 以得到 图像处理结果包 括： 利用所述多个上采样层中的每一个上采样层对该上采样层接收到的特征图进行上采 样， 以得到第二待融合特 征图； 基于所述第 二待融合特征图的尺寸， 在与 所述多个第 一特征图各自对应的至少一个第 二特征图中确定 至少一个第三待融合特 征图； 以及 将所述第二待融合特 征图和所述至少一个第三待融合特 征图进行融合。 3.如权利要求1或2所述的方法， 其中， 所述对所述多个第一特征图中的每一个第一特 征图进行 特征提取， 以得到具有不同尺寸的至少一个第二特 征图包括： 利用第一空洞卷积层对该第 一特征图进行处理， 以得到对应的第二特征图， 其中， 所述 对应的第二特 征图的尺寸小于该第一特 征图的尺寸。 4.如权利要求3所述的方法， 其中， 所述第 一空洞卷积层的扩 张率是基于所述第 一空洞 卷积层的跨 步步长所确定的。 5.如权利要求1 ‑4中任一项所述的方法， 其中， 所述对所述多个第一特征图中的每一个 第一特征图进行 特征提取， 以得到具有不同尺寸的至少一个第二特 征图包括： 利用第二上采样层对该第一特 征图进行 上采样； 以及 利用至少一个第 一卷积层对上采样后的该第 一特征图进行处理， 以得到对应的第 二特 征图， 其中， 所述对应的第二特 征图的尺寸大于该第一特 征图的尺寸。 6.如权利要求1 ‑5中任一项所述的方法， 其中， 所述对所述多个第一特征图中的每一个 第一特征图进行 特征提取， 以得到具有不同尺寸的至少一个第二特 征图包括： 利用至少一个第 二卷积层对所述对应的第 一特征图进行处理， 以得到对应的第 二特征 图， 其中， 所述对应的第二特 征图的尺寸 等于该第一特 征图的尺寸。 7.如权利要求1 ‑6中任一项所述的方法， 其中， 所述对所述多个第一特征图中的尺寸最权　利　要　求　书 1/4 页 2 CN 114429548 A 2小的第一特 征图进行 特征提取包括： 利用并联的多个第 二空洞卷积层 分别对所述尺寸最小的第 一特征图进行处理， 以得到 多个第四特 征图； 将所述多个第四特 征图进行融合， 以得到第五特 征图； 以及 利用串联的多个第三空洞卷积层对所述第五特征图进行处理， 以得到所述第三特征 图。 8.如权利要求1 ‑7中任一项所述的方法， 其中， 与 所述每一个第一特征图对应的至少一 个第二特征图的数量与所述多个第一特征图的数量相同， 所述对应的至少一个第二特征图 的尺寸与所述多个第一特 征图的尺寸相关联。 9.如权利要求1 ‑8中任一项所述的方法， 其中， 所述多个编码层包括四个倍率为2的降 采样层， 所述多个第一上采样层包括 三个倍率为2的上采样层。 10.如权利要求1 ‑9中任一项所述的方法， 其中， 所述多个编码层以及所述多个解码层 中包括至少一个使用可分离卷积的卷积层。 11.如权利要求1 ‑10中任一项所述的方法， 其中， 所述待处理图像为包括人像的图像， 所述图像处 理结果为人像分割结果。 12.一种神经网络的训练方法， 所述神经网络包括多个编码层、 所述多个编码层之后的 多个第一特征提取子网络、 所述多个编码层之后的第二特征提取子网络、 以及所述第二特 征提取子网络之后的多个解码层， 所述方法包括： 获取样本图像和所述样本图像的真实标签； 利用多个编码层对样本图像进行协同处理， 以得到具有不同尺寸的多个第 一样本特征 图； 针对所述多个第 一样本特征图中的每一个第 一样本特征图， 利用多个第 一特征提取子 网络中与该第一样本特征图对应的至少一个第一特征提取子网络对该第一样本特征图进 行处理， 以得到具有目标尺寸的至少一个第二样本特征图， 所述 目标尺寸包括所述多个第 一特征图中的尺寸 最小的第一特 征图的尺寸； 利用第二特征提取子网络对所述尺寸最小的第 一样本特征图进行处理， 以得到与 所述 多个第一特征图各自对应的至少一个第二特征图均不同的第三样本特征图， 其中， 所述第 三样本特 征图与所述尺寸 最小的第一样本特 征图的尺寸相同； 基于所述第 三样本特征图的尺寸， 在与 所述多个第 一样本特征图各自对应的至少一个 第二样本特 征图中确定 至少一个第一待融合样本特 征图； 将所述至少一个第 一待融合样本特征图与 所述第三样本特征图进行融合， 以得到第四 样本特征图； 利用多个解码层对所述第四样本特征图进行协同处理， 以得到所述样本图像的预测标 签； 以及 基于所述预测标签和所述真实标签 计算损失值， 以调整所述神经网络的参数。 13.一种用于图像处 理的神经网络， 包括： 多个编码层， 被配置为对多个编码层对待处理图像进行协同处理， 以输出具有不同尺 寸的多个第一特 征图； 所述多个编码层之后的与所述多个第一特征图中的每一个第一特征图对应的第一特权　利　要　求　书 2/4 页 3 CN 114429548 A 3