(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210163088.3 (22)申请日 2022.02.22 (71)申请人 智道网联科技 （北京） 有限公司 地址 100013 北京市东城区北三环东路3 6 号1号楼B6 01 (72)发明人 孟鹏飞　贾双成　朱磊　李成军　 (74)专利代理 机构 北京汇鑫君达知识产权代理 有限公司 1 1769 专利代理师 黄启法 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01) G06V 10/26(2022.01)G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于BiSeNetV2的路面全要素图像语义 分割 方法及装置 (57)摘要 本申请涉及一种基于BiSeNetV2的路面全要 素图像语义分割方法及装置。 该方法包括： 通过 BiSeNet V2的语义 分支对分辨率1/8的语义特征 图、 分辨率1/16的语义特征图、 分辨率1/32的语 义特征图进行权重分配， 获得具有权重注意力的 分辨率1/8的语义特征图、 分辨率1/16的语义特 征图、 分辨率1/32的语义特征图； 通过所述 BiSeNet V2的特征融合模块融合所述细节特征 图和所述具有权重注意力的分辨率1/8的语义特 征图、 分辨率1/16的语义特征图、 分辨率1/32的 语义特征图， 获得融合后的特征图； 通过所述 BiSeNet V2依据所述融合后的特征图获得所述 路面图像的语义分割结果。 本申请提供的方案， 能够对路面图像的路面全元素进行精确地语义 分割， 提高路面图像 语义分割效果。 权利要求书3页 说明书12页 附图3页 CN 114548275 A 2022.05.27 CN 114548275 A 1.一种基于BiSeNet V2的路面全要素图像 语义分割方法， 其特 征在于， 包括： 通过BiSeNet  V2的细节分支获得路面图像的细节特 征图； 通过所述BiSeNet  V2的语义分支获得所述路面图像 的分辨率1/8的语义特征 图、 分辨 率1/16的语义特 征图、 分辨 率1/32的语义特 征图； 通过所述语义分支对所述分辨率1/8的语义特征图、 所述分辨率1/16的语义特征图、 所 述分辨率1/32的语义特征图进行权重分配， 获得具有权重注意力的分辨率1/8的语义特征 图、 分辨率1/16的语义特 征图、 分辨 率1/32的语义特 征图； 通过所述BiSeNet  V2的特征融合模块融合所述细节特征图和所述具有权重注意力的 分辨率1/8的语义特征图、 分辨率1/16的语义特征图、 分辨率1/32的语义特征图， 获得融合 后的特征图； 通过所述BiSeNet  V2依据所述融合后的特 征图获得 所述路面图像的语义分割结果。 2.根据权利要求1所述的方法， 其特征在于， 所述通过所述BiSeNet  V2的语义分支 获得 所述路面图像的分辨率 1/8的语义特征图、 分辨率 1/16的语义特征图、 分辨率1/32的语义特 征图， 包括： 通过所述BiSeNet  V2的语义分支的2倍下采样层对所述路面图像进行2倍下采样， 获得 所述路面图像的分辨 率1/2的语义特 征图， 其中所述2倍下采样层包括7x7 卷积； 依据所述分辨率1/2 的语义特征图， 通过所述语义分支依次获得所述路面图像的分辨 率1/8的语义特 征图、 分辨 率1/16的语义特 征图、 分辨 率1/32的语义特 征图。 3.根据权利要求1所述的方法， 其特征在于， 所述通过所述语义分支对所述分辨率1/8 的语义特征图、 所述分辨率1/16的语义特征图、 所述分辨率1/32的语义特征图进行权重分 配， 获得具有权重注意力的分辨率1/8的语义特征图、 分辨率1/16的语义特征图、 分辨率1/ 32的语义特征图， 包括： 通过所述语义分支的通道注意力模块分别对所述分辨率 1/8的语义 特征图、 所述分辨率1/16的语义特征图、 所述分辨率1/32的语义特征图的每个通道分配通 道权重， 获得具有通道权重注意力的分辨率1/8的语义特征图、 分辨率1/16的语义特征图、 分辨率1/32的语义特 征图。 4.根据权利要求3所述的方法， 其特征在于， 所述通过所述语义分支的通道注意力模块 分别对所述分辨率1/8的语义特征图、 所述分辨率 1/16的语义特征图、 所述分辨率1/32的语 义特征图的每个通道分配通道权重， 获得具有通道权重注 意力的分辨率 1/8的语义特征图、 分辨率1/16的语义特 征图、 分辨 率1/32的语义特 征图， 包括： 通过所述语义分支的第一通道注意力模块对所述分辨率1/8的语义特征图的每个通道 分配通道权 重， 获得具有通道权 重注意力的分辨 率1/8的语义特 征图； 通过所述语义分支的第二通道注意力模块对所述分辨率1/16的语义特征图的每个通 道分配通道权 重， 获得具有通道权 重注意力的分辨 率1/16的语义特 征图； 通过所述语义分支的第三通道注意力模块对所述分辨率1/32 的语义特征图的每个通 道分配通道权 重， 获得具有通道权 重注意力的分辨 率1/32的语义特 征图。 5.根据权利要求4所述的方法， 其特征在于， 所述通过所述语义分支对所述分辨率1/8 的语义特征图、 所述分辨率1/16的语义特征图、 所述分辨率1/32的语义特征图进行权重分 配， 获得具有权重注意力的分辨率1/8的语义特征图、 分辨率1/16的语义特征图、 分辨率1/ 32的语义特 征图， 还包括：权　利　要　求　书 1/3 页 2 CN 114548275 A 2通过所述语义分支的第一空间注意力模块对所述具有通道权重注意力的分辨率1/8的 语义特征图的不同空间位置 分配空间权重， 获得具有通道权重注意力和空间权重注意力的 分辨率1/8的语义特 征图； 通过所述语义分支的第二空间注意力模块对所述具有通道权重注意力的分辨率1/16 的语义特征图的不同空间位置 分配空间权重， 获得具有通道权重注意力和空间权重注意力 的分辨率1/16的语义特 征图； 通过所述语义分支的第三空间注意力模块对所述具有通道权重注意力的分辨率1/32 的语义特征图的不同空间位置 分配空间权重， 获得具有通道权重注意力和空间权重注意力 的分辨率1/32的语义特 征图。 6.一种基于BiSeNet V2的路面全要素图像 语义分割装置， 其特 征在于， 包括： 细节特征获取模块， 用于通过BiSeNet  V2的细节分支获得路面图像的细节特 征图； 语义特征获取模块， 用于通过所述BiSeNet  V2的语义分支 获得所述路面图像的分辨率 1/8的语义特 征图、 分辨 率1/16的语义特 征图、 分辨 率1/32的语义特 征图； 权重分配模块， 用于通过所述语义分支对所述语义特征获取模块获得的所述分辨率1/ 8的语义特征图、 所述分辨率1/16的语义特征图、 所述分辨率1/32的语义特征图进 行权重分 配， 获得具有权重注意力的分辨率1/8的语义特征图、 分辨率1/16的语义特征图、 分辨率1/ 32的语义特 征图； 融合特征获取模块， 用于通过所述BiSeNet  V2的特征融合模块 融合所述细节特征获取 模块获得的所述细节特征图和所述权重 分配模块 获得的具有权重注意力的分辨率1/8的语 义特征图、 分辨 率1/16的语义特 征图、 分辨 率1/32的语义特 征图， 获得融合后的特 征图； 分割结果获取模块， 用于通过所述BiSeNet  V2依据所述 融合特征获取模块获得的所述 融合后的特 征图获得 所述路面图像的语义分割结果。 7.根据权利要求6所述的装置， 其特征在于： 所述语义特征获取模块， 还用于通过所述 BiSeNet V2的语义分支的2 倍下采样层 对所述路面图像进行2 倍下采样， 获得所述路面图像 的分辨率1/2的语义特征图， 其中所述2倍下采样层包括7x7卷积； 依据所述分辨率1/2的语 义特征图， 通过所述语义分支依次获得所述路面图像的分辨率 1/8的语义特征图、 分辨率 1/ 16的语义特 征图、 分辨 率1/32的语义特 征图。 8.根据权利要求6所述的装置， 其特征在于： 所述权重分配模块包括通道权重分配子模 块； 所述通道权重分配子模块， 用于通过所述语义分支的第 一通道注意力模块对所述语义 特征获取模块获得的分辨率1/8的语义特征图的每个通道分配通道权重， 获得具有通道权 重注意力的分辨率1/8的语义特征图； 通过所述语义分支的第二通道注意力模块对所述语 义特征获取模块 获得的所述分辨率 1/16的语义特征图的每个通道分配通道权重， 获得具有 通道权重注 意力的分辨率 1/16的语义特征图； 通过所述语义分支的第三通道注意力模块对 所述语义特征获取模块 获得的所述分辨率 1/32的语义特征图的每个通道分配通道权重， 获 得具有通道权 重注意力的分辨 率1/32的语义特 征图。 9.根据权利要求8所述的装置， 其特征在于： 所述权重分配模块还包括空间权重分配子 模块； 所述空间权重分配子模块， 用于通过所述语义分支的第 一空间注意力模块对所述通道权　利　要　求　书 2/3 页 3 CN 114548275 A 3