(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210148745.7 (22)申请日 2022.02.18 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 熊炜　赵迪　孙鹏　陈奕博　 田紫欣　强观臣　万相奎　李利荣　 宋海娜　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06T 7/10(2017.01) G06K 9/62(2022.01) G06V 10/80(2022.01) (54)发明名称 基于高度有效驱动与多层级特征融合的城 市街景分割方法 (57)摘要 本发明公开了一种基于高度有效驱动与多 层级特征融合的城市街景分割方法， 结合城市街 景图像的位置先验性， 在改进的网络中加入 HEAM， 从而加强 网络在不同高度位置上对相应目 标的特征提取能力。 将HEAM嵌入特征提取网络与 ASPP结构中， 使网络在 做深层卷积和通过ASPP做 多层空洞卷积时， 提升对深层特征和多尺度特征 的提取能力。 HEA M提取代表相应目标水平部分的 高度上下文信息， 从高度上下文信息中预测目标 水平部分的特征或类别。 网络中的浅层特征分辨 率高、 包含更多位置和细节信息， 而深层特征分 辨率低、 对细 节感知差， 但拥有更强的语义信息。 所以， 经常通过融合浅层特征和深层特征， 使特 征具有更完整的信息表达来 提高分割精度。 权利要求书3页 说明书5页 附图2页 CN 114638836 A 2022.06.17 CN 114638836 A 1.一种基于高度有效驱动与多层级特征融合的城市街景分割方法， 其特征在于： 将城 市街景图像输入 城市街景分割网络中， 获得分割性能满足预设条件的城市街景； 所述城市街景分割网络， 包括ResNet50特征提取网络、 多层级特征融合网络MFFM、 高度 有效驱动注意力网络 HEAM、 空洞空间金字塔池化网络AS PP； 所述高度有效驱动注意力网络HEAM， 分别嵌入所述ResNet50特征提取网络和所述空洞 空间金字塔池化网络ASPP网络中； 所述ResNet50特征提取网络的浅层特征图 为所述高驱动有效注意力网络HEAM输入， 输出为深层特征图 其中Cx是通道 数， Hx和Wx分别是特征图的高度和宽度大小， x＝l,h； 所述高度有效驱动注意力网络HEAM嵌 入所述空洞空间金字塔池化网络ASPP网络中， 是将所述ResNet50特征提取网络的输出作为 浅层特征图Xl， 所述空洞空 间金字塔池化网络ASPP网络的输出作为深层特征图Xh， 以此来实 现HEAM的注意力操作； 输入的城市街景图像首先进入所述ResNet50特征提取网络完成特征的深度提取， 进而 通过所述空洞空间金字塔池化网络ASPP实现扩大感受野， 至此完成编码处理； 所述多层级 特征融合网络MFFM， 在解码过程中融合网络的深层和浅层特征， 然后将融合特征跳跃连接 到解码端， 以减少上采样 操作带来数据信息的丢失。 2.根据权利要求1所述的基于高度有效驱动与多层级特征融合的城市街景分割方法， 其特征在于： 所述多层级特征融合网络MFFM， 将所述ResNet50特征提取网络分为4层， 从所 述ResNet50特征提取网络中分别抽取各层特征作为特征融合支路； 支路一， 通过通道拼接 第三层与第四层特征， 然后与第二层特征进 行FPN多尺度特征融合， 最后与解码块中第一个 2倍上采样后的特征做跳跃拼接； 支路二， 支路一完成拼接经过一个2倍上采样操作后， 从 ResNet50特征提取网络中抽取第一层和第二层特征做FPN融合操作， 进而引出另一条支路 跳跃连接到第二个2倍上采样特 征。 3.根据权利要求2所述的基于高度有效驱动与多层级特征融合的城市街景分割方法， 其特征在于： 支路二中， 从所述 ResNet50特征提取网络中抽取第一层和第二层特征做FPN融 合操作， 为改进的FPN融合操作， 第二层作为深层特征首先经过1 ×1的卷积操作对其先降低 维度， 然后采用双线性插值的方法做上采样操作， 使深层特征 的尺寸扩张到第一层特征尺 寸大小； 第一层作为浅层特征做通道降维处理， 然后将两层特征都经过ECA网络 关注重要 特 征信息， 最后使用通道拼接的方法融合特 征图。 4.根据权利要求3所述的基于高度有效驱动与多层级特征融合的城市街景分割方法， 其特征在于： 所述ECA网络， 在不降低维度的情况下， 首先进 行逐通道的全局平均池化， 然后 通过一维卷积操作， 实现对每个通道与其k个邻近通道的跨通道相互作用捕获， 最后通过非 线性Sigmoid函数来生 成通道权重； 其中， ECA中通道权重ω＝σ(Wy)， ω表示整个ECA的通道 权重， σ 是Sigmoid函数， W是一个C ×C的通道权重矩阵， y为输入 特征矩阵； ω又能表 示为： ω ＝σ(C1Dk(y))， 其中， C1D表示 一维卷积， k 为邻近的通道数， k 为预设值。 5.根据权利要求1所述的基于高度有效驱动与多层级特征融合的城市街景分割方法， 其特征在于： 所述高度有效驱动注意力网络HEAM， 浅层特征图Xl经过HANet操作后生成在宽 度方向上降维的二维注意力权重图A， 将此注意力权重图A与深层特征图Xh逐元素点乘得到 全新的具有高度方向位置依赖三维特征图 继续对深层特征图Xh做ECA网络处理生成权　利　要　求　书 1/3 页 2 CN 114638836 A 2对并联生成的两个特 征图逐元素相加产生 最后输出 结果， 实现特 征的高度有效驱动。 6.根据权利要求5所述的基于高度有效驱动与多层级特征融合的城市街景分割方法， 其特征在于： 所述高度有效驱动注 意力网络HEAM， 通过HA Net产生一个由逐通道高度缩放因 子组成的通道注意力图 将浅层特征图Xl和二维注意力权重图A逐元素乘法获 得， 由深层特征图Xh通过ECA网络生成， 最后将 和 融合生成 如公式(3)、 (4)、 (5)所示： 其中，⊙为逐元素相乘， 为逐元素相加； FHANet包括(a)(b)(c)(d)(e)五步骤， 步骤(a)为宽度池 化： 首先将特征图 压 缩宽度维度生成特 征图 以获得每行的高度上 下文信息， 如公式(6)所示： Z＝Gpool(Xl),    (6) 步骤(b)和步骤(d)为插值处理： 通过下采样对Z插值产生特征图 之后步骤 (d)再上采样恢复到维度为Cl×Hl×1； 步骤(c)为高驱动注意力图计算： 以特征图 作为输入采用卷积操作来产生注意力图； 由N个卷积层得到注意力图A用公式(7)表示： 其中， σ 表示Sigmoid函数， δ 表示ReLU激活函数， 表示第i个一维卷积层； 超参数N＝3， 即有3个卷积层操作； 第一层卷积将通道压缩r倍 第二层卷积将通道拉 伸2倍 最后一层卷积将通道恢复到Ch， Gup表示上采样 操作； 步骤(e)为位置编码： 在中间层特征图Qi加入正弦位置编码， 位置编码定义为公式(8)、 (9): PE(p,2i)＝sin(p/1002i/C),    (8) PE(p,2i+1)＝cos(p/10 02i/C).    (9) 其中， p代表整张图垂直方向上的位置因子， i为垂直位置的数量， 令 新特征图 由公式(10)产生： 。 7.根据权利要求1 ‑4任意一项所述的基于 高度有效驱动与多层级特征融合的城市街景 分割方法， 其特 征在于： 通过训练后获得训练好的城市街景分割网络； 首先将ResNet50特征提取网络在Imagenet分类数据集上进行预训练， 然后使用预训练 模型对网络模型进行迁移训练； 使用随机梯度下降计算梯度， 初始学习率lr为1e ‑2， 动量权　利　要　求　书 2/3 页 3 CN 114638836 A 3