(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210301771.9 (22)申请日 2022.03.24 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 曾宪华　李彦澄　祝庆　董倩　 郭珏秋　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 专利代理师 刘小红 (51)Int.Cl. G06T 5/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多注意力融合的超声图像去噪方 法 (57)摘要 本发明请求保护一种基于多注意力融合的 超声图像去噪方法， 其包括以下步骤： 获取原始 超声图像， 将原始超声图像输入到构建的多注意 力机制融合的残差编解码网络RED ‑MAM中， 所述 残差编解码网络RED ‑MAM包括编码器和多注意力 融合解码器， 所述编码器用于提取出输入图像的 特征， 在多注意力融合解码器中， 除了基本的解 码重建模块， 还引入了多注意力机制融合模块 MAM， 每个编码块或解码块后分别对应一个ReLU 激活函数， 在解码块的第一个和第三个 反卷积之 后， 引入了多注意力机制融合注意力块； 随后通 过ReLU激活函数将多注意力机制融合注意力块 输出的多注意力融合特征向量激活； 接着， 将多 注意力融合特征输入到下个解码块， 通过解码重 建得出解码后的超 声图像。 权利要求书2页 说明书9页 附图4页 CN 114663310 A 2022.06.24 CN 114663310 A 1.一种基于多注意力融合的超声图像去噪方法， 其特 征在于， 包括以下步骤： 获取原始超声图像， 将原始超声图像输入到构建的多注意力 机制融合的残差编 解码网 络RED‑MAM中， 所述残差编解码网络RED ‑MAM包括编码器和多注意力融合解码器， 所述编码 器用于提取出输入图像的特征， 在解码器中， 除了基本的解码重 建模块， 基本的解码重 建网 络是由5个反卷积拼接而成， 多注意力融合解码器是 由反卷积和多注意力融合注意力块组 合而成， 还引入了多注意力机制融合模块MAM， 多注意力机制融合模块MAM包括通道注意力 机制、 空间注意力机制， 包括了平均池化层、 最大池化层、 全局平均池化层、 全连接层以及 共 享多层感知机， 通道注意力聚焦的是什么特征是对图像恢复有意义的。 空间注意力聚焦的 是何处的特征信息更有意义； 为了能有效地计算出通道注意力， 需要对输入特征图的空间 维度进行压缩， 然后通过平均池化的方式对空间信息进行聚合； 而最大池化操作能搜索到 最独特的特征， 可以更细致的推 断出通道上信息的重要程度； 全局平均池化生成通道统计 信息， 从而实现将全局空间信息压缩到信道中； 全局平均池化也是最简单的聚合技术； 每个 编码块或解码块后分别对应一个ReLU激活函数， 在解码块的第一个和第三个反卷积之后， 引入了多注 意力机制融合注意力块； 随后通过ReLU激活函数将多注意力机制融合注意力块 输出的多注意力融合特征向量激活； 接着， 将多注意力融合特征进入到下个解码块， 解码得 出解码后的超声图像。 2.根据权利要求1所述的一种基于多注意力融合的超声图像去噪方法， 其特征在于， 所 述解码器中， 通过利用空间域及通道域上 的相关特征图来学习权重分布， 再将学出来的权 重施加在原特征图之上， 最后进行加权求和， 使得既能关注到空间域中的信息又能关注到 通道域中的信息， 将每个通道中的图片特征同等处理， 避免空间域的注意力忽略了通道域 中的信息 。 3.根据权利要求1所述的一种基于多注意力融合的超声图像去噪方法， 其特征在于， 所 述多注意力机制融合模块MAM中， 假设从最后一个编码块输出的是一个d维向量r∈[0,1]d， 第一层反卷积是一个 参数为θ 映射函 数f， 即可表示为fθ(·)， 因此， MAM模块的输入是fθ(r)， 简化为F； 在 多注意力融合注意力块中， 为了同时发挥通道注意力和空间注意力模块的作用 从而进一步地提升去噪模型的性能， 将从常规的通道注意力块输出特征M1， 同时输出一个 残差块， 残差块是通道注意力输出的特征不经过下一个环节直接跳跃的输入到指定的位 置， 不是按顺序经过每一个图中画出结构图的， 残差块输入的地方为箭头所指向的地方， 然 后再次经过一个常规的空间注意力模块， 输出特征向量M2； 在并行分支中， 将特征向量经过 一个通道 注意力， 输出的特 征向量和跳连接 输出的残差块进行 元素相乘操作。 4.根据权利要求3所述的一种基于多注意力融合的超声图像去噪方法， 其特征在于， 特 征F经过MAM的计算描述如下： M1＝r+δ(MLP(AP(F) )+MLP(MP(F) )) M2＝f1+δ(φ7×7(MP(AP(f1)))) M3＝r+δ(MLP(GAP(F) )) M＝M2+M3 其中， δ表示Sigmoid激活函数， M1,M2,M3,M∈rd， M是从MAM块输出的多注意力融合特征向 量， AP表示平均池化操作， MP表示最大池化操作， GAP表示全局平均池化操作， φ7×7代表一个 卷积核大小为7 ×7的卷积操作。权　利　要　求　书 1/2 页 2 CN 114663310 A 25.根据权利要求1 ‑4任一项所述的一种基于多注意力融合的超声图像去噪方法， 其特 征在于， 所述基本的编码 器是由5个卷积组合而成的， 所述常规解码器模块就只是简单的卷 积块组成的。 6.根据权利要求3任一项所述的一种基于多注意力融合的超声图像去噪方法， 其特征 在于， 所述常规的通道 注意力模块、 常规的空间注意力模块分别的表达式是： 通道注意力表达式Mc＝MLP(Avgpo ol(f)) 空间注意力表达式MS＝ δ(φ7×7(MP(AP(f) ))) 其中， f为输入的特征， Avgpool为平均池化操作， MLP为由全连接层构成的多层感知机， AP表示平均池化操作， MP表示最大池化操作， GAP表示全局平均池化操作， φ7×7代表一个卷 积核大小为7 ×7的卷积操作。权　利　要　求　书 2/2 页 3 CN 114663310 A 3