(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210236402.6 (22)申请日 2022.03.11 (65)同一申请的已公布的文献号 申请公布号 CN 114332592 A (43)申请公布日 2022.04.12 (73)专利权人 中国海洋大学 地址 266100 山东省青岛市崂山区松岭路 238号 (72)发明人 黄磊　张科　魏志强　安辰　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 赵梅 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/40(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 杜学惠 (54)发明名称 一种基于注意力机制的海洋环境数据融合 方法及系统 (57)摘要 本发明属于数据处理技术领域， 公开了一种 基于注意力机制的海洋环境数据融合方法及系 统， 该系统包括用于构造时空连续的数据序列的 多源数据增强模块和用于输出融合数据的基于 注意力机制的多层特征组合神经网络， 所述基于 注意力机制的多层特征组合神经网络包括初始 特征提取层、 深层特征交互部分和融合重建层， 深层特征交互部分包括N组多层特征组合模块， 每个多层特征组合模块包括M个残差单元、 特征 拼接层、 融合卷积层和通道注意力模块， 多层特 征组合模块通过全局跳跃连接和局部跳跃连接 来组合不同层特征中的信息， 每个多层特征组合 模块的输入为前一个模块的输出。 通过本发明融 合特征信息、 结合注意力机制， 突出特征的关键 信息。 权利要求书3页 说明书12页 附图2页 CN 114332592 B 2022.06.21 CN 114332592 B 1.一种基于注意力机制的海洋环境数据融合系统， 其特征在于， 包括多源数据增强模 块和基于注意力机制的多层特征组合神经网络， 所述多源数据增强模块， 用于构造时空连 续的数据序列， 作为基于注意力机制的多层特征组合神经网络的输入； 所述基于注意力机 制的多层特征组合神经网络， 包括初始特征提取层、 深层特征 交互部分和融合重 建层， 所述 多源数据增强模块输出的数据序列 依次输入初始特征提取层、 深层特征交互部 分和融合重 建层， 所述深层特征交互部分包括N组多层特征组合模块， 每个多层特征组合模块包括M个 残差单元、 特征拼接层、 融合卷积层和通道注意力模块， 多层特征 组合模块通过全局跳跃连 接和局部跳跃连接来组合不同层特征中的信息， 每个多层特征组合模块的输入为前一个模 块的输出； 其中， 每个残差单元包括基础残差单元和 空间注意力模块， 基础残差单元输出的残差 特征 通过跳跃连接发送至末端， 通过对应元素相乘的方式应用空间注意力模块生 成的空间注意力权重， 得到特征 ， 特征 与该残差单元的输入 通过残差连 接进行对应元 素相加后得到该残差单 元的输出 ， 多层特征组合模块的输入依次经过M个残差单元后得到M个残差特征， 所述特征拼接层 用于将所有M个残差特 征进行拼接， 然后输入融合卷积层， 提取综合特 征 ， 所述通道注意力模块的输入为综合特征 ， 通道注意力模块生成各通道的权重， 并通 过对应元 素相乘的方式应用通道 注意力权 重， 输出通道 注意力特 征 ； 每个多层特征组合模块的末端接受三部分特征进行对应元素相加， 分别是初始特征提 取层输出的初始特征 、 该模块的输入特征 及该模块的通道注意力模块的输出特征 ； 所述融合重建层， 用于将 深层特征交互部分的输出映射 为海洋环境融合数据。 2.根据权利要求1所述的基于注意力 机制的海洋环境数据融合系统， 其特征在于， 构造 时空连续的数据序列的方法是： 将观测数据和 最优插值数据相结合， 将观测数据的空缺区 域填补为最优插值数据， 得到空间连续的网格化数据， 并利用该空间连续的网格化数据构 造定长的时间连续的数据 序列， 得到多源数据增强数据 序列。 3.根据权利要求1所述的基于注意力 机制的海洋环境数据融合系统， 其特征在于， 每个 残差单元末端的空间注意力模块依 次包括用于减少特征通道数量的卷积层、 跨步卷积层、 最大池化层、 用于扩 大感受野的卷积组、 用于恢复特征 空间尺寸的上采样层、 用于恢复通道 数量的卷积层， 最后由Sigmo id激活函数生成空间注意力权 重。 4.根据权利要求1所述的基于注意力 机制的海洋环境数据融合系统， 其特征在于， 所述 通道注意力模块 通过全局平均池化、 卷积运 算和上采样层生成各通道的权 重。 5.一种基于注意力机制的海洋环境数据融合方法， 其特 征在于， 包括以下步骤： 步骤1、 构建时空分布连续的海洋环境输入数据序列： 将观测数据和最优插值数据相结 合， 将观测数据的空缺区域填补为最优插值数据， 得到空间连续的网格化数据， 并利用该 空 间连续的网格化数据构造 定长的时间连续的数据 序列， 得到多源数据增强数据 序列；权　利　要　求　书 1/3 页 2 CN 114332592 B 2步骤2、 构建基于注意力 机制的多层特征组合神经网络： 该神经网络包括初始特征提取 层、 深层特征交互部分和融合重建层， 深层特征交互部分包括N组多层特征组合模块， 每个 多层特征组合模块包括M个残差单元、 特征拼接层、 融合卷积层和通道注意力模块， 多层特 征组合模块通过全局跳跃连接和局部跳跃连接来组合不同层特征中的信息， 每个多层特征 组合模块的输入为前一个模块的输出； 步骤1得到的海洋环境输入数据序列经过初始特征提取层， 得到初始特征 ； 初始特征 送入深层特征交互部分， 初始特征 依次经过M个残差单元后得到M个残差特征， 所有 残差特征经特征拼接层拼接后得到拼接特征， 输入融合卷积层， 提取综合特征 ， 综合特 征 输入通道注意力模块， 通道注意力模块为不同的通道分配权重， 输出特征 ； 每个 多层特征组合模 块的末端将接受三部分特征进行对应元素相加， 分别为初 始特征 、 该模 块的输入特征 及该模块的通道注意力模块的输出特征 ； 第N个多层特征组合模块 的输出 ， 即是深层特 征交互部分的输出 ； 特征 由融合重建层， 即最后一层卷积层映射 为海洋环境融合数据； 步骤3、 损失计算： 选择对异常值 不敏感的平均绝对值 误差函数作为损失函数； 步骤4、 训练网络模型 逐渐收敛， 保存实验准确率 最高的网络模型； 步骤5、 海洋环境数据输入步骤4训练好的网络模型中， 得到海洋环境融合数据。 6.根据权利要求5所述的基于注意力 机制的海洋环境数据融合方法， 其特征在于， 深层 特征交互部分的每个残差单元包括基础残差单元和位于末端的空间注意力模块， 步骤2中， 每个残差单 元的运算方式如下： 输入特征依次经 过每个残差单 元内的基础残差单 元， 经过基础残差单 元的特征为： 其中， 是第n个多层特征组合模块中第 m‑1个残差单元输出的残差特征， 和 分别为基础残差单元内两层卷积函数， 为第二层卷积层输出的特征， 特征 包含三个维度： 二维空间信息和一维通道信息； 基础残差单元输出的残差特征 通过跳跃连接发送至末端， 通过对应元素相乘的 方式应用空间注意力模块生成的空间注意力 权重， 得到特征 ， 特征 与该残差单元 的输入 通过残差连接进行对应元 素相加后得到该残差单 元的输出 。 7.根据权利要求6所述的基于注意力 机制的海洋环境数据融合方法， 其特征在于， 步骤 2中， 基础残差单 元的输出 特征 通过降尺度以减少模型的参数量： 其中， 是用于降通道的1 ×1卷积层， 是用于减小特征空间权　利　要　求　书 2/3 页 3 CN 114332592 B 3