(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210192286.2 (22)申请日 2022.02.28 (71)申请人 福建农林大 学 地址 350000 福建省福州市仓山区上 下店 路15号 (72)发明人 林志玮　金龄杰　洪宇　 (74)专利代理 机构 厦门原创专利事务所(普通 合伙) 35101 专利代理师 高巍 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/13(2017.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于多尺度特征与梯度融合操作的云 图识别方法 (57)摘要 本发明涉及气象观测领域， 具体是一种基于 多尺度特征与梯度融合操作的云图识别方法， 包 括： 1)通过分支减半云图特征大小， 增加云图多 尺度特征信息： 将云图经过一个7 ×7卷积层和最 大池化层后， 通过一个3 ×3的卷积将特征图大小 减半， 接着再送入分支网络进行训练， 最后将主 线网络与分支网络特征图大小对应位置进行特 征融合； 2)通过梯度特征融合模块， 增强云图特 征轮廓信息： 采用边缘轮廓提取算法Canny对每 个密集块后的特征图提取梯度信息， 将梯度信息 经过softmax转化为权重矩阵， 最后与特征图做 点乘操作。 本发 明不仅进行了多尺度特征融合以 及使用梯度信息， 并且在模型中间将主线网络与 分支网络对应大小位置进行叠加从而达到特征 增强。 权利要求书2页 说明书6页 附图1页 CN 114565534 A 2022.05.31 CN 114565534 A 1.一种基于多尺度特 征与梯度融合操作的云图识别方法， 其特 征在于， 包括： 1)通过分支减半 云图特征大小， 增加云图多尺度特 征信息， 包括如下步骤： 将云图经过一个7 ×7卷积层和最大池化层后， 通过一个3 ×3的卷积将特征图大小减 半， 接着再送入分支网络进行训练， 最后将主线网络与分支网络特征图大小对应位置进行 特征融合； 2)通过梯度特 征融合模块， 增强云图特 征轮廓信息， 包括如下步骤： 采用边缘轮廓提取算法Canny对每个密集块后的特征图提取梯度信息， 将梯度信息经 过softmax转 化为权重矩阵， 最后与特 征图做点乘操作。 2.根据权利要求1所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， 其具体包括如下步骤： S1： 获取云图的种类图像数据， 根据云图的种类特点， 将云图分为N个类别后， 将云图大 小转换成2 94×294， 并对图像进行归一 化； S2： 将云图输入网络提取图像特征， 经过卷积和最大池化层得到74 ×74大小的64维特 征图， 网络分为主干网络和分支网络， 主干网络分别经过密集块(1 ‑1)、 过渡层(1 ‑1)、 密集 块(1‑2)、 过渡层(1 ‑2)、 密集块(1 ‑3)、 过渡层(1 ‑3)和密集块(1 ‑4)， 分支网络分别经过密集 块(2‑1)、 过渡层(2 ‑1)、 密集块(2 ‑2)、 过渡层(2 ‑2)、 密集块(2 ‑3)、 过渡层(2 ‑3)和密集块 (2‑4)； S3： 主干网络的输入、 过渡层(1 ‑1)和过渡层(1 ‑2)分别经过3 ×3、 步长为2的卷积大小 减半， 然后分别与分支网络的密集块(2 ‑1)输出、 密集块(2 ‑2)输出和密集块(2 ‑3)输出叠 加， 通过最大池化层后的特征经过多次3 ×3卷积使其大小依次减半， 分别与分支网络的密 集块后的特 征进行通道叠加， 使其保留最原 始的特征信息； S4： 采用Canny算法提取原图的梯度信息， 与主线和分支网络的第一个密集块后的特征 进行梯度增强操作； 在主线和分支网络的第四个密集块后采用特征图梯度化增强轮廓特 征。 3.根据权利要求2所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， 所述主干网络的特 征图大小比同位置的分支网络大1倍。 4.根据权利要求2所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， S1具体包括如下步骤： S1.1： 根据云图种类的不同特 征， 将云图分为 N类； S1.2： 图像数据像素调整大小为2 94×294， 将云图特 征统一归一 化到[‑1， 1]之间。 5.根据权利要求2所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， S2具体包括如下步骤： S2.1： 输入 归一化处理后的云图特 征图； S2.2： 输入图像先经过卷积核为7 ×7， 步长为2的卷积层得到尺寸为147 ×147的特征 图， 每层卷积后都进行批量 正则化和Relu激活； S2.3： 得到的特 征经过最大池化层得到尺寸 为74×74的特征图； S2.4， 得到的特征分别输入到主干网络与分支网络； 其中， 主干网络为输入到密集块 (1‑1)中得到尺寸为74 ×74的特征； 分支网络为经过一次3 ×3， 步长为2的卷积操作得到尺 寸为37×37的特征， 接着 输入到密集块(2 ‑1)中得到尺 寸为37×37的特征； 每组卷积后得到权　利　要　求　书 1/2 页 2 CN 114565534 A 2的特征将与其之前输入的特 征进行通道数叠加作为下次卷积的输入； S2.5： 密集块(1‑1)和密集块(2‑1)得到的特征分别输入到过渡层(1 ‑1)和过渡层(2 ‑1) 中得到尺寸 为37×37和19×19的特征； S2.6： 得到的37 ×37大小的特征后续再经过密 集块(1‑2)、 过渡层(1 ‑2)、 密集块(1‑3)、 过渡层(1 ‑3)、 密集块(1 ‑4)； 得到的19 ×19大小的特征后续再经过密集块(2 ‑2)、 过渡层(2 ‑ 2)、 密集块(2 ‑3)、 过渡层(2 ‑3)、 密集块(2 ‑4)； 其中， 密集块(1 ‑2)、 密集块(1 ‑3)、 密集块(1 ‑ 4)卷积组数分别为12、 24和16， 密集块(2 ‑2)、 密集块(2 ‑3)、 密集块(2 ‑4)卷积组数分别为 12、 24和16； 经 过上述操作后分别得到尺寸 为10×10的主干特 征和5×5的分支特 征； S2.7： 主干网络得到的特 征经过一次3×3、 步长为2的卷积输出5 ×5的特征； S2.8， 将主干 网络和分支网络的特征图大小 统一为5×5以后， 将其特征通道数叠加， 得 到2048个通道， 经 过全局平均池化层得到尺寸 为1×1的特征； S2.9， 得到的特征经过分类层计算分类结果， 并计算网络的总损失； 其中， 分类层包含 分类卷积层和softmax函数， 分类层是一个步长为1， 类别数为10的卷积。 6.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， S2.3中所述 最大池化层采用卷积核大小为3 ×3， 步长为2。 7.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， S2.4中密集块(1 ‑1)和密集块(2 ‑1)均分别包含6组相同的卷积， 每组卷积包含1层 卷积核为1 ×1和1层卷积核为3 ×3的卷积层， 步长均为1。 8.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， S2.5中过渡层包含1层卷积核为1 ×1， 步长为1的卷积层， 以及1层2 ×2， 步长为2的 平均池化层。 9.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， S3具体包括如下步骤： S3.1： 将S2.3得到的74 ×74大小特征作为输入， 输入的特征经过3次3 ×3、 步长为2的卷 积， 生成大小分别为37 ×37、 19×19和10×10的特征； S3.2： 将大小为19 ×19的特征与密集块(2 ‑2)的输出通道数叠加， 大小为10 ×10的特征 与密集块(2‑3)的输出通道数叠加； S3.3： 最大池化层的输出大小为74 ×74， 经过3 ×3、 步长为2的卷积变为37 ×37， 与密集 块(2‑1)的输出通道数叠加， 过渡层(1 ‑1)的输出经过3 ×3、 步长为2的卷积， 得到大小为19 ×19的特征， 与密集块(2 ‑2)的输出通道数叠加， 过渡层(1 ‑2)的输出经过3 ×3、 步长为2的 卷积， 得到大小为10 ×10的特征， 与密集 块(2‑3)的输出通道数叠加。 10.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法， 其特 征在于， S4具体包括如下步骤： S4.1： 利用云图输入， 采用Canny边缘轮廓检测算子计算原图输入的轮廓特征， 后通过 softmax计算再加1， 转化成特征权重， 分别乘以S3.3操作后密集块(1 ‑1)和密集块(2 ‑1)的 输出； S4.2： 将密集块(1 ‑4)和密集块(2 ‑4)的输出采用Canny边缘轮廓检测算子计算轮廓特 征后， 通过softmax计算再加1， 转化 成特征权重， 分别乘以密集块(1 ‑4)和密集块(2 ‑4)的输 出作为最终的输出 特征。权　利　要　求　书 2/2 页 3 CN 114565534 A 3