(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210270182.9 (22)申请日 2022.03.18 (71)申请人 山西三友和智慧信息技 术股份有限 公司 地址 030000 山西省太原市太原高新区科 技街15号A1 18室 (72)发明人 王小华　潘晓光　张雅娜　焦璐璐　 张娜　 (74)专利代理 机构 深圳科润知识产权代理事务 所(普通合伙) 44724 专利代理师 李小妮 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于RFN-Nest的图像融合方法 (57)摘要 本发明属于机器学习技术领域， 具体涉及一 种基于RFN ‑Nest的图像融合方法， 包括如下步 骤： S1、 数据采集： 收集对红外和可见光图像的公 共数据集， 完成模型训练所需的数据构建； S2、 数 据预处理： 预处理包括归一化、 数据划分， 统一数 据尺度， 将预处理的图像输入构建好的模型中， 保证模型训练效果； S3、 识别模型： 包括采用深度 学习完成模型的搭建和模型训练； S4、 模型保存： 当模型的损失函数不再降低之后， 保存模型。 本 发明通过利用训练好的编码器从源图像中提取 多尺度特征， 利用融合的多尺度特征重建融合后 的图像。 在第二阶段， 分别使用Ldetail和Lf   efeature来保留图像的显著特征。 训练完成后， 对融合后的 图像进行重建。 RFN ‑Nest网络 具有广 泛的应用能力， 超 越了图像融合。 权利要求书1页 说明书3页 附图1页 CN 114742739 A 2022.07.12 CN 114742739 A 1.一种基于RFN ‑Nest的图像融合方法， 其特 征在于： 包括如下步骤： S1、 数据采集： 收集对红外和可见光图像的公共数据集， 完成模型训练所需的数据构 建； S2、 数据预处理： 预处理包括归一化、 数据划分， 统一数据尺度， 将预处理的图像输入构 建好的模型中， 保证模型训练效果； S3、 识别模型： 包括采用深度学习完成模型的搭建和模型训练； S4、 模型保存： 当模型的损失函数不再降低之后， 保存 模型。 2.根据权利要求1所述的一种基于RFN ‑Nest的图像融合方法， 其特征在于： 所述步骤S1 中， 收集相关的对红外和可见光图像的公共数据集包括四个,具体为： 第一个数据集为MS ‑ COCO公共数据集； 第二个数据集为KAIST公共 数据集； 第三个数据集为TNO公共 数据集； 第四 个数据集为VOT2020 ‑RGBT公共数据集， 将上述的四种公共数据集中的图像进行整合， 构建 原始数据集用于模型的训练和 测试。 3.根据权利要求2所述的一种基于RFN ‑Nest的图像融合方法， 其特征在于： 所述步骤S2 中， 所述数据划分具体为： 用五折交叉验证法将数据集划分为5个大小相似的互斥子集， 每 个子集都要尽可能保持数据分布的一致性， 然后用4个子集的并集作为训练集， 余下的子集 作为测试集， 从而获得5组训练/测试集。 4.根据权利要求3所述的一种基于RFN ‑Nest的图像融合方法， 其特征在于： 所述步骤S2 中， 统一图像尺度大小 具体方法为： 由于获得原始数据集中的图像尺寸大小不同， 故将数据 划分后得到的所有数据进行缩放， 以便输入模型， 将其按照大小比例全部调整为统一尺寸 大小256×256。 5.根据权利要求4所述的一种基于RFN ‑Nest的图像融合方法， 其特征在于： 所述步骤S3 中， 模型构建具体为： 构建基于RFN ‑Nest的网络模型， 该网络模型为端到端融合网络， 它包 含三个部分:编码器、 残差融合网络(RFN)和解码器， 首先通过编码器网络中的最大池化操 作， 可以从源图像中提取出多尺度的深度特征， 之后利用RFN融合各尺度下提取的多模态深 度特征， 其中浅层特征保留了更多的细节信息， 而深层特征则传达了语义信息， 最后， 利用 基于密集连接的解码器网络对融合后的图像进行重构， 充分利用了特 征的多尺度信息 。 6.根据权利 要求5所述的一种基于RFN ‑Nest的图像融合方法， 其特征在于： 所述模型构 件中， RFN是基于残差块的概念进行构建， 该模块中包含六个卷积层， Conv1和Conv2的输出 连接为Conv3的输入， 解码器网络是接收来 自FPN模块融合后的特征信息， 该解码器网络是 基于密集(nest)连接构建形成， 它使融合后的图像重建变得更有效， 通过密集连接将同一 层中的模块进行 连接， 输出由融合的多尺度特 征重构出的融合图像。 7.根据权利 要求6所述的一种基于RFN ‑Nest的图像融合方法， 其特征在于： 模型训练具 体为： 在模型 的训练过程中使用两阶段训练策略， 利用构建网络中的编码器进行特征提取 和解码器进行特征重构， 在第一阶段训练编码器网络提取多尺度深度特征， 对解码网络进 行训练， 重构出具有多尺度深度特征 的输入图像， 将多尺度深度特征输入到解码器网络中 重建输入图像， 利用短的跨层连接， 充分利用多尺度深度特 征重建输入图像。权　利　要　求　书 1/1 页 2 CN 114742739 A 2一种基于RFN ‑Nest的图像融合 方法 技术领域 [0001]本发明属于 机器学习技 术领域， 具体涉及一种基于RFN ‑Nest的图像融合方法。 背景技术 [0002]由于成像传感器的物理局限性， 很难捕捉到一致良好质量的场景 图像。 图像融合 在这一背景下发挥着重要作用。 现有的融合方法可以分为两大类:传统算法和基于深度学 习的方法。 在传统算法中， 这些算法的融合性能高度 依赖于所使用的特征提取方法， 导致其 性能低下。 [0003]现有技术存在的问题或者缺陷： 在图像融合领域， 基于深度学习的融合方法的设 计还远远不够。 它总是特定于某个具体的融合任务， 需要仔细考虑。 设计中最困难的部 分是 选择一个合适的策略来生成 融合图像， 以满足特定的任务。 因此， 设计可学习的融合策略是 图像融合领域中一个非常具有挑战性的问题。 发明内容 [0004]本发明通过收集来自MS ‑COCO、 KAIST、 VOT2020 ‑RGBT和TNO相关的公共数据集， 将 上述数据集中的图像进行整合构建新的数据集完成模型 的训练， 完成数据集的构建后， 对 数据进行预处理， 预 处理包括数据集的划分、 归一化等操作。 将预 处理后的图像数据集输入 构建后的网络模型中进 行模型的训练， 通过模型损失函数的计算， 完成模型参数的调优， 到 模型损失函数不再 下降， 保存 模型， 完成模型构建。 [0005]本申请公开的一种基于RFN ‑Nest的图像融合方法， 包括如下步骤： [0006]S1、 数据采集： 收集对红外和可见光图像的公共数据集， 完成模型训练所需的数据 构建； [0007]S2、 数据预处理： 预处理包括归一化、 数据划分， 统一数据尺度， 将预处理的图像输 入构建好的模型中， 保证模型训练效果； [0008]S3、 识别模型： 包括采用深度学习完成模型的搭建和模型训练； [0009]S4、 模型保存： 当模型的损失函数不再降低之后， 保存 模型。 [0010]进一步的， 所述步骤S1中， 收集相关的对红外和可见光图像的公共数据集包括四 个,具体为： 第一个数据集为MS ‑COCO公共 数据集； 第二个数据集为KAIST  公共数据集； 第三 个数据集为TNO公共数据集； 第四个数据集为VOT2020 ‑RGBT 公共数据集， 将上述的四种公 共数据集中的图像进行整合， 构建原 始数据集用于模型的训练和 测试。 [0011]进一步的， 所述步骤S2中， 所述数据划分具体为： 用五折交叉验证法将数据集划分 为5个大小相似的互斥子集， 每个子集都要尽可能保持数据分布的一致性， 然后用4个子集 的并集作为训练集， 余下的子集作为测试集， 从而获得5组训练/测试集。 [0012]进一步的， 所述步骤S2中， 统一图像尺度大小具体方法为： 由于获得原始数据集中 的图像尺寸大小不同， 故将数据划分后得到的所有 数据进行缩放， 以便输入模型， 将其按照 大小比例全部调整为统一尺寸大小25 6×256。说　明　书 1/3 页 3 CN 114742739 A 3