(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221014342 2.9 (22)申请日 2022.02.16 (71)申请人 展讯通信 （上海） 有限公司 地址 201203 上海市浦东 新区张江高科技 园区祖冲之 路2288弄展讯中心1号楼 (72)发明人 刘千顺　邵娜　林英男　赵磊　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 骆苏华 (51)Int.Cl. G06T 5/50(2006.01) G06T 5/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) (54)发明名称 图像融合方法及装置、 计算机可读存储介 质、 终端 (57)摘要 一种图像融合方法及 装置、 计算机可读存储 介质、 终端， 所述方法包括： 对参考帧原始图像和 匹配帧原始图像 分别进行特征提取， 以得到参考 帧特征和匹配帧特征； 根据所述参考帧特征和所 述匹配帧特征， 进行多轮对齐融合处理， 确定最 终融合特征； 对所述最终融合特征进行解码， 得 到融合后图像。 本发明可以实现对多帧不同曝光 程度的带噪声原始图像进行融合时， 有效解决帧 间偏移问题和进行降噪处理， 增强图像动态范围 的同时， 获得高质量的融合图像 。 权利要求书3页 说明书14页 附图4页 CN 114511487 A 2022.05.17 CN 114511487 A 1.一种图像融合方法， 其特 征在于， 包括： 对参考帧原始图像和匹配帧原始图像分别进行特征提取， 以得到参考帧特征和匹配帧 特征； 根据所述 参考帧特征和所述匹配帧特 征， 进行多轮对齐融合处 理， 确定最终融合特 征； 对所述最终融合特 征进行解码， 得到融合后图像。 2.根据权利要求1所述的方法， 其特征在于， 在对参考帧原始图像和匹配帧原始图像分 别进行特征提取之前， 所述方法还 包括： 确定多帧针对同一场景采集的 曝光时间不同且标注相同噪声标签的原 始图像； 根据各帧原 始图像的 曝光时间， 对所述原 始图像进行分组， 得到多组分组后图像； 从所述多组分组后图像中选取一组图像作为所述参考帧原始图像， 以及从剩余图像中 选取至少一组图像作为所述匹配帧原 始图像； 其中， 所述多组分组后图像 中， 各组图像之间具有不同的曝光时间， 且各组图像中的每 帧图像的 曝光时间相同。 3.根据权利要求1或2所述的方法， 其特征在于， 所述特征提取所采用的算法为残差卷 积神经网络算法； 所述对参 考帧原始图像和匹配帧原 始图像分别进行 特征提取包括： 将所述参考帧原始图像和所述匹配帧原始图像分别输入由多个残差卷积神经网络组 成的残差块进行 特征提取， 以得到所述 参考帧特征和所述匹配帧特 征。 4.根据权利要求1所述的方法， 其特征在于， 根据所述参考帧特征和所述匹配帧特征， 进行多轮对齐融合处 理， 确定最终融合特 征包括： 在第一轮对齐 融合处理中， 将对所述参考帧特征和所述匹配帧特征分别进行预设倍数 的下采样后得到的第一轮的下采样参考帧特征和 第一轮的下采样匹配帧特征， 进 行对齐融 合处理， 得到第一轮的融合特 征； 在之后的每一轮对齐融合处理中， 将对前一轮得到的融合特征进行上采样后得到的上 采样融合特征以及 对所述参考帧特征进行下采样后得到的下采样参考帧特征， 进 行对齐融 合处理， 得到该轮的融合特 征； 直至对齐融合处理的轮次达到预设轮次时， 将对齐融合处理后得到的融合特征作为所 述最终融合特 征； 其中， 在所述多轮对齐融合处理中， 对所述参考帧特征进行下采样的倍数自所述预设 倍数起逐轮减小， 所述对前一轮得到的融合特征进行上采样的倍数等于前一轮中对所述参 考帧特征进行下采样的倍数与当前轮中对所述 参考帧特征进行下采样的倍数之差 。 5.根据权利要求4所述的方法， 其特征在于， 在对所述第 一轮的下采样参考帧特征和所 述第一轮的下采样匹配 帧特征进行对齐过程中， 得到第一轮的对齐后特征， 以及确定第一 轮的偏移量； 所述之后的每一轮对齐融合处 理包括： 基于对前一轮确定的偏移量进行上采样后的上采样偏移量， 将对前一轮得到的融合特 征进行上采样后得到的上采样融合特征以及对所述参考帧特征进行下采样后得到的下采 样参考帧特征， 进行对齐处 理， 得到该轮的对齐后特 征， 以及确定该轮的偏移量； 对该轮得到的对齐后特征和该轮中的所述下采样参考帧特征进行融合处理， 得到该轮权　利　要　求　书 1/3 页 2 CN 114511487 A 2的融合特 征； 其中， 所述对前一轮确定的偏移量进行上采样的倍数和对前一轮得到的融合特征进行 上采样的倍数相同。 6.根据权利要求5所述的方法， 其特征在于， 在所述多轮对齐融合处理中， 进行对齐处 理所采用的算法是 可变形卷积神经网络算法。 7.根据权利要求5所述的方法， 其特征在于， 在所述多轮对齐融合处理中， 每一轮进行 的融合处 理包括： 采用连接函数Contact， 对该轮得到的对齐后特征和该轮中的所述下采样参考帧特征 进行连接处理， 得到该轮的连接后特 征； 将该轮得到的连接后特征输入由多个残差卷积神经网络组成的残差块进行融合， 得到 所述该轮的融合特 征。 8.根据权利要求5所述的方法， 其特征在于， 在所述多轮对齐融合处理的每一轮中， 是 在对该轮中得到的所述对齐后特征进 行去鬼影处理以得到该轮的去鬼影后特征之后， 再进 行所述融合处 理的。 9.根据权利要求8所述的方法， 其特征在于， 对该轮中得到的所述对齐后特征进行去鬼 影处理以得到该轮的所述去鬼影后特 征包括： 采用卷积神经网络算法， 根据 该轮中得到的所述对齐后特征和该轮中的所述下采样参 考帧特征， 得到卷积结果； 采用激活函数， 根据所述卷积结果， 确定去鬼影权 重值； 将该轮中得到的所述对齐后特征与 所述去鬼影权重值相乘， 得到该轮的所述去鬼影后 特征。 10.根据权利要求9所述的方法， 其特 征在于， 所述激活函数选自： S型函数Sigmo id、 双曲正切函数Tanh、 线性整流 函数ReLU。 11.根据权利要求8所述的方法， 其特征在于， 在所述多轮对齐融合处理中， 每一轮进行 的融合处 理包括： 采用连接函数Contact， 对该轮得到的所述去鬼影后特征和该轮中的所述下采样参考 帧特征进行连接处理， 得到该轮的连接后特 征； 将该轮得到的连接后特征输入由多个残差卷积神经网络组成的残差块进行融合， 得到 该轮的所述融合特 征。 12.根据权利要求1所述的方法， 其特征在于， 在对所述最终融合特征进行解码， 得到融 合后图像之后， 所述方法还 包括： 对所述融合后图像进行图像信号处 理， 得到彩色图像。 13.一种图像融合装置， 其特 征在于， 包括： 特征提取模块， 用于对参考帧原始图像和匹配帧原始图像分别进行特征提取， 以得到 参考帧特征和匹配帧特 征； 对齐融合模块， 用于根据 所述参考帧特征和所述匹配帧特征， 进行多轮对齐 融合处理， 确定最终融合特 征； 解码模块， 用于对所述 最终融合特 征进行解码， 得到融合后图像。 14.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序权　利　要　求　书 2/3 页 3 CN 114511487 A 3