(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210272068.X (22)申请日 2022.03.18 (71)申请人 武汉高德智感科技有限公司 地址 430205 湖北省武汉市东湖新 技术开 发区高新 三路29号 (72)发明人 黄晟　付航　黄超　 (74)专利代理 机构 深圳峰诚志合知识产权代理 有限公司 4 4525 专利代理师 张腾 (51)Int.Cl. G06V 10/80(2022.01) (54)发明名称 双光图像融合的方法、 系统、 电子设备和存 储介质 (57)摘要 本申请提供了双光图像融合的方法、 系统、 电子设备和存储介质， 包括： 通过红外成像模组 和板载的可见光模组获取原始图像数据， 所述原 始图像数据包括： 可见光灰度图像、 红外灰度图 像； 利用MCU芯片中的硬件加速单元协助计算， 根 据预设的双光融合算法和 融合参数对所述原始 图像数据进行图像融合。 不仅降低了CPU的计算 量， 而且提高了融合计算的计算效率。 提出了一 种计算双光图像融合系数的计算方法， 该方法计 算简单， 运算量小适用于大多数MCU芯片以及其 他嵌入式平台。 权利要求书2页 说明书8页 附图4页 CN 114882327 A 2022.08.09 CN 114882327 A 1.一种双光图像融合的方法， 其特 征在于， 所述方法包括： 通过红外成像模组和板载的可见光模组获取原始图像数据， 所述原始图像数据包括： 可见光灰度图像、 红外灰度图像； 利用MCU芯片中的硬件加速单 元对所述原 始图像数据进行处 理； 根据预设的双光融合 算法和融合 参数对经 过处理的所述原 始图像数据进行图像融合。 2.如权利要求1所述的方法， 其特征在于， 所述利用MCU芯片中的硬件加速单元对所述 原始图像数据进行处 理， 包括： 对可见光图像进行第一预处理， 获取可见光灰度图像， 所述第一预处理包括： 图像旋转 处理、 图像放大处 理、 图像灰度处 理； 以及， 对红外图像进行第二预处理， 获取红外灰度图像， 所述第二预处理包括： 图像旋转处 理、 调光处 理、 图像灰度处 理。 3.如权利要求1所述的方法， 其特征在于， 所述根据 预设的双光融合算法和融合参数对 经过处理的所述原 始图像数据进行图像融合， 包括： 通过预设的滤波模板对所述可 见光灰度图像进行 滤波， 获取平 滑可见光灰度图像； 根据历史边 缘灰度图像数组和预设的灰度 ‑色彩对照表设置融合系数detai l； 根据预设的边缘灰度公式、 所述融合系数detail、 所述可见光灰度图像以及所述平滑 可见光灰度图像， 获取 可见光边缘灰度图像； 通过所述双光融合算法融合所述红外灰度图像和可见光边缘灰度图像， 获取融合灰度 图像； 通过查找所述灰度 ‑色彩对照表将所述融合灰度图像转换为彩色图像。 4.如权利要求3所述的方法， 其特征在于， 所述根据历史边缘灰度图像数组和预设的灰 度‑色彩对照表设置融合系数detai l， 包括： 根据所述灰度 ‑色彩对照表和平均色彩公式获取 灰度对应的色彩平均RGB值； 根据所述历史边缘灰度图像数组、 色彩平均RGB值和预设的融合系数公式获取融合系 数。 5.一种双光图像融合的系统， 其特 征在于， 所述系统包括： 原始图像数据获取模块， 用于通过红外成像模组和板载的可见光模组获取原始图像数 据， 所述原始图像数据包括： 可见光灰度图像、 红外灰度图像； 并利用MCU芯片中的硬件加速 单元对所述原 始图像数据进行处 理 融合模块， 用于， 根据预设的双光融合算法和融合参数对经过处理的所述原始图像数 据进行图像融合。 6.如权利要求5所述的系统， 其特 征在于， 所述原 始图像数据获取模块， 包括： 第一预处理单元， 用于对可见光图像进行第一预处理， 获取可见光灰度图像， 所述第一 预处理包括： 图像旋转处 理、 图像放大处 理、 图像灰度处 理； 第二预处理单元， 用于对红外图像进行第二预处理， 获取红外灰度图像， 所述第 二预处 理包括： 图像旋转处 理、 调光处 理、 图像灰度处 理。 7.如权利要求5所述的系统， 其特 征在于， 所述融合模块， 包括： 平滑可见光灰度图像获取单元， 用于通过预设的滤波模板对所述可见光灰度图像进行 滤波， 获取平 滑可见光灰度图像；权　利　要　求　书 1/2 页 2 CN 114882327 A 2融合系数设置单元， 用于根据历史边缘灰度图像数组和预设的灰度 ‑色彩对照表设置 融合系数detai l； 边缘灰度图像获取单元， 用于根据预设的边缘灰度公式、 所述融合系数、 所述可见光灰 度图像以及所述平 滑可见光灰度图像， 获取 可见光边缘灰度图像； 融合灰度图像获取单元， 用于通过所述双光融合算法融合所述红外灰度图像和可见光 边缘灰度图像， 获取融合灰度图像； 转换单元， 用于通过查找所述灰度 ‑色彩对照表将所述融合灰度图像转换为彩色图像。 8.如权利要求7 所述的系统， 其特 征在于， 所述融合系数设置单 元， 包括： 色彩平均RGB值获取单元， 用于根据所述灰度 ‑色彩对照表和平均色彩公式获取灰度对 应的色彩平均RGB值； 融合系数获取单元， 用于根据所述历史边缘灰度图像数组、 色彩平均RGB值和预设的融 合系数公式获取融合系数。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑4任一项所述的双光图 像融合的方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1 ‑4任一项所述的双光图像融合的方法。权　利　要　求　书 2/2 页 3 CN 114882327 A 3