(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210172479.1 (22)申请日 2022.02.24 (71)申请人 中北大学 地址 030051 山西省太原市尖草 坪区学院 路3号 (72)发明人 刘祎　刘宇航　桂志国　张权　 颜溶標　 (74)专利代理 机构 北京五月天专利商标代理有 限公司 1 1294 专利代理师 王振华 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 基于深度学习的多能X射线图像融合方法及 装置 (57)摘要 本发明涉及一种基于深度学习的多能X射线 图像融合方法及装置， 采集不同工件的不同能量 X射线图作为训练数据集； 将训练数据集的X射线 图输入编码器， 训练编码器和解码器， 待训练网 络稳定后， 获得训练好的编码器和解码器； 在训 练好的编码器和解码器之间添加结合通道注意 力和基于模糊熵的空间注意力的融合策略； 输入 不同能量的X射线图至训练好的编码器提取特 征， 再使用结合通道注意力和基于模糊熵的空间 注意力的融合策略融合特征图， 融合后的特征图 再进入训练好的解码器输出融合结果。 通过本发 明方法及装置处理图像， 能够有效反映工件信 息， 提高检测准确率。 权利要求书1页 说明书6页 附图4页 CN 114708189 A 2022.07.05 CN 114708189 A 1.一种基于深度学习的多能X射线图像融合方法， 其特 征在于， 包括如下步骤： 步骤1： 采集 不同工件的不同能量X射线图作为训练数据集； 步骤2： 将训练数据集的X射线图输入编码器， 训练编码器和解码器， 待训练网络稳定 后， 获得训练好的编码器和解码器； 步骤3： 在训练好的编码器和解码器之间添加结合通道注意力和基于模糊熵的空间注 意力的融合策略； 步骤4： 输入不同能量的X射线图至训练好的编码器提取特征， 再使用结合通道注意力 和基于模糊熵的空间注意力的融合策略融合特征图， 融合后的特征图再进入训练好的解码 器输出融合结果。 2.根据权利要求1所述的基于深度学习的多能X射线图像 融合方法， 其特征在于： 步骤2 中， 编码器由主支路和辅支路组成， 所述主支路先用一个1 ×1卷积层对输入图像升高特征 通道数， 再用4层多尺度卷积块提取图像的全局特征； 所述辅支路对输入图像使用可训练的 边缘检测 算子增强边缘信息， 获得与主支路相同维度的特征图， 辅支路与主支路唯一不同 的是用可训练的边 缘检测算子替代主支路的起始卷积层。 3.根据权利要求2所述的基于深度学习的多能X射线图像 融合方法， 其特征在于： 步骤2 中， 编码器主支路和辅支路提取 的特征相加后进入解码器， 在解码器末端卷积层将图像通 道数改为单通道， 输出重建图像。 4.根据权利要求2所述的基于深度学习的多能X射线图像 融合方法， 其特征在于： 步骤2 中， 辅支路采用的边 缘检测算子为Sobel 算子、 Laplacian 算子、 Can ny算子或LO G算子。 5.根据权利要求2所述的基于深度学习的多能X射线图像 融合方法， 其特征在于： 步骤2 中， 主支路和辅支路均连接密集旁路， 所述旁路用于提升特 征复用能力。 6.根据权利要求2所述的基于深度学习的多能X射线图像 融合方法， 其特征在于： 步骤2 中， 多尺度卷积块具有四条分支， 每 个卷积块均由卷积层、 激活函数和批量归一 化层组成。 7.根据权利要求6所述的基于深度学习的多能X射线图像 融合方法， 其特征在于： 步骤2 中， 卷积块的激活函数采用Sigmoid函数， Relu函数， Tanh函数， So ftmax函数或Leaky  Relu 函数。 8.根据权利要求1所述的基于深度学习的多能X射线图像 融合方法， 其特征在于： 步骤2 中， 指导网络训练的复合损失函数由L1损失函数和基于图像块的一致性损失函数加权组合 而成； 所述基于图像块的一致性损失函数用于计算输入图像局部能量图和输出图像局部能 量图的L1范数值损失， 所述局部能量图中像素点计算方式为， 一个图像块内的邻域像素与 中间像素差值的平方和， 再求平均。 9.根据权利要求1所述的基于深度学习的多能X射线图像 融合方法， 其特征在于： 步骤3 中， 结合通道注意力和基于模糊熵的空间注意力的融合策略具体为， 将特征图分别使用通 道注意力模块和基于模糊熵的空间注意力模块进 行融合， 并将所述两个融合模块的输出取 均值， 作为特 征图融合结果。 10.一种基于深度学习的多能X射线图像 融合装置， 其特征在于， 用于执行权利要求1 ‑9 任何一项所述的方法。权　利　要　求　书 1/1 页 2 CN 114708189 A 2基于深度学习的多能X射线图像融合 方法及装置 技术领域 [0001]本发明涉及一种基于深度学习的多能X射线图像融合方法及装置 。 背景技术 [0002]复杂结构的重要部件在航天、 国防和工业应用领域发挥着不可替代的作用， 生产 厂家在制 造这些工件时需要严格把控质量， X射线常被视为质量检测的工具。 数字化X射线 成像技术能完成一系列诸如缺陷检测和内部结构分析的工作， 但受工件结构和材料方面的 制约， 大厚度比的检测对 象在单能系统下存在过曝光和曝光不足的现象， 难以反映全面的 结构信息。 具体的： 在X射线图中， 工件中较厚区域显示良好时， 较薄的地方只有小部分X射 线被吸收， 可能出现曝光过度； 相反， 当工件较薄处显示良好时， 较厚区域无法保证X射线穿 过后的剩余强度， 可能表现为曝光不足。 图像融合能将不同传感器或同一传感器在不同成 像条件下 的信息融合起来， 较好的提升图像分辨率和清晰度， 增强和相互补充图像的相关 特征。 融合不同能量照射下 的X射线图像能较好地解决工件检测时过 曝光和曝光不足共存 的问题。 有两个重要因素决定了图像融合的最终结果： 一是如何检测和 提取源图像中的信 息， 二是设计合 适的规则来融合 提取的特 征信息。 [0003]现有技术中， 公开且较流行的图像融合方法可分为5类： 空间域处理算法、 变换域 处理算法、 稀疏表 示算法、 深度学习算法和复合算法。 空间域处理算法以原始图像的像素点 为基本单位， 直接处理图像， 典型例子是采用加权平均来 获得融合权值图， 处理速度快但 容 易引入噪声且很难自适应得确定每个特征的重要性。 在变换域进 行的图像融合方法用计算 过程的复杂性换取相对较多细节的保留。 基于 分块的稀疏表示算法通过稀疏系数特征来融 合图像， 过程简单， 但算法受分块策略和块尺寸大小的影响， 常被不必要的背景信息干扰， 训练得到的字典包含过多的不必要特征， 融合结果存在空间上的不连续性， 有时还含有黑 边， 不利于实际应用。 基于深度学习的方法在红外与可见光图像融合、 医学图像融合和多焦 点图像融合上有着较多应用， 体现出较好的融合效果和不错的鲁棒性， 而深度学习 下的多 能X射线图像融合方法的公开文献资料有限。 大多基于X射线的工件检测方法通过递增X管 电压来获取不同厚度范围的透照子图， 并通过子图的加权融合得到融合结果， 但加权融合 过程可能导 致图像深度范围远 远超过设备的显示能力， 无法完整显示工件的结构信息 。 发明内容 [0004]本发明的发明目的在于提供一种基于深度学习的多能X射线图像融合方法及装 置， 能够有效反映工件信息， 提高检测准确率。 [0005]基于同一发明构思， 本发明具有两个 独立的技 术方案： [0006]1、 一种基于深度学习的多能X射线图像融合方法， 一种基于深度学习的多能X射线 图像融合方法， 包括如下步骤： [0007]步骤1： 采集 不同工件的不同能量X射线图作为训练数据集； [0008]步骤2： 将训练数据集的X射线图输入编码器， 训练编码器和解码器， 待训练网络稳说　明　书 1/6 页 3 CN 114708189 A 3