(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210228193.0 (22)申请日 2022.03.08 (71)申请人 赛维森(广州)医疗科技 服务有限公 司 地址 510220 广东省广州市海珠区瑞宝街 道海珠智汇科技园D1栋201-202室 (72)发明人 冯嘉豪　汪进　陈睿　 (74)专利代理 机构 深圳舍穆专利代理事务所 (特殊普通 合伙) 44398 专利代理师 黄贤炬 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06T 7/00(2017.01) G06V 10/82(2022.01) (54)发明名称 基于注意力机制的超声与钼靶多模态融合 分析方法和系统 (57)摘要 本公开涉及一种基于注意力机制的超声与 钼靶多模态融合分析方法和系统， 该分析方法包 括： 将多种影像图像分别输入多个特征提取模块 以获得图像特征， 多种影像图像包括通过超声成 像装置获得的超声影像图像和通过钼靶摄影装 置获得的钼靶影像图像， 基于注 意力机制和图像 特征获得与图像特征相匹配的权重系数， 并基于 图像特征和权重系数获得注意力图像特征， 基于 注意力图像特征和图像特征获得组合特征， 基于 组合特征获得与影像图像相匹配的分类结果。 在 这种情况下， 能够分别提取不同的影像图像的 图 像特征， 并将不同影像图像的重要程度引入到分 析过程， 从而能够减少单一影像图像的片面性或 呈现内容 不足导致的分类结果有误的情况。 权利要求书1页 说明书12页 附图2页 CN 114581716 A 2022.06.03 CN 114581716 A 1.一种基于注意力机制的超声与钼靶多模态融合分析 方法， 其特 征在于， 包括： 将受检者的乳腺的多种影像图像分别输入多个特征提取模块以获得图像特征， 所述多 种影像图像包括通过超声成像装置获得 的超声影像图像和 通过钼靶摄影装置获得 的钼靶 影像图像， 基于注意力 机制和所述图像特征获得与 所述图像特征相匹配的权重系数， 并基于所述 图像特征和所述权 重系数获得注意力图像特 征， 基于所述注意力图像特 征和所述图像特 征获得组合特 征， 基于所述组合特 征获得与所述影 像图像相匹配的分类结果。 2.如权利要求1所述的分析 方法， 其特 征在于， 所述钼靶影像图像包括钼靶摄影装置从第一投照方向获得的第一钼靶影像图像以及 钼靶摄影装置从第二投照方向获得的第二钼靶影 像图像。 3.如权利要求2所述的分析 方法， 其特 征在于， 所述第一钼靶影像图像为钼靶CC位的影像图像， 所述第二钼靶影像图像为钼靶MLO位 的影像图像。 4.如权利要求1所述的分析 方法， 其特 征在于， 所述多种影 像图像还 包括通过磁共 振检查获得的乳腺磁共 振影像图像。 5.如权利要求1所述的分析 方法， 其特 征在于， 所述多个特 征提取模块中的各个特 征提取模块 通过单独训练获得。 6.如权利要求5所述的分析 方法， 其特 征在于， 对所述特 征提取模块进行训练时， 对影 像图像进行增广处 理并获得训练集。 7.如权利要求1所述的分析 方法， 其特 征在于， 所述特征提取模块 为基于卷积神经网络的特 征提取器。 8.如权利要求1所述的分析 方法， 其特 征在于， 通过残差连接的方式获得 所述组合特 征。 9.如权利要求1 ‑8中任一项权利要求所述的分析 方法， 其特 征在于， 对所述组合特征进行标准化， 并基于标准化后的所述组合特征获得与 所述影像图像相 匹配的分类结果。 10.一种基于注意力机制的超声与钼靶多模态融合分析系统， 其特征在于， 包括： 多个 特征提取模块、 注意力模块、 特 征组合模块以及分析模块， 所述多个特征提取模块配置为分别对多种影像图像进行处理以获得图像特征， 所述多 种影像图像包括通过超声成像装置获得 的超声影像图像和 通过钼靶摄影装置获得 的钼靶 影像图像， 所述注意力模块配置为接收所述图像特征， 基于注意力 机制获得与 所述图像特征相匹 配的权重系数， 并基于所述图像特 征和所述权 重系数获得注意力图像特 征， 所述特征组合模块配置为接收所述注意力图像特 征和所述图像特 征并获得组合特 征， 所述分析模块配置为接收所述组合特征， 并基于所述组合特征获得与 所述影像图像相 匹配的分类结果。权　利　要　求　书 1/1 页 2 CN 114581716 A 2基于注意力机制的超声与钼靶多模 态融合分析方 法和系统 技术领域 [0001]本公开大体涉及人工智能领域， 具体涉及 一种基于注意力机制的超声与钼靶多模 态融合分析 方法和系统。 背景技术 [0002]乳腺癌发病率已跃居女性恶性肿瘤的首位， 且发病年龄呈年轻化趋势， 各地区乳 腺癌筛查的需求量也随之变大。 但是， 对乳 腺癌进行筛查的病理医生的培训周期 较长， 各医 院所拥有的病理医生资源难以应对 日益增长的筛查需求量。 同时， 病理医生在筛查大量的 病例时可能会出现误诊或漏诊的情况。 为了提高病理医生的工作效率和工作质量， 常使用 深度学习模型对乳腺的影像进行分析以辅助病理医生。 一般情况下， 医生需要结合病 人的 超声影像以及钼靶影像才能得出诊断。 然而现有的基于深度学习的乳腺癌分析一般都是单 独对超声影像或钼靶影像进行特征提取然后进行分析， 最后得出各个影像的乳腺良恶性分 类， 这些深度学习模型只考虑了当前影像的特征， 而未考虑不同影像不同角度结合出来的 综合特征， 因此这些分类结果是片面的， 并且准确率、 敏感度与特异性较低。 [0003]CN109146848A公开了一种融合多模态乳腺图像的计算机辅助参考系统及方法， 在 该方法中， 先使用不同的方法分别对乳腺超声影像图像和钼靶影像图像进行预处理， 并提 取乳腺肿块感兴趣区域， 再从乳腺肿块感兴趣区域中提取图像特征， 再对乳腺肿块进行良 恶性分类。 [0004]然而， 该方法需要先标记出超声影像图像肿块位置以便于提取该肿块位置的图像 特征， 同时， 该方法在 超声影像图像和钼靶影像图像中提取图像特征后， 直接串联融合两种 影像图像的图像特征， 因此该方法依然未考虑到不同影像对乳腺肿块良恶性分类的重要程 度， 无法有效地辅助病理医生分析。 发明内容 [0005]本公开是有鉴于上述的状况而提出的， 其目的在于提供一种利用注意力机制针对 不同类型 的影像图像赋予不同的权重系 数， 对多个不同类型 的影像图像进行综合分析， 从 而能够提高分析准确率、 敏感度与特异 性的基于注意力机制的超声与钼靶多模态融合分析 方法和系统。 [0006]为此， 本公开第一方面提供了一种基于注意力机制的超声与钼靶多模态融合分析 方法， 包括： 将受检者的乳腺的多种影像图像分别输入多个特征提取模块以获得图像特征， 所述多种影像图像包括通过超声成像装置获得 的超声影像图像和 通过钼靶摄影装置获得 的钼靶影像图像， 基于注意力机制和所述图像特征获得与所述图像特征相匹配的权重系 数， 并基于所述图像特征和所述权重系 数获得注意力图像特征， 基于所述注意力图像特征 和所述图像特征获得组合特征， 基于所述组合特征获得与所述影像图像相匹配的分类结 果。 在这种情况下， 能够先利用多个特征提取模块分别提取不同的影像图像的图像特征， 进 而能够基于注意力机制获取与图像特征相匹配的权重系数， 也即利用注意力机制获得从不说　明　书 1/12 页 3 CN 114581716 A 3