(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221019179 9.1 (22)申请日 2022.02.28 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 刘治　曹艳坤　米加　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于多模态影像组学的颈动脉易损性 分级方法及系统 (57)摘要 本发明属于医学影像识别领域， 提供了一种 基于多模态影像组学的颈动脉易损性分级方法 及系统。 该方法包括， 获取至少颈动脉超声 图像 和核磁共振图像中的一种； 基于至少颈动脉超声 图像和核磁共振图像中的一种， 采用颈动脉斑块 分级模型， 得到颈动脉斑块的易损性等级； 所述 颈动脉斑块 分级模型包括： 多尺度特征融合网络 和注意力分类网络； 其中， 所述多尺度特征融合 网络用于基于颈动脉超声图像样本和颈动脉核 磁共振图像样本， 将提取的颈动脉超声图像样本 特征和颈动脉核磁共振图像样 本特征进行融合， 得到融合特征； 所述注意力分类网络用于基于融 合特征和颈动脉超声图像样本特征/颈动脉核磁 共振图像样 本特征， 得到颈动脉斑块的易损性等 级。 权利要求书2页 说明书6页 附图1页 CN 114565577 A 2022.05.31 CN 114565577 A 1.一种基于多模态影 像组学的颈动脉易损性分级方法， 其特 征在于， 包括： 获取至少颈动脉超声图像和核磁共 振图像中的一种； 基于至少颈动脉超声图像和核磁共振图像中的一种， 采用颈动脉斑块分级模型， 得到 颈动脉斑块的易损性 等级； 所述颈动脉斑块分级模型包括： 多尺度 特征融合网络和注意力分类网络； 其中， 所述多 尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本， 将提取的颈 动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合， 得到融合特征； 所述注 意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特 征， 得到颈动脉斑块的易损性 等级。 2.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法， 其特征在于， 在提取颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征之前包括： 对所述颈动脉 超声图像样本进行分级， 得到针对超声的四种颈动脉斑块的易损性等级； 对所述颈动脉核 磁共振图像样本进行分级， 得到针对核磁共 振的四种颈动脉斑块的易损性 等级。 3.根据权利要求2所述的基于多模态影像组学的颈动脉易损性分级方法， 其特征在于， 根据针对超声的四种颈动脉斑块的易损性等级对所述颈动脉超声图像样本制作标签， 得到 针对超声的四种颈动脉斑块的易损性标签； 针对核磁共振的四种颈动脉斑块的易损性等级 对所述颈动脉核磁共振图像样本制作标签， 得到针对核磁共振的四种颈动脉斑块的易损性 标签。 4.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法， 其特征在于， 所述得到融合特 征的具体过程包括： 采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第一层特征和颈动脉核 磁共振图像样本的第一层特征， 然后 将动脉超声图像样本的第一层特征和颈动脉核磁共振 图像样本的第一层特 征进行融合， 得到第一层融合特 征； 采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第二层特征和颈动脉核 磁共振图像样本的第二层特征， 然后将颈动脉超声图像样本的第二层特征、 颈动脉核磁共 振图像样本的第二层特 征和第一层融合特 征进行融合， 得到第二层融合特 征； 采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第三层特征和颈动脉核 磁共振图像样本的第三层特征， 然后将颈动脉超声图像样本的第三层特征、 颈动脉核磁共 振图像样本的第三层特征和第二层融合特征进行融合， 得到第三层融合特征， 即所述融合 特征。 5.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法， 其特征在于， 所述注意力分类网络包括： 超声图像注意力分类网络和核磁共 振注意力分类网络 。 6.根据权利要求4所述的基于多模态影像组学的颈动脉易损性分级方法， 其特征在于， 所述超声图像注意力分类网络用于将多尺度特征融合网络提取的颈动脉超声图像样本的 高层特征与融合特征并联后， 根据标签指导学习权重值， 然后训练得到颈动脉斑块的易损 性等级。 7.根据权利要求4所述的基于多模态影像组学的颈动脉易损性分级方法， 其特征在于， 所述核磁共振注意力分类网络用于将多尺度特征融合网络提取的颈动脉核磁共振图像样 本的高层特征与融合特征并联后， 根据标签指导学习权重值， 然后训练得到颈动脉斑块的权　利　要　求　书 1/2 页 2 CN 114565577 A 2易损性等级。 8.一种基于多模态影 像组学的颈动脉易损性分级系统， 其特 征在于， 包括： 数据获取模块， 其被 配置为： 获取至少颈动脉超声图像和核磁共 振图像中的一种； 输出模块， 其被配置为： 基于至少颈动脉超声图像和核磁共振图像 中的一种， 采用颈动 脉斑块分级模型， 得到 颈动脉斑块的易损性 等级； 模型构建模块， 其被配置为： 所述颈动脉斑块分级模型包括： 多尺度 特征融合网络和注 意力分类网络； 其中， 所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核 磁共振图像样本， 将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进 行 融合， 得到融合特征； 所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/ 颈动脉核磁共 振图像样本特 征， 得到颈动脉斑块的易损性 等级。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于多模态影像组学的颈动脉易损性分级方法中 的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于多模态影 像组学的颈动脉易损性分级方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114565577 A 3