(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210120319.2 (22)申请日 2022.02.09 (65)同一申请的已公布的文献号 申请公布号 CN 114155243 A (43)申请公布日 2022.03.08 (73)专利权人 天津恒宇医疗科技有限公司 地址 300000 天津市滨 海新区自贸试验区 (空港经济区） 西八道9 号厂房1三层东 区 (72)发明人 武西宁　赵士勇　 (74)专利代理 机构 天津市君砚知识产权代理有 限公司 12 239 专利代理师 刘雅爽 (51)Int.Cl. G06T 7/00(2017.01)G06T 7/33(2017.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/77(2022.01) (56)对比文件 CN 111784720 A,2020.10.16 CN 113544737 A,2021.10.2 2 CN 108053433 A,2018.0 5.18 审查员 杨林郁 (54)发明名称 基于特征信息的IVUS和OCT图像融合方法及 系统 (57)摘要 本发明公开了一种基于特征信息的IVUS和 OCT图像融合方法及系统。 通过获取同一血管段 的多帧IVUS图像和OCT图像； 提取管腔轮廓特征； 任选IVUS图像或OCT图像中的一种， 作为参考 图 像， 另一种作为待匹配图像； 对提取的所述管腔 轮廓特征， 选取有限点集； 分别对所述参考图像 和搜索出的最接近的待匹配图像， 利用所述管腔 轮廓特征进行粗匹配； 利用斑块信息或血管分支 信息， 进行精配准， 通过进行主成分分解， 并求解 加权系数， 根据得出的加权系数进行融合； 实现 了IVUS和OCT两种图像采集模式的精确融合， 能 够获得血管壁和冠状动脉粥样硬化斑块更加全 面的信息 。 权利要求书3页 说明书9页 附图5页 CN 114155243 B 2022.07.05 CN 114155243 B 1.一种基于特 征信息的IVUS和OCT图像融合方法， 其特 征在于， 包括如下步骤： S1、 获取同一血 管段的多帧IVUS图像和OCT图像； S2、 在所述IVUS图像和OCT图像中， 提取管腔轮廓特征； 任选IVUS图像或OCT图像中的一 种， 作为参考图像， 另一种 作为待匹配图像； 对提取的所述管腔 轮廓特征， 选取有限点集； 对 于任意一帧参考图像， 在多帧待匹配图像中搜索出一帧与所述参考图像最接近的待匹配图 像； 具体采用以下 方法： 采用Hausdorff距离公式， 从参考图像的管腔轮廓特征中， 选取有限点集， 并从对应的 多帧待匹配图像中的相同位置， 选取对应点 集； 计算每一帧待匹配图像中对应点 集与所述 参考图像的有限点 集的Hausdorf f距离； 选取Hausdorf f距离取得最小值时的待匹配图像， 作为与所述 参考图像最接 近的图像； S3、 分别对所述参考图像和搜索出的最接近的待匹配图像， 利用所述管腔轮廓特征进 行粗匹配； S4、 对所述 粗匹配后的图像， 利用斑块信息或血 管分支信息， 进行精配准， 所述利用斑块信 息， 进行精配准， 包括如下方法： 利用机器学习法筛选含有斑块的待测 样本， 并提取待测样本中各图像的斑块轮廓， 并识别斑块类型； 所述待测样 本包括参考图像 和待配准图像； 根据所述斑块轮廓计算斑块质心， 并将相同斑块类别的质心标记为一个匹 配对； 根据匹配对的位置信息， 利用相似变换矩阵求出精配准平移 参数、 精配准尺度参数和 精配准旋转参数； 利用得出的精配准平移 参数、 精配准尺度参数和精配准旋转参数， 对带有 斑块的待配准图像进行变换， 完成与参 考图像的配准； 当血管中不存在斑块 时， 则利用血管分支信 息进行精配准， 所述利用血管分支信 息， 进 行精配准之前， 还包括按照如下方法筛选包含血管分支的图像； 利用机器学习的方法识别 待测图像中是否包含 血管分支， 若包含 血管分支， 则将血管分支处的管腔 轮廓置零， 得到一 个存在开口 的血管轮廓曲线； 若不包 含血管分支， 则得到 封闭的血 管轮廓曲线； 对精配准后的图像， 进行主成分分解， 并求解加权系数， 根据得出的加权系数进行融 合。 2.根据权利要求1所述的基于特征信息的IVUS和OCT图像融合方法， 其特征在于， 在所 述利用管腔轮廓特 征进行粗匹配时， 包括以下步骤： 在S3中， 根据参考图像与待配准图像的管腔轮廓特征， 分别求取参考图像与待配准图 像的管腔轮廓曲线的质心坐标以及长短轴坐标； 根据参考图像与待配准图像分别得 出的质心坐标， 计算平 移参数； 参考图像与待配准图像分别得出的长短轴坐标， 分别计算长短轴的长度平均值， 并将 长度平均值作为尺度参数； 将参考图像与待配准图像的质心坐标以及长短轴坐标， 分别转换为极坐标形式， 计算 极坐标下的旋转 参数。 3.根据权利要求1所述的基于特征信息的IVUS和OCT图像融合方法， 其特征在于， 还包 括， 所述机器学习法在对待测样本进行筛 选之前， 按照如下 方法， 进行训练： 对训练样本采用灰度 ‑梯度共生矩阵进行 特征提取； 对提取出的特征进行归一 化处理； 利用归一 化处理后的特 征， 对支持向量机进行训练； 得到支持向量机的最佳配置参数；权　利　要　求　书 1/3 页 2 CN 114155243 B 2利用设置最佳配置参数的支持向量机， 对待测样本进行检测。 4.根据权利要求1所述的基于特征信息的IVUS和OCT图像融合方法， 其特征在于， 在S4 中， 所述对精配准后的图像， 进行主成分分解， 并求解加权系 数， 根据得出的加权系数进行 融合， 包括如下步骤： 获取精配准后的图像的协方差矩阵， 并计算协方差矩阵的特 征值和特 征向量； 计算各特征值的加权系数 ； 按照如下公式得 出融合后的图像满足的向量矩阵 ； 其中， F为融合后的图像满足的向量矩阵， 为特征值， 为特征向量。 5.一种基于特 征信息的IVUS和OCT图像融合系统， 其特 征在于， 包括 图像获取模块， 用于获取同一血 管段的多帧IVUS图像和OCT图像； 图像处理模块， 用于在所述IVUS图像和 OCT图像中， 提取管腔轮廓特征； 任选IVUS图像 或OCT图像中的一种， 作为参考图像， 另一种 作为待匹配图像； 对提取的所述管腔 轮廓特征， 选取有限点集； 对于任意一帧参考图像， 在多帧待匹配图像中搜索出与所述参考图像最接 近的图像； 分别对所述参考图像和所述搜索出 的最接近的待匹配图像， 提取所述管腔轮廓 特征， 利用所述管腔轮廓特征进 行粗匹配； 其中， 所述图像处理模块包括距离计算单元和图 像匹配单元， 所述距离计算单元用于采用Hausdorff距离公 式， 从参考图像的管腔轮廓特征 中， 选取有限点集， 并从对应的多帧待匹配图像中的相同位置， 选取对应点集； 计算每一帧 待匹配图像中对应点 集与所述 参考图像的有限点 集的Hausdorf f距离； 所述图像匹配单元， 用于选取Hausdorff距离取得最小值时的待匹配图像， 作 为与所述 参考图像最接 近的图像； 对所述粗匹配后的图像， 利用斑块信息或血管分支信 息， 进行精配准， 所述利用斑块信 息， 进行精配准， 包括如下方法： 利用机器学习法筛选含有斑块的待测样本， 并提取待测样 本中各图像的斑块轮廓， 并识别斑块类型； 所述待测样本包括参考图像和待配准图像； 根据 所述斑块轮廓计算斑块质心， 并将相同斑块类别的质心标记为一个匹配对； 根据匹配对的 位置信息， 利用相似变换矩阵求出精配准平移 参数、 精配准尺度参数和精配准旋转参数； 利 用得出的精配准平移参数、 精配准尺度参数和精配准旋转参数， 对带有斑块的待配准图像 进行变换， 完成与参 考图像的配准； 当血管中不存在斑块时， 则利用血管分支信 息进行精配准， 所述利用血管分支信 息， 进 行精配准之前， 还包括按照如下方法筛选包含血管分支的图像； 利用机器学习的方法识别 待测图像中是否包含 血管分支， 若包含 血管分支， 则将血管分支处的管腔 轮廓置零， 得到一 个存在开口的血管轮廓曲线； 若不包含 血管分支， 则得到封闭的血管轮廓曲线； 对精配准后 的图像， 进行主成分 分解， 并求 解加权系数， 根据得 出的加权系数进行融合。 6.根据权利要求5所述的基于特征信息的IVUS和OCT图像融合系 统， 其特征在于， 所述 图像处理模块还包括坐标计算单元， 所述坐标计算单元用于根据参考图像与待配准图像的 管腔轮廓特征， 分别求取参考图像与待配准图像的管腔 轮廓曲线的质心 坐标以及长 短轴坐权　利　要　求　书 2/3 页 3 CN 114155243 B 3