(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210258264.1 (22)申请日 2022.03.16 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 刘龙　付志豪　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 王奇 (51)Int.Cl. G06T 7/246(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于时空信息融合的目标跟踪方法 (57)摘要 本发明公开一种基于时空信息融合的目标 跟踪方法， 具体步骤包括： 选 择特征提取网络、 使 用目标外观特征进行跟踪的基跟踪器、 使用目标 运动特征进行预测的位置预测模块； 获取跟踪视 频， 在视频的第一帧选定目标所在区域并提取该 区域的深度特征； 使用基跟踪器获得基于目标外 观特征的跟踪结果； 使用位置预测模块获得基于 目标运动特征的跟踪结果； 分别提取这两个跟踪 结果的深度特征， 度量它们和第一帧目标深度特 征的相似性， 取相似性最大的作为最终的跟踪结 果。 本发明能够根据不同的场景自动切换对目标 外观特征和对目标运动特征的利用， 提升了跟踪 方法的鲁棒 性。 权利要求书2页 说明书5页 附图3页 CN 114612517 A 2022.06.10 CN 114612517 A 1.基于时空信息融合的目标跟踪方法， 其特 征在于， 具体步骤如下： 步骤1， 选取经典跟踪方法MDNet作为基跟踪器， 其中MDNet选用训练好的VGG ‑M作为特 征提取网络； 选取训练好 LSTM网络作为目标位置预测器； 步骤2， 对于待跟踪视频， 将第一帧的目标状态 输入到特征提取网络中得到第一帧目 标的深度特 征 并且利用第一帧的目标状态初始化基跟踪器参数； 步骤3， 进入后续帧， 获取上一帧的目标位置和目标宽高(wt‑1,ht‑1)构成上一帧的目标 状态 并输入基跟踪器进行跟踪， 得到基于目标外观特征的跟踪结果 步骤4， 采用步骤3方法获取的前L帧的目标状态集合 输入目标 位置预测器LSTM中， 得到基于目标时序信息的预测结果 步骤5， 分别将基于目标外观特征的跟踪结果和基于目标时序信息的预测结果输入到 特征提取网络中， 得到对应的深度特 征 和 步骤6， 分别计算深度特征 和 和第一帧目标状态 的深度特征 的 余弦相似度， 并判断选取其 一作为最终的跟踪结果。 2.如权利要求1所述的基于时空信息融合的目标跟踪方法， 其特征在于， 所述步骤1中 VGG‑M的网络包括依次连接的由3个卷积层和 3个全连接层组成， 其中第一个卷积层和第二 个卷积层后分别连接一个池化层， 其中每个卷积层后面 都添加随机失活层和RELU非线性激 活函数。 3.如权利要求1所述的基于时空信息融合的目标跟踪方法， 其特征在于， 所述MDNet将 目标跟踪定义为目标和背 景的二分类问题， 利用VGG ‑M图像深度特征， 最 终输出图像被判别 为目标和背景的概 率。 4.如权利要求1所述的基于时空信息 融合的目标跟踪方法， 其特征在于， 所述LSTM网络 和VGG‑M均采用I LSVRC2015数据集进行训练。 5.如权利要求1所述的基于时空信息融合的目标跟踪方法， 其特征在于， 所述步骤6具 体的为： 步骤6.1， 分别深度特征 和 和第一帧目标状态 的深度特征 的余 弦相似度， 公式为： 其中gtrack表示当前帧基于目标外观特征的跟踪结果的深度特 征 和第一帧目 标深度特 征 余弦相似度； 权　利　要　求　书 1/2 页 2 CN 114612517 A 2其中gpred表示当前帧基于目标时序信息的预测结果的深度特征 和第一帧目 标深度特 征 余弦相似度； 步骤6.2， 通过两个相似度大小决策输出哪种情况 下的跟踪结果， 公式为： 其中 就是最终的跟踪结果； 步骤6.3， 将当前帧的跟踪结果输入步骤3中， 将下一帧作为当前帧并进行下一帧的图 像跟踪直至 视频中的图像帧都跟踪完毕。权　利　要　求　书 2/2 页 3 CN 114612517 A 3