(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210288518.4 (22)申请日 2022.03.22 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 白永强　李乐　陈杰　窦丽华　 邓方　甘明刚　蔡涛　 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/80(2022.01) G06V 10/30(2022.01) G06V 10/50(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) (54)发明名称 基于手工特征融合的多尺度抗遮挡目标跟 踪方法 (57)摘要 本发明提供了一种基于手工特征融合的多 尺度抗遮挡目标跟踪 方法， 鲁棒性较强 并且计算 量不大， 可以运行在大多数跟踪平台上。 本发明 通过设计尺度池进行多分辨率采样， 能够快速处 理目标在运动过程中发生的尺度变化； 提出的依 据相关峰平均能量指标进行两种特征滤波器响 应结果融合的方法实现了HOG特征与CN特征优势 的综合， 提升了跟踪器的辨别 能力； 通过对每一 帧的跟踪结果进行遮挡判断评估， 另外设计了 SVM重检测器， 在目标丢失后在丢失前的附近区 域进行重检测， 提高了跟踪器的抗遮挡能力。 独 立地对两个跟踪器的跟踪结果进行评估， 根据 APCE指标调整学习率， 实现各自的自适应更新。 权利要求书1页 说明书6页 附图6页 CN 114757967 A 2022.07.15 CN 114757967 A 1.一种基于手工特征融合的多尺度抗遮挡目标跟踪方法， 其特征在于， 基于相关滤波 模型， 利用方向梯度直方图特征和颜色命名特征训练两个独立的滤波器， 通过多分辨率采 样确定目标尺度， 对两种响应结果进行评估并进行自适应融合， 对最终融合结果进行遮挡 判断， 若判定发生遮挡则启动重检测器进行重检测， 若判定未发生遮挡则根据融合后的响 应结果确定目标的位置， 依据两种滤波器响应结果的APCE值进行各自学习率的调整， 进行 模型更新， 然后判断是否为最后一帧， 若为最后一帧则结束， 否则返回重新进 行多分辨率采 样确定目标尺度； 重检测时进入下一帧， 若未检测到目标再进入下一帧， 直至检测到目标， 更新目标的位置， 然后判断是否为最后一帧， 若为最后一帧则结束， 否则返回重新进 行多分 辨率采样确定目标尺度。 2.如权利要求1所述的方法， 其特 征在于， 包括以下步骤： 步骤1， 根据初始信息， 依据核相关滤波原理， 进行HOG特征滤波器与CN特征滤波器的初 始化； 步骤2， 多分辨 率采样， 提取HO G特征， 利用HO G特征滤波器计算响应确定当前尺度； 步骤3， 根据步骤2确定的尺寸， 提取CN特 征， 计算CN滤波器的响应结果； 步骤4， 对步骤2和步骤3的响应结果进行自适应融合； 步骤5， 利用APCE指标对融合后的响应结果进行评估， 指标低于设定阈值时判定目标被 遮挡， 启动重检测 器进行重检测， 进入下一帧， 若未检测到目标再进入下一帧， 直至检测到 目标， 更新目标的位置， 判断是否为最后一帧， 若为最后一帧则结束， 否则 返回执行步骤2； 指标高于或等于阈值时判定目标 未被遮挡， 执 行步骤6； 步骤6， 根据融合后的响应结果确定目标的位置， 依据两种滤波器响应结果的APCE值进 行各自学习率的调整， 进行模型更新； 判断是否为最后一帧， 若为最后一帧则结束， 否则 返 回执行步骤2。 3.如权利 要求1或2所述的方法， 依据各响应的APCE指标调整学习率时， 设定阈值a和阈 值b， a＞b， 当评估指标高于阈值a时， 学习率固定为0.01， 在阈值a与阈值b之间时， 根据指标 进行学习率的动态调整， 在0 ‑0.01间变化， 低于阈值b时， 不进行 更新。 4.根据权利要求1所述的方法， 其特 征在于， 通过多分辨 率采样确定目标尺度具体为： 使用步骤1中训练得到 的HOG特征滤波器， 在原尺度的基础上， 设计尺度池为[1.05,1, 0.95]， 分别对应原尺 寸的1.05倍、 原尺寸以及原尺 寸的0.95倍， 以三种分辨率采样提取HOG 特征， 计算响应， 以最大响应值对应的尺度为当前尺度。 5.根据权利要求1所述的方法， 其特征在于， 所述步骤4中， 对步骤2与步骤3计算得到的 响应结果根据相关峰平均能量指标进行评估， 依据评估指标， 进行两种响应结果的自适应 融合， 当两者指标的差异较大时， 选择更可靠的响应结果作为最终的响应结果， 差异较小 时， 进行线性加权融合。 6.根据权利要求1所述的方法， 其特征在于， 所述重检测器是根据线性软间隔支持向量 机原理设计。权　利　要　求　书 1/1 页 2 CN 114757967 A 2基于手工特征融合的多尺度抗遮挡目标跟踪 方法 技术领域 [0001]本发明涉及数字图像处理技术领域， 具体涉及一种基于手工特征融合的多尺度抗 遮挡目标跟踪方法。 背景技术 [0002]在计算机视觉技术的日常生产生活应用中， 经常需要对视频图像中特定目标进行 稳定跟踪， 实时获得 特定目标在画面中的位置、 尺寸 等信息。 [0003]当前主流的目标跟踪算法可以分为两类： 第一类是基于相关滤波的目标跟踪算 法， 该类方法具有较高的计算速度和良好的跟踪效果。 其基本原理是在初始帧训练滤波器 模板， 在后续帧中计算候选样本和滤波器模板的相似度， 输出响应图， 取响应最大值所在位 置为目标位置。 第二类是基于深度学习的目标跟踪算法， 该类方法出现时间相对较晚， 但是 发展非常迅速。 该类方法的基本思想是利用卷积神经网络提取出的具有强大表征能力的深 度特征， 实现目标和背景 的分离。 早期的深度学习跟踪算法采用预训练的卷积神经网络提 取深度特征， 然后与相关滤波方法相结合训练跟踪器， 由于深度特征具有较多的抽象语义 信息， 跟踪器区分目标和背景 的性能非常突出， 但是使用高维深度特征带来了巨大 的计算 量， 算法难以满足实时性要求。 孪生网络跟踪算法是近年来兴起的深度学习类跟踪 方法， 主 要是进行目标和后续帧中候选框的相似度匹配， 选择相似度最高的候选框位置为目标位 置， 在鲁棒性和实时性方面 都有良好的表现。 但是基于深度学习的跟踪方法往往需要GPU支 持， 对硬件性能提出了较高的要求， 难以运行在功 耗和成本较为受限的平台， 这限制了其应 用范围。 [0004]在常见的跟踪任务中， 经常会出现形变、 尺度变化、 遮挡等情况， 这要求跟踪算法 需要具备较强的鲁棒性， 同时为了实时地 获取跟踪目标信息， 跟踪算法的复杂度不能过高， 要能满足实时性要求。 传统相关滤波跟踪算法虽然在速度上有较大 的优势， 但是在常见复 杂场景中的表现仍有待提高。 为了提升算法的鲁棒性， 近年来人们在其基础上提出了许多 改良方法， 但是往往都是以牺牲算法的实时性为代价， 让相关滤波跟踪方法失去了本身最 基本的优势， 这 也限制了算法的应用范围。 发明内容 [0005]有鉴于此， 本发明提供了一种基于手工特征融合的多尺度抗遮挡目标跟踪方法， 能够实现鲁棒 性较强并且计算 量不大， 可以运行在大多数跟踪平台上。 [0006]为实现上述目的， 本发明提供了一种基于手工特征融合的多尺度抗遮挡目标跟踪 方法， 基于相关滤波模型， 利用方向梯度直方图特征和颜色命名特征训练两个独立的滤波 器， 通过多分辨率采样确定目标尺度， 对两种响应结果进行评估并进 行自适应融合， 对最 终 融合结果进行遮挡判断， 若判定发生遮挡则启动重检测器进行重检测， 若判定未发生遮挡 则根据融合后的响应结果确定目标的位置， 依据两种滤波器响应结果的AP CE值进行各自学 习率的调整， 进行模型更新， 然后判断是否为最后一帧， 若为最后一帧则结束， 否则 返回重说　明　书 1/6 页 3 CN 114757967 A 3