(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210200738.7 (22)申请日 2022.03.02 (71)申请人 绍兴市北大信息技 术科创中心 地址 312000 浙江省绍兴 市越城区银桥路 326号3幢4楼 (72)发明人 胡珂立　赵利平　马思伟　 (74)专利代理 机构 浙江英普律师事务所 3 3238 专利代理师 毛爱东 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/771(2022.01) G06K 9/62(2022.01) G06T 5/40(2006.01) G06V 20/40(2022.01) (54)发明名称 一种视觉多跟踪算子融合方法 (57)摘要 本发明以视频数据为处理对象， 对采集到的 视频数据逐帧处理， 首先确定视频帧中出现的兴 趣目标， 然后对事先选取的多个目标跟踪算子进 行初始化， 从后一帧开始依据各算法策略估计兴 趣目标位置， 之后计算各算子间尺度、 覆盖区域、 多视觉特征、 中心距离相似度， 并统计时序上连 续多帧算子间相似度、 算子与融合算子相似度， 联合构建算子稳定性评价矩阵， 最终通过评估算 子间相似度均值决定相应算子是否被剔除， 进而 计算得到经融合处 理后的目标位置 。 权利要求书3页 说明书6页 附图1页 CN 114612650 A 2022.06.10 CN 114612650 A 1.一种视 觉多跟踪算子融合方法， 其特 征在于， 包括以下步骤： 步骤1， 输入视频 数据， 设置兴趣目标和监控区域， 选取视 觉目标跟踪算子； 步骤2， 读取视频帧直至出现兴趣目标， 该帧为起始帧， 根据起始帧确定兴趣目标区域， 完成各跟踪算子初始化； 步骤3， 读取起始帧后的第N帧， 作为当前帧， 计算各跟踪算子在当前帧估计的目标区 域， 根据当前帧估计的目标区域计算各跟踪算子间联合相似度,N 为正整数； 步骤4， 如果步骤3的读取次数大于1,计算各跟踪算子与融合跟踪算子间联合相似度， 根据各跟踪算子间联合相似度和各跟踪算子与融合跟踪算子间联合相似度计算多帧的各 跟踪算子间联合相似度以及多帧的各跟踪算子与融合跟踪算子联合相似度， 根据多帧的各 跟踪算子间联合相似度以及各跟踪算子与融合跟踪算子联合相似度， 构建算子稳定性评价 矩阵； 否则， 令N ＝N+M， M为正整数,返回步骤3； 步骤5， 依算子稳定性评价矩阵计算算子间相似度均值， 根据算子间相似度均值计算融 合后兴趣目标位置并剔除不稳定算子； 步骤6， 若融合后兴趣目标位置在监控区域外， 则结束； 否则， 令N＝N+H， H为正整数,返 回步骤3。 2.根据权利要求1所述的视觉多跟踪算子 融合方法， 其特征在于， 所述步骤3 中， 各跟踪 算子间联合相似度的计算方法为： 根据当前帧估计的目标区域计算视觉特征相似度和几何 特征相似度， 几何特征相似度至少由各跟踪算子间尺度相似度或覆盖区域相似度或 中心距 离相似度构成， 根据视 觉特征相似度和几何特 征相似度计算各跟踪算子间联合相似度。 3.根据权利要求2所述的视觉多跟踪算子 融合方法， 其特征在于， 所述视觉特征相似度 的计算公式为： 其中Hi、 Hj分别为跟踪算子i和跟踪算子j在当前帧所估计的目标区域 的梯度直方图特 征向量， G为高斯模板， ⊙表示逐元素乘积， 为颜色特 征相似度； 其中pu、 qu分别表示跟踪算子i和跟踪算子j在当前帧预测目标区域提取的颜色直方图 对应的u分量， m表示颜色直方图特 征中包含的bin的总数； 各跟踪算子间尺度相似度的计算公式为： 其中wi， wj， hi， hj分别指跟踪算子i和跟踪算子j在当前帧所估计的目标区域的宽和高； 各跟踪算子间覆盖区域相似度的计算公式为： 其中Bi、 Bj分别表示跟踪算子i和跟踪算子j在当前帧所估计的目标区域包含的像素点权　利　要　求　书 1/3 页 2 CN 114612650 A 2集合， A(x)为对应 像素点集合x的像素总数。 各跟踪算子间中心 距离相似度的计算公式为： 其中Oi、 Oj分别为跟踪算子i和跟踪算子j在当前帧预测目标区域的中心坐标。 4.根据权利要求2所述的视觉多跟踪算子 融合方法， 其特征在于， 所述当前帧的各跟踪 算子间联合相似度的计算公式为： 其中lG为各算子间几何相似度， λ为权值， 其取值范围在0 到1之间； 步骤4中， 各跟踪算子与融合跟踪算子间联合相似度按下式计算： 其中 和 为跟踪算子和融合跟踪算子间的尺度相 似度、 覆盖区域相 似度、 中心距离相似度和视 觉特征相似度。 5.根据权利要求2所述的视觉多跟踪算子 融合方法， 其特征在于， 所述步骤4中， 多帧的 各跟踪算子间联合相似度的计算方法如下： 其中， ωk为k帧对应的相似度权值， lk(i,j)为k帧时跟踪算子i和跟踪算子j之间的联合 相似度,k小于 N的初始值时， ωk为0， 对应的lk(i,j)不进行计 算， t是指从目标跟踪算子初始 化后的第t帧， 跟踪算子初始化时对应帧为第0帧， T为预设的整数； 多帧的各跟踪算子与融合跟踪算子联合相似度的计算方法如下： 其中， ωk为k帧对应 的相似度权值， lFk(i)为k帧时跟踪算子i和融合跟踪算子f之间的 联合相似度,k小于N的初始值时， ωk为0， 对应的lFk(i)不进行计算， t是指从目标跟踪算子 初始化后的第t帧， 跟踪算子初始化时对应帧为第0帧， T为预设的整数。 6.根据权利要求2所述的视觉多跟踪算子 融合方法， 其特征在于， 所述步骤4中， 算子稳 定性评价矩阵的构建方法如下： 其中Eij为稳定性评价矩阵的第i行、 j列元 素， Eij＝Eji。 7.根据权利要求2所述的视觉多跟踪算子 融合方法， 其特征在于， 所述步骤5 中， 跟踪算 子与其他算子间相似度均值的计算方法如下：权　利　要　求　书 2/3 页 3 CN 114612650 A 3