(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210264036.5 (22)申请日 2022.03.17 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 刘海英　郑太恒　邓立霞　孙凤乾　 王超平　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多目标行 人跟踪方法及系统 (57)摘要 本发明公开了多目标行人跟踪 方法及系统， 其中所述方法， 包括： 获取待处理视频； 对待处理 视频第一帧的多个目标行人进行标注； 对待处理 视频的非首帧进行目标检测， 得到目标检测框； 对目标检测框内的图像进行特征提取； 对目标检 测框进行状态预测和轨迹生 成； 基于特征提取结 果、 状态预测结果和轨迹生成结果， 确定关联成 本； 将关联成本大于设定阈值的轨迹和目标检测 框， 进行匹配得到初步匹配结果； 将未匹配的轨 迹和未匹配的目标检测框， 再次进行匹配； 最后 确定跟踪结果， 完成多目标行人的跟踪任务。 在 保持精度的同时缩 小模型权重大小。 权利要求书3页 说明书9页 附图5页 CN 114743130 A 2022.07.12 CN 114743130 A 1.多目标 行人跟踪方法， 其特 征是， 包括： 获取待处 理视频； 对待处 理视频第一帧的多个目标 行人进行标注； 对待处理视频的非首帧进行目标检测， 得到目标检测框； 对目标检测框内的图像进行 特征提取； 对目标检测框进行状态预测 和轨迹生成； 基于特征提取结果、 状态预测结果和轨 迹生成结果， 确定关联成本； 将关联成本大于设定阈值的轨迹和目标检测框， 进行匹配得到初步匹配结果； 将未匹 配的轨迹和未匹配的目标检测框， 再次进 行匹配； 最后确定跟踪 结果， 完成多目标行人的跟 踪任务。 2.如权利要求1所述的多目标行人跟踪方法， 其特征是， 对待处理视频的非首帧进行目 标检测， 得到目标检测框； 是采用训练后的Yolov5s目标检测网络来进行目标检测； Yolov5s 目标检测网络， 包括： 依次连接的用于特征提取的CSPNet网络和用于特征融合的PANET网 络。 3.如权利要求1所述的多目标行人跟踪方法， 其特征是， 对目标检测框 内的图像进行特 征提取； 具体包括： 采用训练后的特 征提取网络Shuf fleNet V2， 对目标检测框内的图像进行 特征提取； 所述ShuffleNetV2网络是由Stage1 ‑Stage7依次连接 组成； Stage1由卷积核大小为3*3 步距为2的卷积层和步距 为2的最大池化层组成； Stage2由一层下采样和三层Block层组成； Stage3由一层下采样和七层Block层组成； Stage4由一层下采样和三层Block层组成； Stage5由卷积核大小为1*1的卷积层组成； Stage6由全局池化层组成； Stage7由全 连接层组 成； Block层引入Channel  Split运算， 在Block层接收到来自上一层的输出后， c个通道的 输入被划分成两个 分支， 分别有c ′和c‑c′个通道； 其中一个 分支为恒等函数， 另一个 分支由 三个卷积组成： 两个1*1卷积和一个逐通道卷积； 两分支最后经Concat拼接， 从而保证通道 数量保持不变， 最后进行C hannel Shuffle操作保证两分支间能进行信息交流； 下采样层是对Block层进行了修改， 删除了Channel  Split运算， 由一条经逐通道卷积 层、 1*1卷积层的分支与另一条经1*1卷积层、 逐通道卷积层、 1*1卷积层的分支Concat拼接 后进行Channel Shuffle组成的。 4.如权利要求1所述的多目标行人跟踪方法， 其特征是， 对目标检测框进行状态预测和 轨迹生成； 具体包括： 采用卡尔曼 滤波算法， 对目标检测框进行状态预测； 结合卡尔曼滤波算法的结果， 对目标检测框进行轨 迹生成； 采用卡尔曼 滤波算法， 对目标检测框进行状态预测； 具体包括： 定义八维的状态 空间 其中(u,v)为BoundingBox的中心坐标， γ为纵 横比， h为BoundingBox的高， 为图像坐标中相应的速度； 把BoundingBox坐标作为物 体状态的直接测量， 使用卡尔曼滤波器完成目标的状态估计； 卡尔曼滤波器的输入值： 每个 轨迹的均值和方差； 卡尔曼滤波器的输出值： 返回给定状态估计的投影平均值和协方差矩 阵；权　利　要　求　书 1/3 页 2 CN 114743130 A 2结合卡尔曼滤波算法的结果， 对目标检测框进行轨 迹生成； 具体包括： 统计每个轨迹距离上次匹配成功的帧数ak， 当卡尔曼滤波器预测轨迹在下一 帧的位置 时， ak＝ak+1， 若某一轨迹在下一帧与检测的位置信息和外观特征关联上， 则ak置0； 设置一 个预定义的最大寿命值Amax， 当ak＞Amax时， 删除轨迹； 当ak≤Amax时， 保留轨迹； 当检测的位置 信息和外观特征不能与轨迹相匹配时， 暂时定义它为一个新轨迹， 试用期为3帧， 若3帧内没 有与之匹配的检测， 删除轨 迹。 5.如权利要求1所述的多目标行人跟踪方法， 其特征是， 基于特征提取结果、 状态预测 结果和轨 迹生成结果， 确定关联成本； 具体包括： 计算预测状态与目标检测框之间的第一距离； 计算轨迹中已存 储的特征向量与目标检测框内图像特 征向量之间的第二距离； 对第一、 第二距离进行加权求和， 将求和结果作为关联成本； 所述第一距离为马氏距离； 第二距离为 余弦距离 。 6.如权利要求1所述的多目标行人跟踪方法， 其特征是， 将关联成本大于设定 阈值的轨 迹和目标检测框， 进 行匹配得到初步匹配结果； 将未匹配的轨迹和未匹配的目标检测框， 再 次进行匹配； 最后确定跟踪结果， 完成多目标 行人的跟踪任务； 具体包括： 采用匈牙利算法进行匹配得到初次匹配结果； 采用交并比IOU匹配算法， 对未匹配的轨迹和未匹配的目标检测框， 再次进行匹配； 最 后确定跟踪结果， 完成多目标 行人的跟踪任务。 7.如权利要求1所述的多目标行人跟踪方法， 其特征是， 所述方法还包括： 配置用于神 经网络模型训练和 测试的Pytho n和Pytorc h编程环境： 配置虚拟环境， 安装依赖包； 所述的配置虚拟环境， 安装依赖包， 通过Anaconda创建虚 拟环境， 在虚拟环境中安装pytorch、 cuda、 cudnn以及运行程序所需相关依赖； 使用Pycharm 作为IDE， 并调用co nda创建的虚拟环境torc h1.7。 8.多目标 行人跟踪系统， 其特 征是， 包括： 获取模块， 其被配置为： 获取待处理视频； 对待处理视频第 一帧的多个目标行人进行标 注； 目标检测模块， 其被 配置为： 对待处 理视频的非首帧进行目标检测， 得到目标检测框； 特征提取模块， 其被 配置为： 对目标检测框内的图像进行 特征提取； 状态预测 和轨迹生成模块， 其被 配置为： 对目标检测框进行状态预测 和轨迹生成； 关联成本确定模块， 其被配置为： 基于特征提取结果、 状态预测结果和轨迹生成结果， 确定关联成本； 跟踪模块， 其被配置为： 将关联成本大于设定阈值的轨迹和目标检测框， 进行匹配得到 初步匹配结果； 将未匹配的轨迹和未匹配的目标检测框， 再次进行匹配； 最后确定跟踪结 果， 完成多目标 行人的跟踪任务。 9.一种电子设备， 其特 征是， 包括： 存储器， 用于非暂时性存 储计算机可读指令； 以及 处理器， 用于运行 所述计算机可读指令， 其中， 所述计算机可读指令被所述处理器运行时， 执行上述权利要求1 ‑7任一项所述的 方法。权　利　要　求　书 2/3 页 3 CN 114743130 A 3