(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210244393.5 (22)申请日 2022.03.14 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 刘向增　吴浩男　薛洁鹏　郭建锋　 李宇楠　苗启广　 (74)专利代理 机构 西安恒泰知识产权代理事务 所 61216 专利代理师 李郑建 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01)G06T 7/246(2017.01) G06T 7/80(2017.01) (54)发明名称 一种跨境特定行 人追踪的方法和装置 (57)摘要 本发明公开了一种跨境特定行人追踪方法 和装置， 该方法获取多张特定行人的图像， 通过 提取图像中行人的骨架信息来判断该行人的姿 态供行人重识别模型定位特定行人； 当在视频中 确定所追踪对象时， 启用跟踪模型进行追踪， 根 据跟踪模型中所设阈值判断对象是否离开相机 或被遮挡， 从而有效进行精确追踪。 在对象离开 所有监控区域后， 根据在所有视频中所获得的目 标像素坐标， 绘制目标在整个区域的轨迹图。 实 现了跨境特定行人追踪， 通过行人姿态判别网络 提升了行人重识别准确度， 利用行人行走方向和 位置解决了行人被遮挡问题， 从而提升了追踪准 确性和效率， 设计轨迹融合策略， 从而实现多摄 像头下同一行 人目标空间精定位。 权利要求书3页 说明书10页 附图4页 CN 114639117 A 2022.06.17 CN 114639117 A 1.一种跨 境特定行 人追踪方法， 其特 征在于， 具体包括如下步骤： 步骤1， 从视频监控中选取多张需要跟踪的行人图像， 选取行人不同姿态图像作为模板 供行人重识别模型使用， 并利用行人检测模型提取监控视频中每一帧中的行人， 执行骨架 提取操作， 并使用预设网络来判断每 个行人所属姿态， 以供 行人重识别模型使用； 步骤2， 根据行人姿态与其相对应所属同一姿态的模板 图像输入行人重识别模型获取 特征向量， 当所述行人图像特征向量与模板特征向量的特征距离满足预设条件时， 定位所 追踪行人； 步骤3， 根据所定位到的行人， 启用跟踪模型对其进行持续跟踪， 当目标得分发生剧烈 变化时， 使用预设算法判断目标被遮挡或是离开监控区域， 并根据两种不同情况， 采用不同 解决方案， 在跟踪过程中， 记录每一帧中追踪目标的中心像素坐标； 步骤4， 根据所获得的目标在每一帧的中心像素坐标， 事先标定好的相机内参及外参 数， 将追踪目标的中心像素坐标转换为目标 所在的世界坐标， 从而绘制目标轨 迹。 2.如权利要求1所述的方法， 其特征在于， 步骤1中， 根据特定行人不同姿态的图像作为 模板并判断其所属姿态， 检测视频流中的行人， 使用同样的方法判断他们的姿态， 将与模板 属于同一姿态的图像输入到行人重识别模型中判断是否属于要追踪对象； 通过提取图像中 行人的骨架信息来判断该行人姿态， 所述姿态包括行人 的四个不同方位， 具体为行人 的前 面、 左面、 右面和背面； 通过Yolov5检测 视频流中的行人并判断每个行人的姿态， 将和模板 属于同一姿态的行 人输入至行 人重识别模型中， 具体包括： 将提取到的行 人图像输入到Al opose骨架提取模型中； 将行人图像经过骨架提取模型所得到的骨架信息图输入到判别人体姿态的网络中得 到该行人的姿态； 当得到视频流中所有的行人姿态后， 根据视频流中的不同行人的姿态与其对应姿态的 模板图像输入至行 人重识别模型中进行比较。 3.如权利要求1所述的方法， 其特征在于： 在使用行人重识别进行行人匹配前， 提取行 人骨架信息， 使用所设计的姿态判断网络， 充分利用姿态信息， 判断行人方位， 将检测到的 行人与其同等方位的模板输入到重识别网络中， 通过行人重识别， 得到模板图像特征向量 和待查询图像特征向量， 并计算模板图像特征向量和待查询图像特征向量的余弦相似度 为： 其中， θ为模板图像特征向量与待查询图像特征向量的余弦相似度， X为模板图像特征 向量， Y为待查询图像特 征向量， T表示 转置操作； 当余弦相似度小于预设阈值时， 待查询行 人确定为所追踪目标。 4.如权利要求1所述的方法， 其特征在于， 当在视频中定位所追踪目标后， 使用追踪网 络对其进行追踪， 具体包括： 初始化跟踪目标， 在视频中给定所追踪对象包围盒坐标； 利用预设的跟踪算法， 计算所述监控视频中每一行人为追踪对象的相似度得分， 将得 分最高的行 人判定为追踪对象；权　利　要　求　书 1/3 页 2 CN 114639117 A 2根据视频前一帧所预测到的追踪对象区域进行当前帧的追踪对象预测， 将得分最高的 行人判定为追踪对象。 5.如权利要求4所述的方法， 其特征在于， 当对目标进行跟踪过程中， 由于遮挡导致目 标丢失， 使用预设算法， 判断目标被遮挡或离开相机， 具体包括： 根据每一帧中所追踪对象得分是否小于得分平均值的二分之一判断目标是否发生剧 烈变化； 根据每一帧追踪对象的中心像素点 坐标确定目标移动方向； 根据目标发生剧烈变化的像素坐标结合目标移动方向， 判断目标被遮挡或离开监控区 域。 6.如权利要求5所述的方法， 其特征在于， 当目标发生遮挡时， 停止更新跟踪模型， 并再 次使用行 人重识别模型， 具体包括： 定位目标被遮挡位置， 将其设为目标当前 所在位置； 执行行人检测并判断所检测到行 人的姿态供 行人重识别模型使用； 当模板图像特征向量与待查询图像特征向量的余弦相似度小于预设阈值 时， 所追踪目 标重新出现； 初始化跟踪目标， 在视频中给定所追踪对象包围盒， 继续进行跟踪。 7.如权利要求5所述的方法， 其特征在于： 当目标离开监控区域时， 停止跟踪模型， 具体 包括： 根据追踪对象的中心像素点坐标确定目标移动方向， 若目标发生剧烈变化的像素坐标 在图像边缘， 且发生剧烈变化之前目标 由另一侧 边缘至此边缘移动， 则判定目标移动至监 控外； 停止模型跟踪， 结束算法。 8.如权利要求1所述的方法， 其特征在于， 在对象离开所有监控区域后， 根据在各视频 中获得的目标像素坐标， 绘制目标在所有监控区域的轨 迹图， 具体包括： 通过张正友标定法确定相机内参， PnP法确定相机 外参； 通过相机内外参， 将目标的像素坐标转 化为空间定位 坐标； 通过轨迹融合算法， 连接各坐标点并绘制其 运动轨迹。 9.一种实现权利要求1至7其中之一所述的跨境特定行人追踪方法的装置， 其特征在 于， 包括： 模板截取模块， 用于获取若干个监控视角下的行 人图像， 作为模板图像； 行人检测模块， 用于从视频中获取 行人； 骨架提取模块， 用于提取 行人检测模块中获取 行人的骨架； 行人姿态判断模块， 用于根据行人骨架信息， 判断行人的四个方位， 具体包括行人前 方， 左方， 右方， 后方； 行人重识别模块， 用于根据行人姿态， 将其与属于同一姿态模板 图像特征向量进行比 对， 得到行 人重识别结果； 跟踪模块， 用于根据 行人重识别结果， 对目标进行持续跟踪， 使用预设算法判别目标发 生遮挡或离开相机； 轨迹绘制模块， 用于根据上述流程所得到目标在各个监控视频中的像素坐标， 绘制目权　利　要　求　书 2/3 页 3 CN 114639117 A 3