(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210248117.6 (22)申请日 2022.03.14 (71)申请人 西安邮电大 学 地址 710061 陕西省西安市长安 南路563号 (72)发明人 汪陈伍　侯亘　田琦　王佩　 呼伊睿　岳蹇龙　 (74)专利代理 机构 西安西达专利代理有限责任 公司 61202 专利代理师 第五思军 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/265(2006.01) H04N 5/232(2006.01) G06K 9/62(2022.01) G06V 10/762(2022.01)G06V 10/80(2022.01) G06T 7/194(2017.01) G06T 7/277(2017.01) (54)发明名称 一种基于跨摄像头目标管关联的多路视频 浓缩方法 (57)摘要 一种基于跨摄像头目标管关联的多路视频 浓缩方法， 包括以下步骤： 多摄像头视频的预处 理， 包括目标检测、 实例分割、 目标跟踪和目标管 提取； 全局目标管的生成， 包括跨摄像头的局部 目标管关联和全局目标管的拼接； 目标管分级重 排， 包括基于全局目标管优先级的目标管重排； 全局背景生成， 包括基于全局目标管拼接点的全 局背景拼接； 浓缩视频生成， 包括将已重排的目 标管与全局背景进行图像融合生 成浓缩视频； 本 发明可以从多个摄像头拍摄的视频中准确地提 取目标管， 并将同一目标在 多个摄像头下的局部 目标管进行关联并拼接， 通过将基于全局目标管 优先级重排后的目标管和全局背景图像融合， 最 终生成浓 缩视频。 权利要求书3页 说明书7页 附图3页 CN 114650397 A 2022.06.21 CN 114650397 A 1.一种基于跨摄 像头目标 管关联的多路视频浓 缩方法， 包括以下步骤： 步骤1， 多摄 像头视频的预处 理， 本步骤又包括： ①对各个摄像头拍摄的视频分别 使用YOLACT网络进行目标检测和实例分割； ②使用卡 尔曼滤波器和匈牙利匹配算法进 行多目标跟踪； ③将各个摄像头跟踪好的目标保存为图像 和文本数据， 称为局部目标 管；④使用高斯混合模型背景建模， 并进行提取背景图； 步骤2， 全局目标 管生成， 本步骤又包括： ①通过多维特征融合的聚类方法， 对 同一目标跨摄像头的局部目标管进行关联， 将其 聚为一类； ②局部目标管的拼接点选取： 拼接点选取要求拼接后的全局目标管过渡自然、 遮 挡少、 活动包含多且拼接点不处于镜头边缘， 根据上述四个约束条件构建拼接点选取能量 函数， 采用贪婪 算法求得使能量函数达到最小值的解， 即为局部目标管的最优拼接点； ③全 局目标管生成： 局部目标管 的两个拼接点之间的段称为拼接段， 将同一类内所有局部目标 管的拼接段进行拼接， 生成一条完整的全局目标 管； 步骤3， 目标 管分级重排， 本步骤又包括： 构建基于全局目标管优先级的能量函数， 通过改变各个目标管在浓缩视频中的起始帧 号， 使用MCMC算法进 行多目标优化， 使能量函数最小化， 最 终求解所有目标管的最优起始时 间； 步骤4， 全局背景生成， 本步骤又包括： 依据步骤2得出的全局目标管中各个局部目标管 的拼接点， 进 行全局背 景的拼接； 多个摄像头背 景图进行拼接时， 重叠区域背 景像素生 成更 接近于局部目标 管拼接段 所在摄像头的背景像素； 步骤5， 浓缩视频生成， 本步骤又包括： 使用泊松融合算法将步骤3重排后的目标管和步 骤4中生成的全局背景图片进行图像融合， 生成跨摄 像头的浓 缩视频。 2.根据权利要求1所述的一种基于跨摄像头目标管关联的多路视频浓缩方法， 其特征 在于， 所述的步骤2包括： 步骤201， 根据步骤1中各个摄像头的背景图计算每个摄像头的单应性变换矩阵， 通过 外观特征、 运动特征、 位置特征、 时间特征对所有全部局部目标管进行多特征融合计算， 如 公式(1)所示， 和 分别表示单应性变换后 第i个摄像头的第u条目标管和第j个 摄像头下 的第v条目标管； Dij(u,v)表示 和 多特征融合计算得到 的距离； 代表外观 特征距离， 代表运动特征距离， 代表位置特征距离， 代 表时间特征距离， 如公式(2)所示， Dij表示第i个摄像头的所有目标管和和第j个摄像头下的 所有目标管的距离矩阵； U代表第i个摄像头的所有目标管数量， V代表第j个摄像头下的所 有目标管数量， 如公式(3)所示， D表示将全部局部目标管 之间的特征距离矩阵， 由Dij作为分 块矩阵D的块组合而成， M代 表摄像头的数量， 权　利　要　求　书 1/3 页 2 CN 114650397 A 2步骤202， 根据步骤201计算的距离矩阵进行聚类， 同一目标在多个摄像头下的目标管 被聚为一类， 包括存在断裂情况和折返情况的目标 管； 步骤203， 根据步骤202的聚类结果， 同一目标的全局目标管生成即为同一类的多条局 部目标管的拼接点选择， 为了更好的视觉体验， 构建了拼接点选取的损失能量函数Estitch (S)， 如公式(4)所示， S代 表局部目标 管中所有拼接点组成的拼接段集 合： ①平滑损失项 该损失项定义为待拼接的两条局部目标管的拼接点的空间位 置距离与外观相似度距离， 此值越小， 表明拼接后全局目标管在跨摄像头时过渡越平滑越 自然； ②活动损失项 该损失项定义为待拼接的两条局部目标管在拼接之后丢弃的 非拼接帧的目标 活动像素点数， 此值越小， 表明目标 活动保留越完整， 该损失项使 得浓缩视 频中尽可能完整地保留各个镜 头下的局部目标 管的信息； ③边缘损失项 该损失项定义 为拼接点和摄 像头边缘的距离， 由于 检测结果在 摄像头边缘处不稳定， 所以尽量不选择摄像头边缘的拼接垫点， 此值越小， 表明拼接点越远 离摄像头的边 缘； ④遮挡损失项 该损失项定义为拼接后所有全局目标管之间在拼接点的碰撞 面积， 如果多个管发生遮挡， 该损失项可以尽量选择遮挡面积小的拼接点， 此值越小， 表明 拼接点处的遮挡越小； 使用贪婪算法计算Estitch(S)最小值的解， 即局部目标管的局部最优拼接点， 最终将同 一类的多条局部目标 管拼接为 一条全局目标 管。 3.根据权利要求1所述的一种基于跨摄像头目标管关联的多路视频浓缩方法， 其特征 在于， 所述的步骤3还 包括： 步骤301， 构建了基于全局目标管优先级的能量函数Esynopsis(F)， 如公式(5)所示， F为所 有目标管在浓缩视频中的起始帧号； 在公式(5)中， 和 分别代表活动损 失项、 碰撞损失项、 时序损失项和跨度优先级损失项； ①活动损失项 该损失项定义为在原始视频中出现而未在浓缩视频中出现 的目标活动像素点数， 此值越小， 表明目标保留越完整， 该损失项使得浓缩视频中尽可能完 整地保留运动目标； ②碰撞损失项 该损失项定义为在在原始视频 中未遮挡而在浓缩视频 中出 现遮挡的目标活动像素点数， 此值越小， 表明目标间遮挡越少；权　利　要　求　书 2/3 页 3 CN 114650397 A 3