(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210286434.7 (22)申请日 2022.03.22 (71)申请人 南京莱斯信息技 术股份有限公司 地址 210014 江苏省南京市秦淮区永智路8 号 (72)发明人 王振飞　黄琰　严璐　王林　 丁一波　程先峰　邵明珩　靳学梅　 王越　李高斌　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 贺翔 (51)Int.Cl. G08G 5/00(2006.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/22(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于视频数据融合的场面目标监视增 强系统及方法 (57)摘要 本发明公开了一种基于视频数据融合的场 面目标监视增强系统及方法， 包括： 高级场面活 动引导与控制系统， 用于进行监视数据融合处 理， 接收视频检测对比系统输出的识别对比结果 数据并进行综合航迹与视频对比数据关联融合 处理； 视频检测对比系统， 接收全景视频系统输 出的视频流数据， 识别出机场场面目标， 并与接 收到的高级场面活动引导与控制系统输出的综 合航迹数据进行初次、 二次对比处理， 得到视频 识别对比结果数据。 本发明采用视频识别技术识 别场面目标， 并对存疑目标做云台相机二次识别 确认， 然后与A ‑SMGCS系统中传统监视数据融合 对比处理， 自动对场面目标做真伪、 增减处理， 实 现剔除虚假目标、 弥补丢失目标， 增加场面目标 监视的可信度、 可靠性。 权利要求书4页 说明书12页 附图4页 CN 114783211 A 2022.07.22 CN 114783211 A 1.一种基于视频数据融合的场 面目标监视增强系统， 其特征在于， 包括： 高级场 面活动 引导与控制系统、 视频检测对比系统； 所述高级场面活动引导与控制系统， 用于进行监视数据融合处理， 接收视频检测对比 系统输出的识别对比结果数据并进行综合 航迹与视频对比数据关联融合处 理； 所述视频检测对比系统， 接收全景视频系统输出的视频流数据， 识别出机场场 面目标， 并与接收到的高级场面活动引导与控制系统输出的综合航迹数据进行初次、 二次对比处 理， 向高级场面活动引导与控制系统输出视频识别对比结果数据。 2.根据权利要求1所述的基于视频数据融合的场 面目标监视增强系统， 其特征在于， 所 述高级场面活动引导与控制系统包括： 第一输入输出接口模块、 监视数据处理模块、 综合航 迹与视频对比数据关联处 理模块、 态 势人机界面模块； 所述第一输入输出接口模块， 接收输入场面监视雷达、 多点定位、 广播式自动相关监视 的监视数据， 输出综合 航迹数据； 所述监视数据处理模块， 对上述接收到的监视数据进行融合处理， 形成场面目标监视 的综合航迹数据； 所述综合航迹与视频对比数据关联处理模块， 接收视频检测对比系统输出的初次、 二 次视频识别对比结果数据并进 行综合航迹与视频对比数据关联融合处理， 且对关联融合处 理结果进行分别标记； 关联融合处理结果包括以下几类： 目标已确认、 目标不存在、 目标待 确认、 目标丢失； 所述态势人机界面显示模块， 根据关联融合处理结果不同类别， 进行区分显示； 其中， 对目标已确认、 目标不存在、 目标待确认类别， 在态势界面的航迹标牌上用标记或颜色区分 显示； 对目标丢失类别， 采用接收视频识别的目标位置， 以1秒为周期在态势界面上显示目 标运动航迹， 实现场面 监视方式探测目标丢失的补充。 3.根据权利要求1所述的基于视频数据融合的场 面目标监视增强系统， 其特征在于， 所 述视频检测对比系统包括： 第二输入输出接口模块、 全景视频识别模块、 融合对比模块、 云 台相机检测模块； 所述第二输入输出接口模块， 接收全景视频系统输出的视频流数据和高级场 面活动引 导与控制系统输出的综合 航迹数据， 输出视频识别对比结果数据； 所述全景视频识别模块， 基于YOLO  v5网络模型的深度学习的视频识别检测方法对全 景视频系统输出的视频流数据进行识别， 输出全景视频目标识别数据， 包括目标标识、 类 别、 位置、 置信度数据； 所述融合对比模块， 将高级场 面活动引导与控制系统输出的综合航迹数据与全景视频 目标识别数据进行初次融合比对处理， 判断目标对比是否一致； 若一致， 则向高级场面活动 引导与控制系统输出初次融合比对处理结果； 若不一致， 则向云台相 机检测模块发送初次 对比不一致 目标的位置信息， 经过云台相 机检测模块进行二次检测确认分析后， 根据二次 检测目标确认信息与综合航迹数据、 初次融合比对处理结果进行关联匹配处理， 向高级场 面活动引导与控制系统输出二次检测目标相关匹配结果； 所述云台相机检测模块， 根据所述初次对比不一致目标的位置信息， 控制云台相机对 准目标区域， 使用基于Y OLO v5网络模 型的深度学习的视频识别检测方法， 对云台视角下的 目标进行二次检测 确认分析， 并向融合对比模块输出二次检测 确认信息 。权　利　要　求　书 1/4 页 2 CN 114783211 A 24.一种基于视频数据融合的场面目标监视增强方法， 基于权利要求1 ‑3中任意一项所 述系统， 其特 征在于， 步骤如下： 1)获取全景视频系统的视频流数据， 识别出机场场面目标； 并接收高级场面活动引导 与控制系统的综合 航迹数据； 2)将高级场面活动引导与控制系统的综合航迹数据与所述步骤1)中识别出的机场场 面目标数据进 行初次融合比对处理， 判断目标对比是否一致； 若一致则进入步骤4)； 若不一 致则发送初次对比不 一致目标的位置信息并进入步骤3)； 3)进行二 次检测确认分析， 将二 次检测确认分析结果和高级场面活动引导与控制系统 的综合航迹数据、 步骤2)中初次融合比对处理结果进行关联匹配处理， 输出二次检测及目 标相关匹配结果； 4)将步骤2)中的初次融合比对处理结果、 步骤3)中的二次检测及目标相关匹配结果数 据与高级场面活动引导与控制系统的综合 航迹数据进行关联融合处 理并显示。 5.根据权利要求4所述的基于视频数据融合的场 面目标监视增强方法， 其特征在于， 所 述步骤1)具体包括： 采用若干个摄像机， 并利用全景拼接方法实现覆盖机场场面全景视频 画面的获取； 采集全景视频系统的视频流数据， 基于Y OLO v5网络模 型的深度学习的视频识 别检测方法识别检测机场场面目标， 输出目标标识、 类别、 位置、 置信度数据； 并接收高级场 面活动引导与控制系统融汇处理场面监视雷达、 多点定位系统、 广播式自动相关监视系统 形成的综合 航迹数据。 6.根据权利要求4所述的基于视频数据融合的场 面目标监视增强方法， 其特征在于， 所 述步骤1)具体还 包括： 11)获取全景视频系 统的覆盖机场场面检测区域的全景视频流数据， 采用视频流RTSP 接口协议输入； 12)使用基于YOLO  v5网络模型的深度学习的视频识别检测方法对全景视频流数据进 行识别， 识别 出机场场面航空器、 车辆、 行人目标， 并进行目标跟踪、 置信度计算赋值， 输出 目标标识、 类别、 位置、 置信度数据。 7.根据权利要求6所述的基于视频数据融合的场 面目标监视增强方法， 其特征在于， 所 述步骤12)具体包括如下步骤： 121)从全景视频流数据中对机场场面起飞、 降落、 滑行、 机坪保障各运行场景的航空 器、 车辆、 行人 目标进行数据采集、 标注， 形成数据集， 数据集中场景包含白天、 阴天、 夜间、 雨天、 雾天、 强曝光； 对数据集进行进一 步的数据增强处 理； 122)对YOLO  v5网络模型进行学习训练， 训练过程使用梯度下降法更新权重参数， 经过 多轮迭代训练后， 网络模型权 重参数趋 于收敛， 完成训练得到 权重文件； 123)YOLO  v5网络模型使用所述权重文件对全景视频流数据进行实时推理， 识别出画 面中航空器、 车辆、 行人目标， 并进一步对目标采用卡尔曼滤波算法和匈牙利算法进行跟 踪， 以使各个目标在时间序列上完成关联并分配唯一的视频目标识别ID号， 保证目标唯一 性； 124)对识别的目标进行置信度计算赋值； 置信度取三个全景视频流数据周期的目标识 别置信度平均值， 分别为当前帧、 前第一帧、 前第二帧中的目标的置信度， 置信度平均值为 conf＝(conf(t‑2)+conf(t‑1)+conf(t))/3；权　利　要　求　书 2/4 页 3 CN 114783211 A 3