(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210275245.X (22)申请日 2022.03.21 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 申请人 广州华工 机动车检测技 术有限公司 (72)发明人 李巍华　郑少武　谢翀　黎杰　 于善虎　叶鸣　卢仲康　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06T 7/80(2017.01) G06K 9/62(2022.01) G01S 19/42(2010.01)G01S 17/931(2020.01) G01S 13/931(2020.01) G01C 21/28(2006.01) G06V 10/80(2022.01) (54)发明名称 基于路侧多传感器融合的车辆检测方法、 装 置及介质 (57)摘要 本发明公开了一种基于路侧多传感器融合 的车辆检测方法、 装置及介质， 其中方法包括： 采 集路侧多传感器的图像和点云数据； 建立路侧多 传感器统一坐标系， 进行同一路侧点位单激光雷 达与多摄像头传感器的联合标定， 以及不同路侧 点位多个激光雷达传感器的联合标定； 分别对采 集的多个图像和点云数据进行车辆目标检测， 输 出2D目标检测框和3D目标检测框； 结合路侧多传 感器的内外参关系， 对2D目标检测框和3D目标检 测框的序列进行最优匹配； 根据匹配结果输出路 侧感知结果。 本发明能够实现对路侧多源异构感 知数据的智能处理， 在满足路侧感知实时性要求 的同时， 大大提高了车辆目标检测精度， 可广泛 应用于计算机视觉和智能网联汽车 领域。 权利要求书3页 说明书8页 附图2页 CN 114677446 A 2022.06.28 CN 114677446 A 1.一种基于路侧多传感器融合的车辆检测方法， 其特 征在于， 包括以下步骤： 采集路侧多传感器的图像和点云数据； 建立路侧多传感器统一坐标系， 进行同一路侧点位单激光雷达与多摄像头传感器的联 合标定， 以及不同路侧点 位多个激光雷达传感器的联合标定； 分别对采集的多个图像和点云数据进行车辆目标检测， 输出2D目标检测框和3D目标检 测框； 结合路侧多传感器的内外参关系， 对2D目标检测框和3D目标检测框的序列进行最优 匹 配； 根据匹配结果输出路侧感知结果， 所述路侧感知结果包括车辆分类、 几何尺寸或者位 置信息的至少之一。 2.根据权利要求1所述的一种基于路侧多传感器融合的车辆检测方法， 其特征在于， 所 述车辆检测方法应用于多传感器、 多点 位、 多视角的路侧协同感知； 所述路侧多传感器包括雷达、 摄 像头、 毫米波雷达； 所述多点位指的是在同一连续道路区域内部署多套智能路侧杆， 所述智能路侧杆内设 有多传感器、 移动边 缘计算单 元、 路侧通信单 元、 GPS定位模块； 所述多视角指的是部署在不同点位或同一点位的多个传感器分别具有不同的感知范 围、 感知视角， 以扩展路侧多传感器融合感知的范围。 3.根据权利要求2所述的一种基于路侧多传感器融合的车辆检测方法， 其特征在于， 所 述采集路侧多传感器的图像和点云数据， 包括： 在同一局域网下， 利用移动边缘计算单元同时采集多套智能路侧杆的传感器数据， 并 利用GPS定位模块对传感器进行同步授 时， 保证不同传感器在同一时刻采集的数据时间戳 同步。 4.根据权利要求2所述的一种基于路侧多传感器融合的车辆检测方法， 其特征在于， 所 述建立路侧多传感器统一 坐标系， 包括： 在同一连续道路区域内部署的多套智能路侧杆中， 选取其中任意一个激光雷达的坐标 系作为传感器的基准坐标系， 经过联合标定后的其他传感器数据能够直接或间接转换到基 准坐标系下， 进 而实现多传感器数据统一 坐标系； 所述进行同一路侧点 位单激光雷达与多摄 像头传感器的联合标定， 包括： 路侧传感器安装完成后， 利用棋盘格标定法分别对同一路侧杆上的多个摄像头进行内 参标定， 并分别将不同摄像头与同一激光雷达进行外参标定， 获取多组内外参标定矩阵数 据， 进而实现同一路侧杆 上的多传感器数据统一 坐标系； 所述不同路侧点 位多个激光雷达传感器的联合标定， 包括： 多个点位路侧传感器安装完成后， 根据不同点位激光雷达感知重合部分的背景的几何 特征， 调整非基准坐标系的激光雷达点云数据与基准坐标系的点云数据的外参矩阵， 实现 将非基准坐标系的激光雷达点云数据投影到基准激光雷达坐标系下， 进而实现不同路侧点 位多个激光雷达传感器数据统一 坐标系。 5.根据权利要求1所述的一种基于路侧多传感器融合的车辆检测方法， 其特征在于， 所 述分别对采集的多个图像和点云数据进 行车辆目标检测， 输出2D目标检测框和3D目标检测 框， 包括：权　利　要　求　书 1/3 页 2 CN 114677446 A 2利用改进的轻量化目标检测网络NanoDet进行图像的车辆目标检测， 获得2D目标检测 框； 利用点云处 理方法进行激光 点云的车辆目标检测， 获得3D目标检测框； 其中， 所述改进的轻量化目标检测网络NanoDet指的是： 在原始NanoDet目标检测网络 模型的基础上， 调整模型输入和输出 的批量尺寸维度大小与路侧摄像头数量一致， 并生成 ONNX格式的推理模型， 利用TensorRT框架进行模型推理加速， 输出多个图像的2D目标检测 框序列。 6.根据权利要求5所述的一种基于路侧多传感器融合的车辆检测方法， 其特征在于， 所 述利用点云处 理方法进行激光 点云的车辆目标检测， 获得3D目标检测框， 包括： 在基准坐标系下， 划分固定的感兴趣区域， 对经过联合标定及坐标转换的多个激光雷 达的点云数据进行 可行驶区域数据滤波， 剔除非可 行驶区域的点云； 对经过滤波的点云， 利用随机抽样一致算法进行平面分割， 分离路面和路面上方的点 云数据； 对经过分割后的路面上方的点云， 利用欧氏距离算法， 获取包含静止目标及动态目标 的多个点云簇； 对经过聚类模块的点云簇， 计算OBB包围盒参数， 根据车辆特征， 对点云簇进行分类， 分 类结果包括车辆及非车辆， 最终输出点云的3D目标检测框序列； 其中， 车辆特 征包括车辆的几何尺寸、 车身最近 离地高度及车身最远离地高度。 7.根据权利要求1所述的一种基于路侧多传感器融合的车辆检测方法， 其特征在于， 所 述结合路侧多传感器的内外参关系， 对2D目标检测框和3D目标检测框的序列进行最优匹 配， 包括： A1、 构建预匹配矩阵Mp和最终匹配矩阵Mf， 结合多传感器联合标定的内外参， 将生成的 多个3D目标检测框的中心 点分别投影到多个图像上， 若3D目标检测框的中心 点落在2D目标 检测框内， 且两者的目标分类结果一致， 则初步筛选该3D框与2D框满足匹配条件； 即若第i 个2D框bbox2di与第j个3D框b box3dj满足匹配条件， 则Mp(i,j)＝1， 反 之Mp(i,j)＝0； A2、 将生成的多个3D目标检测框分别投影到多个图像上， 并转换为2D框， 计算每个3D目 标检测框的2D投影与每个2D目标检测框的交并比(IOU)， 即第i个2D框bbox2di与第j个3D框 bbox3dj的2D投影的交并比表示 为IOU(i,j)； A3、 遍历所有2D目标检测框， 若第i个2D 框bbox2di仅有一个预匹配的3D框， 即仅有Mp(i, j)＝1， 则Mf(i,j)＝1； 若Mp(i,j)＝1且Mp(i,k)＝1， 则选取IOU较大的一对进行匹配， 即若 IOU(i,j)>IOU(i,k)， 则Mf(i,j)＝1， 反之Mf(i,k)＝1； 若Mp(i,j)＝1且第 j个3D框bbox3dj的 2D投影已经与第m个2D框bbox2dm匹配， 即Mp(i,j)＝1且Mf(m,j)＝1， 则 选取IOU较大的一对 进行匹配， 即若IOU(i,j)>IOU(m,j)， 则Mf(i,j)＝1， 将第m个2D框bbox2dm重新进行步骤A3， 反之Mf(m,j)＝1， 将第i个2D框b box2di重新进行步骤A3； A4、 输出最终匹配矩阵Mf。 8.根据权利要求7所述的一种基于路侧多传感器融合的车辆检测方法， 其特征在于， 所 述根据匹配结果输出路侧感知结果， 包括： 获取最终匹配矩阵Mf后， 若Mf(m,n)＝1， 则提取第m个2D目标检测框bbox2dm和第n个3D 目标检测框b box3dn的分类信息、 OB B包围盒参数， 作为 最终的路侧感知结果。权　利　要　求　书 2/3 页 3 CN 114677446 A 3