(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221019595 3.2 (22)申请日 2022.03.01 (71)申请人 西安电子科技大 学芜湖研究院 地址 241000 安徽省芜湖市弋江区文津西 路8号 (72)发明人 杨华　蒋立伟　檀生辉　吴勇　 王东　谷涛涛　姜敏　吴二导　 伍旭东　刘恒　王凯　胡珍珠　 何志维　齐红青　孙鸿健　 (74)专利代理 机构 芜湖思诚知识产权代理有限 公司 34138 专利代理师 项磊 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) (54)发明名称 一种基于EKF多模型融合的车道线 方程拟合 及曲率计算方法 (57)摘要 本发明公开了一种基于EKF多模 型融合的车 道线方程拟合及曲率计算方法， 包括下列步骤： A： 图像信息采集； B： 图像预处理； C： 逆透视变换 车道线检测； D： 基于Ultra ‑Fast‑Lane‑Net的车 道线检测； E： 通过改进扩展 卡尔曼滤波算法进行 车道线坐标点融合； F： 车道线三次方程构建； G： 曲率计算。 步骤E中， 构建系统状态方程时将深度 学习模型在t时刻相对于t ‑1时刻的变化量加入 到其中， 改进扩展卡尔曼滤波算法。 本发明让两 种检测结果能够良好融合， 解决了传统算法车道 线缺少先验视觉物体的弊端， 同时相对于深度学 习方法， 该融合模型 具有更小的系统误差 。 权利要求书2页 说明书5页 附图5页 CN 114596550 A 2022.06.07 CN 114596550 A 1.一种基于 EKF多模型融合的车道线方程拟合方法， 其特 征在于： 包括下列步骤： A： 图像信息采集； B： 图像预处 理； C： 逆透视变换车道线检测； D： 基于Ult ra‑Fast‑Lane‑Net的车道线检测； E： 通过改进扩展卡尔曼 滤波算法进行 车道线坐标点融合； F： 车道线三次方程构建； 步骤E中， 结合车辆行驶方程构建系统状态方程、 系统观测方程， 构建系统状态方程时 将深度学习模 型在t时刻相对于t ‑1时刻的变化量加入到其中， 得到改进扩展卡尔玛滤波融 合算法， 将步骤C和D中分别检测出的两组车道线标记点坐标经改进扩展卡尔玛滤波融合算 法融合， 所述步骤F利用最小二乘法对融合后的车道线标记 点坐标进 行三次曲线拟合， 完成 对车道线的检测。 2.根据权利要求1所述的一种基于EKF多模型融合的车道线方程拟合方法， 其特征在 于： 所述步骤E中， 由于逆透视变换和深度学习检测模型无固定模型公式， 因此改进系统状 态方程如下： Ft＝Ft‑1+(Ndn， t‑Ndn， t‑1)+Qt‑1 其中， Ft为融合系统模型t时刻输出， Ndn， t‑Ndn， t‑1为深度学习模型(Ultra ‑Fast‑Lane‑ Net)在t时刻相对于t ‑1时刻的变化量， Ndn， t为深度学习模型在t时刻的输出， Qt‑1为系统状 态误差矩阵； 系统观测方程 为： Zt＝HFt+Rt＝Ndm， t 其中， Rt为观测值误差矩阵， 测量值Zt与状态值Ndm， t为同一个变量， H＝1， 雅可比矩阵、 误差协方差矩阵依据现有公式计算。 3.根据权利要求2所述的一种基于EKF多模型融合的车道线方程拟合方法， 其特征在 于： 所述步骤E的具体步骤如下： (1)获得步骤C的车道线标记点 坐标和步骤D的车道线标记点 坐标作为输入； (2)构建系统状态方程及系统观测方程； (3)计算系统状态方程和系统观测方程的雅可比矩阵； (4)计算系统误差协方差矩阵； (5)基于雅可比矩阵预测车道线标记点 坐标； (6)将预测的车道线标记点 坐标结合系统误差协方差矩阵计算 卡尔曼增益； (7)根据上一 步的计算结果更新车道线标记点 坐标和系统误差协方差矩阵， 完成融合。 4.根据权利要求3所述的一种基于EKF多模型融合的车道线方程拟合方法， 其特征在 于： 所述步骤C具体包括： (1)首先在实验中采集单张车道图片， 根据原图中目标点和透视图目标点的关系确定 逆透视变换矩阵系数和透 视变换矩阵系数； (2)在步骤C中， 对处理后的图像信息进行逆透视变换， 采用之前实验确定的逆透视变 换矩阵系数， 得到逆透 视变换图像； (3)通过滑动窗口获取 车道线标记点， 即对 逆透视变换图像进行 标记点识别；权　利　要　求　书 1/2 页 2 CN 114596550 A 2(4)对具有车道线标记点的逆透视变换图像再进行透视变换， 获取原车道线标记点坐 标。 5.根据权利要求3所述的一种基于EKF多模型融合的车道线方程拟合方法， 其特征在 于： 所述步骤C具体包括： (1)在使用前先获取车道线数据集， 以此对Ultra ‑Fast‑Lane‑Net模型进行训练， 得到 训练好的Ult ra‑Fast‑Lane‑Net模型； (2)在步骤D中， 将处理后的图像信息输入训练后的Ultra ‑Fast‑Lane‑Net模型， 由此输 出车道线标记点 坐标。 6.根据权利要求1所述的一种基于EKF多模型融合的车道线方程拟合方法， 其特征在 于： 所述步骤B对应步骤C和步骤D分别包括两个部分的图像预处 理： (1)对逆透视变换图像预处 理， 进行图像畸变校正。 (2)对深度学习模型对应的图像预处 理， 包括图像大小变化和图像增强。 7.根据权利要求6所述的一种基于EKF多模型融合的车道线方程拟合方法， 其特征在 于： 所述步骤B中的图像预处理还包括图像灰度化、 高斯滤波处理、 图像二值化以及对图像 去噪声。 8.一种基于EKF多模型融合的车道线的曲率计算方法， 其特征在于： 根据权利要求1 ‑7 中任一所述的一种基于EKF多模型融合的车道线方程拟合方法完成车道线的检测， 拟合车 道线三次方程公式为： y＝a3x3+a2x2+a1x+a0 之后还包括下列步骤： G： 曲率计算； 根据车道线三次方程的曲率计算公式： 计算车道线的曲率。权　利　要　求　书 2/2 页 3 CN 114596550 A 3