(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210139118.7 (22)申请日 2022.02.15 (71)申请人 集美大学 地址 361021 福建省厦门市集美银 江路185 号 (72)发明人 陈宁　宁静　胡玉生　张怡萌　 吴康艺　李骐霖　刘必歆　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 杜娟 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01)G06T 7/10(2017.01) G06T 7/13(2017.01) G06T 7/207(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/75(2022.01) (54)发明名称 一种基于语义SLAM的地图构建方法及装置 (57)摘要 本发明公开了一种基于语义SLAM的地图构 建方法及装置， 涉及地图构建技术领域， 首先采 集两张路径图像； 将两张路径图像进行融合； 基 于融合后的路径图像， 采用RANSAC算法对 运动路 径进行估计， 并基于IMU信息进行位姿计算； 采用 扩展卡尔曼滤波技术将运动估计结果和位姿计 算结果进行融合， 得到融合后的位姿信息； 获取 机器人与障碍物的距离； 依据距离信息和融合后 的位姿信息， 构建初始地图图像； 将语义SLAM融 合深度学习模型， 对初始地图图像进行语义识 别； 基于初始地图图像的语义识别结果， 构建最 终地图图像。 本发明结合多传感器、 RANSA C算法、 IMU信息等初步构建地 图， 进而结合语义SLAM和 神经网络得到更准确的地图 图像。 权利要求书2页 说明书7页 附图1页 CN 114462545 A 2022.05.10 CN 114462545 A 1.一种基于语义SLAM的地图构建方法， 其特 征在于， 包括以下步骤： 基于双目视 觉技术采集两张路径图像； 将两张路径图像进行融合； 基于融合后的路径图像， 采用RANSAC算法对运动路径进行估计， 并基于IMU信息进行位 姿计算； 采用扩展卡尔曼滤波技术将运动估计结果和位姿计算结果进行融合， 得到 融合后的位 姿信息； 获取机器人与障碍物的距离； 依据距离信息和融合后的位姿信息， 定位机器人位置， 构建初始地图 图像； 将语义SLAM融合深度学习模型， 对初始地图 图像进行语义识别； 基于初始地图 图像的语义识别结果， 构建最终地图 图像。 2.根据权利要求1所述的一种基于语义SLAM的地图构建方法， 其特征在于， 将两张路径 图像进行融合的具体过程 为： 采用融合SIFT算法的改进ORB算法， 对两张路径图像进行 特征提取； 依据路径图像特 征， 对路径图像进行径向畸变校正处 理； 对校正后的两张路径图像进行融合。 3.根据权利要求1所述的一种基于语义SLAM的地图构 建方法， 其特征在于， 采用RANSAC 算法对运动路径进行估计的具体过程 为： 构建原图像与所需场景图像的变换关系： 其中x1为径向迭代前的参数， y1为切向迭代前的参数， x2为径向迭代后的参数， y2为切向 迭代后的参数， ω为迭代系数， h1～8为8个方向上的参数， 变换关系矩阵为8个参数的投影变 换矩阵； 采用最小二乘法求 解8个参数， 令： H＝[h1h2h3h4h5h6h7h8]； 得到变换公式： H＝min{N0,max{NS,NSlog2μN0}}； 其中， N0是根据最近邻比率方法判断出来的匹配点数， N0≥4， NS为样本步长， μ为比例系 数； 令ω初始值 为1， 得到 H的一组值， 由H的一组值得 出ω的值， 多次迭代后得到稳定的H 。 4.根据权利要求1所述的一种基于语义SLAM的地 图构建方法， 其特征在于， 基于IMU信 息进行位姿计算的具体过程 为： 位姿表示 为特殊欧式群： 其中， T是线性坐标， R为旋转矩阵， t为平移向量， SO(3)是特殊正交群， 表示为权　利　要　求　书 1/2 页 2 CN 114462545 A 2表示空间中的坐标点， det 表示行列式。 5.根据权利要求1所述的一种基于语义SLAM的地图构建方法， 其特征在于， 采用扩展卡 尔曼滤波技术进行融合的具体过程 为： 扩展卡尔曼 滤波的迭代公式为： xn＝xo+w(zi‑hi)； 其中， 向量xo表示位置 预测值， 向量xn表示校正后的位置， 矩阵po和pn分别表示预测的系 统误差和矫正后的系统误差， 矩阵zi表示特征点观测值， 矩阵hi表示特征点的预测值， 矩阵w 表示为卡尔曼增益， s为特 征点的不确定度。 6.根据权利要求1所述的一种基于语义SLAM的地图构建方法， 其特征在于， 采用激光雷 达测距方法， 测量机器人与障碍物的距离 。 7.根据权利要求1所述的一种基于语义SLAM的地图构建方法， 其特征在于， 对初始地图 图像进行语义识别的具体过程 为： 将原始图像导入卷积神经网络， 生成抽象的语义向量； 对语义向量进行相似度计算， 得到一级语义向量； 把一级语义向量进行序列转换并输出； 将输出的一级语义信息与初始地图 图像的特 征点进行融合， 得到二级语义信息； 将二级语义信息与先验集对照， 得到语义识别结果。 8.根据权利要求1所述的一种基于语义SLAM的地图构建方法， 其特征在于， 基于初始地 图图像的语义识别结果， 构建最终地图 图像的具体过程 为： 通过语义识别得到初始地图 图像中的标识 物像素点 位置； 从参与位姿估计的像素点中剔除构建地图时会发生移动的标识 物； 用剔除后剩余的像素点进行位姿计算， 构建最终地图 图像。 9.一种基于语义SLAM的地图构建装置， 其特征在于， 所述装置为自导引车， 具体包括底 盘、 设置在底盘上的驱动装置、 控制装置、 激光雷达、 双目摄 像机和惯性 导航仪、 触摸屏； 所述惯性导航仪与双目摄像机连接， 所述控制装置分别与激光雷达、 惯性导航仪、 驱动 装置、 触摸屏连接 。 10.根据权利要求9所述的一种基于语义SLAM的地图构建装置， 其特征在于， 所述控制 装置包括运动控制计算机和视觉控制计算机， 所述运动控制 计算机与驱动装置、 触摸屏连 接， 所述视 觉控制计算机与激光雷达、 惯性 导航仪连接 。权　利　要　求　书 2/2 页 3 CN 114462545 A 3