(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210244408.8 (22)申请日 2022.03.11 (71)申请人 华北水利水电大 学 地址 450011 河南省郑州市金 水区北环路 36号 申请人 日照市国土空间数据中心 (72)发明人 何培培　费美琪　王靖伟　程星星　 胡青峰　高科甲　廖磊　 (74)专利代理 机构 郑州中原 专利事务所有限公 司 41109 专利代理师 王晓丽 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于球形邻域的多尺度多特征算法的 语义分割方法 (57)摘要 一种基于球形邻域的多尺度多特征算法的 语义分割方法， 所述方法包括： 将获取到的点云 数据与遥感影像进行配准， 生成融合RGB信息的 点云数据； 选定球形邻域来获取融合RGB信息的 点云数据的局部邻域特征， 并通过改变球形邻域 半径大小， 提取多尺度的点云特征； 将提取的基 础特征、 至少两个尺度的5维邻域特征与点云的 xyz坐标信息组合输进基于PointNet的改进的模 型MSMF‑PointNet中进行语义分割， 输出分类结 果。 所提方法在机载LiDAR扫描获得的室外场景 点云数据中能获得远远优于PointNet的分类精 度， 因加入线性度、 垂直度等特征， 建筑物立面， 篱笆等得到了 更好的分类， 加入粗糙度、 全 方差， 树和灌木的分类结果更好， 加入平整度， 屋顶和 不透水地 面的分类结果更好。 权利要求书1页 说明书8页 附图3页 CN 114694022 A 2022.07.01 CN 114694022 A 1.一种基于球形邻域的多尺度多特征算法的语义分割方法， 其特征在于： 所述方法包 括： S1： 将获取到的点云数据与遥感影 像进行配准， 生成融合RGB信息的点云数据； S2: 对融合RGB信息的点云数据进行多尺度邻域的设计及特征提取： 通过研究点云空 间索引结构， 选定球形邻域来 获取融合 RGB信息的点云数据的局部邻域特征， 并通过改变球 形邻域半径大小， 提取多尺度的点云特征； 所述点云特征包括基础特征和基于协方差的多 特征； 所述基础特征包括点云的xyz坐标信息和RGB信息； 所述基于协方差的多 特征包括5维 邻域特征， 即基于协方差的全方差、 粗 糙度、 平整度、 线性度和垂直度信息； S3： 将提取的基础特征、 至少两个尺度的5维邻域特征与点云的xyz坐标信息组合输进 基于PointNet的改进的模型MSMF ‑PointNet中进行语义分割， 输出分类结果。 2.如权利要求1所述的基于球形邻域的多尺度多特征算法的语义分割方法， 其特征在 于： 所述基于PointNet的改进的模型MSMF ‑PointNet包括改进的PointNet网络和至少两个 Mini‑pointnet网络； 所述点云的xyz坐标信息和RGB信息输入改进的PointNet网络， 改进的 PointNet 网络输出的是64维的点特征和1024维的全局特征； 所述至少两个尺度的5维邻域 特征与点云的xyz坐标信息组合输入Mini ‑pointnet网络； Mini ‑PointNet 输出的是两个2 56 维的特征向量， 将两 部分输出后的数据进行全连接， 输进softmax分类 器进行分类。 3.如权利要求2所述的基于球形邻域的多尺度多特征算法的语义分割方法， 其特征在 于： 所述改进的PointNet 网络包括六层， 从输入至输出依次为第一T ‑Net点云旋转变换、 第 一感知器mlp、 第二T ‑Net、 第二感知器mlp、 第三感知器mlp和Max  pooling网络。 4.如权利要求2所述的基于球形邻域的多尺度多特征算法的语义分割方法， 其特征在 于： 所述Mini ‑pointnet网络包括4层， 从输入至输出依次为T ‑Net点云旋转变换、 两层 感知 器mlp和Max  pooling网络。 5.如权利要求1所述的基于球形邻域的多尺度多特征算法的语义分割方法， 其特征在 于： 所述点云的xyz坐标信息根据系统的GPS、 INS和激光测距仪记录的数据解算出来；  RGB 信息由成像装置获取。 6.如权利要求1所述的基于球形邻域的多尺度多特征算法的语义分割方法， 其特征在 于： 所述S1中配准主要通过Arcigs  中“值提取到点 ”的功能将影像每个波段不同像素点的 光谱信息赋 给点云数据。 7.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑6中任一项所述的方法。 8.一种存 储有计算机指令的非瞬时计算机可读存 储介质， 其中， 所述计算机指令用于使所述计算机执 行根据权利要求1 ‑6中任一项所述的方法。 9.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 1/1 页 2 CN 114694022 A 2一种基于球形邻域 的多尺度多特征算法的语 义分割方 法 技术领域 [0001]本发明属于遥感与摄影测量技术领域， 具体涉及 一种基于球形邻域的多尺度多特 征算法的语义分割方法。 背景技术 [0002]深度学习是一种可以通过深层网络结构自动学习提取输入数据高级特征的新兴 技术， 是当前模式识别， 计算机视觉和数据分析中最有影响力， 发展最快的前沿技术。 在应 用于3D数据之前， 深度学习已成为2D计算机视觉和图像处理中各种任务的有效力量， 特别 是2012年AlexNe在I mageNet的 图像识别竞赛上应用卷积神经网络(Convolutional  Neural  Networks,CNN)以高出第二名十几个百分点的成绩夺冠后， 以CNN为主的深度神经网络结构 在图像分类、 分割和识别等领域取得了重大的突破。 但由于三维激光点云的高密度、 海量及 无结构的特性， 传统的深度学习方法无法直接应用于三维点云的分割。 [0003]大量学者在 三维点云数据的深度学习上做了大量的工作， 为了能够在 三维激光点 云数据上应用现有的神经网络结构， 在将点云数据输入到神经网络之前需要对其进行数据 预处理， 目前常用的方法有三种， (1)将 3D点云数据投影为多视角2D影像后使用传统的卷积 神经网络； (2)将点云转化为栅格体素后使用3D卷积神经网络； (3)将点云转化为图(Graph) 结构后使用3D图卷积神经网络 。 [0004]但是上述方法在预处理过程中， 都会造 成数据信息的丢失， 针对这一缺点20 17年， 斯坦福大学的学者Qi等发表了一个开创性的研究工作， 提出了一个深度学习模型 PointNet， 能够直接应用到三维点云数据上面， 使得语义分割的精度进一步提高。 然而 PointNet网络结构主要提取点云 间的全局特征， 忽略了点云中点与点之间相关联的局部特 征提取， 而局部特征 的提取能力不足往往会导致分割精度不足， 物体细节分割效果较差等 问题。 [0005]一方面， 由于三维激光点云的高密度、 海量及无结构特性， 研究快速有效的三维场 景语义分割算法具有重要的理论价值。 另一方面， 由于 真实自然场景的复杂性， 三 维目标间 的重叠、 遮挡等现象， 研究与其他领域技术的结合， 提出高鲁棒、 自动化、 智能化的复杂三 维 场景目标语义分割方法对进一步研究点云语义分割及其在各个领域的应用具有重要的现 实意义。 发明内容 [0006]为解决上述问题， 提供一种基于球形邻域的多尺度多特 征算法的语义分割方法。 [0007]本发明的目的是以下述方式实现的： [0008]一种基于球形邻域的多尺度多特 征算法的语义分割方法， 所述方法包括： [0009]S1： 将获取到的点云数据与遥感影 像进行配准， 生成融合RGB信息的点云数据； [0010]S2:对融合RGB信息的点云数据进行多尺度邻域的设计及特征提取： 通过研究点云 空间索引结构， 选定球形邻域来 获取融合 RGB信息的点云数据的局部邻域特征， 并通过改变说　明　书 1/8 页 3 CN 114694022 A 3