(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210196505.4 (22)申请日 2022.03.01 (71)申请人 浙江工业大 学 地址 310006 浙江省杭州市拱 墅区朝晖六 区潮王路18号 (72)发明人 邱飞岳　周建　章国道　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 周红芳 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01)G06V 10/771(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 17/00(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于多特征融合点云分割的三维建模 方法 (57)摘要 一种基于多特征融合点云分割的三维建模 方法， 属于三维建模技术领域。 它包括以下步骤： 1、 从3D点云原始数据中提取关键点； 2、 提取点 云 的邻域细粒度特征和全局 信息； 3、 提取3D点 云原 始数据的局部几何信息； 4、 聚合步骤3中提取出 的特征， 并加入关键点得到权重矩阵； 5、 提取步 骤1‑3中获得的点云的深度语义特征； 6、 将步骤 1‑5中提取的点云特征经过由多层感知器组成的 全连接层， 得到最后的分割数据； 7、 利用点云分 割数据， 构建出三维模型。 本发明将3D点云经过 双注意力机制和VLAD的处理， 提取出的特征进行 连接和聚合， 最后经过多层感知器的全连接层得 到最终的分割结果； 能够有效提高分割精度及语 义层次。 权利要求书2页 说明书6页 附图4页 CN 114612660 A 2022.06.10 CN 114612660 A 1.一种基于多特 征融合点云分割的三维建模方法， 其特 征在于： 包括以下步骤： 步骤1： 利用NARF算法从3D点云原 始数据中提取 出相关点， 作为关键点； 步骤2： 采用自注意力机制 构建自注意力机制层， 将原始3D点云数据输入到自注意力机 制层， 来提取点云的邻域细粒度特 征和全局信息； 步骤3： 在多层感知器 中嵌入图注意力 机制， 将3D点云原始数据输入构建的图注意力机 制层， 来提取局部几何信息； 步骤4： 采用多头图形注意力机制来聚合步骤3中提取出的特征， 并加入步骤1中提取的 关键点得到 权重矩阵； 步骤5： 通过局部特征聚合描述符VLAD进一步提取步骤1 ‑3中获得的点云的深度语义特 征； 步骤6： 将步骤1 ‑5中提取的点云特征经过由多层感知器组成的全连接层， 得到最后的 分割数据； 步骤7： 利用步骤6中获得的点云 分割数据， 构建出三维模型。 2.根据权利要求1所述的一种基于多特征融合点云分割的三维建模方法， 其特征在于 所述步骤2的具体过程如下： 将3D点云输入到自注意力机制层后， 得到了输入向量Q， K， V的线性 映射， Q， K， V 向量的 值组合成三 维点云的邻接向量X， 通过自注意力机制层中的编 码器聚合局部和全局信息， 输 入向量Q， K， V的线性映射公式如下： 其中 R表示输入向量， n ×dk与m×dk代表输入向 量的维度； 对于单个输入向量qt， qt∈Q， Q， K， V的计算公式如下： 其中Z为标准化因子， vs∈V， ks∈K， q， k， v分别是query， key， value的缩写， 作为调 节器， 这样输入激活函数的内积不会太大； 自注意力机制的核心部分是 用于测量qt和vs之间的非线性映射关系； 每个ks和qt相乘， 利用softmax 函数去评估 ks和qt之间的相似 性， 最后经过计算的结果是 一个加权和向量dv。 3.根据权利要求1所述的一种基于多特征融合点云分割的三维建模方法， 其特征在于 所述步骤3的具体过程如下： 3.1、 使用邻近算法KNN构建K最邻近图G＝(V， E)， 其中V代表节点集， 每个点用xi表示， E 表示邻接点对应的边 集， 每条边用yij表示， 并将其定义 为邻接特 征； 3.2分别对节点、 邻接点对应的边进行编码得到自系数和局部系数， 其输出结果的维度 均为F0， 公式如下：权　利　要　求　书 1/2 页 2 CN 114612660 A 2x′i＝h(xi， θ ) y′ij＝h(yij， θ ) 其中， h()表示 一个参数化的非线性 函数， θ表示 一组可学习的滤波器参数； 3.3、 使用非线性激活函数LeakyReLU融合自系数x ′i和局部系数y ′ij得到注意系数， 具 体公式如下： cij＝LeakyReLU(h(x ′i， θ )+h(y′ij， θ ))； 3.4、 使用softmax函数对每个点云节点的邻近注意力系数进行归一化， 以保持相邻点 之间的注意力系数αij的一致， 计算公式如下： 其中Ni表示第i个点的邻近节点 集； 3.5、 为了获取足够的结构信息和稳定网络， 将M个独立的单头的图注意力机制连接起 来， 生成具有M ×F0通道的多注意特 征； 多头图注意力 机制的输出是多注意特征和多图特征， 分别连接对应头部的注意力特征 和图形特征， 的计算公式如下： 其中， 表示单头图注意力 特征， 是第m头的注意力 特征， M是头的总数， ||是特征 通道上的串联操作。 4.根据权利要求1所述的一种基于多特征融合点云分割的三维建模方法， 其特征在于 所述步骤5中， 使用每个点的低级几何描述符和视觉词汇表之间的关系来描述高级语义特 征， 具体过程如下： 将m1个聚类中心(视觉词汇)作为局部特征聚合描述符(VLAD)的参数， 给定n1个二维点 作为VLAD的输入， 同时初始化m1个聚类中心， 这m1个聚类中心是通过反向传播学习的参数， 每个聚类中心被分配多个点， 残差向量pi(d)‑ck(d)表示点pi和第k个聚类中心在第d维度上 的差异， r 表示m1个聚类中心和第i个点之间的关系； r的分量(n， d)计算公式如下： 其中第i个点的第d维度表示为pi(d)， 第k个聚类中心的第d维度用ck(d)表示， ai(Ck)表 示注意系数； 利用注意系数ai(Ck)来加权第k个聚类中心和第i个点之间的关系； ai(Ck)的取值只有0和1， 其中1表示表示 最接近描述符pi的聚类中心， 其 他情况为0 。权　利　要　求　书 2/2 页 3 CN 114612660 A 3