(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210259804.8 (22)申请日 2022.03.16 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 乐心怡　徐嘉文　陈彩莲　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06T 5/50(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) (54)发明名称 基于自监督结构的点云超频采样方法及系 统 (57)摘要 本发明提供了一种基于自监督结构的点云 超频采样方法及系统， 包括： 点云嵌入步骤： 根据 激光雷达采集到的初始点云序列中相邻的两帧 点云数据， 得到对应的粗糙中间帧点云； 特征聚 合步骤： 对粗糙中间帧点云的局部几何分布进行 重构， 得到 预测中间帧点 云； 训练步骤： 根据预测 中间帧点云和自监督方法进行训练， 得到点云超 频采样模型。 与现有技术相比， 本发明以激光雷 达获取的低 帧率点云序列中的相邻两帧点云为 输入， 首先生成粗糙中间帧， 然后恢复局部几何 特征， 并在自监督结构下进行不需要真值监督的 训练， 最终得到将低帧率点云序列插帧后的高帧 率点云序列， 提升 了多传感器信息融合的效率。 权利要求书2页 说明书7页 附图2页 CN 114708174 A 2022.07.05 CN 114708174 A 1.一种基于自监 督结构的点云超频采样方法， 其特 征在于， 包括： 点云嵌入步骤： 根据激光雷达采集到的初始点云序列中相邻的两帧点云数据， 得到对 应的粗糙中间帧点云； 特征聚合步骤： 对所述粗糙中间帧点云的局部几何分布进行重构， 得到预测中间帧点 云； 训练步骤： 根据所述预测中间帧点云和自监 督方法进行训练， 得到点云超频采样模型。 2.根据权利要求1所述的基于自监督结构的点云超频采样方法， 其特征在于， 所述方 法， 还包括： 推断步骤： 通过所述点云超频采样模型， 对所述初始点云序列进行插帧， 得到插帧后的 点云序列。 3.根据权利要求1所述的基于自监督结构的点云超频采样方法， 其特征在于， 所述点云 嵌入步骤， 包括： 点云嵌入子步骤1： 根据激光雷达采集到的初始点云序列中相邻的两帧点云数据， 得到 起始帧点云和末尾帧点云； 点云嵌入子步骤2： 通过场景流预测器对所述起始帧点云和所述末尾帧点云进行处理， 得到起始中间帧点云和末尾中间帧点云； 点云嵌入子步骤3： 通过自适应采样法对所述起始中间帧点云和所述末尾中间帧点云 进行处理， 得到所述 粗糙中间帧点云。 4.根据权利要求1所述的基于自监督结构的点云超频采样方法， 其特征在于， 所述特征 聚合步骤， 包括： 特征聚合子步骤1： 以所述粗糙中间帧点云为中心进行最近邻 搜索处理， 并通过自注意 力机制， 得到所述 粗糙中间帧点云对应的特 征向量； 特征聚合子步骤2： 根据所述特 征向量和全连接层， 得到所述预测中间帧点云。 5.根据权利要求1或3所述的基于自监督结构的点云超频采样方法， 其特征在于， 所述 训练步骤， 包括： 训练子步骤1： 通过所述预测中间帧点云、 所述起始中间帧点云和所述末尾中间帧点 云， 构建空间一 致性损失函数； 训练子步骤2： 通过所述预测中间帧点云、 所述起始帧点云和所述末尾帧点云， 构建时 序一致性损失函数； 训练子步骤3： 对所述空间一致性损失函数和所述 时序一致性损失函数进行联合优化， 得到所述 点云超频采样模型。 6.一种基于自监 督结构的点云超频采样系统， 其特 征在于， 包括： 点云嵌入模块： 根据激光雷达采集到的初始点云序列中相邻的两帧点云数据， 得到对 应的粗糙中间帧点云； 特征聚合模块： 对所述粗糙中间帧点云的局部几何分布进行重构， 得到预测中间帧点 云； 训练模块： 根据所述预测中间帧点云和自监 督方法进行训练， 得到点云超频采样模型。 7.根据权利要求6所述的基于自监督结构的点云超频采样系统， 其特征在于， 所述系 统， 还包括：权　利　要　求　书 1/2 页 2 CN 114708174 A 2推断模块： 通过所述点云超频采样模型， 对所述初始点云序列进行插帧， 得到插帧后的 点云序列。 8.根据权利要求6所述的基于自监督结构的点云超频采样系统， 其特征在于， 所述点云 嵌入模块， 包括： 点云嵌入子模块M1： 根据激光雷达采集到的初始点云序列中相邻的两帧点云数据， 得 到起始帧点云和末尾帧点云； 点云嵌入子模块M2： 通过场景流预测器对所述起始帧点云和所述末尾帧点云进行处 理， 得到起始中间帧点云和末尾中间帧点云； 点云嵌入子模块M3： 通过自适应采样法对所述起始中间帧点云和所述末尾 中间帧点云 进行处理， 得到所述 粗糙中间帧点云。 9.根据权利要求6所述的基于自监督结构的点云超频采样系统， 其特征在于， 所述特征 聚合模块， 包括： 特征聚合子模块M1： 以所述粗糙中间帧点云为中心进行最近邻搜索处理， 并通过自注 意力机制， 得到所述 粗糙中间帧点云对应的特 征向量； 特征聚合子模块M2： 根据所述特 征向量和全连接层， 得到所述预测中间帧点云。 10.根据权利要求6或8所述的基于自监督结构的点云超频采样系统， 其特征在于， 所述 训练模块， 包括： 训练子模块M1： 通过所述预测中间帧点云、 所述起始中间帧点云和所述末尾中间帧点 云， 构建空间一 致性损失函数； 训练子模块M2： 通过所述预测中间帧点云、 所述起始帧点云和所述末尾帧点云， 构建时 序一致性损失函数； 训练子模块M3： 对所述空间一致性损失函数和所述时序一致性损失函数进行联合优 化， 得到所述 点云超频采样模型。权　利　要　求　书 2/2 页 3 CN 114708174 A 3