(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210211643.5 (22)申请日 2022.03.04 (65)同一申请的已公布的文献号 申请公布号 CN 114581831 A (43)申请公布日 2022.06.03 (73)专利权人 广东工业大 学 地址 510062 广东省广州市越秀区东 风东 路729号 (72)发明人 鲁仁全　谭若灿　徐雍　王银河　 肖涵臻　 (74)专利代理 机构 佛山市禾才知识产权代理有 限公司 4 4379 专利代理师 刘羽波　陈嘉琦 (51)Int.Cl. G06V 20/40(2022.01)G06V 10/26(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G05D 1/10(2006.01) 审查员 刘昶忻 (54)发明名称 基于图像和点云的无人机障碍物检测和避 障方法及系统 (57)摘要 本发明提出基于图像和点云的无人机障碍 物检测和避障方法及系统， 其中基于二维图像和 三维点云的障碍物检测和避障方法， 应用于无人 机的自动避障， 包括以下步骤： 摄像头读取视频 当前帧， 将当前帧输入至二维目标检测模型内， 获取当前帧内障碍物的种类、 障碍物的中心坐标 以及锚框的尺 寸； 将当前帧识别出障碍物的中心 坐标以及锚框的尺寸输入至三维目标检测模型 内， 获取得到障碍物的预测边框； 根据障碍物的 种类选择对应的避障方法， 通过预测边框的尺寸 对避障方法进行姿态调整。 减少了需要搜索处理 的三维点云数据， 加快了数据处理速度， 实现无 人机对障碍物的三维检测， 从而实现无人机的自 动避障。 权利要求书4页 说明书10页 附图4页 CN 114581831 B 2022.09.20 CN 114581831 B 1.基于图像和点云的无人机障碍物检测和避障方法， 应用于无人机的自动避障， 其特 征在于， 包括以下步骤： 摄像头读取视频当前帧， 将当前帧图像输入至二维目标检测模型内， 获取当前帧内障 碍物的种类、 障碍物的中心坐标以及锚框的尺寸； 将当前帧识别出障碍物的中心坐标以及锚框的尺寸输入至三维 目标检测模型内， 获取 得到障碍物的预测边框； 根据障碍物的种类选择对应的避障方法， 通过预测边框的尺寸对避障方法进行姿态调 整； 所述二维目标检测模型的训练过程如下： 步骤A1： 从目标模板内提取出目标图像， 将目标图像输入至VGG16网络得到目标特征， 其中VGG16网络包括13层卷积层， 13层激活函数层， 4层池化层； 步骤A2： 将目标特征输入至通道剪枝函数内， 进行网络权重以及缩放因子的训练， 其中 通道剪枝函数如下： 其中(x， y)为目标图， ω为网络的训练参 数， 为网络的训练损失函数， λ为前后两项的平衡因子， γ为缩放因子； 步骤A3： 通过注意力机制赋予目标 特征的每个通道不同的权值； 步骤A4： 对调整权值后的目标 特征进行多尺度特 征变换， 输出不同尺度下的目标 特征； 步骤A5： 将多个不同尺度的所述目标特征进行融合， 输入至RPN网络， 在每个尺度对应 的目标特征中生成9个不同比例不同尺度的锚框， 通过RPN网络输出锚框位置偏差信息(x ′， y′， w′， h′)， 并对锚框所选目标进行 前景与后景的分类； 对锚框位置以及前景、 后景二分类进行损 失函数训练， 输出属于前景的锚框的概率和 该锚框相对与目标框位置的偏移量； 步骤A6： 对锚框进行数量筛选， 生成候选区域， 将候选区域映射至步骤A4所产生的目标 特征， 得到感兴趣区域后， 进 行具体类别的预测和更加精细的边框回归， 输出目标图像的类 别以及概 率值； 其中类别检测分类损失函数如下： 类别检测边框回归损失函数如下： 其中Nc、 Nr为进行网络训练时所选地样本个 数， Pi表示样本的状态标志值， 当Pi＝1时， 表 示样本为正样本， 当Pi＝0时， 表示样本为负样本， Ci*表示类别的概率值， x ′、 y′值为目标框 和锚框位置中心点坐 标的偏差值， w ′、 h′分别表示目标框和锚 框位置宽和高的偏差值， x*、 y* 表示网络预测的坐标偏差值， w*、 h*分别表示网络预测的宽和高偏差值， i 为样本的数量； 所述步骤A5对锚框位置以及前后景二分类进行损失函数训练， 输出属于前景的锚框的 概率和该锚框相对与目标框位置的偏移量的具体方法如下： 其中锚框进行的二分类的规则如下：权　利　要　求　书 1/4 页 2 CN 114581831 B 2其中A为锚框的区域， B为目标框的区域， 如果锚框与目标框的IOU＞0.7， 标记为正样本， Pi＝1， 如果锚框与目标框的IOU ＜0.3， 标记为负 样本， Pi＝0； 损失函数训练包括RPN二分类损失函数和RPN边框回归损失函数， 其中RPN二分类损失 函数具体如下： RPN边框回归损失函数 具体如下： 其中Nc、 Nr为进行网络训练时所选地样本个 数， Pi表示样本的状态标志值， 当Pi＝1时， 表 示样本为正样本， 当Pi＝0时， 表示样本为负样本， Pi*表示锚框属于前景的概率值， x ′、 y′值 为目标框和锚框位置中心点坐标的偏差值， w ′、 h′分别表示目标框和锚框位置宽和高的偏 差值， x*、 y*表示网络预测的坐标偏差值， w*、 h*分别表示网络预测的宽和高偏差值， i为样本 的数量； 所述三维目标检测模型的训练过程如下： 步骤B1： 获取步骤A6输出的目标图像， 并在目标图像上加上对应的深度数据， 形成点云 数据； 步骤B2： 对点云数据进行提取操作， 获取 得到点云特 征； 步骤B3： 对点云特 征进分割， 获取 得到经过分割的点云特 征， 其中分割损失函数为： 其中m表示对每个点云进行分类的类别总数， sq表示这个样本 属于第q类的概 率， yq是一个m维向量； 步骤B4： 通过经过分割的点云特征获取目标图像的点云真实中心点， 以目标点真实云 中心为原点， 进行坐标变换， 其中点云中心点坐标为每个点云三 维坐标的平均值， 其计算 公 式如下： 步骤B5： 中点云中心点坐标执行B2步骤， 获取得到分割特征点云， 将分割特征点云输入 三层全连接层进行边框回归， 预测得到预测边框的尺寸； 其中边框回归损失函数如下： 其中 表示真实边框的中心坐标值， 分别表示真实边框的长、 宽和权　利　要　求　书 2/4 页 3 CN 114581831 B 3