(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210267264.8 (22)申请日 2022.03.17 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 申请人 华南理工大 学 (72)发明人 李军　徐健明　贺霖　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 何卿华 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于多感受野特征金字塔的影像目标 检测方法及装置 (57)摘要 本发明公开了一种基于多感受野特征金字 塔的影像目标检测方法及装置， 包括： 构造 ResNet－50特征提取网络和级联区域卷积神经 网络； 获取图像训练集， 并将所述图像训练集作 为所述ResNet－50 特征提取网络的输入， 从而 提 取所述图像训练集的图像特征； 根据预设的多感 受野特征金字塔和预设的兴趣区提取网络， 对所 述图像特征进行候选区提取； 将提取的候选区输 入至所述级联区域卷积神经网络进行训练， 并根 据训练后的级联区域卷积神经网络， 对待测影像 进行目标检测， 获得检测结果。 本发明避免了现 有技术中缺乏对感受野的考虑， 增加了感受野的 语义信息， 结合了特征金字塔和感受野两个角 度， 提升了对多尺度目标检测性能。 权利要求书2页 说明书9页 附图9页 CN 114743094 A 2022.07.12 CN 114743094 A 1.一种基于多感受野特 征金字塔的影 像目标检测方法， 其特 征在于， 包括： 构造ResNet－5 0特征提取网络和级联区域卷积神经网络； 获取图像训练集， 并将所述图像训练集作为所述ResNet－50特征提取网络的输入， 从 而提取所述图像训练集的图像特 征； 根据预设的多感受野特征金字塔和预设的兴趣区提取网络， 对所述图像特征进行候选 区提取； 将提取的候选区输入至所述级联区域卷积神经网络进行训练， 并根据训练后的级联区 域卷积神经网络， 对待测影 像进行目标检测， 获得检测结果。 2.如权利要求1所述的一种基于多感受野特征金字塔的影像目标检测方法， 其特征在 于， 所述将所述图像训练集作为所述ResNet－50特征提取网络的输入， 从而提取所述图像 训练集的图像特 征， 具体为： 对所述图像训练集进行影像尺度放缩、 随机翻转和归一化的预处理， 并将预处理后的 图像训练集 通过所述ResNet－5 0特征提取网络， 获得 所述图像训练集的图像特 征。 3.如权利要求1所述的一种基于多感受野特征金字塔的影像目标检测方法， 其特征在 于， 所述根据预设的多感受野特征金字塔和预设的兴趣区提取网络， 对所述图像特征进行 候选区提取， 具体为： 根据预设的多感受野特 征金字塔， 对所述图像特 征进行特征优化； 将优化后的图像特 征输入至预设的兴趣区提取网络， 提取候选区。 4.如权利要求3所述的一种基于多感受野特征金字塔的影像目标检测方法， 其特征在 于， 所述根据预设的多感受野特 征金字塔， 对所述图像特 征进行特征优化， 具体为： 根据预设的多感受野特征金字塔， 将所述图像特征进行横向卷积， 依次对横向卷积后 的图像特 征进行下行融合、 上 行融合和平 滑的操作， 从而得到优化后的图像特 征。 5.如权利要求4所述的一种基于多感受野特征金字塔的影像目标检测方法， 其特征在 于， 所述将优化后的图像特 征输入至预设的兴趣区提取网络， 提取候选区， 具体为： 根据预设的兴趣区提取网络， 对所述优化后的图像特征进行前景区与背景区为预设比 例的在线难样本挖掘， 输出并提取 预设顶层数量的非重 叠前景区， 作为 候选区。 6.如权利要求5所述的一种基于多感受野特征金字塔的影像目标检测方法， 其特征在 于， 所述将提取的候选区输入至所述级联区域卷积神经网络进行训练， 具体为： 根据所述候选区的外包矩形， 获取特征图的层次， 截取并池化所述特征图对应的区域， 获得候选区特 征图； 其中， 所述特 征图为优化后的图像特 征所对应的图像； 将所述候选区特征图进行分级别的类别分类和边框回归， 从而完成对所述级联区域卷 积神经网络进行训练。 7.一种基于多感受野特征金字塔的影像目标检测装置， 其特征在于， 包括： 网络构造模 块、 特征提取模块、 候选区提取模块和训练检测模块； 所述网络构造模块， 用于构造ResNet－5 0特征提取网络和级联区域卷积神经网络； 所述特征提取模块， 用于获取图像训练集， 并将所述图像训练集作为所述ResNet－50 特征提取网络的输入， 从而提取 所述图像训练集的图像特 征； 所述候选区提取模块， 用于根据预设的多感受野特征金字塔和预设的兴趣区提取网 络， 对所述图像特 征进行候选区提取；权　利　要　求　书 1/2 页 2 CN 114743094 A 2所述训练检测模块， 用于将提取的候选区输入至所述级联区域卷积神经网络进行训 练， 并根据训练后的级联区域卷积神经网络， 对待测影 像进行目标检测， 获得检测结果。 8.如权利要求7所述的一种基于多感受野特征金字塔的影像目标检测装置， 其特征在 于， 所述特征提取模块， 用于将所述图像训练集作为所述 ResNet－50特征提取网络的输入， 从而提取 所述图像训练集的图像特 征， 具体为： 对所述图像训练集进行影像尺度放缩、 随机翻转和归一化的预处理， 并将预处理后的 图像训练集 通过所述ResNet－5 0特征提取网络， 获得 所述图像训练集的图像特 征。 9.如权利要求7所述的一种基于多感受野特征金字塔的影像目标检测装置， 其特征在 于， 所述候选区提取模块， 用于根据预设的多感受野特征金字塔和预设的兴趣区提取网络， 对所述图像特 征进行候选区提取， 具体为： 根据预设的多感受野特征金字塔， 将所述图像特征进行横向卷积， 依次对横向卷积后 的图像特征进 行下行融合、 下行平滑、 上行融合和上行平滑的操作， 从而得到优化后的图像 特征； 根据预设的兴趣区提取网络， 对所述优化后的图像特征进行前景区与背景区为预设比 例的在线难样本挖掘， 输出并提取 预设顶层数量的非重 叠前景区， 作为 候选区。 10.如权利要求7所述的一种基于多感受野特征金字塔的影像目标检测装置， 其特征在 于， 所述训练检测模块， 用于将提取的候选区输入至所述级联区域卷积神经网络进 行训练， 具体为： 根据所述候选区的外包矩形， 获取特征图的层次， 截取并池化所述特征图对应的区域， 获得候选区特 征图； 其中， 所述特 征图为优化后的图像特 征所对应的图像； 将所述候选区特征图进行分级别的类别分类和边框回归， 从而完成对所述级联区域卷 积神经网络进行训练。权　利　要　求　书 2/2 页 3 CN 114743094 A 3