(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221014109 9.1 (22)申请日 2022.02.16 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路2号 (72)发明人 杨科华　谷依　罗嘉明　张曼　 (74)专利代理 机构 长沙永星专利商标事务所 (普通合伙) 43001 专利代理师 周咏　米中业 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于改进CenterNet的图像小目标检测 方法 (57)摘要 本发明公开了一种基于改进C enterNet的 图 像小目标检测方法， 包括获取原始图像， 对原始 图像进行mosaic 数据增强， 增加原始图像中小目 标的样本量； 使用注意力机制增强后的骨干网络 提取图像的特征； 对骨干网络提取的图像的特征 进行多感受野融合， 使用可变形卷积上采样； 对 进行多感受野融合， 使用可变形卷积上采样处理 后的特征图进行预测， 得到 热力图， 目标的宽、 高 和中心点坐标； 从热力图提取出检测框， 得到检 测结果。 本发明通过对训练数据的增强， 增加小 目标的样 本量； 通道注意力增强和空间注意力增 强能够有效地区分小目标和背景信息； 以及多重 感受野融合和高分辨率特征图的结合， 能够有效 提升小目标检测精度。 权利要求书4页 说明书9页 附图4页 CN 114494812 A 2022.05.13 CN 114494812 A 1.一种基于改进CenterNet的图像小目标检测方法， 其特 征在于包括如下步骤： S1.获取原始图像， 对原始图像进行mosaic数据增强， 增加原始图像中小目标的样本 量； S2.使用注意力机制增强后的骨干网络提取图像的特 征； S3.对骨干网络提取的图像的特 征进行多感受野融合， 使用可变形 卷积上采样； S4.对进行多感受野融合， 使用可变形卷积上采样处理后的特征图进行预测， 得到热力 图， 目标的宽、 高和中心点 坐标； S5.从热力图提取 出检测框， 得到检测结果。 2.根据权利 要求1所述的基于改进CenterNet的图像小目标检测方法， 其特征在于所述 的步骤S1， 包括加载数据集， 遍历数据集序列， 若命中随机数， 则进行mosaic扩充， 否则直接 加载图片和标签信息； 从数据集中随机选取3张图像和当前图像增强为新的训练图像， 初始 化拼接图像的中心点坐标xc和yc， 对四张图片进行翻转、 缩放 或色域变化操作， 将四张图片 分别填充到拼接图像的四个方向； 更新原始图像的标注信息的在拼接图像中的坐标， 返回 拼接图像， 类别 信息， 标注信息作为训练数据。 3.根据权利 要求2所述的基于改进CenterNet的图像小目标检测方法， 其特征在于所述 的步骤S2， 包括对原始图像进行卷积得到特征图； 将 中间特征图依次通过通道和空间两个 维度依次推断注意力图， 然后将注意力图与输入特征图相乘进行自适应特征优化； 通道注 意力机制包括利用平均池化和最大池化来聚合特征映射的空间信息， 生成被平均池化的特 征 和被最大池化的特征 将被平均池化的特征 和被最大池化的特征 前 向送入一个共享网络， 压缩输入特征图的空间维数， 逐元素求和合 并， 产生通道注意力图Mc ∈RC×1×1； 共享网络包括M LP， MLP包括一个隐藏层； 隐藏层的激活大小设置为RC/r×1×1， 其中， R 表示张量空间； C表示图像的通道数； c表示通道的含义； r表 示缩减率； 通道注 意力机制表 示 为： 其中， σ(·)表示sigmoi d函数， MLP的权重尺寸为W0∈RC×1×1和W1∈RC×1×1， R表示张量空 间； C表示图像的通道数； W0表示隐藏层的权重； W1表示输出层的权重； AvgPool( ·)表示平均 池化， MaxPo ol(·)表示最大池化； 首先沿着通道轴进行平均池化操作和最大池化操作， 生成两个2D图， 两个2D图包括沿着通 道被平均池化的特征 和沿着通道被最大池化的特征 R表示张量空间， H表 示图像的高， W表 示图像的宽， 将 两个2D图进 行拼接， 生成高效特征描述 符， 使用一个卷积层生 成一个空间注 意力图空间Ms(F)∈RH×W； 获取2通道的空间注 意力图空 间Ms(F)：权　利　要　求　书 1/4 页 2 CN 114494812 A 2其中， σ(·)表示sigmoid函数； f7×7表示一个卷积核尺寸为7 ×7的卷积操作； AvgPool (·)表示平均池化， MaxPool( ·)表示最大池化； 特征图通过四层残差模块下采样， 降低 分 辨率。 4.根据权利 要求3所述的基于改进CenterNet的图像小目标检测方法， 其特征在于所述 的步骤S3， 包括如下步骤： A1.通过三个核为5 ×5， 9×9， 13×13的最大池化， 拼接得到新的特征图， 在 特征图大小 不变的情况 下， 进行多重感受野融合； A2.通过三层可变形卷积对特征图进行上采样， 普通卷积包括， 以对于每个普通卷积的 输出y(p0)， p0表示普通卷积采样中心点； 都要从x上采样， 向四周扩散， ( ‑1,‑1)表示x(p0)的 左上角， (1,1)表示x(p0)的右下角； x(p0)表示中心点的值； R＝{( ‑1,‑1),(‑1,0),...,(0, 1),(1,1)}， 普通卷积的输出y(p0)如下： 其中， pn表示对R中所列位置的枚举； w表示卷积核的参数； x(p0+pn)表示中心点向四周 扩散后的点的值； 可变形卷积加入偏移量， 给每 个采样点添加权 重： 其中， y(p)表示可变形卷积的输出； pn表示对R中所列位置的枚举； wk表示第k个卷积核 的参数； p表示可变形卷积采样中心点； pk表示中心点向四周扩 散的位移； Δpk表示偏移量； x (p+pk+Δpk)表示各采样点的值； Δmk表示权重系数； A3.将反卷积的中间结果和骨干网络提取特征的中间特征进行结合， 增强小目标的特 征信息。 5.根据权利 要求4所述的基于改进CenterNet的图像小目标检测方法， 其特征在于所述 的步骤S4， 包括如下步骤： B1.对于Ground  Truth的关键点， 位置为p∈R2， 计算得到低分辨率上对应的关键点 将关键点通过高斯函数 计算中心点周围 的点权重， 其中， x表示周围点x轴坐标； y表示周围点y轴坐标； c表示通道的含义； 表示中 心点x轴坐标； 表示中心点y轴坐标； σp表示目标尺度 ‑自适应的标准方差； 将高斯核Yxyc分 散到热力图 上， H表示图像的高， W表示图像的宽， R表示张量空间， C表示图权　利　要　求　书 2/4 页 3 CN 114494812 A 3