(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210234245.5 (22)申请日 2022.03.10 (71)申请人 河海大学 地址 210000 江苏省南京市 鼓楼区西康路1 号 (72)发明人 史振宁　章妍妍　倪宇昊　余晨晨　 林晨曦　 (74)专利代理 机构 南京千语知识产权代理事务 所(普通合伙) 32394 专利代理师 祁文彦 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/50(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于方向梯度直方图与改进胶囊网络 的目标检测方法 (57)摘要 本发明公开一种基于方向梯度直方图与改 进胶囊网络的目标检测方法， 通过将目标图像的 方向梯度直方图与卷积特征图并联融合 以结合 图像的边缘轮廓特征与卷积核的视野 特征， 再以 此作为改进胶囊网络的输入。 改进胶囊网络利用 并行卷积网络提取综合特征， 通过去冗胶囊网络 形成特征向量， 并利用反卷积图像重构网络实现 图像重构， 训练网络模型。 最后利用3*3*2 56的卷 积层和两个并行的1*1卷积核 提取检测框中心点 特征图和检测框尺度特征图， 形成对应目标框并 输出检测结果。 权利要求书3页 说明书7页 附图5页 CN 114677558 A 2022.06.28 CN 114677558 A 1.一种基于方向梯度直方图与 改进胶囊网络的目标检测方法， 其特征在于， 包括以下 步骤： 1)获得目标原始图像， 使用标注工具标注目标位置， 然后随机选取不同的图像作为训 练集； 2)将原始图像的方向梯度直方图与卷积特征图并联融合以结合图像的边缘轮廓特征 与卷积核的视野特 征， 再以此作为改进胶囊网络的输入； 3)改进胶囊网络利用并行卷积网络提取综合特征， 通过去冗胶囊网络形成特征向量， 并利用反卷积图像重构网络实现图像重构； 4)利用3*3*256的卷积层和两个并行的1*1卷积核提取检测框中心点特征图和检测框 尺度特征图， 形成对应目标框并输出检测结果。 2.根据权利要求1所述的基于方向梯度直方图与 改进胶囊网络的目标检测方法， 其特 征在于： 所述 步骤2)中方向梯度直方图与卷积特 征图并联融合的算法具体步骤为： 2‑1)归一化； 首先对目标图像划分为4个单元格， 对其中的每个单元格划分为9块， 并进 行Gamma归一化处理， 同时对Gam ma校正值进行参数寻优； 归一 化公式如下： 该式中τ表示块的特征向量， ε取值为较小的常数， 表示目标图像第j个单元格中的第 i块， f表示完成所有块特 征向量归一 化后的目标图像； 2‑2)从归一化后的图像 中选择检测窗口， 选择与图像纵横比相等并且不超过图像大小 二分之一的检测窗口； 2‑3)从窗口中选择块， 依据检测窗口选取长 宽相等的矩形块； 2‑4)在块内划 分cell单元， 在矩形块内使用8*8像素大小的正方形cell作为块内特征 提取最小单位对块进行划分； 2‑5)在cell内进行方向投影， 在cell内划分9个方向， 每20 °为一角度范围提取方向信 息， 方向信息通过在x水平方向和y垂直方向上将灰度图像I与梯度模板U做卷积操作得到， 数学公式如下： Gx(x,y)＝H(x+1,y) ‑H(x‑1,y) Gy(x,y)＝H(x,y+1) ‑H(x,y‑1) 该式中H(x,y)表示对应坐标下的灰度值， Gx表示水平方向梯度值， Gy表示垂直方向梯度 值， G表示梯度幅值， α 表示梯度方向； 2‑6)在cell内进行归一化， 在cell内统计各个方向角 度范围的实际方向角 度数量， 得 到方向直方图， 选取角度方向最 为集中的方向角度作为cel l的方向； 2‑7)在块内构建HOG特征， 在块 内统计各个cell的方向角度范围的实际方向角度数量，权　利　要　求　书 1/3 页 2 CN 114677558 A 2得到方向直方图， 选取角度方向最 为集中的方向角度作为 块的方向； 2‑8)如果未到 达最后一个块， 则返回步骤2 ‑3)； 2‑9)如果未到 达最后一个窗口， 则返回步骤2 ‑2)， 否则得到方向梯度直方图； 2‑10)单行卷积， 输入原始图像， 使用一层单行卷积层对原始图像进行特征提取， 得到 卷积特征图； 2‑11)特征拼接， 并联融合， 将卷积特征图与方向梯度直方图进行维度连接， 将两种特 征图在第三个维度连接， 得到28*28*1的图像。 3.根据权利要求1所述的基于方向梯度直方图与 改进胶囊网络的目标检测方法， 其特 征在于： 所述 步骤3)中改进胶囊网络算法具体步骤为： 3‑1)利用并行 卷积网络提取综合特 征； 3‑2)利用去冗胶囊网络生成特 征向量； 3‑3)利用反卷积图像重构网络还原 原始图像， 并评估网络损失。 4.根据权利要求3所述的基于方向梯度直方图与 改进胶囊网络的目标检测方法， 其特 征在于： 所述 步骤3‑1)并行卷积网络算法具体步骤为： 3‑1‑1)首先使用并行卷积神经网络作为特征提取网络， 将并联融合后的图像作为输 入， 图像大小为28 *28*1， 并行卷积神经网络在卷积层采用4个卷积核， 卷积核 大小分别为3、 5、 7、 9， 卷积核个数选 定为32个， 步长为2； 3‑1‑2)边界填充， 调节pad ding大小对原 矩阵进行边界填充； 3‑1‑3)特征提取， 特 征提取层的非线性 函数采用PReLU函数， 其数 学公式如下： PReLU(x)＝max(0,x)+α *mi n(0,x) 该式中， α 为学习率； 3‑1‑4)特征张量连接， 第三个维度实现特 征张量的连接， 得到14*14*128的特 征张量。 5.根据权利要求3所述的基于方向梯度直方图与 改进胶囊网络的目标检测方法， 其特 征在于： 所述 步骤3‑2)去冗胶囊网络算法具体步骤为： 3‑2‑1)输入去冗余， 采用并行卷积网络的输出作 为去冗主胶囊网络的输入， 使用1*1的 卷积核去除冗余胶囊使 得经过特征提取后16*16的特征图转化为14*14的特征图像， 精简胶 囊数量至196个； 3‑2‑2)输入胶囊标量ui； 3‑2‑3)输入胶囊向量与变换矩阵相乘得到的向量 数学公式如下 该式中Wij为变换矩阵； 3‑2‑4)将向量 与耦合系数cij进行加权求和得到加权和sj， 数学公式如下： 3‑2‑5)使用非线性 函数对sj进行压缩并前向传播， 数 学公式如下： 权　利　要　求　书 2/3 页 3 CN 114677558 A 3