(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210136246.6 (22)申请日 2022.02.15 (71)申请人 苏州玖合智能科技有限公司 地址 215131 江苏省苏州市相城经济技 术 开发区澄阳街道澄阳路116号阳澄湖 国际科技创业园3号楼3 05室 (72)发明人 张修文　 (74)专利代理 机构 南京科阔知识产权代理事务 所(普通合伙) 3240 0 专利代理师 苏兴建 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 应用于公共室外场景的人体动作检测系统 (57)摘要 一种应用 于室外公共场景的人体动作检测 系统， 包括图像采集设备和中心处理器； 图像采 集设备采集得到的图像经中心处理器识别后输 出； 中心处理器发送角度调整信号给各个图形采 集设备。 图像采集设备部署在人流密集的广场区 域或是易发生事故的人流交汇处； 图像采集设备 定时采集相应场所的图像， 并将图像上传到中心 处理器， 中心处理器采用智能算法对其进行检 测， 获取行为类别； 智能算法采用卷积网络模型， 该卷积网络模型是在经典的Yolov3卷积网络模 型中的分类网络中引入改进后的分层双线性池 化模型； 并在二维卷积网络中引入注 意力机制构 成。 本发明可依据场景的变化调整角度和方向， 在中心处理器嵌入了行为检测算法， 可以解决场 景变化带来的干 扰。 权利要求书1页 说明书2页 附图1页 CN 114694246 A 2022.07.01 CN 114694246 A 1.一种应用于室外公共场景的人体动作检测系统， 包括图像采集设备和中心处理器； 图像采集设备采集得到的图像经中心处理器识别后输出； 中心处理器发送角度调整信号给 各个图形采集设备， 其特征是图像采集设备部署在人流密集的广场区域或是易发生事故的 人流交汇处； 图像采集设备定时采集相应场所的图像， 并将图像上传到中心处理器， 中心处 理器采用智能算法对其进行检测， 获取 行为类别； 智能算法采用卷积网络模型， 该卷积网络模型是在经典的Yolov3卷积网络模型中， 在 分类网络中引入改进后的分层双线性池化模型； 并在二维卷积网络中引入注意力机制构 成。 2.根据权利要求1所述的应用于室外公共场景的人体动作检测系统， 其特征是在中心 处理器中： 图像采集设备得到的图像先转换成灰度图， 再等比例缩放， 把后的图片中的像素值贴 到灰度图中； 缩放后图片中的像素值归一 化； 处理后的图片由卷积网络模型处 理； 在Yolov3卷积网络模型中： 特征提取网络的各个特 征提取层提取 特征经过Conv2D操作得到特 征图； 对于后三个特征提取层， 分别采用改进后的分层双线性网络对提取的相应特征进行预 测， 然后与原预测结果融合后输出。 3.根据权利要求1所述的应用于室外公共场景的人体动作检测系统， 其特征是改进后 分层双线性池化模型是是将三个通道生成的三个特征图相互作元素积进 行层间信息互补， 然后采用Sum  Pooling降维， 并通过非线性变换、 L2正则化， 最后将变换得到的特征图进行 维度拼接， 采用全连接层进行分类输出。 4.根据权利要求3所述的应用于室外公共场景的人体动作检测系统， 其特征是首先， 分 层双线性网络将 选取到的三个大小为W ×H×C的特征图相互作元素积进 行层间信息互补得 到三个W×H×C的特征图， 经过非线性变换， 表达式如下所示， 其中x为输入 特征向量， b为浮 点数常量， y＝sign(x)x+b 然后， 特征图经过非线性变换后进行维度拼接， 采用1 ×1卷积分类， 计算公式如下， 其 中ZHB为检测结果矩阵， PT是分类矩阵， x、 y、 z为输入特征图矩阵， tx、 ty、 tw、 th为目标位置信 息， P0置信度值， P1， ..Pn为n个分类结果 值； ZHB=PTconcat(x， y， z)=(tx+ty+tw+th)+P0+(P1+P2+...+Pn) 最后， 网络的输出由原网络和改进后的分层双线性网络组成， 将两个网络在三个不同 的尺度上进行预测， 将二者的输出结果进行融合， 融合过程见下式， 其中y为改进后的 YOLOv3输出结果， yyolo为原网络 输出， yhb指细粒度分类结果， α 为调节参数 y=α yyolo+(1‑α )yhb。权　利　要　求　书 1/1 页 2 CN 114694246 A 2应用于公共室外场景的 人体动作检测系统 技术领域 [0001]本发明是目标检测网络的应用技术领域， 具体是一种应用于公共室外场景的人体 动作检测系统。 技术背景 [0002]随着室外视频监控系统的广泛应用， 人们不仅需要有效的管理， 还需要实时的提 取运动目标信息。 室外场景下行为检测的难点在于 室外场景变化多端， 光线变化较大， 行人 的运动毫无规 律可言， 需要检测的领域较为广泛。 发明内容 [0003]本发明提出一种行为检测系统， 由采集设备和中心处理器构成， 可依据场景的变 化调整角度和方向， 并且中心处 理器嵌入了行为检测算法， 可以解决场景变化带来的干扰。 [0004]为了解决上述技术中存在的问题， 本发明提出一种应用于室外公共场景的人体动 作检测系统， 包括图像采集设备和中心处理器； 图像采集设备采集得到的图像经中心处理 器识别后输出； 中心处理器发送角度调整信号给各个图形采集设备； 图像采集设备部署在 人流密集的广场区域或是易 发生事故的人流交汇处； 图像采集设备定时采集相应场所的图 像， 并将图像上传到中心处 理器， 中心处 理器采用智能算法对其进行检测， 获取 行为类别； [0005]智能算法采用卷积网络模型， 该卷积网络模型是在经典的Yolov3卷积网络模型 中， 在分类网络中引入改进后分层双线性池化(Hierarchical  Bilinear  Pooling)模型； 并 在二维卷积网络中引入注意力机制构成。 [0006]中心处理器中， 图像采集设备得到的图像先转换成灰度图， 再等比例缩放， 把后的 图片中的像素值贴到灰度图中； 缩放后图片中的像素值需归一 化； [0007]在Yolov3卷积网络模型中， 特征提取 网络的各个特征提取层提取特征经过Conv2D 操作得到特征图； 对于后三个特征提取层， 分别采用改进后的分层双线性(Hierarchical   Bilinear)网络对提取的相应特 征进行预测， 然后与原预测结果融合后输出。 附图说明 [0008]图1是本实施例的应用于公共室外场景的人体动作检测系统。 具体实施方式 [0009]下面结合附图与具体实施方式对本发明进行说明： [0010]参考图1， 一种应用于室外公共场景的人体动作检测系统， 它包括图像采集设备和 中心处理器； 图像采集设备采集得到的图像经中心处 理器识别后输出； [0011]图像采集设备在室外场景中主要部署在较为密集的广场区域或是易发生事故的 人流交汇处， 图像采集设备主要包含海康摄像头等采集设备， 定时采集该场所下的图像， 并 将图像上传到中心处理器， 中心处理器利用特定的算法对其进 行检测， 获取行为类别， 由于说　明　书 1/2 页 3 CN 114694246 A 3