(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210257498.4 (22)申请日 2022.03.16 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 闫月　刘建明　王鑫　 (74)专利代理 机构 桂林文必达专利代理事务所 (特殊普通 合伙) 45134 专利代理师 白洪 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于动作识别的考场异常行为识别方 法 (57)摘要 本发明涉及动作识别技术领域， 尤其涉及一 种基于动作识别的考场异常行为识别方法， 通过 在ResNet ‑50主干网络上的bottleneck   residual  block分别加入时间交互模块和通道 空间注意力模块生成异常行为识别网络模型， 再 将考场中的视频处理后输入异常行为识别网络 模型里训练直至收敛， 最终将得到的特征结果融 合， 实现考场异常行为识别， 其中利用时间交互 模块和通道空间交互模块来识别考场中每个考 生动作， 尤其是对考生的细粒度动作能进行有效 捕获， 改善了现有的基于深度学习考生考场异常 行为分析方法不能准确识别异常小尺度行为的 情况， 进一步的， 使用时间交互模块能以较低的 计算成本捕获时间上 下文信息 。 权利要求书1页 说明书5页 附图3页 CN 114639166 A 2022.06.17 CN 114639166 A 1.一种基于动作识别的考场异常行为识别方法， 其特 征在于， 包括下列步骤： 收集实时的考场原 始视频内容； 对视频进行图像分割获得考场中的每 个考生的动作图像； 选择单个考生的动作图像处 理获得输入图像序列； 将所述图像序列输入异常行为识别网络模型训练直至收敛， 输出分类结果； 将所述分类结果融合， 实现考场异常行为识别。 2.如权利要求1所述的基于动作识别的考场异常行为识别方法， 其特 征在于， 在选择单个考生的动作图像处理获得输入图像序列的过程中， 将单个考生的视频图像 分为5个片段 得到5个连续的帧序列， 经 过数据预处 理后成为所述输入图像序列。 3.如权利要求2所述的基于动作识别的考场异常行为识别方法， 其特 征在于， 所述数据预处理的过程具体为将RGB图像短边调整为256， 然后采用位置抖动、 水平翻 转角点裁 剪和比例抖动处 理方法来增强数据， 并将裁 剪过的区域大小调整为2 24×224。 4.如权利要求1所述的基于动作识别的考场异常行为识别方法， 其特 征在于， 所述异常行为识别网络模型基于ResNet ‑50网络改进构成， 包括5个stage， 其中每个 stage包括多个bottleneck  residual  block， 每个bottleneck  residual  block均包括时 间交互模块和通道空间注意力模块。 5.如权利要求 4所述的基于动作识别的考场异常行为识别方法， 其特 征在于， 所述时间交互模块使用一种基于通道的卷积来独立地学习每个通道的时间演化， 降低 计算复杂度。 6.如权利要求 4所述的基于动作识别的考场异常行为识别方法， 其特 征在于， 所述通道 空间注意力模块由通道注意力模块和空间注意力模块组成， 既包含通道的注 意力机制， 又包 含空间的注意力机制。 7.如权利要求1所述的基于动作识别的考场异常行为识别方法， 其特 征在于， 在模型训练中随机生成模型的权重， 权重后期训练过程中根据模型训练 的结果好坏对 模型进行不断反向传播学习得到， 最后采用平均加权方法融合分类结果， 对考场异常行为 进行有效识别。权　利　要　求　书 1/1 页 2 CN 114639166 A 2一种基于动作识别的考场异常 行为识别方 法 技术领域 [0001]本发明涉及动作识别技术领域， 尤其涉及 一种基于动作识别的考场异常行为识别 方法。 背景技术 [0002]随着计算机技术的发展和动作识别应用 领域的推广， 高校为了维护考试的公平 性， 将智能监控应用到考场上会成为必然趋势。 传统的线下监考模式需要大量人力 资源和 财力资源， 尤其是在高校集中进 行数次考试中， 这对监考人员的体力都是很大的消耗， 很容 易导致监考人员的注意力下降， 对考场异常行为漏检。 虽然考场存在监控摄像头， 但是目前 普遍应用的电子设备只能对考场进行简单的视频记录和存储等， 仍需要 人工利用大量时间 对监控内容进行筛选和鉴别。 为了解决考试监考的人力消 耗问题， 人们将计算机视觉领域 与监控任务相结合， 然而现存的智能监考系统的实时性和准确性还达不到实际应用的标 准， 存在着很多弊端， 例如在局部遮挡、 背 景复杂和视觉变化的情况下， 识别效果不尽人意。 现存的大多方法使用基于对视频前后帧的差异信息进 行识别和判断， 很难捕捉到考场细微 异常动作的差异， 对微小的考场异常行为识别能力较低， 例如微偏过头偷看他人试卷等细 粒度行为； 在效率方面上， 很多方法也很难达 到实时监控的要求。 发明内容 [0003]本发明的目的在于提供一种基于动作识别的考场异常行为识别方法， 改善了现有 的基于深度学习考 生考场异常行为分析 方法不能准确识别异常小尺度行为的情况。 [0004]为实现上述目的， 本发明提供了一种基于动作识别的考场异常行为识别方法， 包 括下列步骤： [0005]收集实时的考场原 始视频内容； [0006]对视频进行图像分割获得考场中的每 个考生的动作图像； [0007]选择单个考生的动作图像处 理获得输入图像序列； [0008]将所述图像序列输入异常行为识别网络模型训练直至收敛， 输出分类结果； [0009]将所述分类结果融合， 实现考场异常行为识别。 [0010]其中， 在选择单个考生的动作图像处理获得输入图像序列的过程中， 将单个考生 的视频图像分为5个片段得到5个连续的帧序列， 经过数据预处理后成为所述输入图像序 列。 [0011]其中， 所述数据预处理的过程具体为将RGB图像短边调整为256， 然后采用位置抖 动、 水平翻转角点裁剪和比例抖动处理方法来增强数据， 并将 裁剪过的区域大小调整为22 4 ×224。 [0012]其中， 所述异常行为识别网络模型基于ResNet ‑50网络改进构成， 包括5个stage， 其中每个stage包括多个bottleneck  residual  block， 每个bottleneck  residual  block 均包括时间交 互模块和通道空间注意力模块。说　明　书 1/5 页 3 CN 114639166 A 3