(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210199842.9 (22)申请日 2022.03.01 (71)申请人 浙江省北 大信息技 术高等研究院 地址 311200 浙江省杭州市萧 山区宁围镇 市心北路857号28 8-1室 申请人 杭州未名信科 科技有限公司 (72)发明人 曹东刚　薛栋梁　李忠金　麻志毅　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 李小朋 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/62(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种违规行为识别方法、 装置、 存储介质及 终端 (57)摘要 本发明公开了一种违规行为识别方法、 装 置、 存储介质及终端， 方法包括： 接收架设在生产 车间的智能摄像头所发送的待识别的目标图像； 将目标图像输入预先训练的违规行为识别模型 中； 其中， 预先训练的违规行为识别模型是根据 通道位移嵌入的视频数据训练生成的； 通道位移 嵌入的视频数据是根据预先标注的源视频生成 的； 输出目标图像对应的行为类别； 基于行为类 别确定是否出现违规行为。 由于本申请将预先标 注的源视频处理成通道位移嵌入的视频数据， 并 采用通道 位移嵌入的视频数据对模 型进行训练， 从而使得模型能从大量的数据样本中区分出少 量的违规行为， 提升 了模型识别的精确度。 权利要求书2页 说明书10页 附图5页 CN 114842548 A 2022.08.02 CN 114842548 A 1.一种违规行为识别方法， 其特 征在于， 所述方法包括： 接收架设在生产车间的智能摄 像头所发送的待识别的目标图像； 将所述目标图像输入预先训练的违规行为识别模型中； 其中， 所述预先训练的违规行 为识别模型是根据通道位移嵌入的视频数据训练生成的； 所述通道位移嵌入的视频数据是 根据预先标注的源视频生成的； 输出所述目标图像对应的行为类别； 基于所述行为类别确定是否出现违规行为。 2.根据权利要求1所述的方法， 其特征在于， 按照以下步骤生成预先训练 的违规行为识 别模型， 包括： 获取预先标注的源视频； 根据预先标注的源视频构建通道位移嵌入的视频 数据； 创建违规行为识别模型； 将所述通道位移嵌入的视频 数据输入所述违规行为识别模型中， 输出模型的损失值； 当所述损失值到达最小且训练次数到达预设阈值 时， 生成预先训练的违规行为识别模 型。 3.根据权利要求2所述的方法， 其特征在于， 按照以下步骤生成预先标注的源视频， 包 括： 获取架设在生产车间的智能摄 像头所采集的视频 段； 接收针对所述视频段的剪辑指令以及行为类别标注指令， 根据 所述剪辑指令和所述行 为类别标注指令对所述视频 段进行剪辑并标注； 生成预先标注的源视频。 4.根据权利要求2所述的方法， 其特征在于， 所述根据预先标注的源视频构建通道位移 嵌入的视频 数据， 包括： 在预先标注的所述源视频中遍历获取 连续两帧视频图像； 采用TV‑L1算法在所述连续两帧视频图像中分别提取单通道的光流图， 得到两张表示 像素位移信息的光 流图； 将所述两张表示像素位移信 息的光流图在通道维度嵌入至所述视频图像中， 得到通道 位移嵌入的视频 数据。 5.根据权利要求2所述的方法， 其特 征在于， 所述创建违规行为识别模型， 包括： 初始化Sl owFast模型； 将所述Sl owFast模型中的原 始卷积核分解 为通道分离卷积核； 采用所述 通道分离卷积核替换 所述原始卷积核； 初始化BERT模型， 采用初始化后的所述BERT模型替换所述SlowFast模型中的已有的时 域全局平均池化层； 生成违规行为识别模型。 6.根据权利要求2所述的方法， 其特征在于， 所述违规行为识别模型至少包括通道分离 卷积核、 BERT模型以及全连接分类层； 所述将所述通道位移嵌入的视频数据输入所述违规行为识别模型中， 输出模型的损失 值， 包括：权　利　要　求　书 1/2 页 2 CN 114842548 A 2通道分离卷积核对所述 通道位移嵌入的视频 数据进行建模， 得到 视频时空特 征； BERT模型对所述视频时空特 征进行特征融合， 得到融合特 征； 将所述融合特 征输入所述全连接分类层中， 得到目标分类向量； 根据所述目标分类向量计算并输出模型的损失值。 7.根据权利要求6所述的方法， 其特征在于， 所述BERT模型对所述视频时空特征进行特 征融合， 得到融合特 征， 包括： 获取BERT模型中的位置编码； 将所述视频时空特 征与所述 位置编码进行堆叠， 得到嵌入向量； 根据所述嵌入向量计算所述Sl owFast模型的两个流的分类向量； 将两个流的分类向量进行堆叠后， 得到融合特 征。 8.一种违规行为识别装置， 其特 征在于， 所述装置包括： 图像接收模块， 用于 接收架设在生产车间的智能摄 像头所发送的待识别的目标图像； 图像输入模块， 用于将所述目标图像输入预先训练的违规行为识别 模型中； 其中， 所述 预先训练的违规行为识别模型是根据通道位移嵌入的视频数据训练生成的； 所述通道位移 嵌入的视频 数据是根据预 先标注的源视频生成的； 行为类别输出模块， 用于 输出所述目标图像对应的行为类别； 违规行为判断模块， 用于基于所述行为类别确定是否出现违规行为。 9.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有多条指令， 所述指令 适于由处 理器加载并执 行如权利要求1 ‑7任意一项的方法步骤。 10.一种终端， 其特征在于， 包括： 处理器和存储器； 其中， 所述存储器存储有计算机程 序， 所述计算机程序适于由所述处 理器加载并执 行如权利要求1 ‑7任意一项的方法步骤。权　利　要　求　书 2/2 页 3 CN 114842548 A 3