(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210263191.5 (22)申请日 2022.03.17 (65)同一申请的已公布的文献号 申请公布号 CN 114359842 A (43)申请公布日 2022.04.15 (73)专利权人 季华实验室 地址 528200 广东省佛山市南海区桂城街 道环岛南路28号 (72)发明人 张校志　杨远达　 (74)专利代理 机构 佛山市海融科创知识产权代 理事务所(普通 合伙) 44377 专利代理师 许家裕 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01)G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 113205039 A,2021.08.0 3 CN 113537268 A,2021.10.2 2 CN 113762357 A,2021.12.07 CN 112258465 A,2021.01.2 2 柏占伟等.一种基 于振动图像和结构模型的 通用智能故障诊断系统. 《现代制造 工程》 .20 09, (第04期),第52- 59页. 审查员 邱立英 (54)发明名称 协作机器人事故检测系统、 方法、 存储介质 和电子设备 (57)摘要 本申请涉及协作机器人事故检测技术领域， 提供了一种协作机器人事故检测系统、 方法、 存 储介质和电子设备， 包括外观特征模块、 人工特 征模块、 堆叠模块、 事故判断模块； 外观特征模块 用于根据预先训练好的外观特征提取神经网络 模型， 从历史视频信息中提取出与协作机器人事 故相关的外观特征图层信息； 人工特征模块用于 从历史视频信息中提取出与协作机器人事故相 关的人工 特征图层信息； 堆叠模块用于将外观特 征图层信息和人工特征图层信息进行堆叠， 并将 堆叠后的特征图层信息按时间方向传输给事故 判断模块； 事故判断模块用于根据堆叠后的特征 图层信息采用预先训练好的事故检测模型判断 当前时刻是否发生事故； 本发明的检测精度高、 可靠性强。 权利要求书2页 说明书11页 附图2页 CN 114359842 B 2022.06.17 CN 114359842 B 1.一种协作机器人事故检测系统， 用于检测 协作机器人是否发生事故， 其特征在于， 包 括外观特征模块、 人工特征模块、 堆叠模块、 事故判断模块； 所述堆叠模块的输入端分别与 所述外观特征模块以及所述人工特征模块通讯连接， 所述堆叠模块的输出端和所述事故判 断模块通讯连接； 所述外观特征模块用于根据 预先训练好的外观特征提取神经网络模型， 从历史视频信 息中提取 出与协作机器人事故相关的外观特 征图层信息； 所述人工特征模块用于从历史视频信息中提取出与协作机器人事故相关的人工特征 图层信息； 所述堆叠模块用于将所述外观特征图层信 息和所述人工特征图层信 息进行堆叠， 并将 堆叠后的特 征图层信息按时间方向传输给 所述事故判断模块； 所述事故判断模块用于根据所述堆叠后的特征图层信息采用预先训练好的事故检测 模型判断当前时刻是否发生事故； 所述人工特征图层信息包括所述历史视频信息的各帧图像的每个像素点距离对应的 最近协作机器人的第一距离； 所述人工特征模块用于在从历史视频信息中提取出与 协作机 器人事故相关的人工特 征图层信息的时候， 执 行以下步骤： A101.以所述历史视频信息的各帧图像作为第一图像信息； A102.利用预训练好的协作机器人目标检测模型得到所述第 一图像信息上所有协作机 器人的第一 位置信息； A103.根据所述第一图像信息上的每个像素点与所述第一位置信息获取所述第一距 离； 所述人工特征图层信息包括所述历史视频信息的各帧图像的每个像素点的临近机器 人密度； 所述 步骤A102之后包括： C1.分别以所述第一图像信息的每 个像素点为原点生成第一检测区域； C2.根据所述第一 位置信息和每 个所述第一检测区域获取 所述临近 机器人密度。 2.根据权利要求1所述的协作机器人事故检测系统， 其特征在于， 还包括特征筛选模 块， 所述特征筛选模块串接在所述外观特征模块和所述堆叠模块之间， 所述特征筛选模块 包括通道注意力模块， 所述通道注意力模块用于分配所述外观特征图层信息中每个外观特 征通道的权 重。 3.根据权利要求2所述的协作机器人事故检测系统， 其特征在于， 所述特征筛选模块包 括空间注意力模块， 所述空间注意力模块和所述通道注意力模块通讯连接， 所述空间注意 力模块用于 定位所述外观特 征图层信息中的外观特 征的位置 。 4.根据权利要求1所述的协作机器人事故检测系统， 其特征在于， 所述人工特征图层信 息包括所述历史视频信息的各帧图像的每个像素点的临近人员密度； 所述人工特征模块用 于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候， 执行以 下步骤： B101. 以所述历史视频信息的各帧图像作为第二图像信息； B102.利用预训练好的人体检测模型得到所述第二图像信息上人所在的第二位置信 息； B103.分别以所述第二图像信息中的每 个像素点为原点生成第二检测区域；权　利　要　求　书 1/2 页 2 CN 114359842 B 2B104.根据所述第二 位置信息和每 个所述第二检测区域获取 所述临近人员密度。 5.根据权利要求1所述的协作机器人事故检测系统， 其特征在于， 所述人工特征图层信 息包括所述历史视频信息的各帧图像的每个像素点的历史事故发生次数； 所述人工特征模 块用于在从历史视频信息中提取出与协作机器人事故相关的人工特征图层信息的时候， 执 行以下步骤： D101.获取在预设时间段内发生的历史事故数据； D102.根据所述历史事故数据对 事故地点进行标记； D103. 以所述历史视频信息的各帧图像作为第三图像信息； D104.利用预训练好的事故标识检测模型对所述第三 图像信息进行检测， 以获取事故 地点的第三 位置信息； D105.分别以所述第三图像信息的每 个像素点为原点生成第三检测区域； D106.根据所述第三 位置信息和每 个所述第三检测区域获取 所述历史事故 发生次数。 6.一种协作机器人事故检测方法， 应用于协作机器人事故检测系统， 其特征在于， 包括 以下步骤： S1.根据预先训练好的外观特征提取神经网络模型， 从历史视频信息中提取出与协作 机器人事故相关的外观特 征图层信息； S2.从历史视频信息中提取 出与协作机器人事故相关的人工特 征图层信息； S3.将所述外观特 征图层信息和所述人工特 征图层信息进行堆叠； S4.根据堆叠后的特征图层信息采用预先训练好的事故检测模型判断当前时刻是否发 生事故； 人工特征图层信息包括历史视频信息的各帧图像的每个像素点距离对应的最近协 作机器人的第一距离， 步骤S2包括以下步骤： A101.以历史视频信息的各帧图像作为第一图像信息； A102.利用预训练好的协作机器人目标检测模型得到第 一图像信息上所有协作机器人 的第一位置信息； A103.根据第一图像信息上的每 个像素点与第一 位置信息获取第一距离； 人工特征图层信 息包括历史视频信 息的各帧图像的每个像素点的临近机器人密度； 步 骤A102之后包括： C1.分别以第一图像信息的每 个像素点为原点生成第一检测区域； C2.根据第一 位置信息和每 个第一检测区域获取临近 机器人密度。 7.一种电子设备， 其特征在于， 包括处理器以及存储器， 所述存储器存储有计算机可读 取指令， 当所述计算机可读取指 令由所述处理器执行时， 运行如权利要求6所述协作机器人 事故检测方法。 8.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执行 时运行如权利要求6所述协作机器人事故检测方法。权　利　要　求　书 2/2 页 3 CN 114359842 B 3