(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210192431.7 (22)申请日 2022.02.28 (71)申请人 国网安徽省电力有限公司亳州供电 公司 地址 236800 安徽省亳州市谯城区文帝街8 号 (72)发明人 金林林　李强　李洋　董兰芳　 吴旭　隋国星　肖潇　孙高峰　 张宏光　王康　许明阳　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于图形生成技术的烟火监测方法及 系统 (57)摘要 本发明公开了烟火监测领域的一种基于图 形生成技术的烟火监测方法及系统， 采集监测区 域的视频图像信号； 通过预先训练的烟火检测模 型对视频图像信号进行烟火识别， 得到烟火检测 模型输出的烟区和火区分别通过标注框标识视 频图像； 所述烟火检测模 型的训练过程， 包括： 获 取烟火图像和非烟火图像， 并进行随机缩放和裁 剪后构建图片集； 将图片集设定比例分为训练子 集和测试子集； 对烟火检测模型进行训练， 获得 训练好的烟火检测模型； 本发明对视频图像进行 烟火检测， 对微小面积的烟火有很好的检测效 果， 在火灾发生初期进行预警， 减少对人身和生 产安全的危害。 权利要求书3页 说明书8页 附图4页 CN 114565891 A 2022.05.31 CN 114565891 A 1.一种基于图形生成技 术的烟火监测方法， 其特 征在于， 包括： 采集监测区域的视频图像信号； 通过预先训练 的烟火检测模型对视频图像信号进行烟 火识别， 得到烟 火检测模型输出 的烟区和火区分别通过 标注框标识视频图像； 所述烟火检测模型的训练过程， 包括： 获取烟火图像和非烟火图像， 并进行随机缩放和裁剪后构建图片集； 将图片集设定比 例分为训练子集和 测试子集； 获取YOLOX网络结构作为烟火检测模型， 通过训练子集对烟火检测模型进行训练； 将测试子集中的图片输入至训练后的烟 火检测模型进行测试， 获得训练好的烟火检测 模型。 2.根据权利要求1所述的一种基于图形生成技术的烟 火监测方法， 其特征在于， 通过训 练子集对烟火检测模型进行训练的方法包括： 对训练子集中 融合图像分别进行烟和火进行 标注， 获得真实结果； 将训练子集中的融合图像输入至烟 火检测模型， 获得预测标注框的位置信 息和预测标 注框内的识别 信息， 形成检测结果； 对检测结果和真实结果进行计算分析得到检测损失值， 根据检测损失值对神经网络模 型进行调整。 3.根据权利要求2所述的一种基于图形生成技术的烟 火监测方法， 其特征在于， 获取烟 火图像的方法包括： 采集实际监控场景图像， 并设定实际监控场景图像的烟火发生区域； 由烟火发生区域发射粒子， 并通过考虑粒子在运行过程中的受力情况模拟烟或火的运 动， 定时采用动态模糊法对烟和火粒子进行绘制形成烟图像和火图像， 将烟图像、 火图像和实际监控场景图像进行融合， 获得烟火图像。 4.根据权利要求2所述的一种基于图形生成技术的烟 火监测方法， 其特征在于， 烟 火检 测模型包括： 骨干Backbo ne、 颈部Neck和头 部Head三部分； 所述骨干Backbone用于对融合图像进行特征提取获得堆叠特征； 所述骨干Backbone由 Focus结构网络、 卷积Conv2D、 CSP结构网络、 激活函数GELU和SSP结构网络组成； 所述CSP结 构网络对输入自变量进行n次的1 ×1卷积和3 ×3卷积操作， 并与输入自变量 拼接进行输出； 所述颈部Neck用于对独立特征层进行上采样、 下采样和特征拼接获得检测目标； 所述 颈部Neck由上采样模块UpSamping、 下采样 模块DownSamping、 卷积Conv2D和CSP结构网络组 成； 所述头部Head用于对检测目标进行分类检测和损失计算获得检测结果和检测损失值； 所述头部Head由卷积层、 分类模块和损失模块组成。 5.根据权利要求4所述的一种基于图形生成技术的烟 火监测方法， 其特征在于， 烟 火检 测模型激活函数GELU计算公式为： 公式中， x表示为卷积计算结果； X表示为服从正态分布的随机变量； P(X≤x)表示为X小权　利　要　求　书 1/3 页 2 CN 114565891 A 2于或等于x的概 率； erf(·)表示为高斯误差函数。 6.根据权利要求4所述的一种基于图形生成技术的烟 火监测方法， 其特征在于， 对融合 图像进行 特征提取获得独立特 征层的方法包括： 通过Focus结构网络从输入的融合 图像中以间隔的方式提取像素点， 且间隔距离为一 个像素值， 获得独立特征层； 将 独立特征层 进行卷积Conv2D增加独立特征层的数量， 获得第 一级堆叠特 征； 将第一级堆叠特征重复三次输入由卷积Conv2D和CSP结构网络组成的resblock模块， 分别获得第二级独堆叠特 征、 第三级堆叠特 征、 第四级堆叠特 征； 将第四级堆叠特征依次输入卷积Conv2D、 CSP结构网络和SSP结构网络； 获得第五级堆 叠特征。 7.根据权利要求6所述的一种基于图形生成技术的烟 火监测方法， 其特征在于， 所述颈 部Neck用于对独立特 征层进行 上采样、 下采样和特 征拼接获得检测目标的方法包括： 将第五级独立特 征层依次输入卷积Co nv2D， 获得第一检测特 征； 将第一检测特征输入上采样模块UpSampin g， 并与第四级堆叠特征进行拼接， 再依次输 入CSP结构网络和卷积Co nv2D， 获得第二检测特 征； 将第二检测特征输入上采样模块UpSamping， 并与第三级堆叠特征进行拼接， 再输入 CSP结构网络， 获得第三检测特 征， 作为检测目标P1； 将第三检测特征输入下采样模块DownSamping， 并与第三检测特征进行拼接， 再输入 CSP结构网络， 获得第四检测特 征， 作为检测目标P2； 将第四检测特征输入下采样模块DownSamping， 并与第一检测特征进行拼接， 再输入 CSP结构网络， 获得第五检测特 征， 作为检测目标P3 。 8.根据权利要求7所述的一种基于图形生成技术的烟 火监测方法， 其特征在于， 对检测 目标进行分类 检测和损失计算获得检测结果和检测损失值的方法包括： 将检测目标P1、 检测目标P2和检测目标P3进行1 ×1卷积并划分为分类分支特征和损失 分支特征； 将分类分支特征输入3 ×3卷积， 并进行分类检测获得预测标注框的位置信息和预测标 注框内的识别信息； 所述预测标注框的位置信息由预测标注框的宽度、 高度和中心点坐标 组成； 预测标注框内的识别信息由预测标注框内为前景 的置信度、 检测目标 的预测种类及 置信度组成； 输出检测结果； 将损失分支特征输入3 ×3卷积， 并利用预测标注框和真实标注框计算DIoU损失， 作为 回归损失值； 提取预测标注框内的检测目标的特征点， 将真实标注框内的特征点作为正样本， 将真 实标注框 外的特征点作为负 样本， 通过 FocalLoss损失函数计算目标损失值； 根据特征点的预测种类与检测目标的真实种类， 通过FocalLoss损失函数计算分类损 失值； 将回归损失值、 目标损失值和分类损失值作为检测损失值。 9.一种基于图形生成技 术的烟火监测系统， 其特 征在于， 包括： 采集模块， 用于采集 监测区域的视频图像信号； 烟火识别模块， 用于通过预先训练的烟火检测模型对视频图像信号进行烟火识别， 得权　利　要　求　书 2/3 页 3 CN 114565891 A 3