(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210178050.3 (22)申请日 2022.02.25 (71)申请人 盐城工学院 地址 224005 江苏省盐城市亭湖区希望大 道中路1号 (72)发明人 黄曙荣　朱昭云　程艳　 (74)专利代理 机构 南京业腾知识产权代理事务 所(特殊普通 合伙) 32321 专利代理师 贾凤仪 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 5/04(2006.01) (54)发明名称 一种基于机器视觉的海上风电安全监测与 预警方法 (57)摘要 本发明公开一种基于机器视觉的海上风电 安全监测与预警方法， 包括如下步骤： 对采集的 船舶图像进行预处理， 建立一个包含多种类别的 船舶检测数据集； 以YOLOv5网络作为基准网络， 分别对其主干网络、 Neck结构和检测头进行改 进， 构建出改进型YOLOv5船舶检测网络， 并以步 骤S1获得的数据集训练该船舶检测网络， 得到船 舶检测推理模 型； 将需要检测与识别的船舶图片 或视频流输入至船舶检测推理模 型， 得到船舶的 类别并框 出坐标位置， 对影 响海上风电安全的船 舶进行监测与预警。 本发明适用于解决复杂背景 干扰下小目标检测任务， 该方法可以在保证实时 检测前提下， 提升模型对于不同大小目标的敏 感 性， 降低较小目标的漏检率。 权利要求书1页 说明书4页 附图3页 CN 114529821 A 2022.05.24 CN 114529821 A 1.一种基于 机器视觉的海上风电安全监测与预警方法， 其特 征在于， 包括如下步骤： S1、 获取图像： 对采集的船舶图像进行预处理， 并标注包含多种类别的船舶图像， 建立 一个包含多种类别的船舶检测数据集； S2、 建立船舶检测推理模型： 以YOLOv5网络作为基准网络， 分别对其主干网络、 Neck结 构和检测头进行改进， 在 主干卷积中嵌入Transformer编码器模块， 全局关注目标图像特征 块之间的依赖关系； 将 网络中标准特征融合PANet结构替换为双向特征融合BiFPN结构； 增 加小尺寸船舶目标检测头分支； 构建出改进型YOLOv5船舶检测网络， 并以步骤S1获得的数 据集训练该 船舶检测网络， 得到船舶检测推理模型； S3、 模型识别： 将需要检测与识别的船舶图片或视频流输入至步骤S2训练好的船舶检 测推理模型， 在输出文件或者输出视频流中得到所有船舶的类别并框出坐标位置， 对影响 海上风电安全的船舶进行监测与预警。 2.根据权利要求1所述的基于机器视觉的海上风电安全监测与 预警方法， 其特征在于， 步骤S1中标注包含多种类别的船舶图像是利用LabelImg工具对收集的数据集进行标注， 标 注信息存储为xml格式， 标注信息主要包括图片内船舶的位置坐标信息、 尺 寸信息和类别信 息。 3.根据权利要求2所述的基于机器视觉的海上风电安全监测与 预警方法， 其特征在于， 步骤S2中将步骤S1所有的标注文件由xml格式转换为txt格式， 并对坐标进行归一化， 完成 后的txt文本包含目标类别、 左上角坐标和右下角坐标， 同时统一缩放为640*640像素尺 寸， 再将80％数据作为训练集， 20％数据作为验证集， 即可完成船舶检测网络训练前的图片处 理。 4.根据权利要求3所述的基于机器视觉的海上风电安全监测与 预警方法， 其特征在于， 步骤S2中在对改进型YOLOv5船舶检测网络进行训练时， 在GPU服务器上搭建训练模型所需 要的虚拟环境， 完成后将训练集输入至改进型YOLOv5船舶检测网络进行目标检测模型训 练， 训练完成后即可 得到用于复杂背景 下船舶小目标检测的船舶检测推理模型。 5.根据权利要求1所述的基于机器视觉的海上风电安全监测与 预警方法， 其特征在于， YOLOv5检测网络主要由Backbone特征提取网络、 特征融合Neck结构及Head检测头网络组 成， 步骤S2中对该YOLOv5检测网络的改进包括： a、 在特征提取CSPDarknet53网络末端 嵌入Transformer编码器模块并维持网络维度不 变； b、 将Neck网络的PANET结构替换为双向特 征融合BiFPN结构； c、 将Head检测头网络改进为四检测头结构， 骨干网络中的160*160像素尺寸的特征 图 层引出一条分支， 在BiFPN最高维度8 0*80像素尺 寸的特征图进行上采样操作同样引出一条 160*160像素尺寸分支， 两条分支进行合并操作后输入至Bottleneck结构整合特征图并送 入1*1像素尺寸的卷积核 进行输出； 将修改后的各 结构和模块按照原YOLOv5网络形式顺序堆叠， 得到改进型YOLOv5网络 。权　利　要　求　书 1/1 页 2 CN 114529821 A 2一种基于机 器视觉的海上风电安全监测与预警方 法 技术领域 [0001]本发明属于深度学习和目标检测领域， 尤其是涉及一种基于计算机视觉的海上船 舶目标识别与定位方法。 背景技术 [0002]风电属于可再生能源， 具有竞争力强、 速度快的特点。 相比陆基风能， 海上风能资 源的优势主要 是风向稳定、 风速大、 影响环境力度小， 同时海 上风电场更接近能源需求大的 城市， 海面可应用面积辽阔， 已经变成风电发展的主要使用趋势， 据预测， 2040年全球海上 风电规模将增加15倍， 届时中国的风电装机容量预计将增加到110GW。 目前， 我国海上风电 开发建设如火如荼， 有一大批风电场项目已经建成投产。 但由此衍生出来的海上风电场运 行维护问题也受到广泛关注。 [0003]海上风电场， 由于其离岸距离远、 所处环境恶劣， 日常巡视维护和事故抢修十分不 便， 一旦出现事故将造成重大经济损失， 因此海上风电场的设备维护是风电场建成后的主 要问题。 风电机组和海底电缆是海上风电场的重要组成部分， 同时也是最容易遭受破坏的 部分， 一旦出现问题， 造成的损失是不可估量的， 因此对海上风电设备安全状态进行监测， 并在事故出现前作出准确的警告是非常 关键和必要的。 [0004]船舶作为海洋资源开发和经济活动的重要载体， 对海上目标的准确监测变得越来 越重要。 近年来， 常出现无关船舶误闯风电场内部水域， 而引发碰撞海上风机、 损坏海底电 缆等风电事故发生， 使得风电场对于船舶要求更加复杂。 因此， 需要以船舶作为研究对象， 对海上目标开展识别和检测研究， 由此获取目标对象 的类型、 身份、 位置、 威胁程度等数据， 以便测算及监测海域目标与风电设备之间的距离， 形成一定程度的预警能力。 [0005]目标识别与检测一直是图像识别领域的研究热点， 其目的是是为每个感兴趣的对 象预测一组边界框和类别标签。 早期的目标识别与检测方法一般是通过人工提图像的浅层 信息如形状、 纹理和颜色等来构建卷积模板， 并结合SVM为代表的分类器实现分类识别。 浅 层特征经常会受到光线、 环境和人工主观影响而做出误判,并且在目标识别过程中存在检 测速度过慢， 准确率低。 随着人工智能技术的迅猛发展， 特别在算力、 数据和算法等多方面 带来的技 术突破， 使得基于深度学习方法开始逐渐取代基于传统人工提取 特征的方法。 [0006]现今， 基于深度学习的目标检测技术成为当前研究的热点和难点， 涌现出以SSD、 RetinaNet、 YOLO等为代表的单阶段卷积神经网络检测模型， 此类算法不需要生成候选区 域， 使用一个卷积神经网络直接对输入的图片特征提取并预测检测目标的位置信息， 是一 种端到端的检测方法。 多阶段检测器具有高目标检测精度， 而单阶段检测器具有更快 的检 测速度和更高的可扩展性， 但是也存在不足之处， 即对于小目标的检测效果始终不理想 。 [0007]随着YOLO系列的更新， YOLOv5算法目前在目标检测领域中具有较出色的检测精度 与速度， 但海上船舶数据自身存在密集多尺度、 易被遮挡以及检测 场景复杂等特点， 导致该 方法在实时检测条件 下， 船舶小目标提取方面表现不是很理想， 常出现识别结果精度不高、 漏检和误检等问题， 难以形成完备的船舶目标识别与定位方法。说　明　书 1/4 页 3 CN 114529821 A 3