(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210199936.6 (22)申请日 2022.03.01 (65)同一申请的已公布的文献号 申请公布号 CN 114550069 A (43)申请公布日 2022.05.27 (73)专利权人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 尹令　吴振邦　李熙雅　田绪红　 张素敏　刘财兴　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 禹小明 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 110390263 A,2019.10.2 9 CN 113379699 A,2021.09.10 CN 113344849 A,2021.09.0 3 CN 111260642 A,2020.0 6.09 CN 112819804 A,2021.0 5.18 Chia-Yun Li et.al.Method for Detecting Boar Abdomi nal Characteristics based on Deep Learn ing. 《2021 IE EE Internati onal Conference o n Consumer Electronics-Taiwan (ICCE-TW)》 .2021, 李世超.面向移动拍摄平台的视频 稳像方法 研究. 《中国优秀硕士学位 论文全文数据库 信息 科技辑》 .2021,(第02期), 审查员 杨爱林 (54)发明名称 一种基于深度学习的仔 猪乳头计数方法 (57)摘要 本发明公开了一种基于深度学习的仔猪乳 头计数方法， 所述的方法包括步骤如下： S1： 对仔 猪腹部进行视频获取； S2： 对获取的视频进行逐 帧筛选， 过滤模糊图像， 保留清晰图像； S3： 使用 目标分割网络对猪体进行目标分割提取； S4： 将 分割后目标提取图像输入计数网络进行仔猪乳 头计数； S5： 依据多帧图像多数计数结果实现仔 猪乳头最终计数。 本发明具有高效、 准确自动计 数仔猪乳头的优点， 不需要采用人力计数， 有效 的降低劳动力和提高计数效率。 权利要求书2页 说明书7页 附图4页 CN 114550069 B 2022.10.21 CN 114550069 B 1.一种基于深度学习的仔 猪乳头计数方法， 其特 征在于： 所述的方法包括 步骤如下： S1： 对仔猪腹部进行视频获取； S2： 对获取的视频进行 逐帧筛选， 过滤模糊图像， 保留清晰图像； S3： 使用目标分割网络对猪 体进行目标分割提取； S4： 将分割后目标提取图像输入计数网络进行仔 猪乳头计数； S5： 依据多帧图像多数计数 结果实现仔 猪乳头最终计数； 步骤S2， 包括以下步骤： S201： 定义两个算子A和B； S202： 分别使用A、 B算子对获取的视频提取的每帧图像Ii做卷积运算， 获得图像在X轴和 Y轴方向上的梯度Gx和Gy： S203： 对梯度Gx和Gy进行加权求和， 得到G； S204： 对G计算 其全部元 素的平均值作为该帧图像的平均梯度； S205： 自适应调 节清晰度阈值， 若该帧图像的平均梯度大于当前清晰度阈值， 则执行步 骤S3， 否则去除该帧图像； 自适应调节 清晰度阈值， 包括以下步骤： 设定一个K秒的时间窗口， 计算当前在时间窗口内各帧图像的平均梯度， 获得长度为L 的序列P； 将序列P进行排序得到序列Q， 选定一个固定比率R， 设定清晰度阈值T为序列 Q的第R×L 个的值。 2.根据权利要求1所述的基于深度学习的仔猪乳头计数方法， 其特征在于： 所述的平均 梯度的计算如下： 设G大小为M ×N， 则图像的平均梯度为: 式中， G(i,j)表示G第i行第j列的值。 3.根据权利要求1所述的基于深度学习的仔猪乳头计数方法， 其特征在于： 所述的目标 分割网络包括MaskRCN N网络模型； 所述的MaskRCN N网络模型为 一个两阶段的框架， 其中， 第一阶段扫描图像， 并生成提 议； 第二阶段分类提 议， 并生成猪 体边界框和分割掩码。 4.根据权利要求3所述的基于深度学习的仔 猪乳头计数方法， 其特 征在于： 第一阶段的实现， 由一个标准的卷积神经网络作为特征提取器； 对输入的图像进行卷 积操作， 提取图像特 征， 并使用特 征提取器生成不同尺度的特 征图， 并进行 特征融合； 第二阶段的实现， 为 区域建议网络， 用来做边界框识别提取候选框； 所述的区域建议网 络用于有效地检测图像中的目标， 同时还以像素到像素的方式为每个实例预测高质量的猪 体分割掩码来进行实例分割。 5.根据权利要求4所述的基于深度学习的仔猪乳头计数方法， 其特征在于： 所述的实例 分割具体做法为： 原图与得到的分割掩膜进行与运算后得到结果图； 当前像素在分割掩码权　利　要　求　书 1/2 页 2 CN 114550069 B 2中对应的值非0， 则将该像素拷贝到目标图像， 当mask为0， 则不进行拷贝， 目标图像保持不 变； 在分割网络实现分割处理后， 图像数据集已去 除图像中无关背景干扰， 只保留猪体图 像。 6.根据权利要求1所述的基于深度学习的仔猪乳头计数方法， 其特征在于： 所述的计数 网络包括yo lov5网络模型； 其中构建yolov5网络模型， 按照推进顺序， 包括Input模块、 Backbone模块、 Neck模块和 Predicti on模块四个部分； 图像进入计数网络后， 依 次通过Input模块、 Backbone模块、 Neck模块和Prediction模 块， 最终获得多预测框； 之后根据设定的conf ‑thres和Iou ‑thres对预测框进行筛选， 把最后保留下来的预测 框作为识别结果， 并且暂时保留计数 结果； 其中， conf‑thres表示置信度阈值， 低于 置信度阈值的预测结果将会被舍去； Iou‑thres表示预测框交并比阈值， 高于预测框交并比阈值的两个预测框会被认为是 同一个； 按照需求确定 conf‑thres和I ou‑thres的值。 7.根据权利要求6所述的基于深度学习的仔猪乳头计数方法， 其特征在于： 更新各预测 框的置信度， 删除置信度为0的预测框， 具体如下： 将各预测框按置信度降序排列， 按照顺序计算置信度最高的预测框M和每个置信度比 它低的预测框Bi的交并比I oU： 更新各预测框置信度， 置信度更新公式为： 其中， ε为自定义阈值， RDIoU由以下公式表示： 其中， ρ表示两个预测框中心点之间的距离， c表示最小包含两个预测框的框的对角线 长度。 8.根据权利要求1所述的基于深度学习的仔猪乳头计数方法， 其特征在于： 同一仔猪的 视频流中对应多帧图像， 每张图像经过步骤S1 ‑S4之后都会获得一个计数结果； 对于同一只 仔猪的多帧图像 计数结果， 取其众 数作为该仔 猪最后的乳 头计数结果。权　利　要　求　书 2/2 页 3 CN 114550069 B 3