(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210198303.3 (22)申请日 2022.03.01 (71)申请人 浙大城市学院 地址 310015 浙江省杭州市拱 墅区湖州街 51号 (72)发明人 孙霖　严霜　朱逢乐　郑增威　 (74)专利代理 机构 杭州九洲专利事务所有限公 司 33101 专利代理师 张羽振 (51)Int.Cl. G06V 10/80(2022.01) G06K 9/62(2022.01) G06Q 50/02(2012.01) G06V 10/774(2022.01) (54)发明名称 基于深度学习融合多源图像的生菜表型参 数估算方法 (57)摘要 本发明涉及一种基于深度学习融合多源图 像的生菜表型参数估算方法， 包括步骤： 采集得 到RGB图像和Dept h图像， 人工测量每株生菜样本 的表型参数， 形 成图像数据集； 使用GrabCut算法 进行生菜图像前景分割， 使用Z ‑Score方法对生 菜图像数据进行归一化； 构建并训练生菜表型参 数估算深度学习多源数据融合模 型。 本发明的有 益效果是： 本发明的方法采用 深度学习技术， 融 合可见光图像和深度图像特征， 利用生菜表型参 数估算深度学习多源数据融合模型通过多源图 像信息对生菜表型参数进行准确估算； 由实验结 果可以看出， 本发明能成功融合二维RGB图像和 Depth图像， 性能优异， 对设施蔬菜高通量生长监 测和产量预估 有重要的应用价 值。 权利要求书3页 说明书7页 附图2页 CN 114581745 A 2022.06.03 CN 114581745 A 1.一种基于深度学习融合多源图像的生菜表型参数估算方法， 其特征在于， 包括以下 步骤： 步骤1、 采集得到RGB图像和Depth图像， 人工测量每株生菜样本的表型参数， 形成图像 数据集； 步骤2、 使用GrabCut算法进行生菜图像前景分割， 使用Z ‑Score方法对生菜图像数据进 行归一化； 步骤3、 构建并训练生菜表型参数估算深度 学习多源数据融合模型； 生菜表型参数估算 深度学习多源数据融合模型包括特 征提取部分、 多源特 征融合部分和回归网络 部分； 步骤4、 将步骤1所得RGB图像和Depth图像输入步骤3所得生菜表型参数估算深度学习 多源数据融合模型， 估算 得到待估算样本的各项生菜表型参 数向量y＝(y1,y2,y3,y4,y5)； 其 中y1、 y2、 y3、 y4和y5分别表示湿重、 干 重、 株高、 直径和叶面积。 2.根据权利要求1所述基于深度学习融合多源图像的生菜表型参数估算方法， 其特征 在于， 步骤1具体包括如下步骤： 步骤1.1、 计算机驱动位于图像采集平台上的RGBD相机采集从定植到收获各个生长阶 段的生菜RGBD俯视图像， RGBD相机 输出RGB图像和Depth图像； 步骤1.2、 生菜样本经过步骤1.1完成图像采集后， 人工测量每株生菜样本的表型参数， 形成图像数据集。 3.根据权利要求2所述基于深度学习融合多源图像的生菜表型参数估算方法， 其特征 在于， 步骤1.1中： RGB图像包含叶片大小、 颜色和形状特征， 深度图像记录了所拍摄物体与 相机镜头的距离信息， 深度图像为 植物表型参数估算 提供空间深度信息 。 4.根据权利要求2所述基于深度学习融合多源图像的生菜表型参数估算方法， 其特征 在于， 步骤1.2中： 生菜样 本的表型参数包括湿重、 干重、 株高、 冠层最大直径和冠层叶面积； 其中株高和冠层最大直径由游标卡尺测量得到， 株高表示冠层叶片最高点至根部直线距 离， 冠层最大直径表示冠层叶尖最大直线距离； 冠层叶面积由叶面积仪测量得到； 将 每株生 菜样本去除根部后， 由电子天平测 量得到每株生菜样本的湿重； 再将每株生菜样本置于纸 质信封中烘干， 采用电子天平测得烘干后生菜的干 重。 5.根据权利要求2所述基于深度学习融合多源图像的生菜表型参数估算方法， 其特征 在于， 步骤2具体包括如下步骤： 步骤2.1、 基于生菜RGBD俯视图像， 使用GrabCut算法进行生菜图像前景分割， 提取生菜 前景图像； 对每一品种的生菜样本， 预先取一个生菜样本作为该品种的标准图像样本， 进行生菜 RGBD俯视图划分， 再对每个划分后的俯视图区域求归一化颜色直 方图p＝(p0， p1， ...， p255)， 计算每个划分后的俯视图区域的归一化颜色直方图与标准图像样本的归一化颜色直方图q ＝(q0， q1， ...， q255)之间的相似性， p0， p1， ...， p255表示俯视图区域求归一化颜色直方图中 图像中像素值为0～255的颜色分布特征； q0， q1， ...， q255表示标准图像样本的归一化颜色直 方图中图像中像素值为0～255的颜色分布特征； 采用KL散度衡量直方图q与直方图p的相似 性， 计算公式为：权　利　要　求　书 1/3 页 2 CN 114581745 A 2上式中， k表示取值为0到255的下标值； pk表示俯视图区域求归一化颜色直方图中像素 值为k的点的数量； qk表示标准图像样本的归一化颜色直方图中像素值为k的点的数量； 设 定阈值α， 若 KL散度低于阈值α， 则判定该划分后的俯视图区域的颜色与生菜颜色相似； 若 大 小为设定值的区域的颜色与生菜颜色相似， 且该区域正中间的设定数量个像素的深度通道 对应的距离均小于设定值， 则将该区域标记为前景TF； 设生菜图像集中于画面中间的预设 矩形为Tr； 将生菜图像画面中除Tr外的其余部分标记为背景 根据标记的TF和TB， 使 用GrabCut算法进行图像分割； 步骤2.2、 使用Z ‑Score方法对生菜图像数据进行归一化； 在 前景分割后的生菜图像中， 将第c个通道的第i个像素点pixelc， i(c＝0， 1， 2， i＝0， 1， 2 …， 369664)通过Z ‑Score归一化 转化为pixel′c， i： 上式中， μc为c通道图像像素值的均值， σc为c通道图像像素值的标准差， pixelc， i代表c 通道的第i个 像素点。 6.根据权利要求5所述基于深度学习融合多源图像的生菜表型参数估算方法， 其特征 在于： 步骤2.1中， 阈值α＝4.5； 若大小为15 ×15的区域的颜色与生菜颜色相似， 且该区域正 中间的5×5个像素的深度通道对应的距离均小于90 cm， 则将该区域标记为前 景TF； 步骤2.2中， 在前 景分割后的生菜图像中， RGB图像有3个通道， Depth图像仅有1个通道。 7.根据权利要求5所述基于深度学习融合多源图像的生菜表型参数估算方法， 其特征 在于， 步骤3具体包括如下步骤： 步骤3.1、 构建生菜表型参数估算深度学习 多源数据融合模型， 并设置生菜表型参数估 算深度学习多源数据融合模型的误差函数； 生菜表型参数估算深度学习多源数据融合模型 的输出y为长度为5的向量(y1， y2， y3， y4， y5)， 其中y1、 y2、 y3、 y4和y5分别表示湿重、 干重、 株 高、 直径和叶面积； 特征提取部分为ResNet50网络， 数字50表示ResNet网络共包含50层； ResNet50网络用 于对RGB图像和Depth图像进行生菜有效特征的提取； ResNet50网络的输入为RGB图像Irgb和 Depth图像IDepth； ResNet5 0网络的输出为特 征向量frgb和fdepth： frgb＝ResNet5 0(Irgb) fdepth＝ResNet5 0(Idepth) 多源特征融合部分用于将RGB图像特征向量frgb和Depth图像特征向量fdepth进行拼接， 得到生菜表型参数 特征向量F： 回归网络部分由多层FC层和激活函数LeakyReLU构成， 回归网络部分用于将融合后的 生菜表型参数 特征向量F进行表型参数回归拟合； 激活函数LeakyReLU具体为：权　利　要　求　书 2/3 页 3 CN 114581745 A 3