(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210193004.0 (22)申请日 2022.02.28 (71)申请人 宝开 （上海） 智能物流科技有限公司 地址 200241 上海市闵行区元江路525号20 号楼3楼 (72)发明人 汪朝林　苏志远　吕程　张征　 陈路　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 宋教花 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视频流的物流中心挂装类服装分类方 法及装置 (57)摘要 本发明提供一种基于视频流的物流中心挂 装类服装分类方法及装置， 所述方法的步骤包 括， 接收录入的视频流， 基于预设的深度学习模 型识别视频流的服装， 并在视频流的图像数据中 标记服装的边界框； 基于服装在视频流的图像数 据中的出现顺序， 对服装的边界框顺序编号； 将 视频流的图像数据划分为多个第一图像帧， 基于 所述边界框对 所述第一图像帧进行裁剪， 得到边 界图像； 对边界框编号相同的边界图像， 提取边 界图像中的图像特征， 基于边界图像的尺度， 对 不同尺度的边界图像中的图像特征赋予不同的 权重， 基于注 意力机制对边界框编号相同的边界 图像进行特征融合， 得到融合图像； 将融合图像 输入到预设的卷积神经网络分类器中， 得出融合 图像的类别。 权利要求书3页 说明书11页 附图3页 CN 114663803 A 2022.06.24 CN 114663803 A 1.一种基于视频流的物流中心挂装类服装分类方法， 其特征在于， 接收录入的视频流， 基于预设的深度学习模型识别视频流的图像数据中的服装， 并在视频流的图像数据中标记 服装的边界框； 基于服装在视频流的图像数据中的出现顺序， 对服装的边界框顺序编号； 将视频流的图像数据划分为多个第 一图像帧， 基于所述边界框对所述第 一图像帧进行 裁剪， 得到边界图像； 对边界框编号相同的边界图像， 提取边界图像 中的图像特征， 基于边界图像的尺度， 对 不同尺度的边界图像中的图像特征赋予不同的权重， 基于注意力机制对边界框编号相同的 边界图像进行 特征融合， 得到融合图像； 将融合图像输入到预设的卷积神经网络分类 器中， 得出融合图像的类别。 2.根据权利要求1所述的基于视频流的物流中心挂装类服装分类方法， 其特征在于， 在 视频流的图像数据中标记服装的边界框的步骤中， 根据服装在图像数据中的尺度生成边界框， 所述 服装的图像在边界框 框定的范围内； 所述边界框随着其框 定的服装在视频流的图像数据中尺度的变化变大或变小。 3.根据权利要求1或2所述的基于视频流的物流中心挂装类服装分类方法， 其特征在 于， 在视频流的图像数据中标记服装的边界框的步骤中， 基于预设的边界框阈值， 实时将当 前的边界框的大小与边界框阈值相比较， 若当前 的边界框的大小不在边界框阈值范围内， 则不显示 边界框。 4.根据权利要求1所述的基于视频流的物流中心挂装类服装分类方法， 其特征在于， 将 视频流的图像数据划分为多个第一图像帧的步骤 包括， 根据图像数据的帧将视频流的图像数据划分为多个初始图像帧； 将所述初始图像帧转化为灰度图， 基于所述灰度图中各个像素点的灰度值计算每个灰 度图的灰度质心； 基于每个灰度图的灰度质心计算平均灰度质心， 分别计算各个灰度图的灰度质心与平 均灰度质心之间的距离； 基于灰度质心与平均灰度质心之间的距离在所有灰度图中筛选出第一预设个数个距 离较近的灰度图作为第一图像帧。 5.根据权利要求4所述的基于视频流的物流中心挂装类服装分类方法， 其特征在于， 根 据如下公式基于所述灰度图中各个 像素点的灰度值计算每 个灰度图的灰度质心： 根据上述公式组合xc， yc得到灰度质心的坐标(xc,yc)， 公式中xc表示灰度质心的横坐 标， yc表示灰度质心的纵坐标， xij为尺寸为M*N灰度图的第i行第j列的像素点的像素灰度 值， M为灰度图的像素点行 数总数， N 为灰度图的像素点列数总数。 6.根据权利要求1所述的基于视频流的物流中心挂装类服装分类方法， 其特征在于， 划权　利　要　求　书 1/3 页 2 CN 114663803 A 2分出多个尺度范围， 每个尺度范围对应一个预设的特征 ‑权重组， 在所述特征 ‑权重组中对 应每个图像特征设置有权重参数， 在基于边界图像的尺度， 对不同尺度的边界图像中的特 征赋予不同的权 重的步骤 包括， 基于边界图像的尺度判定该边界图像对应的尺度 范围， 根据尺度 范围为边界图像匹配 对应的特 征‑权重组， 为该边界图像中每 个图像特 征赋予对应的权 重参数。 7.根据权利要求1所述的基于视频流的物流中心挂装类服装分类方法， 其特征在于， 划 分出多个尺度阈值， 基于多个尺度阈值的数值大小将尺度阈值顺序排列， 每个所述尺度阈 值对应设置有特征 ‑权重组， 在所述特征 ‑权重组中对应每个图像特征设置有权重参数， 在 基于边界图像的尺度， 对不同尺度的边界图像中的特 征赋予不同的权 重的步骤 包括； 将边界框编号相同的边界图像基于在视频流中的顺序排序， 基于边界图像的排序顺 序， 将边界图像排序中第一个边界图像的尺度与在尺度排序中第一个尺度阈值相比较； 若第一个边界图像的尺度大于第一个尺度阈值， 则继续与下一个尺度阈值比较， 直到 边界图像小于或等于第n个尺度阈值， 为第一个边界图像匹配第n个尺度阈值所对应的特 征‑权重组， 为该边界图像中每 个图像特 征赋予对应的权 重参数； 若第一个边界图像的尺度小于或等于第 一个尺度阈值， 则为第 一个边界图像匹配第 一 个尺度阈值所对应的特 征‑权重组， 为该边界图像中每 个图像特 征赋予对应的权 重参数； 将边界图像排序中第a个边界图像的尺度与第a ‑1个边界图像所匹配的第b个尺度阈值 相比较； 若第a个边界图像的尺度大于第b个尺度阈值， 则继续与第b+1个尺度阈值比较， 直到边 界图像小于或等于第m个尺度阈值， 为第a个边界图像匹配第m个尺度阈值所对应的特征 ‑权 重组， 为该边界图像中每 个图像特 征赋予对应的权 重参数； 若第a个边界图像的尺度小于或等于第b个尺度阈值， 则为第a个边界图像匹配第b个尺 度阈值所对应的特 征‑权重组， 为该边界图像中每 个图像特 征赋予对应的权 重参数。 8.根据权利要求1所述的基于视频流的物流中心挂装类服装分类方法， 其特征在于， 基 于所述边界框对所述第一图像 帧进行裁剪， 得到边界图像的步骤包括， 对边界图像进行去 高光处理， 所述去高光处 理的步骤 包括， 基于SURF算法获取同一 边界框编号的多个边界图像对应的变换矩阵； 将同一边界框编号的多个边界图像每α个划分为一个融合组， 对 同一融合组中的边界 图像基于变换矩阵作对齐处 理； 对同一融合组中的边界图像顺序采用取最小像素灰度值、 取灰度平均值、 高斯差分和 中值结合的方式将同一融合组中的边界图像融合 为同一边界图像。 9.根据权利要求1所述的基于视频流的物流中心挂装类服装分类方法， 其特征在于， 基 于如下的损失函数公式对所述卷积神经网络分类 器进行训练： L表示损失函数值， f表示第f个融合图像， F表示融合图像总数， 是对第f个融合图像 的图像特征对应的特征向量xf进行归一化 得出的值， e表示欧拉数， g表示第g个图像特征， sg 表示第f个融合图像所对应的同类别融合图像的第g图像特征的特征值， G表示图像特征 的权　利　要　求　书 2/3 页 3 CN 114663803 A 3