(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210139825.6 (22)申请日 2022.02.15 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 孙知信　陈强强　孙哲　赵学健　 胡冰　宫婧　汪胡青　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 叶江栩 (51)Int.Cl. G06Q 30/06(2012.01) G06F 16/45(2019.01) G06F 40/289(2020.01) G06V 10/32(2022.01)G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于压缩与激励网络的商品分类方法 (57)摘要 本发明提出了一种基于压缩与激励网络的 商品分类方法， 涉及商品自动化分类技术领域， 主要包括一个四阶段处理方法。 第一阶段为商品 信息的预处理阶段， 将商品信息传入预处理模 型， 经过预处理模型得到商品的文本数据、 图像 数据以及视频数据。 第二阶段为特征提取阶段， 针对不同的数据类型建立不同的神经网络进行 特征提取。 第三阶段为特征增强阶段， 建立压缩 激励网络， 通过学习的方式获取各个通道的重要 程度， 依据这个重要特征对原特征进行加权， 增 强有用信息， 抑制无用信息。 第四阶段是融合输 出阶段， 将商品的文本特征、 图像特征 以及视频 特征进行融合得到商品特征， 建立分类器模型进 行训练， 输 出商品分类结果， 提取了商品的文本、 图像、 以及视频特征， 将其融合为商品特征， 提取 到的商品特 征更加准确、 丰富。 权利要求书2页 说明书5页 附图3页 CN 114445198 A 2022.05.06 CN 114445198 A 1.一种基于 压缩与激励网络的商品分类方法， 其特 征在于， 包括以下步骤： 步骤1： 建立商品数据预处理模 块， 定义数据的结构为datai＝{texti， imagei， videoi， }， data表示数据集， datai表示数据集中第i个数据， texti表示数据i的文本数据， imagei表示 数据i的图片数据， videoi表示数据i的视频数据， 将数据集中的商品数据data传入商品数 据预处理模块， 提取商品的文本数据datatext， 商品的图像数据dataimage， 商品的视频数据 datavideo， 经过预处理阶段得到商品文本信息Xtext， 商品图像信息Ximage， 商品视频信息 Xvideo； 步骤2： 建立商品数据特征提取模块， 将步骤1经过预处理的商品数据传入商品数据特 征提取模块， 经过数据特征提取得到商品的文本特征Ytext， 商品的图像特征Yimage， 商品的视 频特征Yvideo； 步骤3： 建立特征增强模块， 将步骤2中得到的商品特征数据传入特征增强模块， 通过学 习的方式来自动获取到每个特征通道的重要程度， 然后依照这个重要程度去增强有用的特 征并抑制对当前任务用处不大的特征， 经过处理得到商品的文本特征Stext， 图像特征Simage， 视频特征Svodeo； 步骤4： 建立融合输出模块， 对步骤3得到的经过增强的商品特征进行融合得到商品特 征信息， 建立分类 器模型进行训练， 输出分类结果。 2.根据权利要求1所述的基于压缩与激励网络的商品分类方法， 其特征在于： 在所述步 骤2中， 针对文本数据datatext， 其主要内容是商品标题信息， 首先对文本信息进行分词， 消 除停用词处理， 将得到的词 序列进行对齐填充， 文本的词 序列中通常也包含有一些信息， 为 了保留这些信息， 采用词嵌入模型得到文本信息的词向量Xtext； 针对图片数据dataimage， 对 其进行预 处理， 图像数据的预处理主要包括几何变换以及灰度处理， 针对图像的灰度处理， 本发明采用加权平均法， 此外， 图像数据中可能会含有非商品信息的数据如促销信息， 针对 促销进行， 进行随机裁剪， 最后统一图像大小得到图像数据Ximage； 针对视频数据datavideo， 对视频数据进行预处理， 提取关键帧， 以及进行采样处理， 得到视频数据 Xvideo， 如果视频数 据不存在， 采用特定数据进行补齐。 3.根据权利要求1所述的基于压缩与激励网络的商品分类方法， 其特征在于： 建立商品 信息的特征提取模块： 对于文本数据Xtext， 采用卷积网络用于特征提取， 为了捕获不同尺度 下的文本特征， 使用了四种不同尺度的卷积核(e1， e2， e3， e4)， 。 在卷积核ei∈{e1， e2， e3， e4} 作用后的特 征向量可表示 为 商品的文本特 征Ytext可表示为： 其中， ei表示第i个卷积核， 表示向量在低维度的拼接； 对于图像数据Ximage， 将其传入卷积网络中进行特征提取， 采用的网络结构为[Conv → ReLu]*2→Pool→Norm进行特征提取， 提取商品的图像特征为Yimage； 对于视频数据Xvideo， 将 其传入特征提取模型， 根据 数据类型， 进入特征提取模块， 提取商品的视频特征Yvideo， 由于 商品视频的特殊性， 其主要关注点应该在视频中的商品特征上， 首先采用时域分割对视频 进行处理， 得到 对Xv， 采用卷积网络进行特征提取， 得到特征向量X ′v， 最后采 用聚合函数聚合得到 视频特征Yvideo。权　利　要　求　书 1/2 页 2 CN 114445198 A 24.根据权利要求1所述的基于压缩与激励网络的商品分类方法， 其特征在于： 建立特征 增强模块， 所述的特 征增强模块主 要分为压缩与扩展两个阶段。 5.根据权利要求4所述的基于压缩与激励网络的商品分类方法， 其特征在于： 所述的压 缩阶段的主要作用是顺空间维度进行压缩， 输入数据维度为H*W*C， 其中， H表 示特征高度， W 表示特征宽度， C表 示特征通道数； 经过压缩操作， 将 每个二维通道压缩为一个实数， 这个实 数具有全局的特征； 首先是先进 行一个卷积操作u＝f(X)， f( ·)表示卷积操作， 其次是压缩 操作， 本发明采用全局平均池化来进行实现， 并且输出 的维度和输入维度的特征通道数相 匹配， 压缩后的特 征向量Tn可表示为： 其中， Fsq表示压缩操作， H表示特 征高度， W表示特 征宽度， u表示卷积 操作的结果。 6.根据权利要求4所述的基于压缩与激励网络的商品分类方法， 其特征在于： 所述的扩 展阶段的主要作用是对压缩后的增强特征进 行扩展， 学习权值矩阵 以建立特征通道之 间的 相关性， 通道权值向量Hn可表示为： Hn＝σ(g(Tn， W))＝σ(W2*R(W1Tn))； 公式3； 其中， σ(.)表示Sigmoid函数， 将提取特征映射到[0， 1]， g(.)表示全局池化操作， R(.) 表示激活函数， W1， W2表示参数矩阵； 最后， 基于特 征增强阶段处 理的加权特 征矩阵Si， Si∈{Stext， Simage， Svideo}可表示为： Si＝Hn*Yi； 公式4； 其中， Hn表示通道权值向量， Yi∈{Ytext， Yimage， Yvideo}。 7.根据权利要求4所述的基于压缩与激励网络的商品分类方法， 其特征在于： 建立融合 输出模块： 所述的特征增强的商品的文 本特征Stext、 图像特征Simage以及文本特征Svideo， 将其 传入融合输出模块， 获得商品的预测分类R ′； 在融合输出模块中对商品特征进行低 维度的 拼接得到商品特 征Gcommodity， 商品的预测分类 可表示为： 其中W4为全连接层的参数矩阵， b4为全连接层的偏执向量， softmax为激活函数； 定义模型损失函数表示如下： 其中， n表示商品数量， qij代表商品i的分类的第j个分量， 代表商品i预测的分类的第 j个分量。权　利　要　求　书 2/2 页 3 CN 114445198 A 3