(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210207381.5 (22)申请日 2022.03.03 (71)申请人 中海华瑞智能科技 （天津） 有限公司 地址 300450 天津市滨 海新区天津自贸试 验区(中心商务区)新华路3678号宝风 大厦11层H1101-02 (72)发明人 曹伟朋　吴宇豪　张兴俭　庄浩　 蔡恒　刘鑫　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 肖鹏 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态特征融合的零样本学习分 类方法及设备 (57)摘要 本发明公开了一种基于多模态特征融合的 零样本学习分类方法及设备， 属于图像识别技术 领域， 用于解决现有的基于生 成模型的零样本学 习模型中存在域偏移问题和视觉特征域偏移问 题。 方法包括： 根据训练样本的语义特征 以及视 觉主成特征， 得到多模态融合条件特征； 根据训 练样本的真实特征与多模态融合条件 特征， 得到 合成视觉特征； 对合成视觉特征进行映射， 得到 语义模态对齐损失函数； 通过生成器， 对语义嵌 入特征进行重构， 得到重构样本视觉特征， 并计 算视觉模态对齐损失函数； 根据模型总损失函 数， 对生成器中的相关参数进行优化； 根据优化 后的生成器， 对未见类图像样本进行分类， 得到 对应的未见类伪样本， 以将未见类伪样本用于训 练分类器。 权利要求书3页 说明书10页 附图3页 CN 114821148 A 2022.07.29 CN 114821148 A 1.一种基于多模态特 征融合的零样本学习分类方法， 其特 征在于， 所述方法包括： 根据训练样本的语义特 征以及视 觉主成特 征， 得到多模态融合条件特 征； 根据所述训练样本的真实特征与所述多模态融合条件特征， 得到合成视觉特征， 并计 算所述合成视觉特征的编码损失函数以及判别器损失函数； 通过第一编码器， 对所述合成视觉特征进行映射， 得到语义嵌入特征， 并计算所述语义 特征与所述语义嵌入特 征的循环一 致性损失， 得到语义模态对齐损失函数； 通过生成对抗网络的生成器， 对所述语义嵌入特征进行重构， 得到重构样本视觉特征， 并计算视 觉模态对齐损失函数； 根据模型总损 失函数， 对所述生成器中的相关参数进行优化， 直至所述模型总损 失函 数的值小于第一预设阈值； 其中， 所述模型总损失函数由所述编码损失函数、 所述判别器损 失函数、 所述语义模态对齐损失函数以及所述视 觉模态对齐损失函数 所决定； 根据优化后的所述生成对抗网络的生成器， 对未见类图像样本进行分类， 得到对应的 未见类伪样本， 以将所述未 见类伪样本用于训练分类 器。 2.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法， 其特征在 于， 根据训练样本的语义特 征以及视 觉主成特 征， 得到多模态融合条件特 征， 具体包括： 通过预训练模型ResNet ‑101， 提取所述训练样本中的所述真实特征； 其中， 所述真实特 征为2048维视 觉特征向量； 对所述训练样本的类别特 征进行概 括， 提取所述语义特 征； 通过深层主成特 征提取网络， 提取 所述训练样本中的所述视 觉主成特 征； 根据所述语义特征以及所述视觉主成特征， 对所述训练样本进行特征提取以及特征融 合， 得到所述多模态融合条件特 征。 3.根据权利要求2所述的一种基于多模态特征融合的零样本学习分类方法， 其特征在 于， 根据所述语义特征以及所述视觉主成特征， 对所述训练样本进行特征提取以及特征融 合， 得到所述多模态融合条件特 征， 具体包括： 通过特征提取函数， 对所述训练样本进行 特征提取； 根据Le＝E[logθ(x)]， 得到所述特征提取过程的损失； 其中， x 为所述真实特征， θ( ·)为 所述特征提取函数， E为期望值； 通过特征层融合模块， 根据 对所述语义特征与所述视觉主成特征进行特 征融合， 得到所述多模态融合条件特征c； 其中， xp为所述视觉主 成特征， a为所述语义特征， 为联结符号。 4.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法， 其特征在 于， 根据所述训练样本的真实特征与所述多模态融合条件特征， 得到合成视觉特征， 并计算 所述合成视觉特征的编码损失函数以及判别器损失函数， 具体包括： 通过第二编码器， 对所述真实特征与所述多模态融合条件特征进行编码， 得到随机噪 声； 根据 得到所述编码损失函数 其中， z为随机噪声， E(x,c)为第二编码器的期望， logG(z,a)为所述生成对抗网络的 生成器的重构误差， KL( ·)用于计算KL散度距离， β 为KL散度的权重参数， p(z|a)表示高斯权　利　要　求　书 1/3 页 2 CN 114821148 A 2分布的先验概 率， a为所述语义特 征， c为所述多模态融合条件特 征， E为期望； 通过变分自编码器VAE的解码器， 对所述随机噪声以及所述语义特征进行解码， 得到所 述合成视觉特征； 其中， 所述 生成对抗网络的生成器共享所述变分自编码器V AE的解码器； 通过所述对抗 生成网络的判别器， 计算所述真实特 征与所述 合成视觉特征的相似度； 根据 得到所述判别 器损失函数 其中， 为所述真实特征x与所述合成视觉特征 的相似度， λE[(||D(x ′,a)||2‑1)2]为带有Lipschitz约束的梯度惩罚项， λ为惩罚参数， x ′ 为语义‑视觉特征的联合分布， 其中α ～U(0,1)。 5.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法， 其特征在 于， 通过第一编码器， 对所述合成视觉特征进行映射， 得到语义嵌入特征， 并计算所述语义 特征与所述语义嵌入特 征的循环一 致性损失， 得到语义模态对齐损失函数， 具体包括： 根据 对所述语义嵌入特征与所述语义特征进行模态对齐， 得 到所述语义模态对齐损失函数 其中， Enc()为编码 运算， 用于得到所述语义嵌入特征 a为所述语义特征， E为期望； 其 中， 所述模态对齐是用来增 加所述训练样本之间类内 紧凑性与类间可分离性。 6.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法， 其特征在 于， 通过生成对抗网络的生成器， 对所述语义嵌入特征进行重构， 得到重构样本视觉特征， 并计算视 觉模态对齐损失函数， 具体包括： 通过生成对抗网络的生成器， 对所述语义嵌入特 征进行重构， 得到 重构样本 视觉特征； 对所述合成视觉特征与所述重构样本 视觉特征进行模态对齐； 根据 得到所述视觉模态对齐损失函数 其中， 为所述重 构样本视觉特征， Dec()为 解码运算， x为真实特 征， E为期望 。 7.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法， 其特征在 于， 根据模型总损失函数， 对所述生成器中的相关参数进行优化， 直至所述模型总损失函数 的值小于第一预设阈值， 具体包括： 根据 得到所述模型总损失函数L； 其中， 为双模态对齐损失函数， 为所述语义模态对齐损失函数， 为 所述视觉模态对齐损失函数； 其中， β 双重模态对齐损失的超参数， 为所述编码损失函 数， 为所述判别器损失函数； 根据梯度下降方法， 对所述生成对抗网络的生成器的相关参数， 进行多轮梯度下降， 以 减少损失量； 在所述模型总损失函数的值小于所述第 一预设阈值后， 得到所述生成器的最优相关参 数， 实现对所述 生成器的迭代优化。 8.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法， 其特征在 于， 根据优化后的所述生成对抗网络的生成器， 对 未见类图像样本进 行分类， 得到对应的未 见类伪样本， 以将所述未 见类伪样本用于训练分类 器， 具体包括：权　利　要　求　书 2/3 页 3 CN 114821148 A 3