(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210283673.7 (22)申请日 2022.03.22 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 舒畅　陈又新　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 廖慧贤 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 图像描述方法和装置、 计算机设备、 存储介 质 (57)摘要 本实施例提供一种图像描述方法和装置、 计 算机设备、 存储介质， 属于 人工智能技术领域。 包 括： 对原始图像的目标区域卷积得到原始特征图 像； 对原始特征图像聚合得到聚合图像； 对聚合 图像进行自注 意力处理得到自注 意力图像， 对原 始特征图像进行扁平化处理得到平滑图像； 对平 滑图像进行特征提取得到初步特征图像； 关联原 始特征图像和初步特征图像得到目标特征图像； 对目标特征图像进行文本描述得到目标描述信 息。 通过对原始特征图像进行聚合， 并对聚合图 像进行自注 意处理得到图像的通道特征； 通过对 原始特征图像进行扁平化处理， 并对平滑图像进 行特征提取处理得到图像的空间特征； 本实施例 能够充分考虑到图像的各个特征， 进而提高图像 描述的准确率。 权利要求书2页 说明书14页 附图5页 CN 114648641 A 2022.06.21 CN 114648641 A 1.一种图像描述方法， 其特 征在于， 包括： 获取原始图像； 其中， 所述原 始图像包括目标区域； 对所述原 始图像的所述目标区域进行 卷积处理， 得到原 始特征图像； 对所述原 始特征图像进行聚合处 理， 得到聚合图像； 对所述聚合图像进行自注意力处 理， 得到自注意力图像； 根据所述自注意力图像对所述原 始特征图像进行扁平化处 理， 得到平 滑图像； 对所述平 滑图像进行 特征提取处 理， 得到初步特 征图像； 对所述原 始特征图像和所述初步特 征图像进行关联处 理， 得到目标 特征图像； 根据所述目标特征图像进行文本描述处理， 得到目标描述信 息； 其中， 所述目标描述信 息用于描述所述原 始图像。 2.根据权利要求1所述的方法， 其特征在于， 所述 聚合图像包括平均池化图像和最大池 化图像； 所述对所述原 始特征图像进行聚合处 理， 得到聚合图像， 包括： 对所述原 始特征图像进行平均池化处 理， 得到所述平均池化图像； 对所述原 始特征图像进行最大池化处 理， 得到所述 最大池化图像。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述聚合图像进行自注意力处理， 得到自注意力图像， 包括： 获取多层感知机的输出层权 重和隐藏层权 重； 将所述平均池化图像输入至所述多层感知机进行自注意力处理， 得到第一注意力图 像； 将所述最大池化图像输入至所述多层感知机进行自注意力处理， 得到第二注意力图 像； 根据预设的激活函数对所述输出层权重、 所述 隐藏层权重、 所述第一注意力图像和所 述第二注意力图像进行计算， 得到所述自注意力图像。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述自注意力图像对所述原始特 征图像进行扁平化处 理， 得到平 滑图像， 包括： 将所述原 始特征图像的像素和所述自注意力图像的像素相乘， 得到细化特 征图像； 根据预设尺寸对所述初步特 征图像进行尺寸变化处 理， 得到尺寸特 征图像； 对所述尺寸特 征图像进行张量平坦 化操作， 得到所述平 滑图像。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述平滑图像进行特征提取处理， 得到初步特 征图像， 包括： 将所述平 滑图像输入至预设的神经网络模型； 通过所述神经网络模型计算所述平 滑图像的空间注意分布， 得到所述初步特 征图像。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述原始特征图像和所述初步特征 图像进行关联处 理， 得到目标 特征图像， 包括： 根据预设的投影维度对所述原 始特征图像进行投影处 理， 得到第一投影图像； 对所述第一投影图像进行 特征细化处 理， 得到第一细化图像； 根据所述投影维度对所述初步特 征图像进行投影处 理， 得到第二投影图像； 对所述第二投影图像进行 特征细化处 理， 得到第二细化图像； 将所述第一细化图像的像素和所述第二细化图像的像素相乘， 得到所述目标特征图权　利　要　求　书 1/2 页 2 CN 114648641 A 2像。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述根据所述目标特征图像进 行文本描述处 理， 得到目标描述信息， 包括： 获取历史特 征图像； 对所述目标 特征图像和所述历史特 征图像进行 特征融合处 理， 得到融合特 征图像； 对所述融合特 征图像进行解码处 理， 得到所述目标描述信息 。 8.一种图像描述装置， 其特 征在于， 包括： 图像获取模块： 用于获取原 始图像； 其中， 所述原 始图像包括目标区域； 区域卷积模块： 用于对所述原始图像的所述目标区域进行卷积处理， 得到原始特征图 像； 图像聚合模块： 用于对所述原 始特征图像进行聚合处 理， 得到聚合图像； 自注意力处 理模块： 用于对所述聚合图像进行自注意力处 理， 得到自注意力图像； 扁平化处理模块： 用于根据所述自注意力图像对所述原始特征图像进行扁平化处理， 得到平滑图像； 特征提取模块： 用于对所述平 滑图像进行 特征提取处 理， 得到初步特 征图像； 图像关联模块： 用于对所述原始特征图像和所述初步特征图像进行关联处理， 得到目 标特征图像； 文本描述模块： 用于根据 所述目标特征图像进行文本描述处理， 得到目标描述信 息； 其 中， 所述目标描述信息用于描述所述原 始图像。 9.一种计算机设备， 其特征在于， 所述计算机设备包括存储器和 处理器， 其中， 所述存 储器中存储有计算机程序， 所述计算机程序被所述处理器执行时所述处理器用于执行： 如 权利要求1至7中任一项所述的方法。 10.一种存储介质， 所述存储介质为计算机可读存储介质， 其特征在于， 所述计算机可 读存储有计算机程序， 在所述计算机程序被计算机执行时， 所述计算机用于执行： 如权利要 求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114648641 A 3