(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210220925.1 (22)申请日 2022.03.08 (71)申请人 杭州萤石软件 有限公司 地址 310051 浙江省杭州市滨江区丹 枫路 399号2号楼B楼3 02室 (72)发明人 孙梦南　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 杨春香 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/46(2022.01) G06K 9/62(2022.01) (54)发明名称 一种行为识别方法、 装置及电子设备 (57)摘要 本申请实施例公开了一种行为识别方法、 装 置及电子设备。 本申请提供的方案将针对目标对 象拍摄的原始 图像分别输入至第一深度学习模 型和人形检测模 型， 得到用于拍摄原始图像的拍 摄设备的目标特征信息和目标检测 信息， 然后将 目标特征信息和目标检测信息进行融合， 得到融 合特征， 最后将融合特征输入至已训练的第二深 度学习模型， 得到目标对象的三维姿势。 上述目 标特征信息包括拍摄设备拍摄目标对象时的拍 摄角度， 在预测目标的三维姿势时， 将拍摄设备 的影响也计算了进去， 限制了原始图像从二维平 面映射为三维空间的可能性， 提高了行为识别的 准确度， 同时将多个模型得到的特征进行融合， 使得预测到的目标对象的三维姿势更准确。 权利要求书2页 说明书9页 附图4页 CN 114627552 A 2022.06.14 CN 114627552 A 1.一种行为识别方法， 其特 征在于， 所述方法包括： 将已获得的针对目标对象拍摄的原始图像输入至已训练 的第一深度学习 模型， 得到用 于拍摄所述原始图像的拍摄设备 的目标特征信息， 所述 目标特征信息至少包括： 所述拍摄 设备拍摄所述目标对象以得到所述原始图像时的拍摄角度、 以及预测所述拍摄设备以指定 角度拍摄所述目标对象得到的预测图像； 将所述原始图像输入至已训练的人形检测模型， 得到目标检测信息， 所述目标检测信 息至少包括： 目标对象中用于指示姿态的至少一个关键点在所述原 始图像中的二维坐标； 将所述目标特征信息和所述目标检测信息进行融合， 得到融合特征； 所述融合特征用 于预测所述目标对象的至少一个关键点的三 维坐标， 所述三 维坐标用于预测所述目标对象 的三维姿势； 将所述融合特 征输入至已训练的第二深度学习模型， 得到所述目标对象的三维姿势。 2.根据权利要求1所述的方法， 其特征在于， 所述拍摄设备拍摄所述目标对象以得到所 述原始图像时的拍摄角度至少包括： 所述拍摄设备拍摄所述目标对象以得到所述原始图像时被设置的俯仰角pitch角度、 以及翻滚角ro ll角度。 3.根据权利要求1所述的方法， 其特征在于， 所述目标检测信息还包括： 从所述原始图 像中提取 出用于指示所述目标对象的对象特 征； 所述将所述目标 特征信息和所述目标检测信息进行融合， 得到融合特 征包括： 将所述原始图像、 所述对象特征输入至已训练的第二深度学习模型， 以依据所述对象 特征从所述原 始图像提取 出对应的对象特 征图； 将所述目标 特征信息、 所述目标检测信息和所述对象特 征图进行融合得到融合特 征。 4.根据权利要求1任一项所述的方法， 其特征在于， 所述第 二深度学习模型至少通过以 下计算层得到所述 三维姿势： 所述三维坐标信息预测层， 用于依据所述融合特征， 预测所述目标对象的关键点在三 维坐标系中每一平面内的二 维坐标， 对该关键点在三 维坐标系中每一平面内的二 维坐标进 行指定运算以得到该关键点的三 维坐标信息， 输出该关键点的三 维坐标信息至三 维姿势预 测层； 所述 三维坐标系中包 含三个平面， 且三个平面两 两垂直； 所述三维姿势预测层， 用于依据输入的所述目标对象中各关键点的三维坐标信 息预测 所述目标对象的三维姿势。 5.根据权利要求4所述的方法， 其特征在于， 所述依据所述融合特征， 预测所述目标对 象的关键点在三维坐标系中每一平面内的二维坐标， 包括： 若当前存在所述原始图像之前的前N帧连续视频帧， 则依据 所述前N帧连续视频帧中每 一视频帧的融合特征和所述原始图像的融合特征确定参考三 维坐标信息， 依据参考三维坐 标信息预测所述目标对象中各关键点在三维坐标系中每一平面内的二维坐标； 所述参考三 维坐标信息至少包含： 结合所述前N帧连续视频帧中每一视频帧的融合特征和所述原始图 像的融合特征， 基于结合后的融合特征预测出 的前N帧连续视频帧中每一视频帧内所述 目 标对象中各关键点的三维坐标信息 。 6.根据权利要求5所述的方法， 其特征在于， 所述依据输入的所述目标对象中各关键点 的三维坐标信息预测所述目标对象的三维姿势， 包括：权　利　要　求　书 1/2 页 2 CN 114627552 A 2依据所述参考三维坐标信息和所述目标对象中各关键点的三维坐标信息预测所述目 标对象的三维姿势。 7.根据权利要求4所述的方法， 其特征在于， 所述第二深度学习模型还包括： 特征图提 取层； 所述特征图提取层， 用于接收输入的所述原始图像和所述对象特征， 依据所述对象特 征从所述原 始图像提取 出对应的对象特 征图。 8.根据权利要求1至7任一所述的方法， 其特征在于， 所述关键点的三维坐标信息是相 对于三维坐标系中根节点的三维坐标信息， 所述根节点为所述目标对象中被指 定的一个关 键点。 9.一种行为识别装置， 其特 征在于， 所述装置包括： 目标特征信 息获得单元， 用于将已获得的针对目标对象拍摄的原始图像输入至已训练 的第一深度学习模型， 得到用于拍摄所述原始图像的拍摄设备的目标特征信息， 所述 目标 特征信息至少包括： 所述拍摄设备拍摄所述 目标对象以得到所述原始图像时的拍摄角度、 以及预测所述拍摄设备以指定角度拍摄所述目标对象得到的预测图像； 目标检测信息获得单元， 用于将所述原始图像输入至已训练的人形检测模型， 得到目 标检测信息， 所述 目标检测信息至少包括： 目标对 象中用于指示姿态的至少一个关键点在 所述原始图像中的二维坐标； 特征融合单元， 用于将所述目标特征信息和所述目标检测信息进行融合， 得到融合特 征； 所述融合特征用于预测所述 目标对象的至少一个关键点的三维坐标， 所述三维坐标用 于预测所述目标对象的三维姿势； 三维姿势预测单元， 用于将所述融合特征输入至已训练的第二深度学习模型， 得到所 述目标对象的三维姿势。 10.一种电子设备， 其特 征在于， 该电子设备包括： 处 理器和存 储器； 所述存储器， 用于存 储机器可 执行指令； 所述处理器， 用于读取并执行所述存储器存储的机器可执行指令， 以实现如权利要求1 到8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114627552 A 3