(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221015947 7.9 (22)申请日 2022.02.21 (71)申请人 首都体育学院 地址 100191 北京市海淀区北三环西路1 1 号高德楼 201 (72)发明人 周志雄　王秋睿　 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于人体骨骼关键点向量化特征表示 的人体运动功能评估方法 (57)摘要 本发明专利实现了一个基于人体骨骼关键 点向量化特征表示的人体运动功能评估方法， 其 特征在于： (1)3D人体骨骼关键点提取并归 一化。 利用3D人体骨骼关键点估计方法提取视频动作 中每帧图像中人的3D人体骨骼关键点； 以 《说明 书附图》 中图1的关键点为根节点， 计算其余 关键 节点与关键点1的空间距离向量， 并将相邻关键 点的距离向量相减， 得到向量化特征表示的人体 关键点信息特征。 (2)基于深度卷积神经网络的 特征提取与动作判定。 把动作片段等间距分割成 n段， 每段取一帧。 每帧视频以归一化的人体关键 点相邻向量特征， 输入模型的2维卷积神经网络 部分， 再经过三维神经网络特征融合生成融合特 征， 用softmax对特征进行动作的分类， 用回归模 型对动作进行打 分。 权利要求书1页 说明书2页 附图1页 CN 114519896 A 2022.05.20 CN 114519896 A 1.本发明专利实现了一个基于人体骨骼关键点向量化特征表示的人体运动功能评估 方法， 其特征在于如下步骤： (1)3D人体骨骼关键点提取并归一化。 利用3D人体骨骼关键点 估计方法提取视频动作中每帧图像中人的3D人体骨骼关键点； 以 《说明书附图》 中图1的关 键点为根节点， 计算其余关键节点与关键点 1的空间距离向量， 并将相 邻关键点的距离向量 相减， 得到向量化特征表 示的人体 关键点信息特征。 (2)基于深度卷积神经网络的特征提取 与动作判定。 把动作片段等间距分割成n段， 每段取一帧。 每 帧视频按照前一个步骤提取向 量化特征， 输入模型的2维卷积神经网络部分， 再经过三维神经网络特征融合生成融合特 征， 用softmax 对特征进行动作的分类， 用回归 模型对动作进行打 分。权　利　要　求　书 1/1 页 2 CN 114519896 A 2一种基于人体骨骼关键点向量化特征表示的 人体运动功能评 估方法 一、 技术领域 [0001]运动功能评估、 人体动作分类、 计算机 视觉、 人工智能 二、 背景技术 [0002]2.1通用技 术方法介绍 [0003]Softmax技 术是对多分类任务进行打 分的一种常用方法。 [0004]卷积神经网络是利用卷积核在图片或特征上滑动提取特征的方法， 是广泛采用的 技术。 [0005]单目人体3D骨骼关键点估计方法是利用单张图片或同一视角下的多帧图片对人 体的肩、 肘、 腕、 髋、 膝、 踝等关节等关键 部位生成空间坐标的方法。 [0006]2.2相似方法介绍 [0007]依照特征使用的不同， 已有的人体运动功能评估方法主 要采用如下 特征： [0008](1)图像或视频 特征。 这类方法对图像内容本身提取 特征并评价动作准确性 [0009](2)基于骨骼关键点 的特征。 这类方法先利用2D或3D人体骨骼关键点估计方法对 视频中的人的动作提取对应的骨骼关键点， 再针对骨骼关键点的空间变化信息生成与关键 点有关的特 征， 并利用特 征识别动作及评价 准确性。 [0010]本申请的方法属于基于3D人体骨骼关键点特征的方法， 并利用卷积神经网络进行 动作种类的评价与动作的评分。 [0011]相比于已有的类似方法， 本申请的方法在利用相邻人体3D骨骼关键点生成归一化 的向量化特征， 并利用注意力模块度量不同特征点的区别， 进一步利用多帧信息在时间轴 特征融合。 三、 发明内容 [0012]本发明针对运动 功能筛查的、 7个动作： 深蹲、 跨栏步、 弓箭步、 肩部灵活性、 主动直 腿抬高、 躯 干稳定性俯卧撑、 旋转稳定进行动作评价与打 分。 [0013]本申请在融合了创新技术和已有方法的基础上， 本专利实现了一个基于人体骨骼 关键点向量化特征表示的人体运动功能评估方法。 本方法利用单目3D人体骨骼关键点提取 方法提取3D关键点 坐标， 例如采用文献[1]或文献[2]中的方法， 计算相邻点 位的空间向量。 [0014]本发明申请的创新的主要内容在于， 利用2维卷积神经网络结合注意力模块， 本方 法对归一化的空间向量提取单帧特征， 并进一步用3维卷积神经网络融合时序上 的多帧特 征， 达到提取有效特 征并进行动作判定与打 分的功能。 四、 附图说明 [0015]图1是3D人体骨骼关键点的点 位信息。 [0016]图2是本申请的方法架构图。 模型的输入是归一化的相邻关键点向量化特征表示；说　明　书 1/2 页 3 CN 114519896 A 3