(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210203086.2 (22)申请日 2022.03.02 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 王国利　郭雪梅　张剑雄　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G01S 13/08(2006.01) G01S 13/89(2006.01) G01S 13/58(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于毫米波雷达实现人体姿态估计的多谱 图融合方法及装置 (57)摘要 本发明公开了基于毫米波雷达实现人体姿 态估计的多谱 图融合方法及装置， 方法包括： 获 取距离‑多普勒谱图和距离 ‑角度谱图， 对所获取 的两种谱图通过Tran sformer结构 进行注意力矩 阵计算， 得到两种谱图的融合特征； 使用距离 ‑多 普勒谱图特征对融合特征进行修补， 得到完整的 融合特征； 使用双向长短期记忆网络获取连续帧 的时序特征， 并进行时序上的特征补偿， 得到粗 略的补偿特征； 对每一帧的粗略补偿特征， 通过 计算同一帧内人体关节间的关联性并依据关联 性进行空间特征补偿， 得到每一帧的精细补偿特 征； 对每一帧的精细补偿特征， 将其映射为人体 骨架， 完成毫米波雷达的人体姿态估计。 本发明 有效地实现多谱图融合， 大大提高毫米波雷达实 现人体姿态估计的准确度。 权利要求书3页 说明书10页 附图4页 CN 114636999 A 2022.06.17 CN 114636999 A 1.基于毫米波雷达实现人体姿态估计的多谱图融合方法， 其特 征在于， 包括下述 步骤： 获取距离 ‑多普勒谱图和距离 ‑角度谱图， 对所获取的两种谱图通过预设的 Transformer结构进行注意力矩阵计算， 并将注意力矩阵与距离 ‑多普勒谱图进行相乘， 得 到两种谱图的融合特 征； 使用距离 ‑多普勒谱图特 征对融合特 征进行修补， 得到 完整的融合特 征； 在得到多个连续帧的完整融合特征后， 使用双向长短期记忆网络获取连续帧的时序 特 征， 并进行时序上的特 征补偿， 得到粗略的补偿特 征； 对每一帧的粗略补偿特征， 通过计算同一帧内人体关节间的关联性并依据关联性进行 空间特征补偿， 得到每一帧的精细 补偿特征； 对每一帧的精细 补偿特征， 将其映射 为人体骨架， 完成毫米波雷达的人体姿态估计。 2.根据权利要求1所述基于毫米波雷达实现人体姿态估计的多谱图融合方法， 其特征 在于， 所述Transformer结构中的Q与K分别设置为距离 ‑多普勒谱图和距离 ‑角度谱图， V设 置为距离 ‑多普勒谱图， 计算注意力矩阵时进行缩放， 得到融合特征后首先通过残差网络进 行一次高维特 征提取， 最后进行 标准化。 3.根据权利要求2所述基于毫米波雷达实现人体姿态估计的多谱图融合方法， 其特征 在于， 所述得到 两种谱图的融合特 征， 具体为： 对两种谱图分别通过 卷积神经网络得到高维特 征， 具体如下： FRDM＝fbn( σ(fmp(Wc1*RDM+bc1))) FRAM＝fbn( σ(fmp(Wc2*RAM+bc2))) 其中， FRDM和FRAM是距离‑多普勒谱图和距离 ‑角度谱图的区域特征， fmp是最大池化操作， Wci和bci分别是卷积核以及偏置参数， *表示卷积操作， σ 是线性整流激活函数， fbn代表批标 准化处理， RDM和RAM分别表示距离 ‑多普勒谱图和距离 ‑角度谱图； 将两种谱图的高维特 征分别作为 Q与K值进行矩阵乘法， 得到乘积； 对上述乘积按行进行Softmax操作， 得到注意力矩阵， 所述注意力矩阵表示如下： 其中， dim表示FRDM和FRAM的维度大小， Wattention代表注意力矩阵； 对注意力矩阵依据谱图特 征维度进行缩放； 将距离‑多普勒谱图特征作为V值， 与注意力矩阵相乘， 得到融合特征， 所述融合特征表 示如下： Ffused＝ WattentionFRDM 使融合特 征通过残差网络， 得到最终的融合特 征， 具体为： Fassigned＝σ ′(fFC(Ffused) ) 其中， fFC代表全连接层， Fassigned是最终的融合特征， fFC代表全连接层， σ ′是带泄露线性 整流激活函数， 表示矩阵和运 算。 4.根据权利要求3所述基于毫米波雷达实现人体姿态估计的多谱图融合方法， 其特征 在于， 所述使用距离 ‑多普勒谱图特 征对融合特 征进行修补， 得到 完整的融合特 征， 具体为：权　利　要　求　书 1/3 页 2 CN 114636999 A 2使用卷积神经网络对距离 ‑多普勒谱图进行 特征提取， 具体如下： FRDM＝fbn( σ(fmp(Wc1*RDM+bc1))) Fr＝σ′(fFC(FRDM)) 其中， Fr是距离‑多普勒谱图中用于修补的特 征； 将提取的特 征与融合特 征进行矩阵加法， 完成特 征修补， 具体如下： 其中， Frefined是修补后的最终融合特 征。 5.根据权利要求1所述基于毫米波雷达实现人体姿态估计的多谱图融合方法， 其特征 在于， 所述进 行时序上的特征补偿， 是通过探索相 邻帧时序上的关联， 对丢失关节特征进 行 补偿， 包括以下步骤： 获取相邻帧的融合特 征； 将相邻的融合特 征按照时间顺序依次经 过双向长短期记 忆网络； 双向长短期记忆网络输出每一帧各关节时序补偿后的粗略的补偿特征， 时序 特征补偿 后获取的关键特 征Ft表示如下： Ft＝fBI‑LSTM(Frefi ned； θ ) 其中， fBI‑LSTM表示双向长短期记忆网络， θ是该 网络的学习参数， Ft是时序特征补偿后获 取的关节特 征。 6.根据权利要求1所述基于毫米波雷达实现人体姿态估计的多谱图融合方法， 其特征 在于， 所述空间特 征补偿， 具体为： 对每一个关节特征， 让其通过关节特征抑制模块， 在遗忘门网络作用下， 输出抑制后的 特征， 包括以下步骤： 将每一个关节的粗略的补偿特征通过全连接层； 用Sigmoid激活函数 对全连接层输出进行转换； 将粗略的补偿特征与Sigmoid输出结果相乘， 得到抑制后的特 征； 对每一个关节特征， 让其通过关节特征选择模块， 在选择门网络作用下， 输出选择后的 特征， 包括以下步骤： 将每一个关节的粗略的补偿特征通过全连接层； 用Tanh激活函数对全 连接层输出进行转换， 输出选择后的特 征； 将上述抑制后的特征与选择后的特征进行矩阵求和， 分别得到每个关节精细的补偿特 征。 7.根据权利要求1所述基于毫米波雷达实现人体姿态估计的多谱图融合方法， 其特征 在于， 所述对每一帧的精细 补偿特征， 将其映射 为人体骨架， 具体为： 对每一帧的所有关节特 征， 将其通过全连接层， 输出 人体骨架坐标， 表达如下： Xpre＝fFC(Ffixed) 其中， Ypre∈R17×3表示三维人体骨架的坐标。 8.基于毫米波雷达实现人体姿态估计的多谱图融合系统， 其特征在于， 应用于权利要 求1‑7中任一项所述的基于毫米波雷达实现人体姿态估计的多谱图融合方法， 包括多谱图 融合模块、 融合特征修补 模块、 时序关节特征补偿模块、 空间关节特征补偿模块以及3D骨架 输出模块； 所述多谱图融合模块， 用于获取距离 ‑多普勒谱图和距离 ‑角度谱图， 对所获取的两种 谱图通过预设的Transformer结构进行注 意力矩阵计算， 并将注 意力矩阵与距离 ‑多普勒谱权　利　要　求　书 2/3 页 3 CN 114636999 A 3