(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210169409.0 (22)申请日 2022.02.23 (71)申请人 上海暖叠网络科技有限公司 地址 200433 上海市杨 浦区政高路38号201 室 (72)发明人 季冬豪　贺妍岑　张健　 (74)专利代理 机构 上海硕力知识产权代理事务 所(普通合伙) 31251 专利代理师 刘桂芝 (51)Int.Cl. G06T 13/40(2011.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 40/20(2022.01) G06V 40/16(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 25/30(2013.01) (54)发明名称 一种虚拟角色动画 表情生成系统及方法 (57)摘要 本发明公开一种虚拟角色动画表情生成系 统及方法， 其系统包括输入模块、 特征提取模块、 生成模块， 其中： 输入模块用以获取面部动作的 语音信息； 特征提取模块用以将面部动作的语音 信息输入到神经网络中， 提取到面部表情特征； 生成模块用以将面部表情特征进行变形处理， 生 成虚拟角色动画表情。 本申请采用新的技术方案 进行融合， 得到的动画 表情更逼真。 权利要求书2页 说明书6页 附图3页 CN 114612594 A 2022.06.10 CN 114612594 A 1.一种虚拟角色动画表情生成系统， 其特征是， 包括输入模块、 特征提取模块、 生成模 块， 其中： 输入模块用以获取面部动作的语音信息； 特征提取模块用以将面部动作的语音信息 输入到神经网络中， 提取到面部表情特 征； 生成模块用以将面部表情特 征进行变形处 理， 生成虚拟角色动画 表情。 2.如权利要求1所述的虚拟角色动画表情生成系统， 其特征是， 所述特征提取模块为神 经网络， 包括依次连接的编码器、 解码器， 其中： 编码器为由多个卷积层构成时序卷积模块， 用以对面部动作的语音信息进行编码； 解码器由多个依次交替连接的全连接层和注意力单元串联而成， 用以对编码器的输出 进行解码， 得到面部表情特 征。 3.如权利要求1所述的虚拟角色动画表情生成系统， 其特征是， 生成模块包括第 一面部 表情编码系统和第二 面部表情编码系统以及重 定向单元构成， 其中： 第一面部表情编码系统为FACS； 第二面部表情编码系统为以FACS中每一个肌肉运动单元为基础构建对应的单一方向 运动单元的集合， 用以将 每一个肌肉运动单元与对应的单一方向运动单元进 行融合形成融 合运动单元， 并拟合 生成真人动画 表情； 重定向单元用以将真人动画 表情移植到目标对象虚拟角色上。 4.一种虚拟角色动画表情生成方法， 其特征是， 应用在虚拟角色动画表情生成系统， 包 括步骤： 获取面部动作的语音信息； 将面部动作的语音信息 输入到神经网络中， 提取到面部表情特 征； 将面部表情特 征进行变形处 理， 生成虚拟角色动画 表情。 5.如权利要求4所述的虚拟角色动画表情生成方法， 其特征是， 神经网络提取到面部表 情特征的步骤 包括： 编码器对面部动作的语音信息进行编码； 解码器对编码器的编码结果进行解码， 得到音素 特征； 融合单元对音素 特征和表情模板图像进行融合， 得到融合图像； 卷积单元对融合图像进行 特征抽取， 得到融合图像特 征； 全连接单 元对融合图像特 征进行抽取， 得到面部表情特 征。 6.如权利要求4所述的虚拟角色动画表情生成方法， 其特征是， 将面部表情特征进行变 形处理， 生成虚拟角色动画 表情的步骤 包括： 根据面部表情特 征， 获得肌肉运动单 元特征； 根据面部表情特 征， 获得单一方向运动单 元特征； 将肌肉运动单元特征与对应的单一方向运动单元特征进行融合形成融合运动单元特 征， 并拟合 生成真人动画 表情； 将真人动画 表情移植到目标对象虚拟角色上。 7.如权利要求6所述的虚拟角色动画表情生成方法， 其特征是， 所述拟合的方法为神经 网络或者线性回归的方法实现。 8.如权利要求7所述的虚拟角色动画表情生成方法， 其特征是， 神经网络的拟合方法包权　利　要　求　书 1/2 页 2 CN 114612594 A 2括： 设置损失函数； 对每帧进行拟合计算； 把第t帧的拟合权 重作为第t+1帧的初始权 重进行拟合； 设置学习率， 使用梯度下降和adam优化器进行迭代优化。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储介质和总线， 所述存储介质存储有所 述处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储介质之间通 过总线通信， 所述处理器执行所述机器可读指令， 以执行如权利要4至8任一所述的虚拟角 色表情生成方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求 4至8中任一项所述的虚拟角色表情生成方法的步骤。权　利　要　求　书 2/2 页 3 CN 114612594 A 3