(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210106076.7 (22)申请日 2022.01.28 (65)同一申请的已公布的文献号 申请公布号 CN 114117116 A (43)申请公布日 2022.03.01 (73)专利权人 中国传媒大 学 地址 100024 北京市朝阳区定福庄东 街1号 (72)发明人 叶龙　程皓楠　张儒裕　黄霄蓥　 (74)专利代理 机构 北京鸿元知识产权代理有限 公司 11327 专利代理师 袁文婷　张娓娓 (51)Int.Cl. G06F 16/635(2019.01) G06V 40/16(2022.01) G06V 10/80(2022.01) A61B 5/024(2006.01) A61B 5/16(2006.01)(56)对比文件 CN 112618911 A,2021.04.09 CN 107145 326 A,2017.09.08 CN 113158841 A,2021.07.23 CN 110110134 A,2019.08.09 CN 1991692 A,2007.07.04 CN 111481190 A,2020.08.04 CN 108307037 A,2018.07.20 US 2018121432 A1,2018.0 5.03 章蕴晗.多生理信号驱动的情绪识别关键技 术研究. 《中国优秀硕士学位 论文全文数据库 信 息科技辑》 .2021,(第1期),I13 6-226. 李幼军 等.基 于SAE和LSTM RN N的多模态生 理信号融合和情感识别研究. 《通信学报》 .2017, 第38卷(第12期),109-120. (续) 审查员 何承恩 (54)发明名称 基于生物特征交互的音乐解锁方法及电子 设备 (57)摘要 本发明提供一种基于生物特征交互的音乐 解锁方法及电子设备， 通过人脸 分析算法对所获 取的人脸图像进行基于人脸表情的情绪特征构 造以形成多级表情情绪特征， 并将获取的心率信 号转换为心率数据； 再对多级表情情绪特征进行 映射处理以形成表情情绪特征编码， 对心率数据 进行有效计算以获取心率情绪特征编码； 而后对 表情情绪特征编码与心率情绪特征编码进行融 合计算以获取多级情绪序列编码； 再将多级情绪 序列编码与情绪 ‑音乐映射表相对比以获取相对 应的目标音乐即结合视觉和心率双模态生理信 号， 构造多级情绪时序变化特征序列， 并结合多 级情绪序列编码与音乐之间的映射， 如此， 为用 户播放更接近于用户当前一段时间内情绪状态 下的音乐。 [转续页] 权利要求书3页 说明书10页 附图3页 CN 114117116 B 2022.07.01 CN 114117116 B (56)对比文件 Egger Maria et al. .Emotion Recognition from Phy siological Signal Analysis: A Review. 《Elect ronic Notes in Theoretical Computer Science》 .2019,3 5-55. Shreya L et al. .Emotion Based Music Recommendation System for Special ly- Abled. 《2021 6th I nternati onal Conference on Recent Trends o n Electro nics, Informati on, Communication & Technology》 .2021,321- 325.2/2 页 2[接上页] CN 114117116 B1.一种基于生物特 征交互的音乐 解锁方法， 其特 征在于， 包括： 基于用户的音乐需求获取 所述用户的人脸图像和心率信号； 通过人脸分析算法对所述人脸图像进行基于人脸表情的情绪特征构造以形成多级表 情情绪特征， 并通过心 率逻辑运行函数将所述心 率信号转换为心 率数据； 其中， 通过人脸分 析算法对所述人脸图像进行基于人脸表情的情绪特征构造以形成多级表情情绪特征的过 程， 包括： 通过基于72点人脸采集点的人脸分析算法对所述人脸图像进行表情识别以获取表情 帧集合； 对所述表情帧集合进行表情过滤以删除连续重复表情， 获取具有时序变化的多级表情 序列； 对所述多 级表情序列进行信息提取以获取多 级表情情绪特征； 通过心率逻辑 运行函数将所述心率信号 转换为心率数据的过程， 包括： 定义心率信息采集模块的IIC地址和心率信息通道， 并编写心率逻辑运行函数存储至 所述心率信息采集模块中； 通过所述心率逻辑运行函数将在预设时刻采集的心率信号转换为心率数据； 转换公式 如下： 其中， 表示转换后的t时刻的心率数据； 表示t时刻的心率信号； 对所述多级表情情绪特征进行映射处理以形成表情情绪特征编码， 对所述心率数据进 行有效计算以获取心率情绪特征编码； 其中， 对所述多级表情情绪特征进行映射处理以形 成表情情绪特征编码的过程， 包括： 将所述多级表情情绪特征中所包含的关于每一个表情帧的信 息与预设的表情 ‑编码表 相对应， 以获取与所述每一个表情帧相对应的数字， 并按照所述多级表情序列的时序对所 述数字进行顺序排列以生成表情 情绪特征编码； 对所述心率数据进行有效计算以获取心率情绪特 征编码的过程， 包括： 获取所述心率数据在预设时间内的平均值， 并将所述平均值作为有效心率； 将所述有效心率与预设的心率阈值相比较以获取心率情绪特征编码； 其中， 若所述有 效心率大于所述心 率阈值， 则将所述心 率情绪特征编码记为 1， 若所述有效心 率低于所述心 率阈值， 则将所述心率情绪特 征编码记为0； 对所述表情情绪特征编码与所述心率情绪特征编码进行融合计算以获取多级情绪序 列编码； 其中， 对所述表情情绪特征编码与所述心率情绪特征编码进行融合计算以获取多级情绪序 列编码的公式为： 其中， 代表多级情绪序列编码； 代表表情情绪特征编码； 代表心 率情绪特 征编码；权　利　要　求　书 1/3 页 2 CN 114117116 B 3