(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210113156.5 (22)申请日 2022.01.30 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 李瑞金　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 陆飞　陆尤 (51)Int.Cl. G06K 9/00(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 40/16(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于指导教学的双模态情绪分类方法 (57)摘要 本发明属于人工智能技术领域,具体为一种 用于指导 教学的双模态情绪分类方法。 本发明通 过实验对受试者脑电信号和人脸图像数据进行 情绪分析， 探究最能调动学生积极性的教学方 式； 包括： 采集受试者在观看不同教学视频时的 脑电信号和人脸视频数据； 分别对两种数据进行 预处理， 将其输入到两个分类器中， 包括采用SV M 神经网络用于脑电信号分类； 采用CNN神经网络 用于人脸图像 分类； 最后将两个分类器的结果进 行融合， 得到最终的情绪分类结果； 与目前常用 的情绪分类方法相比， 本发明可提高情绪识别准 确率， 并且可用于指导教师设计教学方法， 提高 教学过程的有效性。 权利要求书3页 说明书7页 附图3页 CN 114492532 A 2022.05.13 CN 114492532 A 1.一种用于指导教学的双模态情绪分类方法， 通过实验对受试者脑电信号和人脸图像 数据进行情绪分析， 探究最能调动学生积极性的教学方式； 包括： 采集受试者在观看不同教 学视频时的脑电信号和人脸视频数据； 分别对两种数据进行预 处理， 将其输入到 分类器中， 进行情绪分类； 最后将分类 器的结果进行融合， 得到最终的情绪分类结果； 具体步骤为： 步骤一、 设计实验流 程， 准备实验视频； 步骤二、 采集实验过程中受试者的脑电信号、 人脸图像数据， 以及真实标签数据； 步骤三、 对所采集到的脑电信号、 人脸图像数据分别进行 预处理； 步骤四、 设计并训练子分类器， 分别将预处理后的脑电信号和人脸图像输入子分类器 进行情绪分类； 其中， 分类器采用SVM神经网络， 用于脑电信号分类； 采用CNN神经网络， 用于 人脸图像分类； 步骤五、 对两个子分类 器的结果进行融合， 得到最终情绪分类结果。 2.根据权利要求1所述的双模态情绪分类方法， 其特 征在于， 步骤一的具体流 程如下： （1） 准备一定数量的不同类型的教学视频， 长度均为1 ‑2min； （2） 招募若干实验者， 参与实验； （3） 准备脑电信号采集设别与录像设备； （4） 实验正式开始之前， 受试者被要求处于平稳状态下休息2min， 并记录下此 时平稳状 态下的脑电信号与人脸图像作为基准。 3.根据权利要求2所述的双模态情绪分类方法， 其特 征在于， 步骤二的具体流 程如下： （1） 每一 位受试者观看步骤一采集的教育 视频， 并收集脑电信号、 进行视频录像； （2） 在每一个视频结束之后， 受试者进行自我评估， 评估的内容包括唤醒度、 愉悦度、 喜 欢程度、 掌控度。 4.根据权利要求3所述的双模态情绪分类方法， 其特征在于， 步骤三所述的预处理的具 体流程如下： （1） 对脑电信号进行预处理； 采用32个活性AgCl电极采集脑电信号， 并对采集到的脑电 信号降采样到25 6Hz； （2） 将降采样后的脑电信号输入截止频率为2Hz的高通滤波器， 并使用脑电采集系统的 眼电干扰去除功能和伪迹去除功能， 去除眼电伪迹和肌电伪迹； （3） 考虑到脑电信号的一般带宽， 采用3Hz到47Hz的带通滤波器， 对步骤 （2） 处理后的脑 电数据进行 过滤， 并调整采样数； （4） 使用5个脑电波段， 分别 为theta （4 ‑8Hz） 、 slow  alpha （8‑10Hz） 、 alpha （8‑12Hz） 、  beta （12‑30Hz） 和gamma （30+Hz） ； 使用14个通道： AF3、 F3、 F7、 FC5、 T7、 P7、 O1、 AF4、 F4、 F8、 FC6、 T8、 P8、 O2， 共有70个特 征； （5） 对视频信号进行预处理； 将完整的录制视频按照每段实验测试 时间1‑2min截取， 并 在每段测试期间按帧截取图片， 得到多组 受试者人脸表情图片； （6） 为了减少冗余内容， 对每一帧图片进行人脸对齐和面部剪裁处理； 使用主动外观模 型AAM获取图像中的主 要像素点 坐标， 并将图片当中的人脸主 要轮廓标定出来， 进行裁 剪。 5.根据权利要求 4所述的双模态情绪分类方法， 其特 征在于， 步骤四的具体流 程为： （1） 将经过预处理后的脑电数据输入SVM神经网络中， 进行模型训练； 并调整SVM神经网 络的惩罚系数， 以取 得较好的分类结果；权　利　要　求　书 1/3 页 2 CN 114492532 A 2（2） 训练完SVM神经网络模型之后， 针对不同的受试者分别 进行唤醒度和愉悦度数值的 预测； （3） 将经过预处理后的人脸 图像输入CNN神经网络中， 进行模型训练， 将卷积层参数固 定； （4） 对步骤 （3） 训练后的CNN神经网络， 以较小的学习率在小数据 集上进行第二次训练， 微调参数； （5） 将同一个视频中所截取的不同人脸图像输入CNN神经网络， 得到唤醒度和愉悦度的 数值预测结果。 6.根据权利要求5所述的双模态情绪分类方法， 其特 征在于， 步骤五的具体流 程为： （1） 利用自适应增强算法融合信息， 将两个分类器作为AdaBoost的子分类器进行融合； 首先赋予每一组训练数据初始权值， 然后进行误差率计算； （2） 根据步骤 （1） 得到的误差率进行权 重的更新， 进行 下一轮误差率和权 重的计算； （3） 通过步骤 （1） 和步骤 （2） ， 得到最终的二分类情绪预测结果。 7.根据权利要求6所述的双模态情绪分类方法， 其特征在于， 步骤三的流程2中所述使 用脑电采集系统的眼电干扰去除眼电伪迹和肌电伪迹， 具体过程如下： （2.1） 眼电伪迹来源于受试者眨眼活动， 当眼睑覆盖眼球然后再离开眼球时， 会导致偶 极子电势差的急剧变化， 这种电势差变化会被脑电采集系统捕捉， 形成眼电伪迹； 采用脑电 采集系统中自带的去除眼电伪迹功能来去除； （2.2） 肌电伪迹来源于受试者肌肉活动时肌肉细胞的电位变化； 使用盲源分离技术来 移除伪迹； 其公式如下 所示：   （1） 其中， W为分离矩阵， S(t)为源信号输入； 通过求解分离矩阵W， 使得观测信号X(t)通过 该矩阵， 并分离出S(t)的各个组成； （2.3） 为了校正与视频刺激无关的脑电信号波动， 提取视频开始前五秒的脑电图信号 作为基准， 进行对照。 8.根据权利要求7所述的双模态情绪分类方法， 其特征在于， 所述步骤三流程 （6） 中所 述使用主动外观模型AAM获取图像中的主要像素点坐标， 并将图片当中的人脸主要轮廓标 定出来， 进行裁 剪， 具体过程 为： 步骤6.1： 使用主动外观模型AAM算法识别图像中的形状和外观特征， 从而进行图像切 割； 首先获取人脸图像中的68个主要坐标点， 坐标点的位置为： 分布在两侧眉毛 各6个， 眼睛 外围及瞳孔各5个， 鼻子四周及人中位置共12个， 脸部四周共15个， 嘴巴外围及牙齿共19个； 接着使用两组关键点坐标得到矩阵 ， 然后对每一段视频中所截取的不同帧表情进行排 列：   （2）   （3） 其中， 代表所截取的第一帧表情图片， 代表中性表情图片， 使用关键点坐 标通 过局部加权法LWM得到转换矩阵 ， 随后每一帧图像 都通过转换矩阵 对齐得到 ， 权　利　要　求　书 2/3 页 3 CN 114492532 A 3