(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221024373 6.6 (22)申请日 2022.03.14 (71)申请人 东北农业大 学 地址 150030 黑龙江省哈尔滨市香坊区长 江路600号 (72)发明人 周长建　梁云福　贾贺　 (51)Int.Cl. G06V 10/80(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G06Q 10/06(2012.01) G06Q 50/20(2012.01) (54)发明名称 基于多特征融合的在线课堂学生专注度评 价方法及系统 (57)摘要 本发明提供了一种基于多特征融合的在线 课堂学生专注度评价方法及系统， 属于教育信息 化及人工智 能领域。 所述方法包括： 从目标对象 在线上课视频片段中提取影响专注度评价的闭 眼次数、 闭眼时长、 哈欠次数、 转头次数、 转头时 长、 低头次数和低头时长7个特征， 并人工进行专 注度等级标注制作数据集； 并通过该数据集训练 深度学习模 型， 直至效果最优并保存训练好的模 型； 在实际应用时， 将该系统部署在教师端或服 务器端， 教师在线上课时通过将获取到目标对象 在线上课的视频片段内的7个参数值并将其输入 到已训练好的模 型， 可以预测目标对象的专注度 等级。 并设置阈值以提醒教师学生的状态， 为教 师在线上课提供参 考。 权利要求书2页 说明书5页 附图4页 CN 114663734 A 2022.06.24 CN 114663734 A 1.基于多特征融合的在线课堂学生专注度评价方法及系统， 其特征在于， 专注度评价 方法包括以下步骤： S1， 获取目标对象在线上课时的视频； S2， 检测目标对象头部区域及脸部区域， 并识别目标对象身份信息， 如果无法获取到目 标对象脸部信息， 则默认目标对象处于不专 注状态， 需要提醒教师进行干预； S3， 获取目标对象的眼部、 嘴部及头部姿态信息， 计算 眼部闭合程度值， 嘴部张开程度 值， 转头头角度值， 和低头角度值， 根据实际情况确定判定打盹时眼部闭合程度参数的阈 值， 哈欠时嘴部张开 程度参数的阈值， 以及判定转头或低头角度参数和的阈值； S4， 根据上述阈值计算单位时间内闭眼次数， 闭眼时长， 哈欠次数， 转头次数， 转头时 长， 低头次数， 低头时长； S5， 根据步骤S4获取的目标对象视频片段提取有关专注度的特征参数， 输入到训练好 的模型进行专 注度预测， 可以得到单位时间内目标对象专 注程度值。 2.根据权利要求1所述基于多特征融合的在线课堂学生专注度评价方法及系统， 其特 征在于， 所述获取目标对象专 注度参数值的方法， 包括以下步骤： S31， 使用人脸识别算法识别目标对象身份信息， 并定位到人脸框； S32， 利用步骤S31从检测到的人脸框获取目标对象面部图像 轮廓信息； S33， 由步骤S32得到的眼部轮廓和嘴部轮廓， 根据轮廓点的位置坐标计算目标对象眼 部轮廓点的长宽比作为眼部闭合参数值和嘴部轮廓点长宽比作为嘴部参数值， 并根据人工 经验设定这两个参数阈值， 判定其是否影响专 注程度； S34， 利用头部姿态估计算法计算目标对象头部旋转坐标， 并计算转头头角度值和低头 角度值， 并根据人工经验设定参数阈值， 判定其是否影响专 注程度； S35， 根据步骤S33和步骤S34得到的阈值参数， 可以统计单位时间内闭眼次数， 闭眼时 长， 打哈欠次数， 转头次数， 转头时长， 低头次数， 低头时长 。 3.根据权利要求1所述基于多特征融合的在线课堂学生专注度评价方法及系统， 其特 征在于， 所用的模型训练方法包括以下步骤： S51， 根据获取到的目标对象上课 视频， 并随机截取 大量相同时长的视频片段； S52， 根据人工经验标注每个视频片段标签类别为非常不专注、 不太专注、 专注、 比较专 注、 非常专 注5个类别中的其中1个； S53， 通过步骤S4提取到的影响7个专注度的因素特征， 加上人为经验打上标签值， 形成 专注度模型训练数据集； S54， 将数据集划分为训练集、 验证集和测试集三部分， 输入到深度学习模型进行训练， 通过参数优化和调优， 直至模型不再收敛为止， 将训练好的模型保存； S55， 模型训练完成后将其部署专注度分析系统中， 通过将获取到的视频信息划分为单 位时间视频片段， 获取视频片段内的7个参数值并将其输入到步骤S54训练好的模型， 可以 实现预测目标对象单位视频片段内的专 注度值。 4.根据权利要求1所述基于多特征融合的在线课堂学生专注度评价方法及系统， 其特 征在于， 所述 获取目标对象的视频， 可以是实时在线 上课视频， 也可以从本地上传 事先录制 好的视频。 5.根据权利要求1所述基于多特征融合的在线课堂学生专注度评价方法及系统， 其特权　利　要　求　书 1/2 页 2 CN 114663734 A 2征在于， 该 方法既可以部署在本地教师计算机端， 也可以部署在远程 服务器端。 6.根据权利要求1所述基于多特征融合的在线课堂学生专注度评价方法及系统， 其特 征在于， 该系统主 要分为数据获取 单元， 特征计算单 元和模型计算单 元。 7.根据权利要求1所述基于多特征融合的在线课堂学生专注度评价方法及系统， 其特 征在于， 所述方法可以应用于在线教育和在线会议场景。权　利　要　求　书 2/2 页 3 CN 114663734 A 3