(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210122201.3 (22)申请日 2022.02.09 (71)申请人 河北科技大学 地址 050018 河北省石家庄市裕翔街26号 河北科技大学新校区发展规划处 (72)发明人 刘涵　杜卓　赵立铭　孙亚楠　 徐泽靖　张震　姚赛　宋保贤　 罗中豪　 (74)专利代理 机构 石家庄新世纪专利商标事务 所有限公司 1310 0 专利代理师 巴少谦 (51)Int.Cl. G06K 9/62(2022.01) G06V 20/59(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于计算机视觉和传感器的疲劳度监 测系统 (57)摘要 本发明公开了一种基于计算机视觉和传感 器的疲劳度监测系统， 包括驾驶员人脸捕捉模 块、 驾驶员身体捕捉模块、 驾驶员身体状态监测 模块、 核心主控、 应答模块、 数据共享模块和异常 处理模块。 本发明能够很方便的部署到汽车之 上， 不会对汽车的运行产生直接影响， 能够不影 响汽车的安全行驶， 同时安装 方便， 经过测试， 该 方式相比通过汽车运行状态进行疲劳危险驾驶 的方式灵敏度提高4倍以上。 本发明的疲劳度检 测方式使用了包括司机身体内在状态和外在状 态的多项数据进行融合分析， 在保证疲劳度监测 精度的同时， 大大减少了疲劳误判的情况， 相比 于仅使用计算机视觉或仅使用佩戴传感器的疲 劳检测方式， 误判率减少40％以上。 权利要求书1页 说明书6页 附图1页 CN 114492656 A 2022.05.13 CN 114492656 A 1.一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在于： 包括驾驶员人脸捕 捉模块、 驾驶员身体捕捉模块、 驾驶员身体状态监测模块、 核心主控、 应答模块、 数据共享模 块和异常处 理模块； 所述驾驶员人脸捕捉模块、 驾驶员身体捕捉模块和驾驶员身体状态监测模块将采集的 数据传输至核心主控， 所述核心主控对对获得驾驶员人脸和驾驶员身体状态以及身体状态 数据进行处 理和分析； 所述应答模块 根据核心主控计算得到的疲劳度检测结果做出相应的应答反应； 所述数据共享模块将车内的数据实时的传输 到云端进行记录； 所述异常处 理模块， 在系统运行 出现异常时， 进行提醒和自我修复。 2.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在 于： 所述驾驶员人脸捕捉模块， 用于捕捉驾驶员的面部特征， 并通过对驾驶员面部进 行关键 点检测， 获取驾驶员面部器官运动行为， 从而 进行疲劳度评估。 3.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在 于： 所述驾驶员身体捕捉模块， 用于采集驾驶员坐姿， 通过驾驶员坐姿变化判断驾驶员疲劳 程度。 4.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在 于： 所述驾驶员身体 状态监测模块， 通过手环采集心率信息并变换为电信号。 5.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在 于： 所述核心主控是以jetso n nano为主体的gpu算力设备， 负责数据运 算。 6.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在 于： 所述应答模块包括手环和报警装置； 所述报警装置为安装在驾驶舱内的闪光灯、 音响和 醒神喷雾 。 7.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在 于： 所述驾驶员人脸捕捉模块通过神经网络的方式， 通过目标检测神经网络对人脸数据进 行训练， 使用训练好的人脸目标检测模型进行 人脸的定位。 8.根据权利要求7所述的一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在 于： 所述驾驶员人脸捕捉模块和驾驶员身体捕捉模块采用安装在车辆前挡风 玻璃的上端处 的红外摄 像头和高清摄 像头采集司机的头 部图像； 所述红外摄 像头和高清摄 像头通过 无线连接或有 线连接核心主控。 9.根据权利要求4所述的一种基于计算机视觉和传感器的疲劳度监测系统， 其特征在 于： 所述手环戴在司机手腕上， 手环与主控通过蓝牙连接传输数据。权　利　要　求　书 1/1 页 2 CN 114492656 A 2一种基于计算机 视觉和传感器的疲劳 度监测系统 技术领域 [0001]本发明涉及 一种基于计算机视觉和传感器的疲劳度监测系统， 属于监测系统技术 领域。 背景技术 [0002]当前现有的司机驾驶 疲劳度监测系统中， 大多数采用的监测方式较为单一。 [0003]专利公开号为CN103310590A， 公开了一种驾驶员疲劳度分析及预警系统及方法， 所述 系统包括摄像单元、 疲劳度分析单元、 报警装置； 摄像单元用以获取驾驶员的实时视 频 信息； 疲劳度分析单元用以接 收摄像单元获取的视频信息， 以此判断驾驶员是否疲劳；   疲劳度分析单元包括人脸捕捉检测仪、 人脸姿态识别装置、 活体识别装置、 人脸属性分  析 装置中的一个或多个； 报警装置用以接收疲劳度分析单元发送的报警信令， 发出报警  信 息。 本发明能够对驾驶员的疲劳度进行分析， 拥有足够高地识别准确度， 与现有监控  网络 能很好的兼容做到及时地预警， 且工作稳定， 易于升级和维护， 成本低。 本发 明能 够发现驾 驶员疲劳驾驶并能及时预警， 可有效地避免由疲劳驾驶造成的交通事故。  专利公开号为 CN207594736U， 公开了公开了一种基于车联网的疲劳驾驶检测提醒系统，  包括： 智能车载 终端， 智能车载终端包括与汽车的数据接口连接的接口模块、 与接口模  块连接的采集模 块， 以及与采集模块连接的通信模块， 采集模块用于获取行车数据； 脑  电检测模块， 其与采 集模块连接， 且用于检测驾驶员的疲劳度数据； 远程服务器， 其与  通信模块连接； 移动终 端， 其与远程服务器连接。 本实用新型通过采集模块分别采集行  车数据和驾驶员疲劳度数 据， 通信模块将数据发送给远程服务器， 远程服务器将数据进  行分析并将分析结果传输给 移动终端， 提醒驾驶员纠正驾驶行为， 解决了现有技术针对  驾驶员驾驶行为的监测不够客 观、 全面的问题。 [0004]如上两篇在先技术一部分只是通过计算机视觉检测司机状态， 一部分只是通过检 测车辆 运行状态来判断司机疲劳程度， 这两种方式检测到的结果置信度均较低。 发明内容 [0005]本发明所要解决的技术问题是提供一种基于计算机视觉和传感器的疲劳度监测 系统， 以 解决上述背景技 术中提出的问题。 [0006]为解决上述问题， 本发明所采取的技 术方案是： [0007]一种基于计算机视觉和传感器的疲劳度监测系统， 包括驾驶员人脸捕捉模块、 驾 驶员身 体捕捉模块、 驾驶员身体状态监测模块、 核心主控、 应答模块、 数据共享模块和异常 处 理模块； [0008]所述驾驶员人脸捕捉模块、 驾驶员身体捕捉模块和驾驶员身体状态监测模块将采 集的数 据传输至核心主控， 所述核心主控对对获得驾驶员人脸和驾驶员身体状态以及身 体状态 数据进行处 理和分析； [0009]所述应答模块 根据核心主控计算得到的疲劳度检测结果做出相应的应答反应；说　明　书 1/6 页 3 CN 114492656 A 3