(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210112316.4 (22)申请日 2022.01.29 (71)申请人 北京旷视科技有限公司 地址 100096 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 申请人 北京迈格威科技有限公司 (72)发明人 周争光　金宇林　马志明　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 安卫静 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 40/40(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种攻击 检测方法和换嘴检测方法 (57)摘要 本申请提供一种攻击检测方法和换嘴检测 方法， 该方法包括： 获取待检测人脸视频； 基于待 检测人脸视频中的唇部区域， 对待检测人脸视频 进行活体检测， 获得活体检测结果， 以及， 使用神 经网络模型对待检测人脸视频进行换嘴检测， 获 得换嘴检测结果； 其中， 神经网络模型基于通过 合成得到的换嘴视频样本训练得到； 基于活体检 测结果和换嘴检测结果， 对待检测人脸视频进行 攻击检测， 获得攻击检测结果。 通过结合基于唇 部进行活体检测的活体检测结果和换嘴检测结 果， 对待检测人脸视频进行攻击检测， 从而避免 了在活体检测时没有进行换嘴检测， 导致难以识 别出被合 成的换嘴视频攻击的问题， 有效地提高 了对目标对象进行活体 检测的安全性。 权利要求书2页 说明书12页 附图4页 CN 114612817 A 2022.06.10 CN 114612817 A 1.一种攻击检测方法， 其特 征在于， 包括： 获取待检测人脸视频； 基于所述待检测人脸视频中的唇部区域， 对所述待检测人脸视频进行活体检测， 获得 活体检测结果， 以及， 使用神经网络模 型对所述待检测人脸视频进 行换嘴检测， 获得换嘴检 测结果； 其中， 所述神经网络模型基于通过合成得到的换嘴视频样本训练得到； 基于所述活体检测结果和所述换嘴检测结果， 对所述待检测人脸视频进行攻击检测， 获得攻击检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述使用神经网络模型对所述待检测人脸 视频进行 换嘴检测， 获得 换嘴检测结果， 包括： 基于所述待检测人脸视频确定进行 换嘴检测的多帧目标视频帧； 根据所述多帧目标视频帧和所述神经网络模型进行换嘴攻击检测， 获得换嘴检测结 果。 3.如权利要求2所述的方法， 其特征在于， 所述基于所述待检测人脸视频确定进行换嘴 检测的多帧目标视频帧， 包括： 针对所述人脸视频中的各帧视频帧， 对所述视频帧进行关键点检测； 基于所述关键点中的上嘴唇关键点和下嘴唇关键点之间的距离筛选目标数量帧处于 张嘴状态的视频帧， 作为所述多帧目标视频帧。 4.如权利要求2所述的方法， 其特征在于， 所述基于所述待检测人脸视频确定进行换嘴 检测的多帧目标视频帧， 包括： 从所述待检测人脸视频中抽取 出多帧视频帧； 确定所抽取的多帧视频帧中相邻两帧视频帧之间的差值图像， 作为所述目标视频帧。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述基于所述活体检测结果和所 述换嘴检测结果， 对所述待检测人脸视频进行攻击检测， 获得攻击检测结果， 包括： 判断所述活体检测结果是否满足第一目标条件， 以及， 判断所述换嘴检测结果是否满 足第二目标条件； 其中， 所述第一目标条件包括： 所述待检测人脸视频中的人脸是活体人 脸， 所述第二目标 条件包括： 所述待检测人脸视频中的人脸没有被换嘴； 若所述活体检测结果满足所述第 一目标条件， 以及所述换嘴检测结果满足所述第 二目 标条件， 则确定所述待检测人脸视频不存在攻击； 否则， 确定所述待检测人脸视频存在攻 击。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 通过如下过程合成所述换嘴视频 样本： 确定人脸样本 图像中的第一嘴巴区域， 以及， 确定目标视频的每帧图像中的第二嘴巴 区域； 根据所述第 一嘴巴区域生成所述人脸样本图像中的嘴巴所对应的掩膜图形， 分别将每 个所述第二嘴巴区域 填充至所述掩膜图形生成对应的掩膜图片； 分别将各个所述掩膜图片与所述人脸样本 图像进行融合， 获得多帧换嘴图片， 将所述 多帧换嘴图片合成所述换嘴视频样本 。 7.一种换嘴检测方法， 其特 征在于， 包括： 获取待检测人脸视频；权　利　要　求　书 1/2 页 2 CN 114612817 A 2确定所述待检测人脸视频中进行 换嘴检测的多帧目标视频帧； 根据所述多帧目标视频帧和神经网络模型对所述待检测人脸视频进行换嘴检测， 获得 换嘴检测结果； 其中， 所述神经网络模型基于通过合成得到的换嘴视频样本训练得到 。 8.根据权利要求7所述的方法， 其特征在于， 所述确定所述待检测人脸视频中进行换嘴 检测的多帧目标视频帧， 包括： 针对所述人脸视频中的各帧视频帧， 对所述视频帧进行关键点检测； 基于所述关键点中的上嘴唇关键点和下嘴唇关键点之间的距离筛选目标数量帧处于 张嘴状态的视频帧， 作为所述多帧目标视频帧。 9.根据权利要求7所述的方法， 其特征在于， 所述确定所述待检测人脸视频中进行换嘴 检测的多帧目标视频帧， 包括： 从所述待检测人脸视频中抽取 出多帧视频帧； 确定所抽取的多帧视频帧中相邻两帧视频帧之间的差值图像， 作为所述目标视频帧。 10.一种电子设备， 其特征在于， 包括： 处理器和存储器， 所述存储器存储有所述处理器 可执行的机器可读指 令， 所述机器可读指令被所述处理器执行时执行如权利要求1至6任一 所述的方法， 或者， 所述机器可读指令被所述处理器执行时执行如权利要求7至9中任一所 述的方法。 11.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器运行时执行如权利要求 1至6任一所述的方法， 或者， 该计算机程 序被处理器运行时执 行如权利要求7至9任一所述的方法。 12.一种计算机程序产品， 其特征在于， 包括计算机程序指令， 所述计算机程序指令被 处理器读取并运行时， 执行如权利要求1至6中任一项所述的方法， 或者， 执行如权利要求7 至9中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114612817 A 3