(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210285683.4 (22)申请日 2022.03.22 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 王柏润　刘建博　张帅　伊帅　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 董文俊 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于掩膜的活体检测方法、 装置、 电子设备 及存储介质 (57)摘要 本申请提供了一种基于掩膜的活体检测方 法、 装置、 电子设备及存储介质， 该方法包括： 对 双目相机同步采集的检测对象的可见光人脸图 像和近红外人脸图像进行特征提取， 分别得到第 一特征和第二特征； 基于可见光人脸图像中的第 一口罩掩膜， 得到第一特征的第一自注意力矩 阵， 以及基于近红外人脸图像中的第二口罩掩 膜， 得到第二特征的第二自注意力矩阵； 基于第 一特征、 第一自注意力矩阵、 第二特征和第二自 注意力矩阵， 得到检测对象的活体检测结果。 本 申请实施例有利于提升活体 检测的精度。 权利要求书3页 说明书14页 附图5页 CN 114663947 A 2022.06.24 CN 114663947 A 1.一种基于掩膜的活体 检测方法， 其特 征在于， 所述方法包括： 对双目相机同步采集的检测对象的可见光人脸图像和近红外人脸图像进行特征提取， 分别得到第一特 征和第二特 征； 基于所述可见光人脸图像中的第一口罩掩膜， 得到所述第一特征的第一自注意力矩 阵， 以及基于所述近红外人脸图像中的第二口罩掩膜， 得到所述第二特征 的第二自注意力 矩阵； 基于所述第 一特征、 所述第 一自注意力矩阵、 所述第 二特征和所述第 二自注意力矩阵， 得到所述检测对象的活体 检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第一特征、 所述第一自注意 力矩阵、 所述第二特征和所述第二自注意力矩阵， 得到所述检测对象的活体检测结果， 包 括： 基于所述第 一特征、 所述第 一自注意力矩阵、 所述第 二特征和所述第 二自注意力矩阵， 得到所述检测对象的第一活体 检测分数和第二活体 检测分数； 根据所述第一活体 检测分数和所述第二活体 检测分数， 得到所述活体 检测结果。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述第一特征、 所述第一自注意 力矩阵、 所述第二特征和所述第二自注意力矩阵， 得到所述检测对 象的第一活体检测分数 和第二活体 检测分数， 包括： 将所述第一特 征与所述第一自注意力矩阵相乘， 得到第一融合特 征； 将所述第二特 征与所述第二自注意力矩阵相乘， 得到第二融合特 征； 对所述第一融合特征进行特征提取， 并对提取出的特征进行概率计算， 得到所述第一 活体检测分数； 对所述第二融合特征进行特征提取， 并对提取出的特征进行概率计算， 得到所述第二 活体检测分数。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述基于所述可见光人脸图像中 的第一口罩掩膜， 得到所述第一特 征的第一自注意力矩阵， 包括： 对所述第一口罩掩膜进行插值和线性变换， 得到与所述第 一特征维度相同的第 一待拼 接特征； 将所述第一特征与所述第一待拼接特征进行拼接， 并对拼接得到的特征进行线性变 换， 得到所述第一自注意力矩阵。 5.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述基于所述近红外人脸图像中 的第二口罩掩膜， 得到所述第二特 征的第二自注意力矩阵， 包括： 对所述第二口罩掩膜进行插值和线性变换， 得到与所述第 二特征维度相同的第 二待拼 接特征； 将所述第二特征与所述第二待拼接特征进行拼接， 并对拼接得到的特征进行线性变 换， 得到所述第二自注意力矩阵。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 在对双目相机同步采集的检测对 象的可见光人脸图像和近红外人脸图像进行特征提取， 分别得到第一特征和第二特征之 后， 所述方法还 包括： 将所述可见光人脸图像切分为大小相同的M个可见光人脸子图像， 所述M为大于或等于权　利　要　求　书 1/3 页 2 CN 114663947 A 22的整数； 对于所述M个可见光人脸子 图像中的每个可见光人脸子 图像， 采用阈值分割算法对所 述每个可见光人脸子图像进行处理， 以从所述M个可见光人脸子图像中确定出包括口罩子 掩膜的N个可 见光人脸子图像， 所述 N小于或等于所述M且大于或等于1； 获取所述N个可见光人脸子图像进行阈值分割时确定出的N个阈值； 根据所述N个阈值、 所述N个可见光人脸子图像中的N个口罩子掩码和所述可见光人脸 图像， 得到所述第一口罩掩膜。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述N个阈值、 所述N个可见光人 脸子图像中的N个口罩子掩码和所述可 见光人脸图像， 得到所述第一口罩掩膜， 包括： 根据所述 N个阈值确定第一分割阈值； 对所述可 见光人脸图像进行图像级粗对准， 得到校正后的可 见光人脸图像； 采用所述第 一分割阈值对所述校正后的可见光人脸图像进行口罩掩膜分割， 得到第 一 参考口罩掩膜； 按照所述N个口罩子掩膜的每个像素点的位置信息对所述N个口罩子掩膜进行合并， 得 到第一合并口罩掩膜； 将所述第一 参考口罩掩膜与所述第一 合并口罩掩膜的交集作为所述第一口罩掩膜。 8.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 在对双目相机同步采集的检测对 象的可见光人脸图像和近红外人脸图像进行特征提取， 分别得到第一特征和第二特征之 后， 所述方法还 包括： 将所述近红外人脸图像切分为大小相同的P个近红外人脸子图像， 所述P为大于或等于 2的整数； 对于所述P个近红外人脸子 图像中的每个近红外人脸子 图像， 采用阈值分割算法对所 述每个近红外人脸子图像进行处理， 以从所述P个近红外人脸子图像中确定出包括口罩子 掩膜的Q个近红外人脸子图像， 所述 Q小于或等于所述P且大于或等于1； 获取所述Q个近红外人脸子图像进行阈值分割时确定出的Q个阈值； 根据所述Q个阈值、 所述Q个近红外人脸子图像中的Q个口罩子掩码和所述近红外人脸 图像， 得到所述第二口罩掩膜。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述Q个阈值、 所述Q个近红外人 脸子图像中的Q个口罩子掩码和所述近红外人脸图像， 得到所述第二口罩掩膜， 包括： 根据所述 Q个阈值确定第二分割阈值； 对所述近红外人脸图像进行图像级粗对准， 得到校正后的近红外人脸图像； 采用所述第 二分割阈值对所述校正后的近红外人脸图像进行口罩掩膜分割， 得到第 二 参考口罩掩膜； 按照所述Q个口罩子掩膜的每个像素点的位置信息对所述Q个口罩子掩膜进行合并， 得 到第二合并口罩掩膜； 将所述第二 参考口罩掩膜与所述第二 合并口罩掩膜的交集作为所述第二口罩掩膜。 10.一种基于掩膜的活体检测装置， 其特征在于， 所述装置包括处理单元， 所述处理单 元用于： 对双目相机同步采集的检测对象的可见光人脸图像和近红外人脸图像进行特征提取，权　利　要　求　书 2/3 页 3 CN 114663947 A 3