中科视拓免费开放口罩人脸检测与识别技术

全民抗疫形势下，口罩已成为复工复产的标配。对于人脸识别技术厂商而言，两个应用需求应运而生：

1、检测人脸是否佩戴口罩；

2、在戴口罩的情况下依旧能够实现高精度人脸识别。

疫情初期，中科视拓紧急研发口罩人脸检测与识别技术，可以自动检测是否佩戴口罩，又能实时进行口罩佩戴场景下的人脸精准识别。近日，随着技术测试成熟，中科视拓将免费开放安卓版本口罩人脸检测与识别技术，提供给生产抗疫产品的公司，支持复工复产抗疫工作。（具体合作事宜请联系中科视拓在线服务微信号：18901207892）

△口罩佩戴检测

△口罩下人脸识别技术

中科视拓口罩人脸检测与识别技术作为SeetaFace人脸识别与感知计算解决方案的新亮点，应用部署方式灵活，能够单机应用、联网管理，还可以对接疫情平台。

对于社区、写字楼、学校等防疫一线，日常需要进行口罩检查、人员进出、防止陌生人进入等管理工作，人工排查费时费力。中科视拓口罩人脸检测与识别技术升级楼宇、电梯和出入口的人脸识别设备性能，实现无感通行、一脸通，内部人员可佩戴口罩直接刷脸进出，访客提前在系统后台申请登记后也可戴口罩刷脸进出。无接触式操作避免摘下口罩导致的交叉感染风险，同时有效减少人员排队聚集现象，提高工作人员排查和管理外来人员的效率。

对于商场商铺、高铁、机场等人员密集、流动性大的公共场合，口罩人脸检测与识别能够自动检测是否佩戴口罩，减少防疫工作人员工作量。人脸识别核验身份，抓拍的数据可对接公安平台，进行人员布控和人员聚集管控，也适用于公安抓捕遮挡面部的逃犯等安防场景。

口罩佩戴检测场景示例：

口罩下人脸识别场景示例：

技术原理

传统的人脸识别是通过全脸关键特征点定位来实现的，而口罩遮挡了鼻子、嘴巴等大部分面部有效信息，影响识别准确率。中科视拓口罩人脸检测与识别技术能够自动检测并去除口罩信息，对未被遮挡的部位进行关键点精准定位，从而实现人脸识别。

01

人脸检测

使用RetinaFace算法，基于MobileNet0.25骨干网络，使用掺入50%带口罩人脸的检测数据进行训练，得到可以同时检测戴口罩和未戴口罩人脸的检测模型。

02

口罩检测

在人脸关键点算法的基础上，通过多任务训练的模式，增加一个新任务用于人脸遮挡物分类（未遮挡，口罩遮挡，手部遮挡等等）的识别，数据组成上增加了20%比例的戴口罩数据和其他人脸遮挡数据，并使用一般关键点模型进行Finetune训练微调，最终得到可以同时进行关键点定位和口罩遮挡识别的模型。

03

戴口罩情况下的人脸识别模型训练

通过掺入了20%以上戴口罩的人脸识别数据集训练专门戴口罩识别模型，然后调整整个识别的Pipeline为先检测是否戴口罩，如果判断为带口罩则使用戴口罩的识别模型进行识别，否则使用常规识别模型进行识别。如下图示例：

04

SDK封装

TenniS(Tenser based Edge Neural Network Inference System)是中科视拓自主研发的AI算法部署框架，提供从多个训练框架到多种硬件平台的通用部署能力。

通常AI算法是由专门的训练框架（如TensorFlow、PyTorch、Caffe）训练之后，通过一定手段进行部署，根据部署平台的需求，封装成最终要使用的SDK。

TenniS框架的一般部署逻辑如下图：

TenniS部署算法结构图

中科视拓把核心的网络结构等价转换为TenniS的模块，从而完成结果的推理。部署框架采用相同的预处理，并使用更新后的人脸识别的几个步骤：人脸检测、关键点定位、人脸特征提取，都是采用这种方式。在人脸特征提取的过程中，“预处理”就是通过人脸对齐，得到对齐裁剪好可以直接提取特征的图片。这些经过“预处理”的图片，最终经过框架的推理，得出最终结果。

TenniS支持的框架和硬件

利用TenniS Module的高扩展性模型表达，中科视拓可以将各种深度学习的框架模型最终部署到各个运行平台上。利用TenniS提供好的兼容性底层，还可以在各个平台终端上部署自行标注的C SDK包。

2016年和2019年，中科视拓陆续开源了SeetaFace1.0人脸识别引擎和SeetaFace2商用级人脸识别算法。此次免费开放口罩人脸检测与识别技术，一方面可以与更多的开发者一起为企业、高校复工复产作出力所能及的贡献；另一方面也可以推动算法交流，加速AI行业协同创新。