人脸考勤系统: 人脸考勤系统，yolo

基于人脸识别的课堂考勤系统

Contributor : datamonday

Github Repo : https://github.com/datamonday/Face-Recognition-Class-Attendance-System

Initial Blog : 基于人脸识别的考勤系统：Python3 + Qt5 + OpenCV3 + OpenFace + MySQL

Project Post : 2019.04.14

Last Update : 2021.05.26

完善本地人脸和数据库ID核验功能；

完善随机答题点名功能；

又到毕业季，终于有时间集中进行处理，为了让该项目更容易上手且更鲁棒，主要做了如下更新：

再看两年多前以前写的代码，发现很多都写死了，并且实现思路不甚清晰，导致修复bug的同时又会造成新的bug，所以重写了代码，并将需要修改的参数集中，方便移植。

新界面

暂未完成的一部分功能说明：


🎠本项目使用Python3.6开发（2021-05-23更新到Python3.8）。主要包括四部分：（1）前端界面设计：使用Qt Designer（QT5）设计主界面，PyQt5编写界面控件的槽函数。（2）人脸识别算法：使用Google在2015年提出的人脸识别算法FaceNet进行人脸识别，其中人脸检测部分使用OpenCV提供的ResNet-SSD预训练模型，使用OpenFace开源的基于Inception的FaceNet预训练模型。（3）活体检测部分，使用dlib库的眨眼检测来实现活体识别。（4）信息管理：使用PyMySQL实现学生信息，教室及课表信息，考勤信息的集中统一化管理。

本项目针对的是教师或者说是个人使用者这种小范围签到的情况，其实现机制也比较简单。近期也在探索实现全校人脸识别考勤信息统一集中管理，但具体实现比较复杂，相当于将考勤系统和人脸识别融合。一方面考勤系统本身逻辑比较复杂，考虑到的情况比较多，短期内难以实现；另一方面，人脸数据的采集和人脸识别算法的识别上限和准确率决定了能否落地，综合考虑时间因素和学习成本，故暂未更进一步。读者感兴趣可自行探索，欢迎提出建议和解决方案。

🐱‍👓本项目开始于2018年年末，大概持续了两三个月的时间，2019年4月发布博客并开源，2021年5月重构了代码库。因为本项目仅由一个人开发，能力精力有限，实现了预期的一部分功能，没有经过完整周全的测试，部分功能存在bug（例如活体检测可能出现界面卡死。），但在空余时间还在积极修复，争取实现初衷。如果有不懂的地方或者更好的建议，欢迎在评论区，github，交流群提出。

在开发过程中，遇到过许多难题，参考了很多教程，才有了这个项目。相信大家看到这里，一定是在科创比赛或作业中遇到了类似的问题，我也有过类似的经历，很清楚找不到解决方案，自己盲目摸索的苦恼，这也是我选择开源的原因，个人能力有限，但是希望本项目能给需要的小伙伴提供帮助。

声明：本人不提供有偿写代码，代做毕业设计，代写毕业论文服务，有违初衷，有这样想法的不用私信和添加好友了！有这时间还不如干自己喜欢干的事！本人也并未授权任何人代表本人提供有偿服务，谨防上当受骗！欢迎提出问题与建议，但不欢迎投机倒把。代码和教程已经是掰开了揉碎了，算是保姆级教程了，多花点时间看代码，很多问题都可以自行解决，别老想着让别人把东西喂到嘴边。

最后，善用Google，善用Stack Overflow。

打开官方地址并下载对应版本：

https://www.anaconda.com/products/individual#Downloads

如果追求轻量化，使用miniconda也可以，只不过没有navigator。

安装完成后，打开 Anaconda Prompt，并按以下步骤输入：

创建虚拟环境 fr ，设置Python版本为 3.8.0

激活虚拟环境

在新开的命令行，激活虚拟环境后，按如下步骤操作。

方式一：requirements.txt 安装

该文件是我在本地新建的测试通过的环境中所使用的的包，可以直接安装，避免了一个一个包安装的繁琐步骤。打开命令行并切换到该文件所在的根目录，输入如下命令：

注：本地环境生成requirements.txt的命令：pip freeze > requirements.txt

方式二：environment.yaml 安装

这是我在本地的conda虚拟环境，实现功能类似 requirements.txt，如果安装了anaconda的话，可以直接安装。需要注意的是该方式是直接创建一个虚拟环境，如果想在已有的环境中进行配置，则只需要按方式一即可。

注：导出本地的conda环境命令：conda env export > d:/environment.yaml

注意：需要先安装Visual Studio C++的Community版本或者专业版和企业版都可以，否则报错！只安装 installer 无效，仍会报错！如果之前没有安装VS内核，只安装了 installer，打开控制面板，右击修改安装，重启之后生效。

确认已经安装了VS，打开命令行，激活虚拟环境，直接命令安装即可：

安装比较耗时，大概几分钟，成功安装截图： 

使用 Qt Designer 设计前端界面。

通过信息采集界面实现，针对学生的人脸图片建库。

可以手动添加，可以自动采集人脸图像。注意：从自动转为手动方式时，画面会不显示，但不影响采集！

深度学习人脸识别流程可以总结如下（图自论文：I. Masi, Y. Wu, T. Hassner and P. Natarajan, "Deep Face Recognition: A Survey," 2018 31st SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI), 2018, pp. 471-478, doi: 10.1109/SIBGRAPI.2018.00067.）：

总的来说应用人脸识别分为四步：（1）人脸检测，对输入的图片应用人脸检测算法（本项目中使用OpenCV提供的训练好的ResNet-SSD模型）找出人脸的坐标，过程如下图所示：

（2）应用人脸校正算法，对人脸进行校正，将图像进行保持图片相对平行的基本图像变换，例如旋转和缩放 (仿射变换, affine transformations)，使得眼睛和嘴巴尽可能靠近中心，即目的是将非正视角的人脸校正到使两眼处于同一水平位置。如下图所示：

（3）使用人脸识别算法（本文中使用Google在2015年提出的FaceNet，论文 FaceNet: A Unified Embedding for Face Recognition and Clustering）对纯人脸图像进行特征提取，FaceNet是将人脸编码为128维的向量，又称为嵌入（embedding），这个属于在自然语言处理领域非常常用。下图是FaceNet的论文中描述的网络架构：

（4）如果是训练的话，上一步已经结束了，但是要应用人脸识别算法，还需要在下游任务上实现分类。故本项目中使用支持向量机（Support Vector Machine，SVM）实现对各人脸128维向量的分类任务。注意：SVM本质上为二分类器，请保证人脸数据库中至少包含两个人！否则可能导致闪退！ 当然也可以使用神经网络或者距离度量实现，可以自行探索。注：SVM使用scikit-learn提供的SVC API实现。

因为大量的摄像头设备（尤其是考勤中更少）都不是带景深信息的RGBD摄像机，所以无法当前的人脸图像是真人还是人脸，所以需要被识别人进行主动配合，例如眨眼睛（本项目中使用该方法），摇头（例如支付宝设置人脸支付）等，所以活体检测应用而生了。带有景深信息的摄像机一般分为两种，一种是以微软knits为代表的红外摄像机，例如很多笔记本上的人脸解锁。另一种是以苹果FaceID为代表的3D结构光相机。这些相机扫描的人脸均为3D图像，所以识别上更鲁棒，可以完美对抗视频和图片考勤。

但是对于2D摄像机来说，就需要活体检测。本项目中使用开源的dlib库实现人脸特征点的标定，主要利用眨眼的阈值和时长来确定是否为活体。

注意：目前存在一个bug：活体检测开启关闭之后，关闭人脸考勤，再关闭相机时可能导致界面卡死。

通过主界面的查看结果按键，可以查看当前考勤的结果，会在主界面左侧文本框中显示包含迟到和旷课的学生。

通过信息采集界面，实现连接数据库查询学生信息的功能。

通过主界面的补签和请假按键，输入学号，实现补签和请假登记，并写入数据库。

使用该软件是为了方便管理维护信息，如果有数据库基础，当然也可以选择其它方式。

关于本机配置MySQL环境的教程很多，此处不再赘述。仅给出本项目中的创建方式和表格信息。

其主界面如下：

Github：https://github.com/PyMySQL

项目中只使用了简单的写入、查询等几个常用命令，即使没有数据库基础上手也比较容易。例如：

本部分是打算实现针对全校的考勤系统设计，还不完善。

包含考勤的辅助信息

教室信息

学院各班级信息

教室课程时刻表

考勤日志

更详细的教程，稍后更新。

本部分描述了一部分我在调试过程中遇到的问题和解决方法。有部分已经解决，有部分限于时间还没解决。

总的来说闪退有两种情况导致：

原因：数据库的ID字段与本地人脸库的文件夹名称不一致！

原因：路径不对！

修改 GlobalVar.py 文件中的以下路径为你自己的：

路径不对！

注意：如果改变了目录树的文件夹名和文件名（主要是所用到的模型）的话，需要修改成你自己的。

在考勤结束后，查看考勤结果，如果有人未到，在补签或请假操作之后，应该将其从未到的结果总删除。

一般的人脸核验和考勤都是针对单次单人识别的情况，所以本项目的初衷也是采用这种方式，在使用时让单次单人进行识别。

导致这种情况有两个原因：

一是单人人脸图像太少，使用SVM的话，建议至少100张，我在实测两个人的情况下，100张效果还可以，不过有建议至少300张。

二是代码不够健壮导致的。代码中为了便于演示，识别到人脸就会进行签到，这是不够鲁棒的，如果出现了误识别就会将其他人进行签到入库。解决方法是：因为人脸识别是逐帧进行的，所以为了保证鲁棒性，可以将每一帧中识别到的最大的人脸保存到一个字典中，设定识别的帧数，比如30帧，统计这30帧中出现人脸次数最多的ID作为进行签到入库的结果，以此来过滤掉弱检测和误识别。这里仅提出我想到的解决方案，当然你也可以用自己的方式，具体如何修改可以自己尝试。

要避免考勤时间覆盖的问题。

1.修改execute中以下部分代码：