利用CNN进行面部表情识别

本文是论文《Facial Emotion Recognition: State of the Art Performance on FER2013》的复现，感谢原作者Yousif Khaireddin和Zhuofa Chen。

本文采用的数据集是FER2013。

代码已开源至Github：https://github.com/icodexin/FER

面部情绪识别是指识别传达恐惧、快乐和厌恶等基本情绪的表情。它在人机交互中起着重要作用，可应用于数字广告、在线游戏、客户反馈评估和医疗保健等方面。随着计算机视觉技术的进步，在受控条件和一致环境下拍摄的图像中能够实现较高的表情识别准确率，从而使这一技术得到运用。在自然条件下，由于类内变异较大和类间变异较小，例如面部姿势的变化和表情之间的细微差异，表情识别技术面临挑战。

计算机视觉技术的发展一直致力于提高此类问题的分类精度。在图像分类中，卷积神经网络（CNN）由于其计算效率和特征提取能力而显示出巨大的潜力。它们是FER最广泛使用的深度模型。一个包含复杂自然环境条件的具有挑战性的典型数据集是FER2013。它在2013年的国际机器学习会议（ICML）上被引入，并成为比较情感识别模型性能的基准。该数据集的绩效因子估计为65.5%。基于此，我们使用FER2013数据集作为我们的研究对象。

在本次项目实践中，我们的目标是利用CNN训练FER2013数据集，并实现实时的表情识别系统。

为了训练FER2013数据集，我们参照ICML官方设计的训练（Training）、验证（Validation）、测试（Test）数据集的分割方法，即80%作为训练数据集，10%作为验证数据集，10%作为测试数据集。

为了能让我们的卷积神经网络对表情识别有更加可靠的自适应性，我们可以在神经网络的训练中使用数据增强（Data Augmentation）。基于批量（Batch）数据的实时训练方式，我们的数据增强方法如下表所示。

VGGNet是一种用于大规模图像处理和模式识别的经典卷积神经网络结构。我们的搭建的VGGNet变体如下图所示。

该网络由4个卷积级（Convolutional Stages）和3个全连接层（Fully Connected Layers）组成。每个卷积级包含两个卷积块（Convolutional Blocks）和一个最大池化层（Max Pooling）。卷积块由卷积层（Convolution）、ReLU激活函数和批标准化层（Batch Normalization）组成。批标准化能够加速神经网络的学习过程，减少内部协方差偏移，以及防止梯度消失或爆炸。前两个全连接层之后是ReLU激活函数。第三个全连接层用于最终分类，使用SoftMax激活函数。卷积级的作用是特征提取、降维和非线性。经过全连接层的训练，我们可以根据提取的特征对输入图像进行分类。

我们回顾基本的mini-bacth SGD方法，其原理是，采用训练数据的一部分，生成批量样本（mini-batch），然后对批量样本，使用随机梯度下降法（SGD）更新权值（weights）和偏置（biases），如下面的公式所示。

{ w j k l ←   w j k l + Δ w j k l = w j k l − η m ∑ ∇ w j l b j l ←   b j l + Δ b j l = b j l − η m ∑ ∇ b j l \left\{ \begin{array}{l} w_{jk}^l\gets\ w_{jk}^l+\Delta w_{jk}^l=w_{jk}^l-\frac{\eta}{m}\sum{\nabla w^l_j}\\ b_j^l\gets\ b_j^l+\Delta b_j^l=b_j^l-\frac{\eta}{m}\sum{\nabla b^l_j} \end{array} \right. {wjkl​← wjkl​+Δwjkl​=wjkl​−mη​∑∇wjl​bjl​← bjl​+Δbjl​=bjl​−mη​∑∇bjl​​

其中， η \eta η 就是学习速率，m是mini-batch的样本数量。

mini-bacth SGD的核心是对权值梯度 ∇ w \nabla w ∇w和偏置的梯度 ∇ b \nabla b ∇b，经过反向传播的方式进行更新。因此，我们也把基于SGD方法的神经网络称为BP神经网络。

进一步，我们使用动量（momentum）方法更好地完成对权值的更新。当使用SGD训练参数时，有时候会下降的非常慢，并且可能会陷入到局部最小值中。momentum的引入就是为了加快学习过程，特别是对于高曲率、小但一致的梯度，或者噪声比较大的梯度能够很好的加快学习过程。

我们引入速度变量 v = v 1 , v 2 , ⋯ v=v_1,v_2,\cdots v=v1​,v2​,⋯，其中每一个对应 w j w_j wj​变量。然后我们将上述公式中关于权值的梯度下降更新规则 w ← w ′ = w − η ∇ C w\gets w^\prime = w-\eta \nabla C w←w′=w−η∇C改成如下的公式。

{ v ← v ′ = μ v − η ∇ C w ← w ′ = w + v ′ \left\{ \begin{array}{l} v\gets v^\prime = \mu v-\eta \nabla C\\ w\gets w^\prime = w + v^\prime \end{array} \right. {v←v′=μv−η∇Cw←w′=w+v′​

其中, μ \mu μ是一个超参数，其值越大，则之前的梯度对现在的方向影响越大。

最后，Nesterov momentum是对momentum的改进，可以理解为Nesterov动量在标准动量方法中添加了一个校正因子。与momentum的唯一区别就是计算梯度的不同，Nesterov先用当前的速度v更新一遍参数，再用更新的临时参数计算梯度。即上述公式中的梯度计算先使用如下的公式。

{ g ^ ← + 1 m ∇ θ ∑ i L ( f ( x i ; θ + α v ) ) v ← v ′ = μ v − η g ^ w ← w ′ = w + v ′ \left\{ \begin{array}{l} \hat{g} \gets + \frac{1}{m}\nabla_\theta \sum_i{L(f(x_i;\theta+\alpha v))}\\ v\gets v^\prime = \mu v - \eta \hat{g}\\ w\gets w^\prime = w + v^\prime \end{array} \right. ⎩ ⎨ ⎧​g^​←+m1​∇θ​∑i​L(f(xi​;θ+αv))v←v′=μv−ηg^​w←w′=w+v′​

学习速率通常会影响神经网络的训练的效果，当评价指标不再提升时，我们应该降低学习速率，因为此时，较慢的学习速率能找到更精准的网络。

我们使用Reduce Learning Rate on Plateau（RLRP）策略：当评估标准停止提升时，降低一定的学习速率。当学习停止时，模型总是会受益于降低 2-10 倍的学习速率。我们检测某个数据并且当这个数据在一定“有耐心”的训练轮之后还没有进步，那么学习速率就会被降低。

对于网络的构建，我们使用本地环境先行验证。本地环境的版本参数如下表所示。

我们使用Kaggle提供的在线环境训练我们的神经网络，配置有GPU模块。

然后将训练完的模型，再适配至本地环境，进行真实的人脸表情识别预测。

FER2013数据集共有35887个样本，如下面的输出所示。

Output: (35887, 3)

我们使用的FER2013数据集，以CSV格式呈现，如下图所示。

其中，第0列是表情对应的数字类别，从0～1分别对应着表情：Angry（生气）、Disgust（厌恶）、Fear（害怕）、Happy（高兴）、Sad（生气）、Surprise（惊讶）、Neutral（中立）。

第二列是图像的像素数据，以行向量的形式呈现，使用空格分隔。像素值介于 [ 0 , 255 ] [0,255] [0,255]之间。

第三列是该样本的用途，有Training、PublicTest、PrivateTest。从输出结果可知，训练数据有80%的占比，测试数据和验证数据各占10%。

查看表情分类数据，如下图所示。

从上面的图我们可以知道，Disgust类的样本数量比较少，这是一个分布不太均匀的数据集。

上图所示的是一些样本的示例图片，其生成代码如下：

数据预处理部分，主要完成了下面四个事情：

经过处理后的各个子数据集的样本分布情况如下图所示。

各子数据集的输入和预期输出的形状如下：

我们的神经网络的整体结构已在前文中给出, 每个层的具体参数如下表所示。

具体代码如下所示，注意到代码中已经设置了SGD的具体优化参数。

根据前文，使用Keras框架自带的ImageDataGenerator方法，编写如下代码。

设置训练参数如下：

进行训练：

注意到，在上述代码中，使用了两个策略监测我们的网络：

部分训练输出信息如下：

我们观察到，训练过程中存在3次学习速率调整，最终在第49次迭代时提前终止训练。

代码如下：

通过观察曲线，我们可以得知神经网络后期存在轻微的过拟合现象。

我们对测试数据集，进行评估分析，代码如下：

输出信息如下：

最终，我们的VGGNet网络，对各个数据集的准确率，如下表所示。

绘制混淆矩阵，以分析表情之间是否会相互混淆，代码如下：

输出的混淆矩阵如下图所示。通过分析混淆矩阵，可知：Disgust比较容易和其他表情混淆，这是由于Disgust的样本数本身就很少。

将已经训练好的模型存入本地，使用摄像头实时捕捉人脸，并识别出相应的表情。我们的思路是，从捕获的图像中，先使用人脸检测器，检测出人脸区域，然后将该区域实施灰度化，并将图片大小缩放至 48 × 48 48\times 48 48×48，最后送入我们的模型，进行预测，得到相应的表情输出。相应的代码如下：

上述代码中，haarcascade_frontalface_default.xml是由OpenCV提供的人脸检测器。

识别效果样例如下图所示。

本系统实现了一种基于卷积神经网络的人脸表情识别模型，采用VGGNet神经网络，使用基于Nesterov momentum的SGD方法训练神经网络，并使用学习速率监测器减轻过拟合现象。最终，我们使用训练好的网络，构建出了可以实时识别人脸表情的一个系统。

本系统的识别精准度能够达到67%左右，尚有很大的提升空间，可改进的方向有：

通过本次项目实践，更好地掌握了有关机器视觉方面的理论知识，并与卷积神经网络结合，同时，增强了我们的实战能力。