近年来, 人脸识别与指纹识别等利用生物特征识别进行身份认证的方式被广泛应用, 逐渐取代了传统基于令牌的方式 (例如按键、刷卡或密码等).基于生物特征识别的方式不但简单快速, 而且安全可靠[1].所谓生物特征识别是指利用人体的行为特征或是生物特征进行身份识别的技术.基于生物特征识别技术所建立的系统称为生物特征识别系统.长期以来, 生物特征识别系统采用单一的生物特征进行身份识别, 即单模态生物特征识别, 获得了不错的识别效果.然而, 使用单一特征的生物特征识别系统, 其正确率还有待提高, 更为重要的是这种识别系统的稳定性不是很好, 容易被作弊手段攻破, 例如通过伪造假的指纹或人脸来通过身份认证等[2].

为了提高身份认证的正确率和稳定性, 研究人员试图通过同时使用不同种类的生物特征来进行身份认证, 即多模态生物特征识别[3-4], 以期进一步提高识别的正确率和安全性.多模态识别技术的难点在于生物特征的选择以及融合方式的选择.在众多的生物特征中, 指纹由于其特征的唯一性和显著性, 是最为理想的生物特征; 而人脸则是最熟悉、最敏感和发展迅速的生物特征[5].目前, 基于人脸和指纹特征的身份认证具有广阔的应用前景和市场价值, 成为国内外研究者关注的焦点.本文首先分别回顾了人脸、指纹识别的研究现状; 然后对单模态生物特征识别面临的挑战进行了总结; 在此基础上, 为了解决单模态生物特征识别存在的问题, 重点讨论了联合人脸与指纹的多模态生物特征识别的方法和未来的发展方向.

人脸识别的研究始于20世纪60年代中后期[6], 经历了人工识别、人工交互识别以及自动识别3个阶段而日趋变得成熟, 并获得了广泛的应用, 初步实现了“刷脸”考勤、“刷脸”通关、“刷脸”支付等功能.人脸识别是将待识别的人脸图像与模板库中的标准图像进行比较, 从模板库中找出最相似的人脸图像, 以其标签作为待识别的人脸图像的标签, 其实现过程主要包括人脸检测和人脸识别[7].

人脸检测是从含有人脸的图像或视频中获得人脸的具体位置和大小.早期的人脸检测算法从包含简单背景的正面人脸图像中检测出人脸, 这些算法包括:基于几何特征的方法[8]、基于模板匹配的方法[9]、基于学习的方法[10-11]等.近些年提出的人脸检测的方法主要致力于复杂背景 (包含遮挡、光照、多视角等) 条件下的人脸检测.典型的方法包括:基于AdaBoost的人脸检测方法、基于可变形部件模型 (deformable parts model, DPM) 人脸检测方法、基于卷积神经网络 (convolutional neural network, CNN) 人脸检测方法[12].基于AdaBoost的人脸检测方法采用AdaBoost模型与肤色模型相融合[13-15].它充分利用了AdaBoost模型检测速度较快以及肤色模型检测精度高的优点, 获得了较好的检测速度与精度.DPM是目标检测领域中的一个经典算法, 它由Felzenszwalb等[16]提出.它能够较好地解决由于光照变化、人脸严重遮挡等单一条件变化产生的问题, 但是对于多种变化所产生的问题还未能有效解决.此外, DPM还存在运算时间长的缺陷.为了改善上述问题, 一些改进的DPM[17-19]加速方法被提出.CNN[20-22]是最新发展起来的一种学习方法, 基于CNN的检测算法在准确率和多目标检测中显示了较好的执行效果, 用于鲁棒地检测多视角、光照、遮挡条件下的人脸图像.

基于分类器的人脸识别的关键在于选择合适的分类器, 常用的分类器有最近邻分类器[23]、人工神经网络[24-25]、支持向量机[26]、隐马尔可夫模型[27]等.

近年来, 基于稀疏表示的分类方法引起了研究者的广泛兴趣.Wright等[28]将其成功应用于人脸识别, 通过求解L1范数最小化问题, 将查询样本表示成训练样本稀疏线性组合的形式, 解决了人脸图像的遮挡问题.之后基于稀疏表示的分类方法的改进算法[29-30]被提出, 通过与局部特征提取相结合, 从而提高了识别率, 为解决人脸识别中的遮挡、腐蚀和对齐问题提供了方案.进一步考虑到提高识别的速度, Zhang等[31-32]引入了协同稀疏表示的概念, 用L2范数替代L1范数.由于L2范数稀疏性不如L1范数, 继而提出了L1范数与L2范数相融合的范数[33].这些方法主要关注于遮挡、腐蚀、多视角、姿态变化等复杂环境下的人脸识别.此外, Liu等[34]还提出使用双线性稀疏表示的字典来识别人脸, 从而提高了人脸识别模型的性能.现实中人脸识别通常是一个非线性问题, 受核函数处理非线性问题中的启发, Yin等[35]提出了核稀疏表示, 将数据投影到一个非线性判别子空间进行人脸识别.总之, 现阶段的稀疏表示方法主要聚焦于解决目标函数的构建和特征空间的降维等问题.

目前, 基于深度学习识别人脸是人脸识别的发展趋势.2012年底百度将深度学习算法成功应用于人脸识别中, 不仅提高了识别的准确率, 还提升了在线学习的效率.一些顶级期刊也纷纷发表采用深度学习进行人脸识别的文章[36-38], 预计基于深度学习的人脸识别将替代“人工特征+机器学习”而成为主流方法.

指纹识别技术追溯于Lee等[39]的研究, 起初应用于刑事侦破方面, 后来逐渐商业化.近几年, 与指纹识别相关的产品陆续出现, 有加装指纹识别功能的手机、ATM提款机、指纹考勤系统、指纹门禁系统等.由于指纹识别具有唯一性、易采集和较稳定的特点, 因此成为目前使用最广泛的一项生物特征识别技术.指纹识别技术的研究主要包括指纹预处理、特征提取、特征匹配3个部分.

图像预处理作为指纹识别的第一步, 目的是从采集到的指纹图像中去除噪声, 得到清晰的点线图, 主要包括图像增强、图像分割和细化等主要步骤.a.在图像增强[40]中, 考虑到指纹纹理的方向性, 最典型的方法是Gabor滤波器, 该算法利用了Gabor具有频域和方向选择的特性, 之后的算法重点是对于潜在指纹或是低质量指纹的改进Gabor算法的研究.例如, 正交曲线的Gabor滤波器[41]、傅立叶域的方向滤波[42]、弯曲Gabor滤波器的方向场和频率场估计[43]等, 此外还将稀疏表示的概念应用到指纹增强算法中[44-45].b.在图像分割中, 需要将指纹图像作为前景图像从完整的图像中分割出来, 以便后续的细化处理.c.在图像细化中, 主要目标是将指纹图像变成单像素连接图.文献[46]给出了基于邻域搜索的OPTA (one-pass thin-ning algorithm) 指纹细化算法, 将图像转化为单像素连接图.

在特征提取中, 一般使用的指纹特征包括全局特征 (奇异点) 和局部特征 (端点、分叉点和脊线).对指纹图像提取特征后, 可用于后续的指纹匹配和分类工作.指纹特征提取涉及的主要技术包括指纹方向场和频率估计、指纹分割增强、纹路提取细化、节点提取和过滤以及脊线数计算等[1].

特征匹配是指纹识别的最终目标, 主要方法包括基于图匹配和基于特征点匹配的指纹识别方法.基于图匹配的方法在低质量指纹识别中具有明显的优势.基于特征点的匹配方法是现阶段研究最多的匹配方法, 可以细分为如下3大类:基于单个特征点、基于杆特征 (矢量线段) 以及特征点组的匹配[47].

现阶段, 指纹识别和人脸识别等单模态的生物特征识别方式已经取得了突破性的进展, 在许多场合也得到了应用, 但也面临许多挑战, 主要表现为:

a.  正确率.

人脸识别中, 人脸变化是影响识别性能至关重要的因素, 既包括化妆、整形、头发遮挡、胡须等内在因素, 也包括光照、成像角度等外在条件因素; 指纹识别中, 指纹图像是影响指纹识别的关键因素, 低质量的指纹图像由于计算纹路方向和频率困难, 导致难以进行图像分割和特征点的提取.此外还有传感器端引入的噪声信号也会增加错误拒绝率.

b.  独特性.

单模态的生物特征识别虽然在技术方面有了很大的突破, 但是当要选择某一种模态时主要依赖于具体的应用而异, 因为没有一种模态在许多方面都很好, 都胜过于其他.通过大量的科研结果表明, 人脸识别在识别率和安全性上要高于指纹识别, 即当人脸识别利用红外扫描, 进行人脸特征点的立体扫描时, 要想破解是非常不容易的, 而指纹识别比人脸识别在速度上要快, 一些类似于公司考勤、手机解锁等大都采用的是指纹识别系统.

c.  适用性.

当采集设备存在局限性或者当人因身体原因而不能提供所需的生物特征或提供的生物特征质量低下时, 单模态识别过程将变得比较困难.例如, 一些特殊的场合中, 摄像机不能够近距离地靠近人体, 造成摄像机距离人体较远, 从而捕捉到的人脸图像分辨率较低、畸变较大, 以至于人脸识别困难; 在指纹采集时, 有些人因手指残疾、手指受伤或手出汗, 以致无法进行指纹图像采集或者采集到的指纹图像不理想, 从而增加指纹识别难度.

d.  安全性.

伴随着科学技术的发展, 信息攻击、窃取和复制变成了一件简单的事情.如美国斯坦福大学科研团队近期研究了一项“Face2Face”的新技术, 可以通过某个人的人脸动作去控制目标对象的人脸动作, 轻易实现名人的人脸表情和动作的复制; 又如, 新闻中经常会看到黑客窃取人脸或指纹信息, 从而攻破安全系统的监控, 实施犯罪活动.

由于使用人脸或指纹等单模态特征进行生物特征识别具有一定的局限性, 受多源信息融合能降低错误率、增强稳定性的启发, 近年来国内外掀起了多模态识别研究的热潮.多模态生物特征识别通过融合不同种类的生物特征进行身份识别, 实现不同特征之间的优势互补, 以提升生物特征识别系统的性能.相比单模态, 多模态具有更广的适用性、更高的安全性和更好的准确性, 其主要思想是在单模态识别技术的基础上, 综合利用来自不同种类的生物特征, 采用信息融合技术在某一层或多层进行信息的融合, 最终获得融合后的识别结果[48].由于人脸和指纹特征是生物特征识别中最为普遍采用的特征, 研究人员试图联合人脸与指纹特征进行多模态生物特征识别.

联合人脸和指纹对生物特征进行识别的关键步骤是信息的融合.根据融合的层级不同, 可分为[2]:传感器层融合、特征层融合、匹配层融合、决策层融合.

传感器层融合是在硬件采集数据阶段即对数据进行融合, 以便减少数据采集的硬件投入.目前, 有些传感器还可以在数据传输开始前在传感器本地端进行初步的数据处理, 将处理后的结果传给后续处理的终端, 减少数据的传输量, 提高数据传输的效率, 改变所有的数据处理流程都放在终端的模式, 从而降低终端的工作压力.

特征层融合需要对提取出的人脸和指纹特征进行融合, 并利用降维算法对特征进行降维表示.特征层融合的核心目标是通过融合后找到更加显著的特征, 从而提高生物特征识别的正确率和稳定性.

匹配层融合的思想在于:为了衡量待识别的生物特征与模板库中的匹配模板的相似程度, 每一种生物特征识别系统需要提供一个匹配参数, 而匹配层融合就是通过把不同的匹配参数进行融合来进行身份认证[49].匹配层融合是多模态生物特征识别的重点研究内容, 很多研究人员关注于此问题的研究.

决策层融合是将每个独立的识别系统的结果进行融合, 得到更加鲁棒的结果.对每个识别系统的结果进行投票是最常见的方法之一, 此外卡尔曼滤波方法也常常被用于进行决策层的融合[50].

图 1详细地给出了联合人脸与指纹的多模态生物特征识别的框架图, 在此框架图中, 最底层的是传感器融合层; 对传感器采集得到的人脸和指纹数据进行特征提取后可以进行特征层的融合; 在当前待识别的特征与模板库中的特征进行匹配的阶段, 可以进行匹配层融合, 从而提高相似度计算的正确性; 最后的决策阶段, 可以对独立的识别结果进行决策层融合, 从而使最终的识别结果更加正确和鲁棒.

由于联合人脸与指纹的多模态生物特征识别具有更好的正确率和稳定性, 可以预见, 其在将来的实际应用场合将具有更加广阔的应用前景.这一领域将会吸引更多的研究人员加入, 可以在如下方面进行更深入的研究.

a.  克服特征空间的不兼容性.

对于特征空间的不兼容问题, 主要依赖于提取互补的特征以及建立合适的特征级融合规则.如在人脸和指纹的多模态识别中, 人脸的PCA特征和指纹的细节点特征被证明是一组互补的特征.研究者可以进一步发掘更多互补的特征.

b.  探索对融合后得到的高维特征进行稀疏表示的新方法.

不同源的特征经过融合后, 所得到的新特征往往维度很高.高维的特征将使后续的计算需要更多的时间, 需要更为强大的硬件进行支撑.因此, 在研究融合后的特征进行稀疏表示的方法中, 得到低维度的显著特征将会降低后续计算的时间成本.特别是在针对大数据的实时应用场景中, 这显得极为重要.

c.  联合人脸和指纹样本进行协同学习的新方法.

不同的生物特征识别系统, 其学习过程往往是独立的.能否在学习的过程中让不同种类的样本进行交叉, 即将不同种类的样本加入对方的训练集进行协同学习, 以期取得模型构建上的突破, 这也是非常值得尝试的新思路.

d.  基于深度学习的识别新方法.

深度学习作为机器学习领域革命性的技术, 正在各个应用场合取得突破.在人脸和指纹识别领域, 深度学习必然也会有所作为.在联合人脸和指纹进行多模态生物特征识别的研究领域, 引入深度学习的框架, 可以进一步地提高识别的正确率和稳定性, 值得研究人员进行尝试.