现有的人脸识别系统，在用户配合，采集条件理想的情况下，可以达到满意的效果。但在用户不配合、采集条件不理想的情况下，现有系统的识别率会急剧下降。比如在对比人脸的时候，和系统存储的人脸不一样。比如剃了胡子，换了发型，多加了眼镜，换了表情，都可能导致对比失败。
随着移动互联网的兴起，一些人脸识别技术的开发者已经将这项技术应用到了现场，比如快乐死灵(Happy dead ringer)，根据人脸轮廓、肤色、纹理、纹理、颜色、光照等特征，计算照片中主角与明星的相似度。
人脸识别被认为是生物特征识别乃至人工智能领域的难点研究课题之一。人脸识别的难度主要是由人脸作为生物特征的特性造成的。
类似
不同个体之间差别不大。所有的人脸在结构上都是相似的，甚至面部器官的结构和外观也是相似的。这一特征有利于利用人脸进行定位，但不利于利用人脸区分人类个体。
可变性
人脸的外观是很不稳定的，人可以通过人脸的变化产生很多表情，从不同的观察角度看人脸的视觉图像也有很大的不同。此外，人脸识别还会受到光照条件的影响(如白天黑夜、室内室外等。)，脸的很多遮盖物(比如口罩，墨镜，头发，胡子等。)，年龄等诸多因素。
在人脸识别中，类变化应该被放大作为区分个体的标准，而第二类变化应该被剔除，因为它们可以代表同一个个体。通常，阶级的变化称为阶级间的差异，第二种变化称为阶级内的差异。对于人脸来说，类内变异往往大于类间变异，这使得在类内变异的干扰下，利用类间变异区分个体变得异常困难。
传统的人脸识别技术主要是基于可见光图像，这也是我们熟悉的识别方法，已经发展了30多年。但是这种方法有不可克服的缺陷，特别是当环境光照变化时，识别效果会急剧下降，不能满足实际系统的需要。解决光照问题的有三维图像人脸识别和热成像人脸识别。但这两种技术都远未成熟，识别效果也不尽如人意。
一种快速发展的解决方案是基于主动近红外图像的多光源人脸识别技术。它能克服光线变化的影响，取得了良好的识别性能。整体系统性能在准确率、稳定性和速度方面都超过了三维图像人脸识别。这项技术在近两三年发展迅速，使得人脸识别技术逐渐实用化。