3d人脸识别图像算法之3D人脸识别技术原理知识

随着深度学习技术的发展，人脸相关任务的研究已经成为学术界和工业界的热门话题。众所周知的面部任务通常包括人脸检测、人脸识别、面部表情识别等。，主要使用2D RGB人脸(通常包含一些纹理信息)作为输入；三维扫描成像技术的出现为人脸相关任务——三维人脸开辟了一条新的探索路线。

相对于很多与2D人脸相关的任务入门文献/综述文章，3D人脸的入门知识还不够好。本文将回顾和介绍三维人脸的基本知识，并总结一些关于三维人脸识别和重建的基本介绍性文献。

到像平面点的过程，其中 f 为相机焦距。从相机坐标系到图像坐标系的过程可以用针孔成像来解释。本文用相似原理可以清晰地描述相机坐标系中点的过程，其中f为相机焦距。

从摄像机坐标到图像坐标的均匀表示

图像坐标→像素坐标

一般用像素值来表示2D图像，坐标原点通常是图像的左上角，所以像素坐标和成像平面坐标是有区别的，比如原点的缩放和平移

像素坐标和摄像机坐标之间的关系可以通过用摄像机坐标表示图像坐标来获得:

为了保证同质性(一般很多变换矩阵都有这个特性)，这里稍微改写一下:

也就是通常所说的Camera Intrinsics矩阵，k有4个与相机构造有关的未知数，f_x，f_y与相机焦距和像素大小有关，c_x，c_y是与相机成像平面大小有关的平移距离。

世界坐标→相机坐标

其实相机坐标系并不是一个特别“稳定”的坐标系，因为相机会随着自身的运动改变坐标原点和各个坐标轴的方向，所以需要一个更稳定的坐标系来更好的表示射影变换，而我们通常采用的恒定坐标系就是世界坐标系。

同样为了保证齐次性，其改写形式如下：同样为了保证同质性，其改写形式如下:

也就是通常所说的相机外部性。

从世界坐标系到像素坐标系相当于弱投影过程。总之，要把相机坐标系转换成像素坐标系。摄像机内部参数需要从摄像机坐标系转换到世界坐标系。

，其中

随着技术的不断发展，深度相机的出现让我们更容易捕捉图像的深度。深度相机之一是基于结构光的RGB-D相机。以人脸为例，扫描仪在目标表面发射光图案(如光栅)，并根据其形变计算出表面的形状，从而计算出人脸的深度信息。

,通过迭代的方法找到一组和，满足，即求解假设有两组点云:

豪斯多夫距离(Hausdorff distance)通过计算两个面的三维点云之间最近的点对之间的最大值来评估空中不同实子集之间的距离。然而，该算法仍然存在表达和遮挡问题。改进的豪斯多夫距离算法利用三维表面的轮廓来过滤数据库中的对象。

模板人脸法是从三维人脸上的种子点进行变换，适合被测人的人脸。拟合参数用于人脸识别，可以生成特定维度的人脸点云对齐方法。变形的面部模型。

基于人脸特征的三维人脸识别

基于人脸特征的三维人脸识别可分为局部特征和全局特征。更多信息请参见3D人脸分析:进展和前景。

局部函数有两个方面。一种是基于面部区域成分信息的特征，如鼻子、眼睛和嘴巴区域。这些特征大致可以分为基于面部关键点、曲率和分块的特征提取方法；描述子算法提取的特征，如从深度图像中提取小波特征，SIFT，2D-LBP，MRF，LSP，从3D数据中提取特征，如3D-LBP。全局特征可以对整个人脸进行变换，提取特征。人脸数据可以以不同的方式存储，如点云、图像、网格型三维人脸数据，如作为球面调和特征的三维人脸模型。(SHF)，或者使用稀疏系数作为特征，将3D面部表面映射到二维网格中进行稀疏表示。

2.深度学习识别方法

CNN在2D人脸识别方面取得了很大进展。然而，2D的脸很容易受到化妆、手势、灯光和表情的影响。3D曲面本身包含了人脸的空之间的形状信息，受外界因素影响较小。与2D人脸相比，三维人脸数据承载了更多的信息。然而，由于三维人脸数据获取困难，一些人脸数据缺乏准确性，三维人脸识别的发展并不是很热门。

基于深度图的人脸识别

深度图中人脸识别的常用方法有LBP提取、多帧深度图融合、深度图归一化等。这里简单介绍两张与深度图相关的人脸识别论文。

《深度归一化深度图像的鲁棒人脸识别》

本文认为深度图是一种常见的人脸识别管道，分为两个网络:归一化网络和特征提取网络。归一化网络负责将输入的深度图转换成HHA图像，并通过CNN网络返回3DMM的参数(如下文3D重建中所述)，在重建3D点云后可以投影到归一化深度。。特征提取网络基本类似于普通的2D人脸识别网络，获取代表深度图人脸的特征向量。

其中和分别为通过统计分析 PCA 得到的 shape 和 expression 基，使用 3DMM 模型重建人脸首先需要这两组基，目前使用较多的是 BFM 基【下载地址】（https://faces.dmi.unibas.ch/bfm/main.php?nav=1-2&id=downloads）【论文地址】（https://ieeexplore.ieee.org/document/5279762）。其中，它们是通过主成分分析的统计分析获得的形状和表达基础。使用3DMM模型进行人脸重建首先需要这两组基础。目前，BFM基地[下载地址](https://faces.dmi.unibas.ch/bfm/main.php？nav=1-2&。id = downloads)[论文地址](https://ieeexplore . IEEE . org/document/5279762)。

那么如何从2D重建3D呢？首先，我们必须了解3D模型是如何投影到2D平面上的。对于上述相机模型，将3D模型投影到2D平面可以表示为:

通过使用面部数据库来构建平均面部变形模型。在给定新的人脸图像之后，将人脸图像与模型匹配，并且修改模型的相应参数，以将模型变形为模型和人脸图像。差异最小化，纹理优化调整完成人脸建模。

一般的2D-3D重建过程使用监督方法来处理2D人脸关键词和3D顶点的正交投影上的关键点。