supervision 悉尼科技大学CVPR 2018论文：无监督学习下的增强人脸关键点检测器

本文作者是悉尼科技大学博士生董宣仪。他根据CVPR 2018就业论文《注册监督:一种提高面部标志检测器精度的不受抑制的方法》为人工智能科技评论写了一篇独家解读稿。

据AI科技评论，本文作者是悉尼科技大学博士生董宣仪。他根据CVPR 2018就业论文《注册监督:一种提高面部标志检测器精度的不受抑制的方法》为人工智能科技评论写了一篇独家解读稿。

注册监管的总体框架

注册监督是一种训练人脸关键点检测器的算法框架，它可以以无监督的方式增强任何基于图像的人脸关键点检测器。丁苯橡胶利用视频中物体的平滑运动来升级现有的人脸关键点检测器。与其他人脸关键点检测算法相比，丁苯橡胶可以在不使用任何额外的人工标注信息的情况下提高检测器的性能。下图是SBR框架示意图。

丁苯橡胶使用的训练数据是标记图像数据和未标记视频数据。在训练过程中，SBR可以无监督的方式从视频中提取监管信息，优化检测器(神经网络)。在测试阶段，SBR训练的模型可以在图像或视频数据中达到较高的精度，使视频中的检测结果更加稳定。

注册监管培训流程

SBR的训练过程有两个损失函数。一个是检测器损失函数，另一个是定时配准损失函数。这两种方法可以互补，使人脸关键点检测器更加鲁棒。检测器损失函数作用于模型检测结果和手动标注，优化使得模型检测结果和手动标注尽可能靠近标注的数据。定时配准的损失函数是优化连续几帧关键点检测结果的定时一致性。具体来说，在输入两个连续的图像t-1和T并通过同一个人脸关键点检测器后，我们可以得到第t-1帧和第T帧的检测结果。我们通过Lucas-Kanade算法将第t-1帧的检测结果跟踪到第T帧，时间序列配准损失函数是为了使第T帧上的跟踪结果尽可能与检测结果一致。值得注意的是，Lucas-Kanade算法不需要训练，有封闭解，所以我们把Lucas-Kanade算法写成可微模块嵌入CNN。训练时，检测器丢失函数利用人脸外观信息，通过人工标注学习关键点检测器；定时配准的损失函数通过嵌入卢卡斯-卡纳德模块来保证定时的一致性。梯度可以通过卢卡斯-卡纳德模块传输到检测模型，使检测结果在相邻帧上一致。

是什么启发了注册监管的提出？

目前训练CNN模型需要大量的标注数据。但是标注大量数据需要大量的人力资源，手工标注往往不准确。如下图所示，16个关键点的位置用两个嘴巴标注在图片上，一种颜色代表一个关键点。我们给出九个标注器的标注结果，可以发现每个标注器对关键点的定位方差很大。这些标注错误会对训练和测试模型产生很大影响。所以我们在想，是否可以用一种不需要人工标注的监管信息来训练CNN模型。为此，我们提出了监督注册，它利用视频中相邻帧之间的时序一致性作为监督信息。

为什么文章显示注册监管带来的改善不多？

目前人脸关键点检测主要有两个评价指标，NME(归一化平均误差)和AUC(曲线下面积)。这两个评价指标可以很好地衡量检测结果与人工标注前的差距，但不能很好地反映模型在视频中的表现。普通人脸关键点检测器预测的关键点坐标在视频中会出现很强的抖动，但是SBR训练的人脸关键点检测器结果在视频中非常稳定。目前没有很好的方法来衡量这些改进，但是SBR的效果可以在演示视频中清晰的体现出来。

使用注册监管需要注意哪些细节？

丁苯橡胶的核心是时间序列配准损失函数，它依赖于卢卡斯-卡纳德跟踪模块，因此跟踪结果直接影响丁苯橡胶的效果。同时，探测器预测的坐标是卢卡斯-卡纳德跟踪模块的初始坐标，只有当初始坐标近似准确时，跟踪才有意义。因此，使用时要注意两点:(1)当探测器用标记图片初始化后，开始使用SBR训练。(2)选择无标记视频时，要注意视频分辨率、人脸大小、遮挡等条件，保证卢卡斯-卡纳德跟踪模块能够成功跟踪。

注册监管的相关资源

PyTorch实现:

https://github . com/face book research/supervision-by-registration

脸书研究博客:

https://research . FB . com/publications/supervision-by-registration-an-unsupervised-approach-to-improve-precision-of-face-landmark-detector

和

同时，

6月26日晚24:00(明晚)

批准后，工作人员会通过微信或电子邮件与您联系并出票)