超现实虚拟 Facebook发布了一项关于超现实虚拟化身的研究

据国外媒体报道，Facebook的AR/VR R&D团队Reality Labs发布了一份关于超现实实时头像方法的详细研究，扩展了以前称为“编解码器头像”的工作。

Facebook Reality Lab创建了一个系统，可以实时为虚拟头像提供动画处理，通过硬件实现前所未有的逼真度，并通过头部显示器内部的三个标准摄像头捕捉用户的眼睛和嘴巴。该系统能够比以往的方法更准确地表达特定个体复杂面部表情的细微差异。

本研究的重点不仅仅是将摄像头固定在头部显示器上，而是利用传入的图像来驱动用户的虚拟表情。解决方案在很大程度上依赖于机器学习和计算机视觉。其中一位作者说:“我们的系统实时运行。适合各种表情，包括鼓鼓的脸颊，咬咬的嘴唇，摇摆的舌头，皱纹之类的细节。这些细节在以前的方法中很难准确描述。”

该小组还发表了他们完整的研究论文，深入研究了系统背后的方法和数学。作品《通过多视角图像翻译进行VR人脸动画》发表在ACM《图形学学报》上，自称“图形学领域最重要的同行评议期刊”。本文由施-韦恩、贾森·萨拉吉、托马斯·西蒙和亚当·w撰写，哈利、斯蒂芬·隆巴迪、迈克尔·佩多奇、亚历山大·海普斯、王大为、埃尔南·巴迪诺和亚塞尔·谢赫合著。

这篇论文解释了这个项目如何涉及到创建两个独立的实验头，一个“训练”头和一个“跟踪”头。

这个训练头的尺寸更大，使用九个摄像头，可以捕捉到受试者面部和眼睛更宽的视野。这样做使得更容易找到输入图像和用户先前捕获的数字扫描之间的“对应关系”(决定输入图像的哪些部分代表化身的哪些部分)。根据该论文，这个过程是“通过自我管理的多视图图像翻译自动发现的，不需要人工注释或域之间的一一对应。”

一旦建立了对应关系，就可以使用“跟踪”标题显示。它的三个摄像头对准了“训练”头上九个摄像头中的三个。由于从“训练”头部显示器收集的数据可以更好地理解这三个摄像机的视图，因此输入可以准确地驱动化身的动画。

本文主要研究系统的精度。以前的方法生成逼真的输出，但是与表情形式相比，用户在关键区域的实际面部表情的准确性会降低，尤其是在极端表情和眼睛与嘴巴运动之间的关系中。

当你回过头来看实际情况，你会发现这部作品令人印象深刻。对于脸部被头部遮盖的用户，使用非常近的照相机镜头来精确地重建未遮盖的脸部图像。

虽然这种方法令人印象深刻，但仍然存在一些主要障碍。用户的详细初步扫描和“训练”头部显示的初始使用需要类似于“扫描中心”的东西，在那里用户可以扫描和训练他们的化身(当你在那里时，你也可以捕捉定制的HRTF)。在虚拟现实成为社会交流的重要组成部分之前，这样一个中心似乎是不可行的。但是，先进的传感技术和基于这项工作的自动通信建设的不断完善，最终可能会从家里带来一个可行的工作流程。