怎么把2d转成3d看这里!Cinematic将过去的2D照片转换为身临其境的3D动画

看过去的照片有助于人们重温最珍贵的瞬间。去年12月，Google推出了Google专辑的新功能Cinematic照片，在拍摄照片时重现身临其境感，推导出图像的3D表现，模拟相机的运动和视差。

在本文中，Google将研究此过程背后的技术，并演示Cinematic照片如何将过去的2D照片转换为更具身临其境的3D动画。

深度估计

像许多最新的计算摄影功能（例如人像模式和增强现实（AR））一样，电影照片也需要深度图来提供有关场景3D结构的信息。在智能手机上计算深度的典型技术依赖于多视角立体，这是一种几何方法，可通过同时捕获不同视点（已知相机之间的距离）的多张照片来解决场景中物体的深度。在Pixel手机中，视图来自两个摄像头或双像素传感器。

为了在没有以多视图立体声拍摄的现有照片上启用电影照片，Google训练了具有编码器-解码器体系结构的卷积神经网络，以仅从单个RGB图像中预测深度图。该模型仅使用一个视图就学会了使用单眼线索来估计深度，例如物体的相对大小，线性透视图，散焦模糊等。

由于单眼深度估计数据集通常是为AR，机器人和自动驾驶等领域设计的，因此它们倾向于强调街道场景或室内场景，而不是休闲摄影中更常见的特征，例如人，宠物和物体。不同的构图和框架。因此，Google创建了自己的数据集，用于训练使用自定义5相机装置捕获的照片以及在Pixel 4上捕获的另一个人像照片的单眼深度模型。这两个数据集都包含来自多视图立体的地面深度，即对于训练模型至关重要。

以这种方式混合多个数据集可使模型暴露于更多场景和相机硬件中，从而改善了对野外照片的预测。但是，这也带来了新的挑战，因为来自不同数据集的真实深度可能会因未知的缩放因子和偏移而彼此不同。幸运的是，电影摄影效果仅需要场景中对象的相对深度，而无需绝对深度。因此，Google可以在训练过程中通过使用比例和位移不变损失来组合数据集，然后在推断时对模型的输出进行归一化。

电影照片效果对深度图在人的边界处的准确性特别敏感。深度图中的错误可能会导致最终渲染效果中出现伪影。为了减轻这种情况，Google应用了中值滤波来改善边缘，并使用在Open Images数据集上训练的DeepLab分割模型来推断照片中任何人的分割蒙版。遮罩用于拉远深度图的像素，这些像素被错误地预测为在背景中。

摄像机轨迹

在3D场景中为摄像机设置动画时，可以有许多自由度，并且Google的虚拟摄像机设置受专业摄像机装备启发来创建电影般的运动。这其中的一部分是确定虚拟相机旋转的最佳枢轴点，以便通过将眼睛吸引到对象来产生最佳结果。

3D场景重建的第一步是通过将RGB图像拉伸到深度图上来创建网格。这样，网格中的相邻点可能具有较大的深度差。尽管从“面对”视图中看不到这一点，但虚拟摄像机移动得越多，就越有可能看到跨越深度变化较大的多边形。在渲染的输出视频中，这看起来像是拉伸了输入纹理。对虚拟相机进行动画处理时，最大的挑战是要找到一条引入视差的轨迹，同时最大程度地减少这些“拉伸”伪像。

一旦相机离开“面对”视图，具有较大深度差的网格部分将变得更加可见（红色可视化）。在这些区域中，照片似乎被拉伸了，Google称其为“拉伸伪影”。

由于用户照片的频谱范围很广，并且它们具有相应的3D重构，因此不可能在所有动画中共享一条轨迹。取而代之的是，Google定义了一个损失函数，该函数捕获了在最终动画中可以看到多少拉伸性，这使Google能够为每张唯一的照片优化相机参数。损失函数不计算被识别为伪像的像素总数，而是在连接的伪像像素数量更多的区域中触发更多，这反映了观看者倾向于更容易注意到这些连接区域中的伪像的趋势。

Google利用来自人体姿势网络的填充分割蒙版将图像分为三个不同的区域：头部，身体和背景。在将最终损失计算为归一化损失的加权总和之前，将损失函数在每个区域内进行归一化。理想情况下，生成的输出视频没有伪影，但是在实践中，这种情况很少见。区域的加权不同会偏重优化过程，以选择更喜欢背景区域中的伪影而不是图像对象附近的那些伪影的轨迹。

在摄像机轨迹优化过程中，目标是为摄像机选择一条路径，使其具有最少的明显伪像。在这些预览图像中，输出中的伪像被涂成红色，而绿色和蓝色的覆盖层则将不同的身体区域可视化。

对场景

进行构图通常，重新投影的3D场景不能很好地适合纵向肖像的矩形，因此也有必要在保持输入图像的关键部分的同时以正确的右高宽比对输出进行构图。为了实现这一点，Google使用了一个深层神经网络来预测整个图像的每像素显着性。在以3D形式对虚拟摄像机进行构图时，该模型会识别并捕获尽可能多的显着区域，同时确保渲染的网格完全占据每个输出视频帧。有时这需要模型缩小相机的视野。

预测的每像素显着性的热图。Google希望作品在构架虚拟相机时包含尽可能多的显着区域。

通过Cinematic照片，Google实现了一个算法系统-每个ML模型均经过了公平性评估-可以协同工作以使用户以新的方式重现他们的记忆，Google对未来的研究和功能改进感到兴奋。现在，您已经知道它们的创建方式，请随时注意自动创建的电影照片，这些照片可能会出现在您最近在Google相册应用中的回忆中！