【ganlulu】想换什么就换什么！马斯克根面部修复新方法

from : sense time编译：T。r

人脸图像操作是计算机视觉和计算机图形学中非常重要的研究方向。自动表情生成和面部风格移动方向也不可或缺，成为化妆应用中重要的AI技术。面部操作主要分为语义和几何两个方向，但目前的方法大多局限于预定义属性的操作方法，限制了用户按照自己的意愿变形面部属性的自由。

为了克服目前系统自由操作的缺陷，商汤、香港中文和香港大学的研究人员提出了支持用户自由交互、多样性工作的新方法maskGAM。利用面部的语义面膜作为面部操作和面部信息的有效中介，在Mask空间进行的工作不是直接在像素空间操作图像，而是提高结果的多样性，为用户服务。

MaskGAN

MaskGAN有两个主要组件：学习从语义掩码到输出图像的映射的高密度映射网络(DMN)和负责为用户建模源图像掩码的编辑行为模拟培训部分(Editing Behavior Simulated Team)。

密集映射网络DMN由生成器骨干网络和空间注意的样式编码器组成。空间注意编码器使用图像及其语义掩码作为输入，将生成的空间注意的功能编码为图像，从而生成骨干网络。然后，图像生成网络根据空间注意的特点和语义掩码编码的特点生成相应的人脸图像。这个稠密的贴图网络可以帮助用户学习如何编辑遮罩和大象图像之间的精细样式映射。

DMN添加了空间注意编码器，用于将Pix2PixHD用作主干网络，以及整合大象图像和掩码之间的信息。然后生成器将这部分信息融合在一起，生成真实的图像。

空间注意的特性编码器及其空间特性转换层SFT

在编码器中，研究人员使用空间特征传输层学习仿射变换参数，通过提供参数，按通道和空间调整特征图，获得包含空间注记样式的仿射参数信息。然后，研究人员将使用自适应实例规范化获得的空间注意信息转移到主干网络上。

最终生成器部分的解码器通过输入掩码、遮罩和图像构成的空间信息编码生成最终图像。空间主义可以通过大象遮罩中的信息有效地将大象图像中的样式传递给源贴图遮罩和输出之间的映射关系。

培训中使用的遮罩来自大象图像，而实际骨干网络中的遮罩是源图像(或用户编辑的源贴图遮罩)。

编辑行为模拟培训部分用于对用户的编辑行为建模，生成的模型对各种编辑更加坚固。这主要包括以前获得的密集映射网络DMN、预先训练的MaskVAE和Alpha通道的融合子网。

其中MaskVAE由编码器-解码器组成，主要负责几何结构的先验流动建模。alpha融合子网络主要用于融合图像，以保持操作过程中的连续性。通过这些子模块进行的联合培训为各种用户编辑、输入时生成模型提供了更好的健壮性。

MaskVAE与自己的编码器非常相似，主要用于处理结构的先验信息。损失函数包括重建语义掩码的逐像素损失，以及控制隐藏空间中语义标签平滑的KL分支项。MaskVAE可以在隐藏空间中使用线性插值结果平滑地转换语义标签，如下图所示。

ail&_iz=31825&index=5" width="640" height="333"/>

整个变分自编码器通过下面的结构来进行训练，并最小化重建误差。

训练好的MaskVAE在整个方法流程中的主要目的是为输入掩膜分别生成内插和外插新掩膜，为后续的融合提供条件。

AlphaBlender的主要作用是保证图像操作的连续性，它可以维持融合结果与目标结果检测连续性。研究人员通过深度学习AlphaBlender来学习出融合参数合成最终图像。融合模型在训练过程中与与两个DMN进行联合优化。这一部分的模型被定义为融合生成器GB。

训练过程

模型的训练过程一共分为两个阶段，分别是对于稠密映射网络的预训练和针对用户编辑行为模拟的增强训练以提高生成器鲁棒性。

第一阶段的训练。首先需要利用基准图像It 和对应的掩膜Mt 训练稠密映射网络，使得模型学会从掩膜到图像的映射过程。随后利用预训练的映射模型DMN、MaskVAE，以及联合训练和AlphaBlender来实现。

第二阶段的训练。一张输入的掩膜通过MaskVAE (在隐空间中)经过内插和外插得到了两张不同的掩膜，而后与对应的GT图像与掩膜分别送入到两个稠密映射网络中生成出外插图像和内插图像；将两幅图像再输入到Blender模型中学习出融合参数的权重图，将图像进行最后的融合生成结果。在第二阶段的训练中，MaskVAE 的参数固定，而两个DMN 生成器和Blender 权重网络进行联合优化。

最终整个模型将通过多目标学习来进行联合优化，其目标函数包含了生成器的对抗损失、特征匹配损失和感知损失等，联合优化损失函数如下图所示。

CelebAMask-HQ

为了为人脸语义分割和属性操作打下更好的研究基础，研究人员在CelebA-HQ的基础上构建了包含30000张高分辨率512x512的人脸图片，包含了面部19类详细的信息标注。针对被部分遮挡的面部区域，标注员还进行了推断补全了语义标签。与先前的Helen 数据集相比，图像的数量扩大十多倍，同时标签的数量了也增加了近两倍。

最后研究人员从语义、几何、分布以及人类感知等方面对比了MaskGAN 和先前的算法，显示了在人脸属性迁移和风格复制任务上的性能差异。下面这张图显示了MaskGAN对于人脸特定属性（如笑容）的迁移能力，在视觉感知和几何层面都很强。

MaskGAN对于风格复制也可以很好胜任，相比于先前的方法它可以对于性别和妆容有更强的迁移能力。

此外还可以通过修改图像的语义掩膜来为图中的人物添加配饰、眼镜，改变发型、脸型和各种面部属性。

消融性分析显示，对于稠密映射网络，空间注意力风格编码器可以通过先验信息保持模型不受用于对mask修改的过度影响，同时也提高了从目标图像风格迁移的准确性。

而对于编辑行为模拟训练来说，有效地改善了模型对于人脸属性保持的鲁棒性，使得人类感知得分得到了大幅提升。下表中带十字的结果为增加了编辑行为模拟训练的增强结果。

上手玩

在作者的demo演示中可以看到，随意修改语义mask就可以改变生成图像的脸型、发型、面部各个部分的属性，还能添加耳环、改变眼睛，生成结果十分自然。

作者表示不久将放出人脸属性操作的源码，稍作等待就将在github上发布：

如果想要玩起来，一位开发者利用CelebAMask-HQ数据集训练了SPADE模型可以在下面这里找到, 也能实现类似的功能：

如果想要了解更多详细的信息，可以从论文发掘更多详细的信息：

ref:

CelebAHQ:

Other: dataset:

-The End-

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

将门创新服务专注于使创新的技术落地于真正的应用场景，激活和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。

将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。

将门创投基金专注于投资通过技术创新激活商业场景，实现商业价值的初创企业，关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在三年的时间里，将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”: bp@

点击右上角，把文章朋友圈

将门创投

让创新获得认可！

微信：thejiangmen

bp@