【剑灵捏人数据怎么导入】艾生| |ZegoAvatar面团面部技术分析面部

一、AI‘卷’实时交互

2021年，原宇宙概念席卷全球，国内各大工厂加快了线路布局，通过原宇宙为不同应用场景的相关内容生态赋予了能量。ZEGO是ID、“身临其境”、“低延迟”、“随时随地”四个元宇宙核心基础，它构建了基于交互式智能的业务逻辑，提出并落地了ZegoAvatar解决方案，并将AI视觉技术应用于虚拟图像，完成了业务与技术的无缝连接。

图1: avatar产品AI能力表

ZegoAvatar的基本功能包括面部表情跟随、语音驱动表情、AI面部特征识别(AI面部)、照片拍摄、面部检测、面部跟踪、面部密钥检测、头部姿势检测、3D面部重建和AI特征识别。

上次讲了对ZegoAvatar的面部表情后续技术分析，今天我们再来谈谈ZegoAvatar的AI面部部分！

第二，掐准脸部技术开发过程

首先来看一下“捏脸”的概念。“捏脸”是系统设置要素组合，用虚拟角色制作个性化图像。例如，重新组合脸部、眉毛、眼睛、发型等要素，将其搭配为头像作品。

1、关于面部开发过程。

2005年，国内出现了第一款能皱眉头的游戏《完美世界》。您可以在游戏中自定义角色图像以创建所需的形状。

当然，那时候也被称为“形象定制系统”，只能满足比较简陋、简单的五官更换功能。当时大多数玩家都是先选择系统库的脸型，然后选择发型，再选择五官模型，但是这个神奇的模式不仅给玩家带来了新的游戏体验，而且在后来的游戏中创造了“脸”系统。

2013年，《剑灵》 BS又普及了捏脸的游戏，还有非常好的脸部导入功能。可以直接把别人的捏脸数据导入自己制作的人物，这意味着捏脸的成本很低。

2018年国内新推出的热门游戏《逆水寒》提供了一个面部扭曲系统，可以动员面部数十个肌肉群，通过排列组合喷出无数可能性。

2、我们为什么要“皱着脸”？

对于我们为什么“掐脸”的问题，我们可以从审美标准、代入感、个性化三个方面来思考。

比较几代人的审美标准，可以发现随着时代的发展，人类的审美观和对美的要求在不断变化的规律。对服装、配色的追求也是如此，对游戏质量的追求也是如此。

无论是游戏还是虚拟社会，最重要的是“代入感”，对这一点的感觉最直观的是自己的玩家形象，所以强烈捏脸的游戏，给玩家代入感是无与伦比的。

捏脸也是寄托个性化表达的载体之一。如果你想用冷漠帅气的外表来表达人，你就给自己捏一张霸权总裁的脸。(伯纳德肖，SLARTOR)如果你想在外部世界展现出温柔愉快的样子，不妨使自己的虚拟形象柔软端庄。是你。

现在很多玩家的注意力正在从游戏中的“现力”转移到“弦乐”“现特色”。不管打开什么最近流行的网络游戏，玩家打扮和美化的钱永远不会少于能力的提高。(威廉莎士比亚、斯图尔特、Stuart)一张独特的虚拟角色脸在虚拟世界中已经成为社交的第二张名片，这也是与虚拟世界相连的桥梁。

三、ZegoAvatar面团效果显示

我将展示ZegoAvatar的拍照效果。

图2:脸部挤压效果

说明：

1.实验数据源是内部收集和付费收集，不包含用户隐私。

2.使用我们的产品Avatar SDK功能时，将对面部特征信息、声音特征信息进行本地处理，实现面部、表情跟随和声音驱动功能场景。必须授予使用摄像头、麦克风的权限。禁用此选项后，仅影响该功能，其他功能不适用。我们只在本地设备上脱机处理相关面部特征值信息、声音信息，不上传、后台存储或与第三方共享。

四、整体面部过程分析

ZegoAvatar的技术方案中拍照通过发送面部照片，获得了这张照片中人的性别、年龄、发型、脸、眼睛大小、眉毛位置、眉毛长度、眉毛类型、是否戴眼镜等信息，提供了与这个头像最相符的虚拟图像。

与传统的面部皱眉方式不同，ZegoAvatar摄影采用AI技术，自动生成自己的虚拟图像，使所有人的虚拟图像一刀切。我将详细介绍ZegoAvatar人脸算法的一般过程和整个体系结构。

1、AI技术在面团面部的具体应用

AI 捏脸涵盖的主要技术有：人脸检测、人脸对齐，性别分类，发型分类，及眉毛、眼睛人脸五官的属性分类等。

2、捏脸的大致流程

• 通过对输入图片的分析获取对齐后的人脸图片。人脸对齐后的图片分 2 种，一种是仅含人脸的图片（图片人脸占比100%），另一种是包含完整头发信息的图片（人脸占比 25% 左右）；
• 将对齐后的人脸图片送入性别分类模型中，得出性别；
• 通过判断性别来选择相应的捏脸推理模块，从而得到虚拟形象编码（含是否有胡子，脸型、发型等信息）；
• 最后通过虚拟形象编码生成定制化的虚拟形象。

图3：虚拟形象产出过程图

五、捏脸的效果难点攻克

为了得到最好的捏脸效果，我们在实际研发过程中需要很好的解决以下问题：

• 数据如何采集
• 如何保证结果准确
• 不同用户在不同使用场景的鲁棒性
• 效果如何保证

1、科学数据的采集

根据数据采集模块得到人脸属性数据，并通过数据矫正和增强后训练得到 AI 表情模型，具体分为以下几个部分：

a、数据采集：针对业务需求，我们购买和收集了人脸数据约 102 万张，并经过严格标注和验收；我们为此开发了一套可用于人脸属性的数据标注软件，用于获取人脸的性别、头发、胡子、是否带眼镜、皮肤等级等数据；

b、数据管理：我们还对一些难例在数据集上进行细分，尤其是对面部光线过暗、图像质量低、人脸角度过大等极端情况的数据进行了分类管理，在训练时可以对其进行不同的数据处理，如样本均衡，针对难例类型加入超参数均衡损失计算等在数据上进行训练优化；

c、数据增强：针对落地场景，设计了定制化的数据增强流程，丰富了训练数据的模式。

2、模型设计的主要思想

在捏脸推理模块中的网络模型搭建上，我们通过试验结果对比验证，设计一种性能和精度表现都非常不错的网络结构，主要包括提取图像特征的骨干网络和输出相应虚拟形象编码的输出头。结构图如下：

图4：网络结构示意图

我们尝试了 Ghostmodel、Mobilenet、Bottleneck、MicroNet 等思想的网络结构和训练策略，在反复测试验证下最终的骨干网络是由 CBA、Ghost Bottleneck、MobileVit Block 组成，结构如下：

图5：网络骨干（Backbone）示意图

其中骨干网络和输出头模块的具体结构如下：

图6：骨干网络和输出头模块结构图

其中 Ghost Bottleneck 通过“廉价“的操作（DepthwiseConv）获取“冗余“的特征图来实现模型的推理提速，并通过Bottleneck 思想将特征图的通道进行增加和减少进一步减少了参数量，其结构如下：

图7：Ghost Bottleneck

Transformer，MobileVit Block 可以通过较少的参数获取各个特征图中局部的表征信息和特征图对其他特征图的全局表征信息，通过特征之间相互“参照”，使得特征的表达更加准确，其结构如下：

图8：MobileVit Block

输出头采用的特征共享的结构，使具有相关性的子任务之间相互起促进作用，其结构如下：

图9：输出头

就这样搭建出了我们完整的网络结构：

图10：完整网络结构图

3、精心设计优化方法

设计不同的任务分支并针对类别进行细分，还采用的共享特征的机制利用任务之间的相关性辅助目标任务学习。

损失函数为:

在实际训练时我们不知道各个子任务之间的影响是否都是有效的，为消除多任务之间存在竞争关系，我们通过调整梯度，使每个 task 的训练率相同，从而可以自动平衡多任务 loss function 中的权重。举个例子，如果任务i收敛的很快，那么相对于其他子任务这个任务的

就应该减小，从而使其他任务对当前网络产生更大的影响。

总的来说，我们大致从以下几个方面进行优化：

a、从网络设计：

捏脸算法不是一个笼统 end-to-end 的算法，需要从很多维度提取特征进行细节分析。为了减少模型的消耗，我们很多模型都采取多任务辅助监督训练。中间辅助监督的思想最早在 2014 的 ILSVRC 冠军模型 Googlenet 中出现，后面在分割网络 PSPNet 中有借鉴，最近在 ECCV 2020 中提出的 LableEnc，更是说明将 ground-truth 标签映射到潜在嵌入空间上，作为辅助backbone 训练的中间监督信息在检测领域的有效性。结合我们实际任务，我们的多任务辅助监督训练与上面提及的中间辅助监督不一样，我们的中间监督不仅仅只使用 ground-truth，大多时候，我们设计的网络会使用多个任务协同监督一个主任务。

b、从数据处理：

数据处理，我们会根据我们实际需求，采用不同的数据增强，除此之外，为了减少计算量，在某些任务中，我们还使用重构图像的策略，X = AS，X 表示原图像，S 表示重构图像，A 表示基函数组成的矩阵。

我们的优化准则为：

其中，I(x,y) 表示原图像 X 上的像素，表示基函数矩阵 A 的第 i 个向量，表示 S 中的第 i 个响应值。通过优化准则，我们能够实现通过感受野响应相对强烈的信息表达整张图片所有信息。

c、从损失函数

损失函数的设计能够直接影响网络收敛的好坏，不同任务的损失函数不同，但其本质就是通过最小化损失函数求得全局最优。我们会通过具体任务定义不同的损失函数，或者在公开损失函数中根据我们需求加惩罚项或约束。

4、完美的捏脸效果

由编码结果直接生成虚拟形象，可能会出现脸型与五官或者发型“不搭噶“的情况。如何保证定制虚拟形象拥有更高的颜值，也需要依赖整个团队的配合。

一方面，开发同学在虚拟形象的渲染效果上不断的调试优化，在肤色的调节、阴影的渲染、毛发的渲染、高光效果上做了很多尝试；另一方面设计同学为虚拟形象设计的各种贴图素材，构建了完备的素材库。例如：眉毛类型、眼睛形状、睫毛样式、脸型、肤色等。

在技术不断钻研和美学角度审视的碰撞下，这样才使得 ZegoAvatar 最终的虚拟形象不仅有很高的精细度，还提供了十分丰富的捏脸自由度。

下面从 3 个方面简单表达捏脸环节的效果：

a、从性别上分析

性别识别，是捏脸最基础也是最关键的环节。因为角度，光照等外界因素，很容易识别错误，一旦性别识别错误，后面的捏脸程序，就会“越跑越偏”。为了平衡准确率和在移动端实时性，训练过程中尝试了很多 tricks，我们的性别识别，在不同国籍不同年龄不同场景不同表情组成的 5万测试集上，准确率能达到 96.7%。

b、从人脸外观特征上分析

性别识别结果之后，人脸上的外观特征识别尤为重要，比如是否戴眼镜，是否有胡子，胡子分布在哪里。这些人脸上明显的外在特征，如果识别不准确，捏出来的效果就会非常假。我们人脸外观特征模型，包括眼睛，胡子和胡子分布的识别，各维度的准确率分别为眼镜：99.5%、胡子：96.2%、胡子上下左右分布：95.0%。

c、从头发维度上分析

头发分析也是捏脸过程非常重要的一环，并且头发多个维度都具有多样性，在头发分析中，如果识别错其中一个维度，整体效果就会大大打折扣。我们的头发分析模型，囊括了 5 种长度，9 种刘海，2 种捆扎方式还有头发区域 4 种维度的信息，能够给到渲染模块非常细粒度的头发特征，从而渲染出非常逼真的头型。

ZEGO

ZEGO 即构科技根据 AI 产业发展变化，抓住适合自己技术能力的垂直应用场景，围绕虚拟社交和在线 KTV 场景核心问题挖掘，为用户打造个性化的虚拟形象。在制作 AI 捏脸时走了一些弯路，后来我们从围绕市场玩家的关注热点，又在整个团队的不断探索和验证、积极寻找突破口下我们的捏脸质量也越来越高。

莎士比亚在《仲夏夜之梦》中借人物之口说过，“想象的东西往往是虚无缥缈的，但在诗人的笔下，它们可以有形、有固有的实质，也可以有名字”。ZEGO Avatar 就如同莎士比亚笔下的诗人一般，为每个人定制个性化的虚拟形象，成功的开启了进入元宇宙时代的入口。

ZEGO 即构科技也将随着相关领域的技术成熟，将打造出赋予新的内涵和意义的数字人。从技术底层为内容开发者赋能，将虚拟技术更直接、更便捷、更高效的交付终端用户。

未来，我们可通过 AI 模型直接得出捏脸系数，真正做到千人千面！