在CG动画中,面部表情捕捉非常重要。
一般传统的3D动画和表现方式是由动画师手工制作,也就是逐帧调好。
长期来看,这种手动的K动画方式暴露了很多问题,包括效果不理想,时间长。随着动画产业的快速发展,美国好莱坞开始使用“软件代”制作表情动画。
在CG行业已经发展的非常成熟的美国,我们可以从很多作品中看到他们使用了完美的面部表情捕捉技术。
未来主义会议
早在2013年,好莱坞工作室制作电影《未来主义会议》(Futurism Conference)时,就扫描演员的面部表情和动作,通过电脑生成人物角色表演。
指环王-咕鲁
电影《阿凡达》
如今,在许多受欢迎的电影中,那些涉及CG的电影离不开面部捕捉技术:《指环王》中的咕噜,《黑帮》中的大猩猩,《阿凡达》...乍一看,真假难辨。
图由腾讯科技提供
最经典的是《速度与激情》,其中主人公保罗·沃克不幸去世,但制作人通过CG技术“复活”了保罗。
但是这么重要的技术在国内还是空白色,基于这项技术我们可以看到行业内两个显著的现象:
(1)一直在借鉴国外技术(可能早就淘汰了),缺乏本土化和升级,CG动画容易出现尴尬局面;
②给别人做婚纱,大部分公司在国内卖的都是国外的软件,但是没有一家是独立研发的。
在国内面部表情捕捉技术已经习惯于借鉴国外成果的情况下,其实有一个中国团队打算在这项技术上取得重大突破。
一个叫做FACEGOOD的表情捕捉软件出现了。
Quantum Power是FACEGOOD的研发公司,与代表国外产品的国内公司不同。他们专注于技术研发,自成立以来已发表数十篇论文和专利。而FACEGOOD则是公司自主研发的成果,在各方面评价都有突出表现。
小燕必须先回忆一下这个豆瓣评分8.0的国产CG动画——
第灵曲
“创意是骨,中国文化是髓”,耗资数千万的国产3D巨系统自发布以来赢得无数赞誉。
激烈的战斗:
丰富自然的表情:
除了剧情本身的丰富,《地灵曲》还向我们展示了国产CG技术的巨大突破,尤其是面部表情捕捉技术。(关于《地灵曲》的详细分析,可以看肖帕推的文章《这个国产3D动画是虚幻引擎官方推荐的》。实时渲染成趋势?》)
一个动画师胜过一群人
《地灵曲》是国内第一部,也可能是唯一一部使用面部表情捕捉技术制作表情动画的动画网剧。
这一切都是基于FACEGOOD的技术支持。
虽然《地灵曲》是一部网剧,但制作团队是按照电影级标准制作的,只用了200-300个blendshape进行造型和装订。
其次,在表情动画的制作上,与国内其他使用语音生成表情的3D动画不同,FACEGOOD完全使用真人来捕捉,克服了3D动画中很多角色只有嘴巴没有表情的问题。所有角色都很生动,你可以从他们的表情中感受到丰富的情感变化。
最令人惊讶的是,所有那些美妙的面部表情都是由一个动画师负责的。
传统上可能需要10到20个人单独做表情动画。而FACEGOOD的制作过程非常简单,建模方法是通过扫描站以3D扫描的形式扫描真人。扫描后可以得到FACS表达集作为模型。表达式集分解独立表达式后,可以用于绑定。绑定后,模型可以由表达式捕获技术驱动。
人脸模型训练过程
“FACEGOOD大大缩短了我们的生产周期,而且它实现的人力比周班少。”
量子动力CEO王全伟解释说,如果采用传统的手动K表情动画,一分钟动画可能需要整整一周的时间,但如果采用面部表情捕捉技术,基于人工智能自动化的便利性,表情动画的创作可以在不到一个小时内完成。
这意味着,假设我们传统的K动画需要每天工作八个小时,努力工作一周才能完成表情动画,由于技术的发展,有可能实现高达90%的效率提高。
这在传统生产过程中是难以想象的。
分析:面部表情捕捉技术
FACEGOOD自诞生以来的一年多时间里,已经完成了三次软件升级。
FACEGOOD 1.0硬件
FACEGOOD1.0的拍摄场景
FACEGOOD 1.0
头部抖动的鲁棒性很差
我失去了所有的标记
FACEGOOD 1.0是FACEGOOD的雏形,硬件是有线的,不能同时捕捉很多人,算法鲁棒性低。
facegood2.0
健壮性更好
但是它还是会丢失
后来诞生的FACEGOOD 2.0使用全新的硬件,不仅支持无线表情捕捉,还大大提高了算法。
FACEGOOD3.0硬件
FACEGOOD 3.0
完全不受影响
现在发布的最新版本FaceGood 3.0,实现了“加分”和“不加分”的表情捕捉。
即使和国外知名的同类型人脸捕捉软件FACEWARE相比,FACEGOOD的性能也不逊色。
硬件方面,FACEGOOD 3.0已经支持多摄像头,实时抓拍技术已经在“地灵曲”中实现,并获得巨大成功。
目前,FACEGOOD正在尝试搭建一个表达式求解平台。在这个平台上求解表达式时,可以是离线也可以是实时,可以是2D也可以是3D,具体方法完全由用户自己选择。他们可以根据自己的项目需求选择适合自己的模式。
手机无标记点解决模式
小科普:面部表情捕捉方案
实时和非实时
一般来说,目前的电影制作是非实时的。非实时的优点是因为其计算时间很长,所以精度很高;实时就像实时脸,制作人可以实时看到他的动画。实时人脸表情捕捉具有很好的交互体验,但相对于非实时人脸表情捕捉,计算精度相对较低,很多细节无法捕捉。
2D和3D
三维人脸表情捕捉是通过三维重建来重建人脸表情。从直观的角度来看,2D和3D的区别其实就是一个摄像头和多个摄像头的区别。当使用多个相机时,将从多个角度重建3D人脸,然后通过人脸呈现表情。2D用一台摄像机捕捉表情。
“加一些”和“不加一些”
所谓“加分”,就是在做一个作品的时候,为了捕捉更多的运动细节,可以在某一点上增加一些标记点。
制作人举了一个生动的例子:“我再做脸颊的时候,因为脸颊本身很平,没有明显的特征,但是有很多动人的细节。比如你眨眼的时候,脸颊会动。当你需要捕捉这样微小的动作时,可以通过“加点”来提高动作捕捉的准确性。现在又增加了很多优秀的好莱坞作品。
而“无点”表情捕捉就是通过人脸识别直接捕捉。这样,捕捉精度会很低。它能捕捉五官,但脸颊等特征没了。
虽然表达式捕获的方案有很多,但是如何使用取决于项目。
量子动力CEO王全伟说:“比如只是为了做一款游戏,因为游戏本身的精度不高,所以可以简化抓取方案,相应缩短制作周期;如果要拍电影,需要提高拍摄精度。可以用3D,加点等。”
如今,FACEGOOD可以根据项目完全调整所需的捕捉方案,这对广大动画师来说无疑是福音。
稳定性+高精度=完美效果
面部表情捕捉技术的稳定性和捕捉精度始终是两个重要参数。
传统的面部捕捉往往显得不稳定。因为在拍摄过程中,演员身体的运动是不可避免的。当头部剧烈运动或相机抖动时,很容易失焦。
为了解决这个问题,量子动力学做了几次尝试,终于找到了解决问题的办法。
新发布的FACEGOOD 3.0版本增加了鲁棒性,演员快速移动时,镜头仍能保持较高的稳定性,不会轻易失焦。
您可以随意添加一些点,这使得该软件比其他类似软件具有明显更高的捕捉精度。
稳定的镜头和超高的捕捉精度带来完美的表情渲染效果。
渲染效果主要根据曲线来评价。嘴部重建的柔和度、噪声和精度都是评价最终效果的重要参数。FACEGOOD 3.0做到“全方位考虑”。最小化噪声,增加模型的灵活性,提高嘴部重建的精度,最终呈现给观众完美的效果。
虚拟偶像直播
在突破诸多技术壁垒后,量子动力透露,他们将计划进军虚拟偶像直播行业。
虚拟偶像其实是一个早期的概念。日本应该是第一个从这方面入手的。
2007年,CRYPTON FUTURE MEDIA基于雅马哈的人声语音合成程序开发了一个音源库,也称为Hatsune Miku。
这位绿发少女一上线,就赢得了极高的人气,成为全球第一位利用全息投影技术举办演唱会的虚拟偶像,“Hatsune Miku”甚至发展成为一种文化现象。
与虚拟偶像不同,虚拟直播是近几年才出现的。随着动作捕捉和表情捕捉技术的诞生和发展,这种新的娱乐内容正在慢慢流行起来。
量子动力也开始在虚拟直播方面做一些尝试。比如他们要和“地灵曲”合作打造一个全新的虚拟偶像。
“因为虚拟偶像直播有不可预测的优势。对于公司来说,这个虚拟偶像将是他们可以多次重用的资产。对于用户来说,虚拟直播让他们的偶像变得立体、智能、互动,而不仅仅是动画或电影中的静态图像。”
以虚拟偶像直播的形式,量子动力还将充分利用FACEGOOD的技术支持,做出更加“落地”的虚拟直播,而不是照搬日本内容。在虚拟直播中,会有主播和粉丝互动。当然,这些会放在二维3D场景中,也会增加一些炫目的效果。相对于正统的直播,会更像是一种游戏体验,里面会有一些修炼和修炼,而形式会趋于一对一或者一对多。
“我们永远不会宣传我们的软件有多强大,所有的判断都会交给用户。”
抱着这种态度,量子动力做了一个很大的决定——face good 3.0对用户免费。
下载链接详见微信微信官方账号“动漫学术党”!
在面部表情捕捉技术还是空白色的中国,量子动力开发的FACEGOOD已经突破了国外的技术壁垒。现在,他们选择使用互联网思维来推广他们的软件。但是目前国外同类型软件价格极高,FACEGOOD 3.0还是完全免费,下载使用没有门槛。
与销售软件相比,Quantum Power希望通过用户的个人试用,给FACEGOOD 3.0一个客观中肯的判断。
相信在不久的将来,中国人会在表情捕捉技术上取得更大的进步,打破国外的技术壁垒,做出自己的特色。
不知道这个国产软件能否帮助国产CG动画更上一层楼。
关注微信微信官方账号“动漫学术党”超豪华福利,等你!回复“干货”查看所有资源:皮克斯,奥斯卡,宫崎骏其人动画收藏,PS,SAI,AE教程,等等↓见下图↓
更多新鲜的动画信息,更多有趣的动画推荐,更多热爱动画的朋友,都在动画学院官网:www.donghuaxsp.com
1.《good动漫 提效高达90%?免费国产软件FACEGOOD要助力中国CG动画起飞》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。
2.《good动漫 提效高达90%?免费国产软件FACEGOOD要助力中国CG动画起飞》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。
3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/yule/1636063.html