图像源@ unslash
在充满活力的音乐中,一个少年踩着滑板穿过群山和西部公路。当你认为这是一个电影片段时,画面翻转,屏幕外的少年只是原地摆姿势。
以前这种效果往往是由专业团队搭建绿屏来实现的,现在有一家公司想用AI技术来“取代”绿屏,让人们在手机上拍摄时可以实时完成视频抠图。
这是Versa的新产品“绿屏人”,希望部分“取代”绿屏,让普通人也参与微电影短视频的制作。
如下图所示,用户默认输入“绿屏人”,也可以选择“梵高博物馆”、“行走欧洲”、“像素人”等其他视频场景。视频中的人像会被App自动映射出来,可以改变大小,也可以复制拼贴。据钛媒观察,目前产品中很多内置视频场景都是用户上传的。
用户可以在“绿屏侠”主页上选择不同的场景拍摄视频
Versa希望成为手机用Adobe,但前者的受众偏向设计师等专业群体,而Versa则希望降低创意设计的门槛。类似Adobe的家庭水桶,versa计划未来推出一系列产品,解决普通人在图片、摄影、视频、音乐等方面的创意设计问题。此外,除了移动终端,这些产品将逐渐登陆Pad和PC终端。
2018年8月,Versa推出了AI图像处理App“macaroun Playing with Pictures”,定位为“手机上的Photoshop”。其最重要的功能之一就是利用计算机视觉中的AI图像语义分割技术进行一键抠图,实现人与图像的分离。用户不仅可以一键推开游客照片中的路人,还可以穿梭在世界名画、阳光明媚的风景等各种场景中。
蔡天棋向钛媒透露,之后“金刚鹦鹉玩图”也会推出视频地图功能,但与“绿屏侠”不同,前者注重视频编辑功能,会对已有视频进行特效编辑;而后者重视拍摄过程,能够实时完成特效。
用户在产品的内容社区上传自己的作品
人工智能图像的语义分割是Versa产品的核心技术。从“金刚鹦鹉玩图”到“绿屏侠”,Versa产品的处理对象完成了从图像到视频的飞跃,两者都是基于AI图像语义分割,但后者面临更大的技术挑战。
那么,如何实现实时视频抠图,绿屏侠有什么样的想象力呢?
视频抠图技术之战
当金刚鹦鹉开始玩图片时,他只能把人和场景分开。现在他可以分离图像,分割几十个常见的例子。除了识别人,人体各个部位还有人的附属物等等。
视频抠图也是如此,多张图片的连续性变成了视频。帧数越多,人们看到的视频越细腻。电影的帧数是24帧/秒,而《绿屏侠》的频率已经达到30帧/秒,相当于一秒钟处理30张图片,一张图片大概需要33毫秒。
“绿屏人”视频示意图
在从图像抠图到视频抠图的过渡中,Versa团队曾经面临过一个问题:做实时视频抠图,AI模型操作选择云还是手机?
“我们决定将计算放在手机上,而不是云上。这主要是出于对实时处理、节约成本和个人隐私的考虑,”蔡天一告诉钛媒。
他补充说,首先,云中的处理往往有100毫秒的延迟,而《绿屏侠》是一个实时抠图来代替背景,有时延迟可以不是实时的。其次,视频处理在云中运行,需要比图像处理多30倍成本的额外负担,用户越多成本越高。第三,拍照录像是个人隐私,在云中会有安全隐患。实现手机运行是绿屏人App落地的首要条件。
像前段时间流行的FaceApp,一键就能让人变老。这个产品需要先上传到云端再做计算。不仅会受到网络情况的影响,还会被质疑上云会侵犯用户隐私。
但是在手机上运行视频抠图,技术门槛不低。这不仅需要在保证处理效果的同时,将云中的大算法模型缩减到手机,还需要能够提供足够计算能力的手机芯片。
在算法模型的升级上,Versa的AI实验室在今年3月完成了模型的小型化,实现了模型从云到手机的前提。
蔡天棋给钛媒举了一个例子:“如果用一台8000元的GPU电脑来分离景观,一张图片需要100毫秒,一秒钟只能制作10张图片;然而,Versa的算法模型一秒钟可以处理30幅图像,并且必须保证一定的精度。优化的人工智能模型增强了其处理能力。”
优化模型后,蔡天一发现很多芯片还是承载不了自己的ai模型,需要一个有足够计算能力的芯片。目前,“绿屏人”产品在搭载麒麟810芯片的华为荣耀9X新机型上推出,内置了华为开发的达芬奇NPU,可以为AI机型提供足够的计算能力支持。
“事情的本质是我们有一个好的AI模型。你敢有好的筹码吗?华为有,”蔡天一打趣道。
但是不同的芯片对AI语义分割的影响是明显的。蔡天一表示,如果在其他计算能力不足的手机上运行,必然会出现帧数减半、卡顿或者精度不足的情况。这也是该产品在华为荣耀9X机型上推出的原因。
“绿屏侠”不仅仅是工具
新技术带来新工具,新工具带来新玩法。
“除了18-25岁的年轻用户,很多跳广场舞的大妈现在都在用我们的产品。他们会把他们跳舞的照片放在荷叶中间,我们很高兴实现他们对普通人的创作梦想,”蔡天一告诉钛媒。
如何从工具到社区的转换是图像和视频处理工具面临的共同挑战。即使是美图秀秀的美妆修图工具,在改造内容社区的时候也会受挫。业内人士分析过钛媒,转型失败的原因是这类工具的社区里全是自拍照片,内容同质化,没有吸引力。
蔡天一也认为“用户的创意内容可以让社区内容更元。”为此,Versa官员还将引入话题,鼓励用户在社区中绘制和发布。
除了在C获得客户之外,Versa还在考虑与短视频广播公司和影视制作人合作。根据蔡天一的预测,夹层广告会给短直播视频产品带来广告收入。实时视频抠图还会降低传统绿屏特效和动作捕捉的成本,减少后期制作周期。随着不断的优化,影视制作的产业化效果在未来有可能实现。
Versa还推出了OpenAPI平台,为开发者和企业用户提供了风格渲染、人像分割、智能填充等多种图像API接口。,并为企业提供定制服务。
目前,Versa已完成红杉资本、正格基金、震云创投等三轮融资。去年12月,Versa从腾讯获得了数千万美元的A系列融资。Versa和上海交通大学联合建立了脑科学与人工智能实验室,去年在相关领域发表了100多篇论文。
蔡天奇告诉钛媒,Versa有三个加深方向:一是做得更精细,让边缘清晰,连头发都能画出来;第二是更快,希望每秒处理的帧数可以增加;第三更。我希望我不仅能挖出人,还能挖出更精细的物体,比如鞋子和衣服。
“你知道钢铁侠的眼镜‘伊迪丝’吗?你可以通过佩戴它们来扫描每一个物体。希望达到这种图像分割效果,处理的更快更多。”蔡天一说。
1.《手机视频怎么抠图 手机也能视频抠图,“绿幕侠”如何让人原地“环游世界”?》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。
2.《手机视频怎么抠图 手机也能视频抠图,“绿幕侠”如何让人原地“环游世界”?》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。
3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/yule/1534230.html