手机视频怎么抠图 手机也能视频抠图，“绿幕侠”如何让人原地“环游世界”？

图像源@ unslash

在充满活力的音乐中，一个少年踩着滑板穿过群山和西部公路。当你认为这是一个电影片段时，画面翻转，屏幕外的少年只是原地摆姿势。

以前这种效果往往是由专业团队搭建绿屏来实现的，现在有一家公司想用AI技术来“取代”绿屏，让人们在手机上拍摄时可以实时完成视频抠图。

这是Versa的新产品“绿屏人”，希望部分“取代”绿屏，让普通人也参与微电影短视频的制作。

如下图所示，用户默认输入“绿屏人”，也可以选择“梵高博物馆”、“行走欧洲”、“像素人”等其他视频场景。视频中的人像会被App自动映射出来，可以改变大小，也可以复制拼贴。据钛媒观察，目前产品中很多内置视频场景都是用户上传的。

用户可以在“绿屏侠”主页上选择不同的场景拍摄视频

Versa希望成为手机用Adobe，但前者的受众偏向设计师等专业群体，而Versa则希望降低创意设计的门槛。类似Adobe的家庭水桶，versa计划未来推出一系列产品，解决普通人在图片、摄影、视频、音乐等方面的创意设计问题。此外，除了移动终端，这些产品将逐渐登陆Pad和PC终端。

2018年8月，Versa推出了AI图像处理App“macaroun Playing with Pictures”，定位为“手机上的Photoshop”。其最重要的功能之一就是利用计算机视觉中的AI图像语义分割技术进行一键抠图，实现人与图像的分离。用户不仅可以一键推开游客照片中的路人，还可以穿梭在世界名画、阳光明媚的风景等各种场景中。

蔡天棋向钛媒透露，之后“金刚鹦鹉玩图”也会推出视频地图功能，但与“绿屏侠”不同，前者注重视频编辑功能，会对已有视频进行特效编辑；而后者重视拍摄过程，能够实时完成特效。

用户在产品的内容社区上传自己的作品

人工智能图像的语义分割是Versa产品的核心技术。从“金刚鹦鹉玩图”到“绿屏侠”，Versa产品的处理对象完成了从图像到视频的飞跃，两者都是基于AI图像语义分割，但后者面临更大的技术挑战。

那么，如何实现实时视频抠图，绿屏侠有什么样的想象力呢？

视频抠图技术之战

当金刚鹦鹉开始玩图片时，他只能把人和场景分开。现在他可以分离图像，分割几十个常见的例子。除了识别人，人体各个部位还有人的附属物等等。

视频抠图也是如此，多张图片的连续性变成了视频。帧数越多，人们看到的视频越细腻。电影的帧数是24帧/秒，而《绿屏侠》的频率已经达到30帧/秒，相当于一秒钟处理30张图片，一张图片大概需要33毫秒。

“绿屏人”视频示意图

在从图像抠图到视频抠图的过渡中，Versa团队曾经面临过一个问题:做实时视频抠图，AI模型操作选择云还是手机？

“我们决定将计算放在手机上，而不是云上。这主要是出于对实时处理、节约成本和个人隐私的考虑，”蔡天一告诉钛媒。

他补充说，首先，云中的处理往往有100毫秒的延迟，而《绿屏侠》是一个实时抠图来代替背景，有时延迟可以不是实时的。其次，视频处理在云中运行，需要比图像处理多30倍成本的额外负担，用户越多成本越高。第三，拍照录像是个人隐私，在云中会有安全隐患。实现手机运行是绿屏人App落地的首要条件。

像前段时间流行的FaceApp，一键就能让人变老。这个产品需要先上传到云端再做计算。不仅会受到网络情况的影响，还会被质疑上云会侵犯用户隐私。

但是在手机上运行视频抠图，技术门槛不低。这不仅需要在保证处理效果的同时，将云中的大算法模型缩减到手机，还需要能够提供足够计算能力的手机芯片。

在算法模型的升级上，Versa的AI实验室在今年3月完成了模型的小型化，实现了模型从云到手机的前提。

蔡天棋给钛媒举了一个例子:“如果用一台8000元的GPU电脑来分离景观，一张图片需要100毫秒，一秒钟只能制作10张图片；然而，Versa的算法模型一秒钟可以处理30幅图像，并且必须保证一定的精度。优化的人工智能模型增强了其处理能力。”

优化模型后，蔡天一发现很多芯片还是承载不了自己的ai模型，需要一个有足够计算能力的芯片。目前，“绿屏人”产品在搭载麒麟810芯片的华为荣耀9X新机型上推出，内置了华为开发的达芬奇NPU，可以为AI机型提供足够的计算能力支持。

“事情的本质是我们有一个好的AI模型。你敢有好的筹码吗？华为有，”蔡天一打趣道。

但是不同的芯片对AI语义分割的影响是明显的。蔡天一表示，如果在其他计算能力不足的手机上运行，必然会出现帧数减半、卡顿或者精度不足的情况。这也是该产品在华为荣耀9X机型上推出的原因。

“绿屏侠”不仅仅是工具

新技术带来新工具，新工具带来新玩法。

“除了18-25岁的年轻用户，很多跳广场舞的大妈现在都在用我们的产品。他们会把他们跳舞的照片放在荷叶中间，我们很高兴实现他们对普通人的创作梦想，”蔡天一告诉钛媒。

如何从工具到社区的转换是图像和视频处理工具面临的共同挑战。即使是美图秀秀的美妆修图工具，在改造内容社区的时候也会受挫。业内人士分析过钛媒，转型失败的原因是这类工具的社区里全是自拍照片，内容同质化，没有吸引力。

蔡天一也认为“用户的创意内容可以让社区内容更元。”为此，Versa官员还将引入话题，鼓励用户在社区中绘制和发布。

除了在C获得客户之外，Versa还在考虑与短视频广播公司和影视制作人合作。根据蔡天一的预测，夹层广告会给短直播视频产品带来广告收入。实时视频抠图还会降低传统绿屏特效和动作捕捉的成本，减少后期制作周期。随着不断的优化，影视制作的产业化效果在未来有可能实现。

Versa还推出了OpenAPI平台，为开发者和企业用户提供了风格渲染、人像分割、智能填充等多种图像API接口。，并为企业提供定制服务。

目前，Versa已完成红杉资本、正格基金、震云创投等三轮融资。去年12月，Versa从腾讯获得了数千万美元的A系列融资。Versa和上海交通大学联合建立了脑科学与人工智能实验室，去年在相关领域发表了100多篇论文。

蔡天奇告诉钛媒，Versa有三个加深方向:一是做得更精细，让边缘清晰，连头发都能画出来；第二是更快，希望每秒处理的帧数可以增加；第三更。我希望我不仅能挖出人，还能挖出更精细的物体，比如鞋子和衣服。

“你知道钢铁侠的眼镜‘伊迪丝’吗？你可以通过佩戴它们来扫描每一个物体。希望达到这种图像分割效果，处理的更快更多。”蔡天一说。