当前位置:首页 > 娱乐星闻

手机视频怎么抠图 手机也能视频抠图,“绿幕侠”如何让人原地“环游世界”?

图像源@ unslash

在充满活力的音乐中,一个少年踩着滑板穿过群山和西部公路。当你认为这是一个电影片段时,画面翻转,屏幕外的少年只是原地摆姿势。

以前这种效果往往是由专业团队搭建绿屏来实现的,现在有一家公司想用AI技术来“取代”绿屏,让人们在手机上拍摄时可以实时完成视频抠图。

这是Versa的新产品“绿屏人”,希望部分“取代”绿屏,让普通人也参与微电影短视频的制作。

如下图所示,用户默认输入“绿屏人”,也可以选择“梵高博物馆”、“行走欧洲”、“像素人”等其他视频场景。视频中的人像会被App自动映射出来,可以改变大小,也可以复制拼贴。据钛媒观察,目前产品中很多内置视频场景都是用户上传的。

用户可以在“绿屏侠”主页上选择不同的场景拍摄视频

Versa希望成为手机用Adobe,但前者的受众偏向设计师等专业群体,而Versa则希望降低创意设计的门槛。类似Adobe的家庭水桶,versa计划未来推出一系列产品,解决普通人在图片、摄影、视频、音乐等方面的创意设计问题。此外,除了移动终端,这些产品将逐渐登陆Pad和PC终端。

2018年8月,Versa推出了AI图像处理App“macaroun Playing with Pictures”,定位为“手机上的Photoshop”。其最重要的功能之一就是利用计算机视觉中的AI图像语义分割技术进行一键抠图,实现人与图像的分离。用户不仅可以一键推开游客照片中的路人,还可以穿梭在世界名画、阳光明媚的风景等各种场景中。

蔡天棋向钛媒透露,之后“金刚鹦鹉玩图”也会推出视频地图功能,但与“绿屏侠”不同,前者注重视频编辑功能,会对已有视频进行特效编辑;而后者重视拍摄过程,能够实时完成特效。

用户在产品的内容社区上传自己的作品

人工智能图像的语义分割是Versa产品的核心技术。从“金刚鹦鹉玩图”到“绿屏侠”,Versa产品的处理对象完成了从图像到视频的飞跃,两者都是基于AI图像语义分割,但后者面临更大的技术挑战。

那么,如何实现实时视频抠图,绿屏侠有什么样的想象力呢?

视频抠图技术之战

当金刚鹦鹉开始玩图片时,他只能把人和场景分开。现在他可以分离图像,分割几十个常见的例子。除了识别人,人体各个部位还有人的附属物等等。

视频抠图也是如此,多张图片的连续性变成了视频。帧数越多,人们看到的视频越细腻。电影的帧数是24帧/秒,而《绿屏侠》的频率已经达到30帧/秒,相当于一秒钟处理30张图片,一张图片大概需要33毫秒。

“绿屏人”视频示意图

在从图像抠图到视频抠图的过渡中,Versa团队曾经面临过一个问题:做实时视频抠图,AI模型操作选择云还是手机?

“我们决定将计算放在手机上,而不是云上。这主要是出于对实时处理、节约成本和个人隐私的考虑,”蔡天一告诉钛媒。

他补充说,首先,云中的处理往往有100毫秒的延迟,而《绿屏侠》是一个实时抠图来代替背景,有时延迟可以不是实时的。其次,视频处理在云中运行,需要比图像处理多30倍成本的额外负担,用户越多成本越高。第三,拍照录像是个人隐私,在云中会有安全隐患。实现手机运行是绿屏人App落地的首要条件。

像前段时间流行的FaceApp,一键就能让人变老。这个产品需要先上传到云端再做计算。不仅会受到网络情况的影响,还会被质疑上云会侵犯用户隐私。

但是在手机上运行视频抠图,技术门槛不低。这不仅需要在保证处理效果的同时,将云中的大算法模型缩减到手机,还需要能够提供足够计算能力的手机芯片。

在算法模型的升级上,Versa的AI实验室在今年3月完成了模型的小型化,实现了模型从云到手机的前提。

蔡天棋给钛媒举了一个例子:“如果用一台8000元的GPU电脑来分离景观,一张图片需要100毫秒,一秒钟只能制作10张图片;然而,Versa的算法模型一秒钟可以处理30幅图像,并且必须保证一定的精度。优化的人工智能模型增强了其处理能力。”

优化模型后,蔡天一发现很多芯片还是承载不了自己的ai模型,需要一个有足够计算能力的芯片。目前,“绿屏人”产品在搭载麒麟810芯片的华为荣耀9X新机型上推出,内置了华为开发的达芬奇NPU,可以为AI机型提供足够的计算能力支持。

“事情的本质是我们有一个好的AI模型。你敢有好的筹码吗?华为有,”蔡天一打趣道。

但是不同的芯片对AI语义分割的影响是明显的。蔡天一表示,如果在其他计算能力不足的手机上运行,必然会出现帧数减半、卡顿或者精度不足的情况。这也是该产品在华为荣耀9X机型上推出的原因。

“绿屏侠”不仅仅是工具

新技术带来新工具,新工具带来新玩法。

“除了18-25岁的年轻用户,很多跳广场舞的大妈现在都在用我们的产品。他们会把他们跳舞的照片放在荷叶中间,我们很高兴实现他们对普通人的创作梦想,”蔡天一告诉钛媒。

如何从工具到社区的转换是图像和视频处理工具面临的共同挑战。即使是美图秀秀的美妆修图工具,在改造内容社区的时候也会受挫。业内人士分析过钛媒,转型失败的原因是这类工具的社区里全是自拍照片,内容同质化,没有吸引力。

蔡天一也认为“用户的创意内容可以让社区内容更元。”为此,Versa官员还将引入话题,鼓励用户在社区中绘制和发布。

除了在C获得客户之外,Versa还在考虑与短视频广播公司和影视制作人合作。根据蔡天一的预测,夹层广告会给短直播视频产品带来广告收入。实时视频抠图还会降低传统绿屏特效和动作捕捉的成本,减少后期制作周期。随着不断的优化,影视制作的产业化效果在未来有可能实现。

Versa还推出了OpenAPI平台,为开发者和企业用户提供了风格渲染、人像分割、智能填充等多种图像API接口。,并为企业提供定制服务。

目前,Versa已完成红杉资本、正格基金、震云创投等三轮融资。去年12月,Versa从腾讯获得了数千万美元的A系列融资。Versa和上海交通大学联合建立了脑科学与人工智能实验室,去年在相关领域发表了100多篇论文。

蔡天奇告诉钛媒,Versa有三个加深方向:一是做得更精细,让边缘清晰,连头发都能画出来;第二是更快,希望每秒处理的帧数可以增加;第三更。我希望我不仅能挖出人,还能挖出更精细的物体,比如鞋子和衣服。

“你知道钢铁侠的眼镜‘伊迪丝’吗?你可以通过佩戴它们来扫描每一个物体。希望达到这种图像分割效果,处理的更快更多。”蔡天一说。

1.《手机视频怎么抠图 手机也能视频抠图,“绿幕侠”如何让人原地“环游世界”?》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。

2.《手机视频怎么抠图 手机也能视频抠图,“绿幕侠”如何让人原地“环游世界”?》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。

3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/yule/1534230.html

上一篇

国考最热岗位竞争超两千选一 事情经过真相揭秘!

下一篇

唇膏口红跟口红的区别

孙杨曝听证会视频 检测过程遭质疑WADA拒认错

孙杨曝听证会视频 检测过程遭质疑WADA拒认错

孙杨曝听证会视频  18日,孙杨听证会在瑞士举行,听证会结束后,据新华社最新英语报道,孙杨案中的三名IDTM测试人员中的一位透露,他不是受过培训的兴奋剂检测助手(DCA),而是一名建筑工人。  19日晚上,孙杨通过...

恭喜papi酱发视频宣布怀孕喜讯:我要当妈妈了

恭喜papi酱发视频宣布怀孕喜讯:我要当妈妈了

papi酱怀孕  papi酱、老胡  14日,papi酱在发布的视频末尾宣布了怀孕喜讯,“我要当妈妈了”。有媒体求证papi酱工作人员,对方承认怀孕喜讯:“是的怀孕了 ”。  据悉,papi和老公老胡相识于大学,二...

太妍新曲《火花 》练舞视频公开 引发热议

太妍新曲《火花 》练舞视频公开 引发热议

太妍 正规2辑《Purpose》  凭借正规2辑《Purpose》收获大家喜爱的少女时代成员太妍,公开了主打曲《火花 (Spark)》的练舞视频,引发热议。  30日晚上7点(北京时间),通过YouTube、NAV...

李小璐视频曝光 刘洲成隔空喊话马苏:痛吗?摸摸头

  • 李小璐视频曝光 刘洲成隔空喊话马苏:痛吗?摸摸头
  • 李小璐视频曝光 刘洲成隔空喊话马苏:痛吗?摸摸头
  • 李小璐视频曝光 刘洲成隔空喊话马苏:痛吗?摸摸头
抖音回应李小璐视频泄露:草稿视频不会上传到后台

抖音回应李小璐视频泄露:草稿视频不会上传到后台

李小璐PGone亲密视频曝光  李小璐PGone亲密视频曝光后,PGone发文质疑“为什么没有外传的抖音视频会传出来?”此后,有网友爆料称这是抖音工作人员从后台草稿箱里下载并放出了内容。对此抖音官方回应,草稿视频不...

李小璐PGone亲密视频曝光 网友扒出两人仍保留联系

  • 李小璐PGone亲密视频曝光 网友扒出两人仍保留联系
  • 李小璐PGone亲密视频曝光 网友扒出两人仍保留联系
  • 李小璐PGone亲密视频曝光 网友扒出两人仍保留联系
章子怡晒醒醒骑平衡车视频 网友:风一样的女子

章子怡晒醒醒骑平衡车视频 网友:风一样的女子

醒醒骑平衡车  15日晚,章子怡晒出一段女儿醒醒骑平衡车的视频,配文:“风一样的女孩,不要计较,不能纠结,不被束缚,勇敢坚定的做自己,自由自在的成长着… ”视频中两脚悬空,“极速”前进。  此视频曝光后,网友纷纷留...

大连工业大学保卫处回应求婚视频 登上网络热搜了!

大连工业大学保卫处回应求婚视频 登上网络热搜了!

小编今天发现大连工业大学保卫处回应求婚视频在网上的热度相当之高,大家都在关注大连工业大学保卫处回应求婚视频,那么具体的大连工业大学保卫处回应求婚视频是怎么回事呢,应该这当中还有相当一部分的小伙伴是并不了解,不过没有关系...