当前位置:首页 > 话题广场 > 历史专区 > 清朝

【ios120帧加超高清代码】专题让电影动漫统统变丝滑,480帧毫无卡顿,交大博士生开源插帧软件

小汽车从凹比萨出发了。

量子比特报告|公众号QbitAI

即使是手机也开始使用120帧的显示屏,但大部分网络视频都是30帧。

视频的帧率已经远远赶不上人民群众的需求了,所以有不少人都在研究如何把普通视频变成高帧率视频。

去年,英伟达开源了Super SloMo,从普通的视频“脑补”出高帧率的画面,从30fps插帧到240fps,即使放慢8倍也不会感到卡顿。

最近,来自上海交大的一个新的插帧算法DAIN开源。它比英伟达的算法效果更清晰、帧率更高,可以把30fps的进一步插帧到480fps,这已经超过了很多手机的慢动作录像帧率。

更重要的是,英伟达的Super SloMo只用在了真实拍摄的视频上,而这项研究却可以扩展到常见的任何类型视频:电影、定格动画、动漫卡通等等。

△ 连埼玉老师的披风都变得丝滑流畅了

如果你觉得上面效果还不够明显,可以再看一张。

羽毛的摆动是不是变得更流畅自然了?

可以想象,如果未来把DAIN用于动漫的制作,只要用低帧的动画就可以生成丝滑的效果,或许能大大减少插画师的工作。

DAIN的代码已经开源,甚至研究人员还打包了一份Windows安装程序,即使没有任何AI基础的用户也可以直接拿来用。

安装

Windows系统的用户有现成的exe文件安装(地址见文末),不过现在仍处于Alpha阶段,软件可能存在一定的不稳定性。

其他平台的用户安装起来也不复杂。

首先确保你的PyTorch版本不低于1.0.0,将项目克隆到本地:

git clone 

安装PyTorch的各个扩展包:

cd DAINcd my_package.

还要安装英伟达预测光流网络PWCNet的软件包:

cd ../PWCNet/correlation_package_pytorch1_0.

由于作者已经提供了预训练模型,我们不必再花费大量精力去训练。创建目录model_weights,并且将预训练模型的权重下载到相应的文件夹中:

cd model_weightswget 

运行命令以下命令,就可以开始给视频插帧啦!

CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_ —netName DAIN_slowmotion —time_step 0.25

—time_step之后的参数就是视频的放慢倍数,0.25代表视频帧率扩展为原来的4倍。如果要生成8x和10x慢动作,参数就改成0.125和0.1,依此类推。

深度加光流,图像更清晰

之前已经有很多给视频插帧的算法,DAIN和它们有什么不同呢?

DAIN的全称是Depth-Aware Video Frame Interpolation,即深度感知视频帧插值。

视频帧插值的目的是在原始帧之间合成不存在的帧。但是由于大的物体运动或遮挡,插帧的质量通常会比较低。

在这篇研究中,研究人员提出了一种通过探索深度信息来检测遮挡的方法。

具体来说,作者开发了一个深度感知光流投影层来合成中间流,中间流对较远的对象进行采样。此外,学习分层功能以从相邻像素收集上下文信息。

上图是DAIN的体系架构:给定两个时刻的输入帧,先估计光流和深度图,然后使用建议的深度感知流投影层生成中间流。

然后,模型基于光流和局部插值内核对输入帧、深度图和上下文特征进行扭曲,合成输出帧。

这种模型紧凑、高效且完全可微分。定量和定性的结果表明,DAIN在各种数据集上均优于最新的帧插值方法。

作者

这篇文章的第一作者Bao Wenbo,是上海交通大学电子信息与电气工程学院的博士生。

他目前的研究领域集中在图像/视频处理,计算机视觉和机器学习。另外在硬件设计、嵌入式系统和并行编程方面也很有经验。

传送门

论文地址:

项目地址:

Windows版软件下载:

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

1.《【ios120帧加超高清代码】专题让电影动漫统统变丝滑,480帧毫无卡顿,交大博士生开源插帧软件》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。

2.《【ios120帧加超高清代码】专题让电影动漫统统变丝滑,480帧毫无卡顿,交大博士生开源插帧软件》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。

3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/lishi/2098049.html

上一篇

3d还原清代妃子专题之清朝皇帝的妃子真实照片,大家还想穿越到古代当皇帝吗

下一篇

清朝皇帝朝冠上的那颗最大东珠为什么被称之为血珠!

ios120帧加超高清代码专题之和平精英怎么改到120帧?进来看看

ios120帧加超高清代码专题之和平精英怎么改到120帧?进来看看

ios120帧加超高清代码相关介绍,和平精英是腾讯光子工作室集团自主开发的反恐军事竞争体验手游,也是2020年最火的射击类手游,但玩过的玩家都知道帧数的设置是由手机的性能决定的。对此,很多追求高质量、高质量、流畅度的玩家都希望有能够改变...