本文作者:admin

让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN

admin 6个月前 ( 01-29 ) 162 抢沙发
让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN摘要:   晓查 发自 凹非寺   量子位 报道 公众号 QbitAI  连手机都开始用上 120 帧的显示屏,但是网上大部分的视频居然还是 30 帧。  视频的帧率已经远远赶不上人民...

  晓查 发自 凹非寺 
  纳米位 报导 微信公众号 QbitAI

  连手机上都刚开始用起 120 帧的显示器,可是在网上绝大多数的视頻竟然還是 30 帧。

  视頻的帧数早已远远地跟不上人民大众的要求了,因此有许多人都会科学研究怎样把一般视頻变为高帧数视頻。

  上年,英特尔显卡开源系统了Super SloMo,从一般的视頻“想象”出高帧数的界面,从 30fps 插帧到 240fps,即便减慢 8 倍也不容易觉得卡屏。

让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN

  近期,来源于上海交通大学的一个新的插帧优化算法DAIN开源系统。它比英特尔显卡的优化算法实际效果更清楚、帧数更高,能够把 30fps 的进一步插帧到 480fps,这早已超出了许多 手机上的慢镜头录影帧数。

让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN

  更关键的是,英特尔显卡的 Super SloMo 仅用在了真正拍攝的视頻上,而此项科学研究却能够拓展到普遍的一切种类视頻:影片、定格动画、动漫卡通这些。

让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN
连埼玉老师的披風都越来越顺滑顺畅了

  当你感觉上边实际效果还不足显著,能够再看一张。

让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN

  翎毛的晃动是否越来越更顺畅当然了?

  能够想像,假如将来把 DAIN 用以日本动漫的制做,要是用低帧的动漫就能够转化成顺滑的实际效果,也许能大大减少插画师的工作中。

  DAIN 的编码早已开源系统,乃至科学研究工作人员还装包了一份Windows 程序安装,即便没有 AI 基本的客户还可以立即用来用。

  安裝

  Windows 系统软件的客户有制好的 exe 文档安裝(详细地址见文尾),但是如今还是处于 Alpha 环节,手机软件将会存有一定的不对称性。

  别的服务平台的客户安裝起來都不繁杂。

  最先保证你的 PyTorch 版本号高于 1.0.0,将新项目复制到当地:

git clone https://github.com/baowenbo/DAIN.git

  安裝 PyTorch 的每个拓展包:

cd DAIN
cd my_package
./build.sh

  也要安裝英特尔显卡预测分析光流互联网 PWCNet 的程序包:

cd ../PWCNet/correlation_package_pytorch1_0
./build.sh

  因为创作者早已出示了预训炼实体模型,人们无须再花销很多活力去训炼。建立文件目录 model_weights,而且将预训炼实体模型的权重值免费下载到相对的文件夹名称中:

cd model_weights
wget http://vllab1.ucmerced.edu/~wenbobao/DAIN/best.pth

  运行命令下列指令,就能够刚开始给视頻插帧啦!

CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_slowmotion.py —netName DAIN_slowmotion —time_step 0.25

  —time_step 以后的主要参数就是说视頻的减慢倍率,0.25 意味着视頻帧数拓展为原先的 4 倍。假如要转化成 8x 和 10x 慢镜头,主要参数就改为 0.125 和 0.1,以此类推。

  深层加光流,图象更清楚

  以前早已有许多 给视頻插帧的优化算法,DAIN 和他们有什么区别呢?

  DAIN 的全名是 Depth-Aware Video Frame Interpolation,即深层认知视頻帧插值。

  视頻帧插值的目地是在初始帧中间生成不会有的帧。可是因为大的物块健身运动或挡住,插帧的品质一般会较为低。

让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN

  在这里篇科学研究中,科学研究工作人员明确提出了一种根据探寻深层信息内容来检验挡住的方式 。

  从总体上,创作者开发设计了一个深层认知光流投射层来生成正中间流,正中间流对很远的目标开展取样。除此之外,学习培训层次作用以从邻近清晰度搜集前后文信息内容。

让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN

  图中是 DAIN 的管理体系构架:给出2个時刻的键入帧,先估算光流和深度图,随后应用提议的深层认知流投射层转化成正中间流。

  随后,实体模型根据光流和部分插值核心对键入帧、深度图和前后文特点开展歪曲,生成輸出帧。

  这类实体模型紧凑型、高效率且彻底可微分。定量分析和判定的得出结论,DAIN 在各种各样uci数据集上均好于最新消息的帧插值方式 。

  创作者

  本文的第一创作者 Bao Wenbo,是上海交大电子信息技术与电气设备工程学校的博士研究生。

让电影动漫统统变丝滑,480帧也不卡,交大博士生开源插帧软件DAIN

  他现阶段的科学研究行业集中化在图象/视频编辑,人工智能算法和深度学习。此外在硬件设计、嵌入式系统和并行处理程序编写层面也很有工作经验。

  传送门

  毕业论文详细地址:

  https://sites.google.com/view/wenbobao/dain

  新项目详细地址:

  https://github.com/baowenbo/DAIN

  Windows 版软件免费下载:

  https://drive.google.com/file/d/1uuDkF4j4H1AI1ot88XdqzwMdvAPhxKN8/view

阅读
分享

发表评论

快捷回复:

评论列表 (暂无评论,162人围观)参与讨论

还没有评论,来说两句吧...