让普通视频变成慢动作:「AI加帧」技术现已开源

今年 6 月份,英伟达发布了一篇生成高质量慢动作视频的论文——《Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation》,探讨了如何将普通设备录制的视频转换为高帧率慢动作视频。这项工作的原理是在临近的两帧之间补充额外的画面帧。让我们先来看一下效果:

额... 英伟达给出的视频中展示了一个用网球拍快速打破水球的例子,正常速度下的视频如下:

下图分别是用原始 SloMo 和 Super SloMo 软件制作的慢速视频。

从图中可以可出,用原始 SloMo 软件制作出的慢速视频虽然也让我们看到了一些肉眼无法捕捉到的细节,但相比之下,用 Super SloMo 制作的慢速视频还原的细节更多,画面也更加流畅。这是因为二者有着本质的区别,前者并没有生成新的视频帧,而后者则利用神经网络生成了新的视频帧,使得画面包含的帧数更多,从而增加了视频细节和流畅度。

在看看下方的赛车甩尾,原视频为 30FPS。看起来没毛病吧,那慢速播放之后呢?

看下图上方,原来流畅的甩尾变得像是一张张照片摆拍凑出来的定格动画(P 水花比甩尾简单多了吧),但经过算法补帧变成 240FPS 之后,下方的片段立刻有了 Fast & Furious 即视感。

遗憾的是,作者发布论文的时候并没有放出数据集和代码,让想要实现这一炫酷技术的 geek 们大失所望。但是(划重点),群众的力量是伟大的。近日,GitHub 一位名为 avinashpaliwal 的用户开源了自己对 Super SloMo 的 PyTorch 实现:

Github 地址:https://github.com/avinashpaliwal/Super-SloMo

Super SloMo 的 PyTorch 实现

结果

使用作者提供的评估脚本在 UCF101 数据集上的结果。用的脚本是 et_results_bug_fixed.sh。它在计算 PSNR、SSIM 和 IE 时使用了运动掩码(motions mask)。

先决条件

该代码库是用 pytorch 0.4.1 和 CUDA 9.2 进行开发测试的。

训练

准备训练数据

要使用提供的代码训练模型,首先需要以某种方式格式化数据。

create_dataset.py 脚本使用 ffmpeg 从视频中提取帧。

至于 adobe240fps,下载下面这个数据集,解压并运行以下命令:

python datacreate_dataset.py --ffmpeg_dir path	ofmpeg --videos_folder path	oadobe240fpsideoFolder --dataset_folder path	odataset --dataset adobe240fps

数据集:http://www.cs.ubc.ca/labs/imager/tr/2017/DeepVideoDeblurring/DeepVideoDeblurring_Dataset_Original_High_FPS_Videos.zip

评估

预训练模型

你可以从以下地址下载在 adobe240fps 数据集上训练的预训练模型:

https://drive.google.com/open?id=1IvobLDbRiBgZr3ryCRrWL8xDbMZ-KnpF

这个模型怎么玩才好玩呢?拿出过去渣手机拍摄的珍藏片段,慢动作回放一下是不是更有味道?

那些为自制电影设备费用发愁的是不是来劲了?

还有,那些每次一到高速战斗情节就经费严重不足的动画制作组是不是觉得相见恨晚?

有了它,一些动画是不是能多更新半年了?

原文地址:https://www.cnblogs.com/chuangye95/p/10199450.html

时间: 2024-10-12 21:17:58

让普通视频变成慢动作:「AI加帧」技术现已开源的相关文章

智能分析平台叠加AI,观远数据行业首发「AI预测引擎」

前两篇我们为大家梳理了AI的演进路程以及需求预测在AI+零售命题中的行业洞察,均取得了不错的反响.在广大粉丝热烈的呼声当中,该系列笔者观远产品天团-小刚同学马不停蹄,为我们带来了AI企划的第三篇文章.本篇,他将首次公开观远智能分析平台上「AI预测引擎」的神秘面纱! 作为观远数据今年重磅推出的新模块,「AI预测引擎」不仅仅引入了先进的AI预测算法,更将观远数据团队多年与诸多500强企业合作中沉淀的.符合本土日历特征的零售数据预测经验预置进了算法模型里面,同时结合观远智能分析平台,为本土零售企业提供

报名|「OneAPM x DaoCloud」技术公开课:Docker性能监控!

如今,越来越多的公司开始 Docker 了,「三分之二的公司在尝试了 Docker 后最终使用了它」,也就是说 Docker 的转化率达到了 67%,同时转化时长也控制在 60 天内. 既然 Docker 这么火,Docker 监控是不是也该提上日程?或许具体问题要具体分析,但是似乎大家都在寻找新一代 Docker 监控的工具. 本次技术公开课将会给大家带来全方位的 Docker 实践,从监控之道到监控方案,让你了解到 Docker 实时性能状况,精准定位到性能薄弱的环节,从而优化应用,让监控之

微信公众号互阅平台-真实提高阅读量-「作者加鸡腿」

环境:微信个人订阅号 建了个互阅的平台,平台用户100+人,纯人工真实阅读,迅速阅读100+. 希望有想提高文章阅读量的小伙伴扫一下下方二维码,备注「加鸡腿」拉你. 原文地址:https://www.cnblogs.com/niceyoo/p/12156058.html

深圳即将启动首届「全国人工智能大赛」:超过 500 万大奖 & 政府资助,潜信息你读懂了吗!

人工智能加速“视频/视觉”发展,近期,深圳市即将迎来人工智能领域权威赛事之一——首届「全国人工智能大赛」(The First National Artificial Intelligence Challenge).该大赛由深圳市人民政府主办,深圳市科创委.鹏城实验室及科技部指导成立的新一代人工智能产业技术创新战略联盟(AITISA)共同承办,并携手腾讯科技.云天励飞.平安科技.创维集团协办. 其中,鹏城实验室是广东省首批 4 家省实验室之一,致力于承担网络信息领域国家重要战略任务,在推动学科发展

一元治愈微信应用的「脸盲症」

「脸盲症」是一种经过正式确认的疾病,全名「面部辨识能力缺乏症」.古装剧里的姑娘戴上面纱少侠就认不出了?下次遇到这种情节别吐槽编剧啦,兴许这位少侠就患有脸盲症呢. 其实在很多方面,计算机软件不止一次吊打了人类,除了最基本的计算.记忆.分析等,这次轮到面部识别能力了- 有些童鞋可能已经知道,现在已经有手机平台实现在自带的相册应用中提供了人脸识别功能,可以自动分析手机里的所有照片,然后将包含同一个人的照片自动分组到一起. 但也许你不知道,这样的功能其实早就有了,而且对于应用开发者来说,甚至不需要自己深

让你的「微信小程序」运行在Chrome浏览器上,让我们使用WebStorm

「微信小程序」的开发框架体验起来,还不错--自带了UI框架.但是问题是他的IDE,表现起来相当的糟糕--其实主要是因为,我当时买WebStorm License买了好多年.所以,我觉得他的IDE真不如我这个付费好用. 而且,作为一个拥护自由和开源的 「GitHub 中国区首席Markdown程序员」.微信在「微信小程序」引导着Web开向封闭,我们再也不能愉快地分享我们的代码了. 如果我们放任下去,未来的Web世界令人堪忧. 好了,废话说完了: 文章太长不想看,可以直接看Demo哈哈: GitHu

从特斯拉到计算机视觉之「图像语义分割」

作者:魏秀参链接:https://zhuanlan.zhihu.com/p/21824299来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 说起特斯拉,大家可能立马会想到今年5月份发生在特斯拉Model S自动驾驶上的一宗夺命车祸.初步的调查表明,在强烈的日照条件下,驾驶员和自动驾驶系统都未能注意到牵引式挂车的白色车身,因此未能及时启动刹车系统.而由于牵引式挂车正在横穿公路,且车身较高,这一特殊情况导致Model S从挂车底部通过时,其前挡风玻璃与挂车底部发生撞击

汉恩互联「绘动画室」,触摸背景墙

汉恩互联,打造的「绘动画室」主题,以 0-13 岁孩子及家长为主要服务对象,将孩子用蜡笔所填色描绘的平面角色,瞬间转化为动态三维角色的奇特功能. 其中值得一提的就是其中的触碰投影墙幕,这是可以让孩子们能够与卡通角色进行互动的桥梁!那么大家知道什么是可触碰的投影墙幕吗? 触摸背景墙根据使用目的不同可分为:透明背投型.灰色 背投型和白色背投型. 以优质平滑的聚酯薄膜为材料,由具有扩散性的粘着层.硬处理层.防静电层构成,可以方便的用水贴在玻璃及透明亚克力板 上使用.是纳米感应触摸膜与全息投影技术的结晶

APICloud CEO 刘鑫做客喜马拉雅:揭秘AI如何通过移动技术落地

现如今人工智能已经在很多方面得到了应用落地,通过手机移动端的一些功能和应用程序,我们已经能够很直观地感受到它对我们生活的影响.比如苹果IphoneX的人脸识别功能,包括一些主流app有语音识别和语音对话的功能. 随着AI时代的移动技术革新大会开幕邻近,APICloud创始人兼CEO刘鑫做客喜马拉雅FM科技情报局,给大家揭晓在人工智能的时代对不同职业对挑战,以及人工智能与移动应用的联系又该如何发展?官V:柚子科技APICloud,可听访谈语音. 访谈内容 Q:最有可能被机器人或者人工智能取代的职业