视频直接变漫画!GAN又有了新玩法|Demo+代码+论文

GAN,又有了新“玩法”。

最近,一个能够将视频直接转化成漫画的工具,引发了很大关注。

它的效果是这样的:

Twitter上不少学者去围观,体验的效果是这样的:

有网友评价称,“漫威感”扑面而来。

效果直逼漫威?

目前,Demo已经放出,量子位以《复仇者联盟3》中的一个片段为例,测试了一下实际效果,得到了这样的一幅图。

画面看上去的确非常惊艳,但是……如果不看原视频,只看这个漫画,你知道它讲的是啥吗?

......

现在给出正确答案:

体验Demo时,可以自己上传视频,也可以选择YouTube中的视频。当然,他们也提供了一些样本视频,可以直接体验。

如上图所示,在生成Demo时,还有一些选项,能够影响生成的漫画。

这些选项分别可以控制视频中帧的选择、每一帧的提取方法、图像评估方法,以及漫画的风格迁移模型。

这基本上也呈现出了项目团队的大致思路:使用基于强化学习的关键帧提取算法,提取视频中有意义且有代表性的帧,然后对关键帧进行评估,确认主要的画面之后,再进行使用GAN进行风格迁移,形成漫画风格。

在风格迁移方面,研究团队对当前已经发表的漫画风格迁移模型进行了研究,最后基于CartoonGAN的方法,利用MS COCO数据集训练出了自己的ComixGAN模型,作为Demo中的默认模型。

上手资料齐全

这个项目,来自于波兰华沙理工大学。Demo网站提供了API接口。

GitHub上也有源代码。

当然,论文也出来了。

不过,特别吐槽的一点是,这个Demo网站不稳定到让人吐血,动不动就崩溃,有些时候直接罢工。

原文地址:https://www.cnblogs.com/chuangye95/p/10199440.html

时间: 2024-10-28 08:21:24

视频直接变漫画!GAN又有了新玩法|Demo+代码+论文的相关文章

最美丽的花--百变魔尺-24段魔尺玩法

最美丽的花--百变魔尺-24段魔尺玩法

【视频分享】Liger UI实战集智建筑工程管理系统配商业代码(打印报表、角色式权限管理)

QQ 2059055336 课程讲师:集思博智 课程分类:.net 适合人群:中级 课时数量:23课时 用到技术:Liger UI框架.AJAX.JSON数据格式的序列化与反序列化.角色的交叉权限管理 本课程代码为商业版代码,用户可直接部署运行. 一.系统介绍: 集智建筑工程管理系统是专为建筑类企业打造的一款管理软件.本着"一工程一台帐"的原则,加强对工程的资金管理,解决工程技术部门.工程管理部门.财务部之间数据的共享,方便领导查询工程进度与回款情况,更好的进行查询统计,提供多种统计图

各种与视频编解码以及视频图像处理的应用相关的新技术,新方法,各种软件开发相关的算法,思想。

1. 各种视频压缩标准(MPEG2, MPEG4, H261/2/3/4,X264, T264以及H264(AVC)和HEVC(H265)等的优化,改进,创新. 2. 各种不同平台的(CPU, GPU, DSP, ARM等等)开发,移植优化等, 涉及到的语言包括C, C++, X86汇编,TI DSP汇编,ADI DSP汇编, ARM汇编(armv4/v5/v6/v7 XSCALE WMMX cortex A8等),MMX, SSE, SSE2/3等, 以及目前利用OpenCL来调用GPU实现并

引爆头条视频几百上千粉,月流水十几万玩法

马上就要十一国庆了!国庆之后,那么2017年就会真正是进入倒计时了! 不管你上半年,是偷懒了.还是进入不顺利状态,或者是被生活狠狠摔了个狗啃泥!可能还在啃一桶老坛酸菜泡面,都没事,我觉得只要你内心还存在有那么一丝丝躁动不安奋斗的心 ,就应该此时此刻,立马站起来,撸起袖子大干,2017年短视频火的一塌糊涂,当然了,大公司! 大boss都是去搭建短视频,但是像草根类型的基本都是依附在平台上面引流吸粉变现,要说到引流,吸精准粉!今日头条是不能放过的它的! 特别是现在的头条视频爆粉,很给力的,给力到一个

苏宁互联网玩法变了

一边是阿里.京东寻求落地之道,一边是苏宁转型互联网,零售市场朝向O2O模式发展已是不可逆的大势.相比阿里.京东的落地难,苏宁的互联网转型则显得更接地气一些. 自去年9月苏宁提出互联网转型以来,苏宁门店正积极向互联网靠拢,不仅门店直接提供互联网购物体验,就连服务方式也在全面互联网化. 随着世界杯进入淘汰赛阶段,每场比赛的战况格外惹人关注,借此机会苏宁推出了"GAME CALL"和"夜间送"两大全新服务.依托客服MM的服务基础,苏宁为会员提供免费看球呼叫服务,以此来提升

tflearn kears GAN官方demo代码——本质上GAN是先训练判别模型让你能够识别噪声,然后生成模型基于噪声生成数据,目标是让判别模型出错。GAN的过程就是训练这个生成模型参数!!!

GAN:通过 将 样本 特征 化 以后, 告诉 模型 哪些 样本 是 黑 哪些 是 白, 模型 通过 训练 后, 理解 了 黑白 样本 的 区别, 再输入 测试 样本 时, 模型 就可以 根据 以往 的 经验 判断 是 黑 还是 白. 与 这些 分类 的 算法 不同, GAN 的 基本 原理 是, 有两 个 相生相克 的 模型 Generator 和 Discriminator,Generator 随机 生成 样本, Discriminator 将 真实 样本 标记 为 Real, 将 Gene

圣思源Java视频36节练习源码分享(自己的190+行代码对比老师的39行代码)

题目: * 随机生成50个数字(整数),每个数字范围是[10,50],统计每个数字出现的次数 * 以及出现次数最多的数字与它的个数,最后将每个数字及其出现次数打印出来, * 如果某个数字出现次数为0,则不要打印它.打印时按照数字的升序排列. 要求: * 使用数组的知识完成此功能,不能使用JDK的API函数. 分析: * 需要写一个随机数生成函数 * 需要写一个冒泡排序函数 * 需要写一个二分查找获取数组中某元素个数的函数 代码如下: 1 package Array32; 2 3 /** 4 *

【视频】运行第一个容器 - 每天5分钟玩转容器技术(5)

这两天制作的视频,安装 Docker 并运行第一个容器,希望对大家有帮助. 可在公众号(cloudman6)回复 "容器" 查看.

仿照微信的效果,实现了一个支持多选、选原图和视频的图片选择器,适配了iOS6-9系统,3行代码即可集成.

前段时间空余时间比较多,打算尝试做一个图片选择器出来,仔细对比了很多自定义了图片选择器的应用,感觉最喜欢微信的界面效果,当然微博的功能更强大,还支持了LivePhoto,所以打算模仿微信的界面效果,瞄着微博的功能去做一个图片选择器出来. 一.  TZImagePickerController简介 这个图片选择器还没达到我理想中的效果,但是最近工作开始忙起来了,所以有一些功能放在以后加入吧.目前这个图片选择器: (1)支持图片多选.选原图和视频: (2)支持预览图片和视频: (3)适配了iOS6~