翻车现场:我用pytorch和GAN做了一个生成神奇宝贝的失败模型

前言

神奇宝贝已经是一个家喻户晓的动画了,我们今天来确认是否可以使用深度学习为他自动创建新的Pokemon。

我最终成功地使用了生成对抗网络(GAN)生成了类似Pokemon的图像,但是这个图像看起来并不像神奇宝贝。
虽然这个尝试失败了,但是我认为其他人可能会喜欢这个过程,现在把他分享出来。

GAN生成对抗网络


这里不想花很多时间讨论GAN是什么,但是上面的图片只是一个非常简单的解释过程。
训练了两个网络-鉴别器和生成器。 生成器学习如何吸收随机噪声并从训练数据生成看起来像图像的图像。 它通过将其生成的图像发送到鉴别器网络,鉴别器网络经过训练可以辨别真实图像和生成的图像。
生成器经过优化,可以更好地欺骗鉴别器,鉴别器经过优化,可以更好地检测生成的图像。因此,他们俩一起进步。

数据

因此,我的假设是,我可以使用真实的神奇宝贝图像作为训练集来训练GAN。 结果将是一个生成器,然后将能够创建新颖的神奇宝贝!
我的第一个挑战是找到神奇宝贝的图像。 幸运的是,Kaggle数据集得以抢救!
有人已经想过类似的想法,尽管听起来他在生成新的Pokemon图像方面没有很大的成功,但是由于他花了时间收集800幅图像,因此决定将它们上传到Kaggle数据集。这节省我很多时间。
我们看一下这个数据集:

这是一张 蒜头王八 妙蛙种子 的图片,大小是256*256

现在,有了数据,下一步就是选择要使用的GAN类型。 可能存在数百种GAN的变体,但过去使用DCGAN可以看到良好的效果。
DCGAN从神经网络中消除了所有完全连接的层,使用转置卷积进行上采样,并用卷积跨度(除其他外)代替了最大池化。
我喜欢DCGAN,因为与其他我尝试过的GAN相比,它们似乎更健壮,因此无需进行超参数的重大调整即可更容易训练。
实际上,DCGAN非常受欢迎,以至于PyTorch的示例就很好地实现了。 同样重要的是,他们的示例可以直接从文件夹读取输入。 因此,使用以下命令,我能够开始训练我的GAN:

python main.py --dataset folder --dataroot /pokemon/  --cuda --niter 10000 --workers 8

该命令从文件夹中读取图像,在具有8个工作程序的GPU上运行以加载数据,并运行10,000次迭代。

事实证明,此问题需要进行10,000次迭代,但我想看看我能推多远。 让我们来看看!

结果

第一步始于一个一无所知的网络,因此产生的只是噪声:

每个box都是一个64 x 64像素的图像,它是尝试从我们的生成器中生成神奇宝贝。 由于我们的网格为8 x 8,因此我们尝试生成64种不同的神奇宝贝。 我将图像缩小到64 x 64,因为在尝试生成更大的图像时这种算法会变得不稳定。

50次迭代以后,有点意思了

150次迭代,图像变得清晰了

3,700点之后,会有一些不错的图片出现了。 此后,它开始趋向于产生更差的结果:

这些看起来根本都不像神奇宝贝!
但是请将浏览器缩小到25%左右,然后再次查看。 在远处,它们看起来惊人地类似于真正的神奇宝贝。
为什么呢?由于我们正在对64 x 64的图像进行训练,因此辨别器很容易被形状和颜色类似于口袋妖怪的图像所迷惑,因此生成器不需要改进。

下一步?

在我看来,显而易见的下一步就是训练更高分辨率的GAN。 实际上,我已经对此进行了一些尝试。
我的第一个尝试是重新编写PyTorch代码以缩放到256 x 256图像。 该代码有效,但是DCGAN崩溃了,我无法稳定新联。 我相信主要原因是因为我只有大约800张图像。 而且,尽管我进行了一些数据扩充,但还不足以训练更高分辨率的DCGAN。
然后,我尝试使用相对论的GAN,该GAN已成功针对具有较小数据集的高分辨率数据进行了成功的训练,但也无法使其正常工作。
目前来看,问题应该出现在数据上,数据量太小,还是满足不了训练的需求。但是我将继续尝试其他一些想法,以产生更高分辨率的Pokemon,如果我有工作的必要,我将发布我使用的技术。

原文地址:https://imba.deephub.ai/p/7cfa3770716511ea90cd05de3860c663

原文地址:https://www.cnblogs.com/deephub/p/12594111.html

时间: 2024-08-27 20:07:29

翻车现场:我用pytorch和GAN做了一个生成神奇宝贝的失败模型的相关文章

使用POI做的一个生成Excel的工具类。包含了导出Excel和解析Excel方法

PoiExcelUtils.java /** * */ package com.common.office; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.text.NumberFormat; import java.util.ArrayList; import java.util.Calendar; import java.util.List;

FMX相当于在界面上自己又做了一个小操作系统

FMX的自画界面我也不看好,比如复制粘贴,太丑了,系统做得很好很精细的复制粘贴界面,就是无法调出,比如MIUI,复制粘贴还能有个放大镜,可以选择到屏幕边缘的文字,可以选择剪贴板内多个可粘贴的文字:还有那个Memo,有的时候该折行的不折行,有的文字看不到了.文本输入框,隐藏剪贴板后,再点击就弹不出来了:系统本身的文本框就没有这个问题.底部输入框输入时自动上移界面,好像是操作系统本身就有的吧,FMX还得自己编很多代码,也不一定编好.自己编码补漏洞是另外一回事.FMX给我的感觉是在界面上自己又做了一个

【随笔】昨晚做了一个梦

昨晚做了一个梦,可能是最近玩<魔兽世界>的缘故,梦的风格很游戏~ 当然,关键不在于这个梦的风格啦,在于一个片段的内容.与 邪恶者的斗争过程中,兄弟我临危受命,去寻找传说中的“先知”(不知道在梦中叫什 么,因为记不清了,叫“仙女”??).我自然是不费吹灰之力就找到了那妹妹~并非出现在天上,只是坐着马车的一个白衣妹妹.见到她,当然很高兴,可是在我 询问问题的时候,似乎忘记了我的使命,问出的问题居然是“我和小耗子会幸福一生么?”答案我很满意,她说“当然,你们会幸福一生”,嗯嗯,尽管是个梦,可 是说不

自己做的一个输入输出缓冲池

2014-05-15 22:02 by Jeff Li 前言 系列文章:[传送门] 马上快要期末考试了,为了学点什么.就准备这系列的博客,记录复习的成果. 正文-计数  概率 概率论研究随机事件.它源于赌徒的研究.即使是今天,概率论也常用于赌博.随机事件的结果是否只凭运气呢?高明的赌徒发现了赌博中的规律.尽管我无法预知事件的具体结果,但我可以了解每种结果出现的可能性.这是概率论的核心. "概率"到底是什么?这在数学上还有争议."频率派"认为概率是重复尝试多次,某种结

用MVVM做了一个保存网页的工具-上篇

前言: 你是否有过收藏了别人博客或文章,当想用的时候却找不到?你是否有过收藏了别人博客或文章,却因为没有网络而打不开网页?OK,下面是我做的一个工具,有兴趣的同学们可以download 玩下,哈哈^.^

利用KBEngine +U3D 做的一个简单MMO手游Demo

利用KBE +U3D 做的一个简单MMO手游Demo目前只完成到一个普通攻击和一个火球术,  火球术需要点击怪物后才能释放.点击npc后会跳到一个副本.里面有一只半兽人. 欢迎大家来试玩 并提出宝贵意见.http://pan.baidu.com/s/1dDtVjnb 感谢kbe 一直以来的帮助.

做了一个密码强度输入测试

<!doctype html> <html> <head> <meta charset="utf-8"> <title>密码强度输入测试</title> <style type="text/css"> .cont { margin-left:300px; margin-top:50px; border:solid 1px #ccc; width:520px; padding:20px

bootstrap做了一个表格

花了一下午做了一个表格: 大致是这样: 代码如下: <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>广发互联小贷</title> <meta name="keywords" content="广发互联小贷" /> <meta name="description" co

做最后一个倒下的人

就业大军涌向IT 市场,对于不聪明的人绝对是一个严重的冲击.但是,另一方面,我又很难发挥自身能力的最大化,所以,我只能拼命保住目前的饭碗,争取在夹缝中把html 学会,再做最后的选择.我知道现在很艰难,就像寒冬里的孤雁,但我只能坚信一切都会过去,一定可以撑出一个春天. 累吗?累,因为脑子不够用,对比起来,所有方面都存在巨大差距: 有法子吗?有,坚持!生存!咬牙挺住! 可以加快吗?不能! 可以逃避吗?可以,但是你逃避了这个,还会有更多的不幸等着你去面对! 怎么办?用你的智慧,所有精力,赌上您的一切