从零开始学会GAN 1:第一部分 介绍生成式深度学习(连载中)

生成模型的框架

让我们从两维开始玩生成模型游戏。 我选择了一条规则,用于生成图1-4中的X点集。我们称这个规则为pdata。 您面临的挑战是在空间中选择不同的数据点x =(x1,x2),使它看起来是由同一规则生成的。

图1-4 由一个未知规则pdata生成的一组二维点

你在哪里选择呢? 呢可能使用你对现有数据点的了解来构建心理模型pmodel,该模型可能更容易找到空间中的位置。 在这方面,pmodelpdata的估计值。 也许你认为pmodel应该如图1-5所示 - 一个可以找到点的矩形框,以及一个没有机会找到任何点的框外区域。 要生成新观测,您可以在框中随机选择一个点,或者更正式地从分布pmodel中选择一个样本。 恭喜你,你刚刚设计了你的第一个生成模型

图1-5 橙色框pmodel是对真实数据生成分布pdata的估计

虽然这不是最复杂的例子,但我们可以用它来了解生成建模试图实现的目标。 以下框架阐述了我们的动机。

生成建模框架

1 我们有一个观测X的数据集。
2 我们假设观察结果是根据一些未知的分布pdata产生的。

3 生成模型pmodel试图模仿pdata。 如果我们实现这一目标,我们可以从pmodel进行采样,以生成看似从pdata中提取的观测值。
4 我们对pmodel印象深刻,如果:
规则1:它可以生成看似从pdata中提取的示例。
规则2:它可以生成与X中的观测结果恰当不同的示例。换句话说,模型不应该简单地复制它已经看到的事物。

现在让我们揭示真正的数据生成分布pdata,并看看框架如何应用于这个例子。
正如我们从图1-6中看到的那样,数据生成规则只是在世界陆地上的均匀分布,而不是在海中找到一个点。

图1-6 橙色框pmodel是对真实数据生成分布pdata(灰色区域)的估计

显然,我们的模型pmodel是对pdata的过度简化。 点A,B和C显示由pmodel生成的三个观测结果,取得了不同程度的成功:
点A打破了生成建模框架的规则1 - 它似乎不是由pdata生成的,因为它位于海。

B点非常接近数据集中的一个点,我们不应该对它们留下深刻的印象,即我们的模型可以生成这样一个点。如果模型生成的所有示例都是这样的,那么它将破坏生成建模框架的规则2。

点C可以被认为是成功的,因为它可以由pdata生成并且与原始数据集中的任何点适当地不同。

生成建模领域多种多样,问题定义可以采用多种形式。 但是,在大多数情况下,生成建模框架捕获了我们应该如何广泛地考虑解决问题。
现在让我们构建我们生成模型的第一个非常重要的例子。

原文地址:https://www.cnblogs.com/love6tao/p/11278140.html

时间: 2024-11-01 22:48:37

从零开始学会GAN 1:第一部分 介绍生成式深度学习(连载中)的相关文章

吴恩达深度学习课程第一课 — 神经网络与深度学习 — 第一周练习

课程一 - 神经网络和深度学习 第一周 - 深度学习简介 第 1 题 “人工智能是新电力”这个比喻指的是什么? A.人工智能为我们的家庭和办公室的个人设备供电,类似于电力. B.通过“智能电网”,人工智能正在传递新一波的电力. C.人工智能在计算机上运行,因此由电力驱动,但它让计算机做以前不可能做的事情. D.与100年前开始的电力类似,人工智能正在改变多个行业. 第 2 题 以下哪些是最近深度学习开始崛起的原因?(选2个答案) A.我们拥有了更多的计算能力 B.神经网络是一个崭新的领域. C.

4.keras实现-->生成式深度学习之DeepDream

DeepDream是一种艺术性的图像修改技术,它用到了卷积神经网络学到的表示,DeepDream由Google于2015年发布.这个算法与卷积神经网络过滤器可视化技术几乎相同,都是反向运行一个卷积神经网络:对卷积神经网络的输入做梯度上升,以便将卷积神经网络靠顶部的某一层的某个过滤器激活最大化.但有以下几个简单的区别: 使用DeepDream,我们尝试将所有层的激活最大化,而不是将某一层的激活最大化,因此需要同时将大量特征的可视化混合在一起 不是从空白的.略微带有噪声的输入开始,而是从现有的图像开

深度学习之神经网络(CNN/RNN/GAN) 算法原理+实战

第1章 课程介绍 深度学习的导学课程,主要介绍了深度学习的应用范畴.人才需求情况和主要算法.对课程章节.课程安排.适用人群.前提条件以及学习完成后达到的程度进行了介绍,让同学们对本课程有基本的认识. 第2章 神经网络入门 本次实战课程的入门课程.对机器学习和深度学习做了引入性讲解,通过若干项目举例讲解了深度学习的最新进展.通过讲解和实战神经网络中的基本结构--神经元及其扩展逻辑斯蒂回归模型,对本课程的基本知识进行全面的讲解,包括神经元.激活函数.目标函数.梯度下降.学习率.Tensorflow基

十天学会php之第一天

以前写了十天学会asp,十天学会asp.net什么的,现在想想再写个php吧,也算比较全了. PHP的调试方法我这里就不说了,外面很多文章都有介绍,也有很多不同的组合.我这里暂时是以 Apache web server 和 MY SQL 作为WEB服务器和数据库,在php-4.3.3下的环境做的程序.当然要简单的构建和访问查看数据库 PHPMYADMIN 不可少. 至于表单设计什么的,我这里也不想多说了,在<十天学会ASP>中已经有介绍. 下面简单介绍一下PHP的语法. 1.嵌入方法: 类似A

一周学会mysql:第一章mysql简介

mysql是支持众所周知的sql(结构化查询语言)数据库语言的一个关系数据库 数据库是由持久性数据的某些集合组成的,由数据库管理系统管理 数据库专用语言把命令传递给数据库服务器,这种语言叫数据库语言 NULL值:未知的值(空值),部要和0混淆了 主键用来唯一标识表中的一列,表中不可能有2个不同行在他们的主键上具有相同的值,主键必须有个值 候选键:表中包含多个可以作为主键的列,但只有其中一个可以作为主键 替换键:不是表格主键的候选键. 外键:是表中的一列,该列是另外一个表的主键内容的一个子集 一周

深度学习----现今主流GAN原理总结及对比

原文地址:https://blog.csdn.net/Sakura55/article/details/81514828 1.GAN 先来看看公式: GAN网络主要由两个网络构成,生成网络G和辨别网络D,生成模型G的思想是将一个噪声包装成一个逼真的样本,判别模型D则需要判断送入的样本是真实的还是假的样本,即共同进步的过程,辨别模型D对样本的判别能力不断上升,生成模型G的造假能力也不断上升!              需要注意的是,生成模型G的输入是服从-1~1均匀分布的随机变量,输出为一张图片(

(转)神经网络和深度学习简史(第一部分):从感知机到BP算法

深度|神经网络和深度学习简史(第一部分):从感知机到BP算法 2016-01-23 机器之心 来自Andrey Kurenkov 作者:Andrey Kurenkov 机器之心编译出品 参与:chenxiaoqing.范娜Fiona.杨超.微胖.汪汪.赵巍 导读:这是<神经网络和深度学习简史>第一部分.这一部分,我们会介绍1958年感知机神经网络的诞生,70年代人工智能寒冬以及1986年BP算法让神经网络再度流行起来. 深度学习掀起海啸 如今,深度学习浪潮拍打计算机语言的海岸已有好几年,但是,

(转)大牛的《深度学习》笔记,60分钟带你学会Deep Learning。

大牛的<深度学习>笔记,60分钟带你学会Deep Learning. 2016-08-01 Zouxy 阅面科技 上期:<从特征描述到深度学习:计算机视觉发展20年> 回复“01”回顾全文   本期:大牛的<深度学习>笔记,60分钟带你学会Deep Learning. 深度学习,即Deep Learning,是一种学习算法(Learning algorithm),亦是人工智能领域的一个重要分支.从快速发展到实际应用,短短几年时间里,深度学习颠覆了语音识别.图像分类.文本

转:详细介绍了如何学习Java

以下详细介绍了如何学习Java,如果楼主有耐心的话,建议仔细看一下~ 学习一门新的知识,不可能指望只看一本,或者两本书就能够完全掌握.需要有一个循序渐进的阅读过程.我推荐Oreilly出版的Java系列书籍. 在这里我只想补充一点看法,很多人学习Java是从<Thinking in Java>这本书入手的,但是我认为这本书是不适合初学者的.我认为正确的使用这本书的方法应该是作为辅助的读物.<Thinking in Java>并不是在完整的介绍Java的整个体系,而是一种跳跃式的写作