A Gentle Introduction to Probabilistic Modeling and Density Estimation in Machine Learning

And

A Detailed Explanation of Variational Auto-Encoder

by

Jiyang Wang

[email protected]

Github.com/2wavetech

简介

非监督机器学习（Unsupervised Machine Learning）中的数据分布密度估计（Density Estimation）、样本采样（Sampling）与生成（Generation，或Synthesis，即合成）等几类任务具有重要的应用价值，这从近年来生成对抗网络（GAN）的流行就可以看出。完成这类任务的模型称为生成式模型（Generative Model）。其实，另一种比GAN更早一点儿出现的生成式模型，即差分自编码器（VAE），具有同样的理论意义和实用价值。

但要彻底搞懂VAE的思想脉络，需要具有比较多的概率论、信息论、概率图模型和机器学习的知识。本文将从与VAE有关的基本概念开始，逐步深入，详细解读VAE。已经知道这些基础知识的读者可以略过本文中的相应部分的内容。这里介绍的基础知识和概念针对VAE的内容作了简化，也未刻意追求数学上的严密性，这一点需要注意。想全面深入了解这些内容的读者可以很容易找到专门的书籍或文章，比如由Ian Goodfellow、YoshuaBengio和Aaron Courville写的新书《Deep Learning》很全面地介绍了深度学习所使用的基础知识，在网上可以免费阅读（http://www.deeplearningbook.org/）。本文适合那些具有入门级的机器学习和最基本的概率论知识的读者阅读。

本文第一章先简要说明模型、模型对概率分布的表达、以及概率模型的建模方法。第二章 介绍分布密度估算的采样方法，主要内容是MCMC算法。第三章介绍分布密度估算的优化方法，包括EM算法和VB算法。第四章详细解释自编码VB方法及VAE模型。第五章是总结。本文实现的CVAE模型使用了Python语言及Keras/TensorFlow。

版权声明：任何引用本博客的内容，请注明出处。 http://blog.51cto.com/13811808

原文地址：http://blog.51cto.com/13811808/2130271