GMM-EM实验结果

华盛顿大学 机器学习 笔记. k-means的局限性 k-means 是一种硬分类(hard assignment)方法,例如对于文档分类问题,k-means会精确地指定某一文档归类到某一个主题,但很多时候硬分类并不能完全描述这个文档的性质,这个文档的主题是混合的,这时候需要软分类(soft assignment)模型. k-means 缺陷:(1)只关注聚类中心的表现.(2)聚类区域形状必须为对称圆形/球形,轴平行. 对于聚类区域大小不一.轴不平行.聚类空间重叠等情况,k-means 缺陷显著

一.DataFrame执行后端优化(Tungsten第一阶段) DataFrame可以说是整个Spark项目最核心的部分,在1.5这个开发周期内最大的变化就是Tungsten项目的第一阶段已经完成.主要的变化是由Spark自己来管理内存而不是使用JVM,这样可以避免JVM GC带来的性能损失.内存中的Java对象被存储成Spark自己的二进制格式,计算直接发生在二进制格式上,省去了序列化和反序列化时间.同时这种格式也更加紧凑,节省内存空间,而且能更好的估计数据量大小和内存使用情况.如果大家对这部

"机器学习:概念到理解"系列,我本着开放与共享(open and share)的精神撰写,目的是让更多的人了解机器学习的概念,理解其原理,学会应用.现在网上各种技术类文章很多,不乏大牛的精辟见解,但也有很多滥竽充数.误导读者的.这个系列对教课书籍和网络资源进行汇总.理解与整理,力求一击中的,通俗易懂.机器学习很难,是因为她有很扎实的理论基础,复杂的公式推导:机器学习也很简单,是因为对她不甚了解的人也可以轻易使用.我希望好好地梳理一些基础方法模型,输出一些真正有长期参考价值的内容,让更多

开一个机器学习方法科普系列,也做基础回顾之用.学而时习之. content: linear regression, Ridge, Lasso Logistic Regression, Softmax Kmeans, GMM, EM, Spectral Clustering Dimensionality Reduction: PCA.LDA.Laplacian Eigenmap. LLE. Isomap(修改前面的blog) SVM C3.C4.5 Apriori,FP PageRank minH

开一个机器学习方法科普系列:做基础回想之用.学而时习之:也拿出来与大家分享.数学水平有限,仅仅求易懂,学习与工作够用.周期会比較长.由于我还想写一些其它的,呵呵. content: linear regression, Ridge, Lasso Logistic Regression, Softmax Kmeans, GMM, EM, Spectral Clustering Dimensionality Reduction: PCA.LDA.Laplacian Eigenmap. LLE. Is

数学基础(2节课) 微积分 极限,e,导数,微分,积分 偏导数,方向导数,梯度 极值,多元函数极值,多元函数泰勒展开 无约束优化,约束优化 拉格朗日乘子,对偶问题 线性代数 矩阵,行列式,初等变换 线性相关,线性无关 秩,特征值,特征向量 正交向量.正交矩阵 矩阵分解 概率 随机变量,概率密度函数,分布函数 条件概率,全概率公式,贝叶斯公式 期望,方差 大数定理,中心极限定理 协方差,相关系数 常见概率分布,泊松分布 指数族分布,多元高斯分布 参数估计,矩估计,极大似然估计MLE 机器学习基本概

目录 EM算法(1):K-means 算法 EM算法(2):GMM训练算法 EM算法(3):EM算法详解

在聚类算法K-Means, K-Medoids, GMM, Spectral clustering,Ncut一文中我们给出了GMM算法的基本模型与似然函数,在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明.本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明. 1. GMM模型: 每一个 GMM 由 K 个 Gaussian 分布组成,每一个 Gaussian 称为一个"Component",这些 Component 线性加成在一起就组成了 GMM 的概率密

In EM and GMM(Theory), I have introduced the theory of em algorithm for gmm. Now lets practice it in matlab! 1. Generate 1000 pieces of  random 2-dimention data which obey 5 gaussian distribution. function X = GenerateData Sigma = [1, 0; 0, 1]; mu1 =

提出混合模型主要是为了能更好地近似一些较复杂的样本分布,通过不断增加component个数,可以任意地逼近任何连续的概率分布,所以我们认为任何样本分布都可以用混合模型来建模.因为高斯函数具有一些很实用的性质,所以高斯混合模型被广泛地使用. GMM与kmeans类似,也是属于clustering,不同的是,kmeans是把每个样本点聚到其中一个cluster,而GMM是给出这些样本点到每个cluster的概率,每个component就是一个聚类中心. GMM(Gaussian Mixture Mo