吴恩达《机器学习》课程总结(13)_聚类

13.1无监督学习:简介

将没有标签的样本分成不同的集合(簇),这种算法叫做聚类。常用的领域有市场分割、社交网络分析、计算机集群管理、了解星系等。

13.2K-均值算法

(1)K-均值是最普及的聚类算法,是一种迭代算法,假设需要将数据聚类成n个组,这时候首先随机选择K个点,称为聚类中心。

将每个样本归属到最近的聚类中心,然后重新计算每个类的中心变成新的聚类中心,重复以上步骤,直到聚类中心不变。

伪代码如下:

13.3优化目标

k-均值的最小化问题,就是每个样本点到对应聚类中心的距离之和:

与其他算法不同的是,k-均值每一次迭代都会是代价函数变小。

13.4随机初始化

(1)K应该小于样本数m;

(2)从样本中随机选取K个实例作为初始聚类中心。

K-均值可能会出现局部最小的情况,如下所示:

解决方案:多次运行该算法,最后在比较K-均值代价函数最小的结果,这种方法适用于K取较小的时候(2-10),K太大没有明显效果。

13.5选择聚类数

绘制聚类数与代价函数的图,然后选取出现斜率突然变小的地方的值(“肘部法则”)。

原文地址:https://www.cnblogs.com/henuliulei/p/11286955.html

时间: 2024-10-25 17:06:08

吴恩达《机器学习》课程总结(13)_聚类的相关文章

吴恩达机器学习3

二分分类 在一个二分分类的问题中间,结果总是离散输出的 比如:账户被黑客入侵(1)或者被盗(0):肿瘤是恶性的(1)还是良性的(0) 举个例子:是不是一个猫 目标是训练分类器,其中输入是一张图片所产生的特征向量,并且预测相应的标签是1还是0.在这种情况下,如果是1则表明是猫的图像,0则表示不是猫的图像 通常情况下,一张图片在电脑里面被存为三色素:红,绿和蓝.这三种颜色分别产生了三个矩阵,这三个矩阵拥有相同的大小.比如说,如果一张图片的大小为64*64,则三个矩阵的大小都是64*64 单元格中的值

吴恩达机器学习4

逻辑回归 逻辑回归是一种用来解决当输出的y全部都是1或者0这种监督学习的机器学习算法.其目标就是最小化预测值和训练集之间的错误. 举个栗子:猫和没有猫 通过以向量x形式给出的一张图片,我们的目标就是判断这张图片中有没有猫 给x,y'=P(y=1|x)  其中 0<=y'<=1 在逻辑回归中我们所需要利用的参数有: 1.输入特征向量:x∈Rnx,其中nx表示特征的数目 2.训练的集合:y∈0,1 3.权值 :W∈Rnx,其中nx表示特征的数目 4.偏值:b∈R 5.输出:y∈σ(WTx+b) 6

【吴恩达机器学习】学习笔记——2.1单变量线性回归算法

1 回顾1.1 监督学习定义:给定正确答案的机器学习算法分类:(1)回归算法:预测连续值的输出,如房价的预测(2)分类算法:离散值的输出,如判断患病是否为某种癌症1.2 非监督学习定义:不给定数据的信息的情况下,分析数据之间的关系.聚类算法:将数据集中属性相似的数据点划分为一类. 2 单变量线性回归算法2.1 符号定义m = 训练样本的数量x = 输入变量y = 输出变量2.2 工作方式训练集通过学习算法生成线性回归函数hypothesis  hθ(x) = θ0 + θ1x 原文地址:http

Coursera-AndrewNg(吴恩达)机器学习笔记——第一周

一.初识机器学习 何为机器学习?A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.理解:通过实验E,完成某一项任务T,利用评价标准P对实验结果进行迭代优化! 机器学习主要包括监督学习

Coursera-AndrewNg(吴恩达)机器学习笔记——第三周

一.逻辑回归问题(分类问题) 生活中存在着许多分类问题,如判断邮件是否为垃圾邮件:判断肿瘤是恶性还是良性等.机器学习中逻辑回归便是解决分类问题的一种方法.二分类:通常表示为y?{0,1},0:"Negative Class",1:"Possitive Class". 逻辑回归的预测函数表达式hθ(x)(hθ(x)>=0 && hθ(x)<=1): 其中g(z)被称为逻辑函数或者Sigmiod函数,其函数图形如下: 理解预测函数hθ(x)的

吴恩达机器学习笔记-第三周

六.逻辑回归 6.1 分类问题 对于二分类问题, 我们一般将结果分为0/1,在理解逻辑回归时可以引入感知机,感知机算是很早的分类器,但因为感知机是分布函数,也就是输出的值小于某一临界值,则分为-1,大于某一临界值,则分为1,但由于其在临界点处不连续,因此在数学上不好处理,而且感知机分类比较粗糙,无法处理线性不可分的情况,因此引入了逻辑回归,逻辑回归相当于用一个逻辑函数来处理回归的值,导致最终输出的值在[0, 1]范围内,输入范围是?∞→+∞,而值域光滑地分布于0和1之间. 小于0.5的分为0类,

线性回归和 逻辑回归 的思考(参考斯坦福 吴恩达的课程)

还是不习惯这种公式的编写,还是直接上word.... 对上面的(7)式取log后并最大化即可得到最小二乘法,即 argmaxθ J(θ) 思考二:线性回归到逻辑回归的转变: 1) 引入逻辑回归,假设用线性回归来做分类问题,设为二分类,即y取0或1. 则会出现如下的情况: 这种情况下是能很好的分类的,但若数据是如下所示呢: 则分类很不好. 思考三:逻辑回归损失函数的得来(解释):     答,也是通过最大似然得到的.y的取值为0,1:则认为这是一个伯努力的分布,也称为两点的分布,则公式表示如下:

【吴恩达机器学习随笔】什么是机器学习?

定义 Tom Mitchell对机器学习定义为"计算机从经验E中学习,解决某一任务T,进行某一度量P,通过P测定在T上的表现因经验E而提高".定义个人觉得大体理解即可,如果扣文咬字去理解会十分痛苦,就不做过多解释了. 原文:A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its perform

吴恩达机器学习课时3:监督学习

一.简介 0.example:假设你要对房价进行预测,横轴是不同房屋的平方英尺数,纵轴是不同房子的价格,单位是千美元.那么现在有了这些数据,假设你现在有一栋150平方英尺的房子,你想把这个房子卖掉,想知道能卖多少钱.那么什么样的学习算法能帮到你呢? 学习算法能做的一件事就是根据数据画一条直线来拟合数据,如下图,基于此看上去,房子大约可以卖15万美元 但这可能不是你可以唯一使用的学习算法,可以有一个更好的算法,除了用直线来进行拟合数据,可以使用二次函数或者二阶多项式,来拟合数据会更好,如果此时在这