机器学习基石笔记-Lecture 3 Types of learning

本栏目(机器学习)下机器学习基石专题是个人对Coursera公开课机器学习基石(2014)的学习心得与笔记.所有内容均来自Coursera公开课Machine Learning Foundations中Hsuan-Tien Lin林轩田老师的讲解.(https://class.coursera.org/ntumlone-002/lecture) 第3讲-------Types of Learning 上一节讲到如果要回答YES/NO的是非问题,我们可以使用像PLA(感知机)这样的算法,他会在无数

博客已经迁移至Marcovaldo's blog (http://marcovaldong.github.io/) 刚刚完成机器学习基石的第三讲,这一讲主要介绍了机器学习的分类,对何种问题应该使用何种机器学习方法.将笔记整理在下面. Learning with Different Output Space 前面讲的信用卡发放问题是一个是非题,也就是说最后的输出只有两种,是一个二元分类(binary classification).下图中给出了更多的二元分类问题的例子,对于这类问题我们要做的就是找

hoeffding 不等式 说明了在样本量足够大时,抽样估计能够接近真实值. 类比到ml中,对给定的一个假设空间中的h, 它在整个样本空间中的表现可以由在部分样本点上的表现来近似.也就是说样本足够多的时候,Ein与Eout近似相等. 现在已经知道对任意给定的h,在N足够大时,Ein近似于Eout,如果 Ein 非常小,那么Eout也就小,就说明这个 h 和 真实的 f 在很大概率上是很接近的. 现在的一个问题是,如果在多个假设中,其中一个假设h针对训练数据的输出都是正确的,也就是Ein为0,是不

线性回归的任务是对于一个输入,给出输出的实数,保证和真实输出相差越小越好.因为假设空间是线性的,所以最后的g会是直线或者平面. 通常的误差衡量方法是使用平方误差 接下来的问题是如何最小化 Ein 将Ein写成矩阵形式, 注意到Ein是w的函数,是连续的.可微的.凸函数. 对w求偏导使之为0则可以求出最优点.  这是一个关于w的一次方程. 在  不可逆时,它的 pseudo-inverse仍然存在,只是会有多个,选取其中一个去得到w即可. 线性回归是一个学习算法吗? 先来看一看它的Ein H也可以

soft binary classification的概念:软二分类,不直接化为-1.1,而是给出一个概率值. 目标函数是一个概率值,但是拿到的data中y只有0.1(或者-1.1),可以看做是有noise的data. logistic hypothesis 通过 theta 转化为 0.1间的数. 目标函数f(x)其实呢就是,那么 那么对N个样本,产生的概率是 对于f的估计h,似然函数为 那么有: 使 用w替换掉h,即求w的极大似然估计 化简后等价于 最后的Ein就是cross-entropy

为了引出VC维做了很长的铺垫..VC维:用来描述假设空间的表达能力. 第四节讲到对有限的假设空间,只要N足够大,不管A如何选g,训练数据如何选取,g的训练错误率和真实的错误率都很接近. 现在先解决无限假设空间的问题. 希望找到一个 m_H 来替代无限大的M. 系数M的来源是因为对bad data的概率值进行了累加. 但是其实一些h在同一个data上是重叠的,union bound将概率放大了.这样就希望对h进行一些划分,找出在data上表现类似的h,归为一类. 这里举出了二维感知机分类的例子,来

机器学习基石笔记1 lecture 1: The Learning Problem 1. 机器学习是什么 通过对数据的经验计算(experience computed),提升性能度量 3个关键性质 a) 存在一种可以学习的潜在的模式(underlying pattern) b) 没有明确的可编程的定义 c) 存在和模式相关的数据 2. 机器学习的应用 教育 推荐系统 etc. 3. 机器学习的元素 4. 机器学习和其他领域的关系 领域 描述 机器学习 使用数据计算假设g,以此估计目标函数f 数据

转载请注明出处:http://www.cnblogs.com/ymingjingr/p/4271742.html 目录 机器学习基石笔记1——在何时可以使用机器学习(1) 机器学习基石笔记2——在何时可以使用机器学习(2) 机器学习基石笔记3——在何时可以使用机器学习(3)(修改版) 机器学习基石笔记4——在何时可以使用机器学习(4) 机器学习基石笔记5——为什么机器可以学习(1) 机器学习基石笔记6——为什么机器可以学习(2) 机器学习基石笔记7——为什么机器可以学习(3) 机器学习基石笔记8

转载请注明出处:http://www.cnblogs.com/ymingjingr/p/4271742.html 目录 机器学习基石笔记1——在何时可以使用机器学习(1) 机器学习基石笔记2——在何时可以使用机器学习(2) 机器学习基石笔记3——在何时可以使用机器学习(3)(修改版) 机器学习基石笔记4——在何时可以使用机器学习(4) 机器学习基石笔记5——为什么机器可以学习(1) 机器学习基石笔记6——为什么机器可以学习(2) 机器学习基石笔记7——为什么机器可以学习(3) 机器学习基石笔记8