SVM NG课件

2014年9月28日 16:39 一个二维空间点的示例 ? ? 已使用 Microsoft OneNote 2013 创建.

? ? 目标是优化几何边距, 通过函数边距来表示需要限制||w|| = 1 ? ? 还是优化几何边距,St去掉||w||=1限制转为普通函数边距 ? ? 更进一步的,可以固定函数边距为1,调节||w||即可 ? ? ? ? ? ? ? ?

http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term) 1.1 Loss Term Gold Standard (ideal case) Hinge (SVM, soft margin) Log (logistic regression, cross en

这里以二元分类为例子,给出最基本原理的解释 ? ? GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 ? ? 分类树 ? ? 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算,注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算方法框架,只是我们的优化的目标函数不同. 这里使用的是 指数误差函数,不管是预测正确还是错误 误差值都存在,但是正确的预测 会使得误差值小于错误的预测 参考 AdaBoost and

NG的课件1也讲到了牛顿法,它对应的update rule是 ? ? ? ? ? ? ? ? ? ? H对应Hessian矩阵 http://en.wikipedia.org/wiki/Hessian_matrix ? ? http://aria42.com/blog/2014/12/understanding-lbfgs/ 给出了关于牛顿法更详细的解释: ? ? 将函数做泰勒展开 http://en.wikipedia.org/wiki/Taylor_series 对比单变量函数泰勒展开公式:

这篇博客主要解说了Ng的课第六.七个视频,涉及到的内容包含,函数间隔和几何间隔.最优间隔分类器 ( Optimal Margin Classifier).原始/对偶问题 ( Primal/Dual Problem). SVM 的对偶问题几个部分. 函数间隔和几何间隔 函数间隔( functional margin) 与几何间隔( geometric margin)是理解SVM的基础和前提. 如果y∈{-1,1},而不再是0,1,我们能够将分类器函数表演示样例如以下: 这里的b參数事实上就是原来的

ng机器学习视频笔记(九) --SVM理论基础 (转载请附上本文链接--linhxx) 一.概述 支持向量机(support vector machine,SVM),是一种分类算法,也是属于监督学习的一种.其原理和logistics回归很像,也是通过拟合出一个边界函数,来区分各个分类的结果. 二.代价函数与假设函数 由于svm和logistic很相似,故与logistic进行比较.logistic的代价函数如下: 与logistic不同之处在于,SVM是用两个线段表示logistic中的h.在l

大概用了一个月,Andrew Ng老师的机器学习视频断断续续看完了,以下是个人学习笔记,入门级别,权当总结.笔记难免有遗漏和误解,欢迎讨论. 鸣谢:中国海洋大学黄海广博士提供课程视频和个人笔记,在此深表感谢!

两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重.SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器.而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重.两者的根本目的都是一样的.此外,根据需要,两个方法都可以增加不同的正则化项