Kernel Logistic Regression

所以,这里我们通过一种两个步骤的训练方式把SVM方法和Logistic Regression结合起来,第一步我们还是通过SVM求解得到Wsvm和bsvm,然后我们把得到的w和b,用上面的方法进行Logistic Regression的训练, 通过A和B这两个参数进行放缩和平移,最终得到的结果如果A>0的话,那么Wsvm就是好的,B接近0的话, bsvm也是可靠的.

这里我们把Platt’s Model的步骤概括成为以下的步骤:

因为有B的存在,所以有一定的平移的效果,所以soft binary classifier跟SVM的边界有一定的差异,然后对于解第二步Logistic Regression的话就可以采用GD/SGD等求解Local Minimum的方法.

Kernel方法的重要概念就是最后得到的最优的w是zn的线性组合.这一点对于SVM, PLA, LogReg都是一样的.

上图证明了对于任何一个L2-Regularized的模型,最优解w都可以表示成为zn的线性组合.证明方式是反证法.

所以把Representer Theorem应用到Kernel Logistic Regression上去的话就可以用GD/SGD做优化求解了.

从另一个角度看过去,KLR这个式子是beta的线性组合,系数就是K(xn,xm),但是这里要注意到,beta在KLR中基本都是有值的,不像SVM,只有是SV的时候,an才会不等于0

时间： 2024-11-09 04:00:21

Kernel Logistic Regression的相关文章

Probabilistic SVM 与 Kernel Logistic Regression（KLR）

本篇讲的是SVM与logistic regression的关系. (一) SVM算法概论 首先我们从头梳理一下SVM(一般情况下,SVM指的是soft-margin SVM)这个算法. 这个算法要实现的最优化目标是什么?我们知道这个目标必然与error measurement有关. 那么,在SVM中,何如衡量error的?也即:在SVM中ε具体代表着什么? SVM的目标是最小化上式.我们用来衡量error.这个式子是不是有点眼熟?我们在regularzation一篇中,最小化的目标也是如此形式.

【Kernel Logistic Regression】林轩田机器学习技术

最近求职真慌,一方面要看机器学习,一方面还刷代码.还是静下心继续看看课程,因为觉得实在讲的太好了.能求啥样搬砖工作就随缘吧. 这节课的核心就在如何把kernel trick到logistic regression上. 首先把松弛变量的表达形式修改一下,把constrained的形式改成unconstrained的形式. 改成这种'unconstrained' form of soft-margin SVM之后,突然发现很像L2 regularization 如果用regularized mode

机器学习技法(5)--Kernel Logistic Regression

回顾一下soft margin SVM的知识: 然而从另一个角度来看,分为真的有犯错和没有犯错: 在没有犯错的时候,ξn=0就好了.于是ξn就可以写成一个求max的过程.根据这个思路,我们有了SVM的新形式: 这样一来,ξn就不再是一个独立的变量,它变成了一个由b和w决定的变量,这样的话,式子又被简化了. 简化后的式子和L2的正则差不多: SVM和正则化有很多相似的点: 这些联系可以帮助我们以后换一种视角看待SVM. 下面从错误衡量的视角看LR和SVM: 由此可以看出SVM≍L2的LR. 那么再

Machine Learning Techniques -5-Kernel Logistic Regression

5-Kernel Logistic Regression Last class, we learnt about soft margin and its application. Now, a new idea comes to us, could we apply the kernel trick to our old frirend logistic regression? Firstly, let's review those four concepts of margin handlin

More 3D Graphics (rgl) for Classification with Local Logistic Regression and Kernel Density Estimates (from The Elements of Statistical Learning)（转）

This post builds on a previous post, but can be read and understood independently. As part of my course on statistical learning, we created 3D graphics to foster a more intuitive understanding of the various methods that are used to relax the assumpt

Logistic Regression Vs Decision Trees Vs SVM: Part I

Classification is one of the major problems that we solve while working on standard business problems across industries. In this article we’ll be discussing the major three of the many techniques used for the same, Logistic Regression, Decision Trees

Logistic Regression vs Decision Trees vs SVM: Part II

This is the 2nd part of the series. Read the first part here: Logistic Regression Vs Decision Trees Vs SVM: Part I In this part we’ll discuss how to choose between Logistic Regression , Decision Trees and Support Vector Machines. The most correct ans

Coursera台大机器学习技法课程笔记05-Kernel Logistic Regression

这一节主要讲的是如何将Kernel trick 用到 logistic regression上. 最近看的论文用到了这方面的知识,不过没听懂啊,真是哭死.... 参考:http://www.cnblogs.com/xbf9xbf/p/4633775.html

Logistic Regression & Classification (1)

一.为什么不使用Linear Regression 一个简单的例子:如果训练集出现跨度很大的情况,容易造成误分类.如图所示,图中洋红色的直线为我们的假设函数 .我们假定,当该直线纵轴取值大于等于0.5时,判定Malignant为真,即y=1,恶性肿瘤:而当纵轴取值小于0.5时,判定为良性肿瘤,即y=0. 就洋红色直线而言,是在没有最右面的"×"的训练集,通过线性回归而产生的.因而这看上去做了很好的分类处理,但是,当训练集中加入了右侧的"×"之后,导致整个线性回归的结