机器学习-深度学习之李航-统计学习方法学习笔记之感知机

感知机应该是机器学习里面最简单的模型了。读一遍文章也能理解作者想表达的意思。因为以前像梯度下降,多项式拟合,神经网络都在Andrew Ng的公开课上看过了。但是真正关于书中的公式却不怎么理解。一些简单的作者也没有推导。毕竟这是机器学习,不是微积分,或者线性代数,或者概率论。微积分,概率论,线性代数是 大学期间的基础课程。很多人应该都学过。

关于感知机的几何模型。

感知机有如下几何解释:线性方程:

            w•x+b=0

对应于特征空间Rn中的一个超平面S,其中w是超平面的法向量,b是超平面的截距。

我们首先看一下法向量的定义

如果一个非零向量n与平面a垂直,则称向量n为平面a的法向量。

垂直于平面的直线所表示的向量为该平面的法向量。每一个平面存在无数个法向量。

因为我们知道超平面的几何方程还可以这样写  :Ax+By+Cz=D;如下图

上图来自于网易公开课,可汗学院线性代数公开课,点击进入

其中法向量n=Ai+Bj+Cz ;也就是法向量可以如下表示(A,B,Z);

超平面几何方程:Ax+By+Cz=D;

和该处超平面的方程相对比,w•x+b=0  也就是w=n=(A,B,Z) ,其中-b为超平面的截距,也就是平面方程中的D;

感知机模型中的X也就是特征向量,也就是平面中的一系列点,也就是我们超平面几何方程中的(x,y,z);

到此我们就不能理解了。感知机几何模型w•x+b=0  既是超平面几何方程Ax+By+Cz=D;

感知机学习策略

既然了解了感知机的几何模型,接下来我们就看一下感知机的学习策略。

对于一个线性可分的 数据集

我们现在需要找到一个分离超平面,也就是确定w,b的参数,来将损失函数最小化,在这儿也就是求出所有的点到该几何平面的总距离,并使该总距离最短。从而将特征向量完全区分开来。

我们需要求任意一点到该超平面的距离,公式如下

我们首先来看|w•x0+b|的意义

我们先不管作者给出的公式。我们先看一下在线性代数里面是怎样求一个点到平面的距离的。

具体的公式推导请到网易公开课,线性代数课程观看,点击此处

从线性几何我们得出任意一点到平面的距离公式是

其中Ax+By+Cz-D,也就是我们上面给的线性几何模型。相对于感知机也就是w•x+b

对于A2+B2+C2开平方也就是将对法向量w(A,B,C) 的一系列操作。作者在书中提到该值是法向量w的L2范数。我们先看一下范数的概念。

该定义来自线性代数

从上定义我们可以得知||w||即为对A2+B2+C2开平方。

至此我们就明了了作者书中公式的由来。

时间: 2024-11-04 21:06:00

机器学习-深度学习之李航-统计学习方法学习笔记之感知机的相关文章

机器学习-李航-统计学习方法学习笔记之感知机(2)

在机器学习-李航-统计学习方法学习笔记之感知机(1)中我们已经知道感知机的建模和其几何意义.相关推导也做了明确的推导.有了数学建模.我们要对模型进行计算. 感知机学习的目的是求的是一个能将正实例和负实例完全分开的分离超平面.也就是去求感知机模型中的参数w和b.学习策略也就是求解途径就是定义个经验损失函数,并将损失函数极小化.我们这儿采用的学习策略是求所有误分类点到超平面S的总距离.假设超平面s的误分类点集合为M,那么所有误分类点到超平面S的总距离为 显然损失函数L(w,b)是非负的,如果没有误分

统计学习方法读书笔记:感知机

什么是感知机 二分类的线性分类模型,输入是实例的特征向量,输出是实例的类别,取-1和+1两值. 感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型. 感知机是神经网络和支持向量机的基础. 模型的使用条件 数据集需要是线性可分的,同时,如果数据集是线性可分的话,经过一定的迭代次数一定可以得到一个感知机模型,将正负例分离开. 损失函数的定义 一个自然的选择是误分类点的总数,但是这样的损失函数不是参数w和b的连续可导函数,不易于优化. 感知机所采用的损失函数为误分类点到超

《统计学习方法》笔记

书籍ISBN:978-7-302-27595-4 第3章 k近邻法 P37 3.1节 k近邻算法 k近邻算法简单.直观:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类.算法描述如下: 输入:训练数据集 其中xi是n维实数空间上的实例特征向量.yi∈{c1, c2,..., ck}为实例的类别,i = 1, 2,..., N:新输入的实例特征向量x. 输出:实例x所属的类y. (1)根据给定的距离度量,在训练集T

每月学习数理统计--《统计学习方法—李航》(1)

现在这本书已经看完70%,在看完后我将会将每一章的内容按照自己的理解并结合其他书籍包括<<统计机器学习导论>>[1] ,<<机器学习>>[2],<<大数据分析>>[3]这三本书总结经典的几大算法原理与代码实现.下面是预计的写作思路: 一.分类学习 1.SVM 2.决策树 3.Logistic 回归 4.贝叶斯判别法 5.K近邻法 6.最小二乘法 7.最大熵模型 8.高斯混合模型 二.集成学习 1.Random Forest 2.GBD

每月学习数理统计--《统计学习方法—李航》(2): 感知器

1. 感知器的介绍 2.感知器的算法 3.感知器的更新规则 4.感知器的收敛性 5.感知器的局限性 1. 感知器的介绍 首先 2. 感知器的算法 3. 感知器的更新规则 4. 感知器的收敛性 5. 感知器的局限性 原文地址:https://www.cnblogs.com/tjpeng/p/10326100.html

李航统计学习方法——算法2——k近邻法

一.K近邻算法 k近邻法(k-nearest neighbor,k-NN)是一种基本分类与回归方法,输入实例的特征向量,输出实例的类别,其中类别可取多类 二.k近邻模型 2.1 距离度量 距离定义: (1)当p=1,称为曼哈顿距离 (2)当p=2,称为欧式距离 (3)当p取无穷大时,它是各个坐标距离的最大值 max|xi-xj| 注意:p值的选择会影响分类结果,例如二维空间的三个点 x1=(1,1),x2=(5,1), x3=(4,4) 由于x1和x2只有第二维上不同,不管p值如何变化,Lp始终

统计学习方法之第二章感知机

假设训练数据线性可分,那么感知机模型如下: f(x)=ω?χ+b这个超平面可以用来分割平面 不考虑系数,那么感知机的损失函数就可以定义为

统计学习方法--机器学习概论

(本章主要参考李航老师的<统计学习方法>,其次是周志华老师的<机器学习>.通过自己的阅读,提炼出书中的知识点以及些许自己部分的理解(可能不到位),巩固所学知识.) 统计学习方法概论 本章简要叙述统计学习方法的一些基本概念.首先许如统计学习的定义.研究对象与方法:然后叙述监督学习:接着提出统计学习方法的三要素:介绍模型选择:介绍生成模型与判别模型:最后介绍监督学习方法的应用:分类问题.标注问题与回归问题. 以下是目录结构: 一. 统计学习 二. 监督学习 三.统计学习三要素 四. 模

统计学习方法 李航---第1章 统计学习方法概论

第一章 统计学习方法概论 统计学习的主要特点是: (1)统计学习以计算机及网络为平台,是建立在计算机及网络之上的; (2)统计学习以数据为研究对象,是数据驱动的学科: (3)统计学习的目的是对数据进行预测与分析: (4)统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析; (5)统计学习是概率论.统计学.信息论.计算理论.最优化理论及计算机科学等多个领域的交叉学科,并且在发展中逐步形成独自的理论体系与方法论. 统计学习的对象是数据Cdata) 统计学习的目的是对数据进行预铡与分析