统计学习方法 –> 支持向量机

前言

定义: 在特征空间上间隔最大的线性分类器。

核是SVM非常重要的一个特性。

支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二次规划的问题。

分类 1》线性可分支持向量机 2》线性支持向量机 3》非线性支持向量机

如果训练数据线性可分,那么可以通过硬间隔最大化,学习一个线性分类器,就是线性可分支持向量机,就是硬间隔支持向量机。

类似,如果训练数据近似线性可分,那么可以通过软间隔最大化来学习一个线性的分类器。成为软间隔支持向量机。

训练数据线性不可分的时候,就必须动用核函数来处理了。

核函数表示的是将输入从输入空间映射到特征空间得到的特征向量之间的内积。

线性可分支持向量机

正例 && 负例

分离超平面将特征空间划分为两部分,一部分是正类,一部分是负类。

超平面关于样本点的函数间隔的几何距离的公式应该要会写。

所以目标函数就是间隔r最大化。 见统计学习方法7.9

间隔边界,很重要的概念。

学习的对偶算法

为求解SVM的目标函数。可以用拉格朗日对偶性,通过求解对偶问题来得到原始问题的最优解。这就是线性可分支持向量机的对偶算法。

松弛变量,有了松弛变量之后,可以使函数间隔加上松弛变量大于等于1。

核技巧

用线性分类方法求解非线性分类问题分为两步:首先使用一个变换将原空间的数据映射到新空间。然后在新空间里面用线性分类学习方法从训练数据之中学习分类模型。

时间: 2024-10-21 18:37:41

统计学习方法 –> 支持向量机的相关文章

统计学习方法笔记(1)——统计学习方法概论

1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称统计机器学习.统计学习是数据驱动的学科.统计学习是一门概率论.统计学.信息论.计算理论.最优化理论及计算机科学等多个领域的交叉学科. 统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去.统计学习关于数据的基本假设是同类数据具有一定的统计规律性,这是统计学习的前提. 统计学习的目的就是考虑学习什么样的模型和如何学习模型. 统计学习

[读]统计学习方法

这两天看<统计学习方法>,记录了一些基本的知识点. 1.统计学习的方法 从给定的.有限的.用于学习的训练数据集合出发,假设数据时独立同分布产生:并且假设要学习的模型术语某个函数的集合,称为假设空间:应用某个评价准则,从假设空间中选取一个最优的模型,使他对已知训练数据及未知测试数据在给定的评价准则下有最优的预测:最幽默型的选取由算法实现.这样,统计学习方法包括模型的假设空间.模型选择的准则以及模型学习的算法,称其为统计学习方法的三要素,简称为模型.策略和算法. 实现统计学习的步骤如下: (1)得

统计学习方法 李航---第12章 统计学习方法总结

第12章 统计学习方法总结 1 适用问题 分类问题是从实例的特征向量到类标记的预测问题:标注问题是从观测序列到标记序列(或状态序列)的预测问题.可以认为分类问题是标注问题的特殊情况. 分类问题中可能的预测结果是二类或多类:而标注问题中可能的预测结果是所有的标记序列,其数目是指数级的. 感知机.k近邻法.朴素贝叶斯法.决策树是简单的分类方法,具有模型直观.方法简单.实现容易等特点: 逻辑斯谛回归与最大熵模型.支持向量机.提升方法是更复杂但更有效的分类方法,往往分类准确率更高: 隐马尔可夫模型.条件

《统计学习方法》笔记

书籍ISBN:978-7-302-27595-4 第3章 k近邻法 P37 3.1节 k近邻算法 k近邻算法简单.直观:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类.算法描述如下: 输入:训练数据集 其中xi是n维实数空间上的实例特征向量.yi∈{c1, c2,..., ck}为实例的类别,i = 1, 2,..., N:新输入的实例特征向量x. 输出:实例x所属的类y. (1)根据给定的距离度量,在训练集T

统计学习方法 李航---第1章 统计学习方法概论

第一章 统计学习方法概论 统计学习的主要特点是: (1)统计学习以计算机及网络为平台,是建立在计算机及网络之上的; (2)统计学习以数据为研究对象,是数据驱动的学科: (3)统计学习的目的是对数据进行预测与分析: (4)统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析; (5)统计学习是概率论.统计学.信息论.计算理论.最优化理论及计算机科学等多个领域的交叉学科,并且在发展中逐步形成独自的理论体系与方法论. 统计学习的对象是数据Cdata) 统计学习的目的是对数据进行预铡与分析

统计学习方法进程01

学习统计学习方法也已经有几天了,在这几天的时间里,我主要对分类学习方法进行了初步学习,包括:感知机-->支持向量机,K近邻法,朴素贝叶斯法,决策树,logistic 回归与最大熵模型. 其中k近邻法的实现为kd树,朴素贝叶斯通过极大似然估计实现,决策树包含有生成决策树算法ID3,C4.5,决策树的剪枝算法CART. logistic回归,核心为参数估计,一般用极大似然估计把问题变成优化问题.最优化问题的解决通常采用梯度下降法,拟牛顿法.概率学习问题中还涉及到最大熵模型(存在一定遗忘) 支持向量机

统计学习方法 笔记&lt;第一章&gt;

第一章 统计学习方法概述 1.1 统计学习 统计学习(statistical learning)是关于计算机基于数据概率模型并运用模型进行预测和分析的学科.统计学习也称为统计机器学习,现在人们提及的机器学习一般都是指统计机器学习. 统计学习的对象是数据(data),关于数据的基本假设是同类数据具有一定的统计规律性(前提):比如可以用随机变量描述数据中的特征,用概率分布描述数据的统计规律等. 统计学习的目的:对现有的数据进行分析,构建概率统计模型,分析和预测未知新数据,同时也需要考虑模型的复杂度以

1 统计学习方法基础

1.1 统计学习 概念 统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科,统计学习也成为统计机器学习(statistical machine learning). 特点 统计学习将数据作为研究对象,是数据驱动的学科 统计学习的目的是对数据进行预测和分析 统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析.包括监督学习,非监督学习,半监督学习,强化学习等. 1.2 监督学习 概念 从给定的, 有限的,

统计学习方法--机器学习概论

(本章主要参考李航老师的<统计学习方法>,其次是周志华老师的<机器学习>.通过自己的阅读,提炼出书中的知识点以及些许自己部分的理解(可能不到位),巩固所学知识.) 统计学习方法概论 本章简要叙述统计学习方法的一些基本概念.首先许如统计学习的定义.研究对象与方法:然后叙述监督学习:接着提出统计学习方法的三要素:介绍模型选择:介绍生成模型与判别模型:最后介绍监督学习方法的应用:分类问题.标注问题与回归问题. 以下是目录结构: 一. 统计学习 二. 监督学习 三.统计学习三要素 四. 模