B站 机器学习的数学

吴恩达机器学习:https://www.bilibili.com/video/av9912938/?p=43

有一个很好的文章:https://blog.csdn.net/qq_39422642/article/details/78725278

https://blog.csdn.net/LeviAckerman/article/details/80353135

视频来自:https://www.bilibili.com/video/av38272602/?p=10

SVM的核心是:最大间隔

SVM和其他不同的算法类似的是:都是划分了决策边界。

不同是:决策边界划分的方法不同。

核心思想2:

引入y,把之前的两个式子,合并成一个。这也是个小trick

支持向量满足这个式子(式2)。

这个式子非常重要!。

拉格朗日乘子是需要学出来的东西

我们不关心x具体为什么,而是关心两个x的点乘。这其实也是一种kernel。

代入决策公式得

其中为测试集中的数据。

测试集的点和路边的点两两乘内积,求完内积再求加权的和,如果>0,则为+。这就是最简单的SVM的形式。

不为0时,Xi就不是路边的点了。只有为0时,才是路边的点。

核函数太难了。

但是可以求出来。

因为两两点乘为一个常数,所以k是一个线性函数。

上面的是多项式核,下面的为高斯(RBF)核

在建模的时候,我们只需要知道核函数是什么,而不需要非线性变换的函数是什么。

这样我们就把上面的式子转化成了下面的式子。

现在就剩下一个问题:如何求

有了,就会有w,b。

题外话:SVM的所有优化都是凸优化。深度学习的时候,达到局部最优就可以了。不一定非要全局最优。

SMO如何做的?

每次固定2个变量,求极值,依次迭代。

原文地址:https://www.cnblogs.com/JasonPeng1/p/12110139.html

时间: 2024-10-23 04:37:33

B站 机器学习的数学的相关文章

【机器学习之数学】03 有约束的非线性优化问题——拉格朗日乘子法、KKT条件、投影法

目录 将有约束问题转化为无约束问题 拉格朗日法 KKT条件 拉格朗日法更新方程 凸优化问题下的拉格朗日法 罚函数法 对梯度算法进行修改,使其运用在有约束条件下 投影法 梯度下降法 to 投影梯度法 正交投影算子 References 相关博客 梯度下降法.最速下降法.牛顿法等迭代求解方法,都是在无约束的条件下使用的,而在有约束的问题中,直接使用这些梯度方法会有问题,如更新后的值不满足约束条件. 那么问题来了,如何处理有约束的优化问题?大致可以分为以下两种方式: 将有约束的问题转化为无约束的问题,

机器学习之数学原理笔记(三)

正定矩阵 1.1   定义 广义:设M是n阶方阵,如果对任何非零向量z,都有zTMz> 0,其中zT 表示z的转置,就称M正定矩阵.[1] 狭义定义:一个n阶的实对称矩阵M是正定的的条件是当且仅当对于所有的非零实系数向量z,都有zTMz> 0.其中zT表示z的转置. 1.2   定理与性质 l  正定矩阵在合同变换下可化为标准型, 即对角矩阵. l  所有特征值大于零的对称矩阵(或厄米矩阵)也是正定矩阵. l  判定定理1:对称阵A为正定的充分必要条件是:A的特征值全为正. l  判定定理2:

[Z]牛人林达华推荐有关机器学习的数学书籍

1. 线性代数 (Linear Algebra): 我想国内的大学生都会学过这门课程,但是,未必每一位老师都能贯彻它的精要.这门学科对于Learning是必备的基础,对它的透彻掌握是必不可少的.我在科大一年级的时候就学习了这门课,后来到了香港后,又重新把线性代数读了一遍,所读的是 Introduction to Linear Algebra (3rd Ed.)  by Gilbert Strang. 这本书是MIT的线性代数课使用的教材,也是被很多其它大学选用的经典教材.它的难度适中,讲解清晰,

模式识别与机器学习中数学推导中用到的数学知识

每次手推公式就会遇见各种不会的,在网上搜了个总结的还不错的常用求导公式...继续更新中…… 以下原文地址:http://blog.163.com/live_freely/blog/static/151142060201023154057339/ 在网上看到有人贴了如下求导公式: Y = A * X --> DY/DX = A' Y = X * A --> DY/DX = A Y = A' * X * B --> DY/DX = A * B' Y = A' * X' * B -->

(转)机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

版权声明: 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com.如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任. 前言: 上次写过一篇关于贝叶斯概率论的数学,最近时间比较紧,coding的任务比较重,不过还是抽空看了一些机器学习的书和视频,其中很推荐两个:一个是stanford的machine learning公开课,在verycd可下载,可惜没有翻译.不过还是可以看.另外一个是prml-pattern recogni

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

机器学习中的数学(1)-回归(regression).梯度下降(gradient descent) 版权声明: 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com.如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任. 前言: 上次写过一篇关于贝叶斯概率论的数学,最近时间比较紧,coding的任务比较重,不过还是抽空看了一些机器学习的书和视频,其中很推荐两个:一个是stanford的machine learning公开课,在

机器学习中的数学-回归(regression)、梯度下降(gradient descent)<1>

机器学习中的数学(1)-回归(regression).梯度下降(gradient descent) 版权声明: 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com.如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任. 前言: 上次写过一篇关于贝叶斯概率论的数学,最近时间比较紧,coding的任务比较重,不过还是抽空看了一些机器学习的书和视频,其中很推荐两个:一个是stanford的machine learning公开课,在

机器学习和深度学习资料合集

机器学习和深度学习资料合集 注:机器学习资料篇目一共500条,篇目二开始更新 希望转载的朋友,你可以不用联系我.但是一定要保留原文链接,因为这个项目还在继续也在不定期更新.希望看到文章的朋友能够学到更多.此外:某些资料在中国访问需要梯子. <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in

[转]机器学习和深度学习资料汇总【01】

本文转自:http://blog.csdn.net/sinat_34707539/article/details/52105681 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen