11 Linear Models for Classification

一、二元分类的线性模型

线性分类、线性回归、逻辑回归

可视化这三个线性模型的代价函数

SQR、SCE的值都是大于等于0/1的

理论分析上界

将回归应用于分类

线性回归后的参数值常用于pla/pa/logistic regression的参数初始化

二、随机梯度下降

两种迭代优化模式

利用全部样本---》利用随机的单个样本，

梯度下降---》随机梯度下降

SGD与PLA的相似性

当迭代次数足够多时，停止

步长常取0.1

三、使用逻辑回归的多分类问题

是非题---》选择题

每次识别一类A，将其他类都视作非A类

结果出现问题

将是不是A类变为是A类的可能性：软分类

分别计算属于某类的概率，取概率值最大的类为最后的分类结果

OVA总结

注意每次计算一类概率时都得利用全部样本

四、使用二元分类的多分类问题

OVA经常不平衡，即属于某类的样本过多时，分类结果往往倾向于该类

为更加平衡，使用OVO

OVA保留一类，其他为非该类，每次利用全部样本；

OVO保留两类，每次只利用属于这两类的样本

通过投票得出最终分类结果

OVO总结

OVA vs OVO

时间： 2024-11-14 12:06:50

11 Linear Models for Classification的相关文章

Coursera台大机器学习课程笔记10 -- Linear Models for Classification

这一节讲线性模型,先将几种线性模型进行了对比,通过转换误差函数来将linear regression 和logistic regression 用于分类. 比较重要的是这种图,它解释了为何可以用Linear Regression或Logistic Regression来替代Linear Classification 然后介绍了随机梯度下降法,主要是对梯度下降法的一个改进,大大提高了效率. 最后讲了多类别分类,主要有两种策略:OVA和OVO OVA思想很简单,但如果类别很多并且每个类别的数目都差不

《机器学习基石》---Linear Models for Classification

1 用回归来做分类 到目前为止,我们学习了线性分类,线性回归,逻辑回归这三种模型.以下是它们的pointwise损失函数对比(为了更容易对比,都把它们写作s和y的函数,s是wTx,表示线性打分的分数): 把这几个损失函数画在一张图上: 如果把逻辑回归的损失函数ce做一个适当的放缩,则可以得到下图: 可以看出,平方误差和放缩后的交叉熵误差是0/1误差的上限,这里以放缩后的ce举例,由于对于每个点的error均成立不等式,则不论是对于Ein还是Eout仍然有不等式成立,因为它们是数据集上每个点err

Regression：Generalized Linear Models

作者:桂. 时间:2017-05-22  15:28:43 链接:http://www.cnblogs.com/xingshansi/p/6890048.html 前言 主要记录python工具包:sci-kit learn的基本用法. 本文主要是线性回归模型,包括: 1)普通最小二乘拟合 2)Ridge回归 3)Lasso回归 4)其他常用Linear Models. 一.普通最小二乘 通常是给定数据X,y,利用参数进行线性拟合,准则为最小误差: 该问题的求解可以借助:梯度下降法/最小二乘法,

分类和逻辑回归(Classification and logistic regression)，广义线性模型(Generalized Linear Models) ，生成学习算法(Generative Learning algorithms)

分类和逻辑回归(Classification and logistic regression) http://www.cnblogs.com/czdbest/p/5768467.html 广义线性模型(Generalized Linear Models) http://www.cnblogs.com/czdbest/p/5769326.html 生成学习算法(Generative Learning algorithms) http://www.cnblogs.com/czdbest/p/5771

ON THE EVOLUTION OF MACHINE LEARNING: FROM LINEAR MODELS TO NEURAL NETWORKS

ON THE EVOLUTION OF MACHINE LEARNING: FROM LINEAR MODELS TO NEURAL NETWORKS We recently interviewed Reza Zadeh (@Reza_Zadeh). Reza is a Consulting Professor in the Institute for Computational and Mathematical Engineering at Stanford University and a

Machine Learning—Generalized Linear Models广义线性模型

印象笔记同步分享:Machine Learning-Generalized Linear Models广义线性模型

3. Generlized Linear Models

Generlized Linear Models 广义线性模型 Linear Regression和Logistic Regression都是广义线性模型的特例 The exponential family自然指数分布族当概率密度函数可以写成下面的形式,我们称属于自然指数分布族: η 特性[自然]参数 natural parameter T (y) 充分统计量 sufficient statistic 一般情况下 T (y) = y a(η) 积累量母函数log partition functi

【Linear Models for Binary Classification】林轩田机器学习基石

首先回顾了几个Linear Model的共性:都是算出来一个score,然后做某种变化处理. 既然Linear Model有各种好处(训练时间,公式简单),那如何把Linear Regression给应用到Classification的问题上呢?到底能不能迁移呢? 总结了如下的集中Linear Model的error functions的表达式: 这里都提炼出来了ys这一项,y表示需要更正的方向{+1,-1},s表示需要更正的幅度(score) 三种error function可以这么理解: (

PRML-Chapter3 Linear Models for Regression

Example: Polynomial Curve Fitting The goal of regression is to predict the value of one or more continuous target variables t given the value of a D-dimensional vector x of input variables. 什么是线性回归?线性回归的目标就是要根据特征空间是D维的输入x,预测一个或多个连续的目标值变量,大多数情况下我们研究的目