线性分类器: Linear Classifier

线性分类器:通过线性映射,将数据分到对应的类别中

①线性函数:f(xi?, W, b)= W * xi ?+ b

W为权值(weights),b为偏移值(bias vector),xi为数据

假设每个图像数据被拉长为一个长度为D的列向量,其大小为[D x 1];W是大小为[K x D]的矩阵,b是大小为大小[K x 1]的列向量

以CIFAR-10为例,xi包含第i个图像的所有像素信息,这些信息被拉成为一个[3072 x 1]的列向量,W的大小为[10 x 3072],b的大小为[10 x 1]

因此,3072个数字(原始像素数值)作为输入,10个数字(不同分类得到的分值)作为输出,然后概率最大的分类作为输出

②对W和b的理解:

W:W是一个m行n列的矩阵,[m x n]。其中矩阵的每一行,对应着不同的分类器/分类模板,一共有m个分类模板。W与数据X矩阵乘,是为了计算每一个分类输入的数据(图像)的匹配度,因此假设Xi是一个[n x 1]的列向量,则W*Xi ->  [m x n] * [n x 1] 得到的是[m,1],即m行一列,其中每一行的数字代表着输入的图像与该分类模版的匹配程度,每一个匹配度加上对应的偏移值,最后只需从m个数字中选出匹配度最大的那个数所对应的分类即可,该分类就是输入图像所属分类

b:b是一个m行1列的矩阵,[m x 1]。矩阵的每一行对应着不同分类的偏移值,一共有m种分类,所以一共有m行

关于训练与参数W、b的关系:通过训练不断学习,更新W和b,训练的目标就是获取参数W和b,因此训练过程中参数W和b是在不断调整的,调整的目的是使得模型计算出来的分类情况与训练集中图像数据的真实标签相符

附:矩阵相乘的定义

原文地址:https://www.cnblogs.com/shiliuxinya/p/12219593.html

时间: 2024-07-31 09:51:42

线性分类器: Linear Classifier的相关文章

07 线性分类器(Linear Classifiers)

机器学习中监督学习模型的任务重点在于,根据已有经验知识对未知样本的目标/标记进行预测. 根据目标预测变量的类型不同,把监督学习任务大体分为分类学习与回归预测两类. 监督学习任务的基本架构和流程 首先准备训练数据,可以是文本.图像.音频等: 然后抽取所需要的特征,形成特征向量(Feature Vectors): 接着,把这些特征向量连同对应的标记/目标(Labels)一并送入学习算法(Machine Learning Algorithm)中,训练处一个预测模型(Predictive Model):

【Python 代码】CS231n中Softmax线性分类器、非线性分类器对比举例(含python绘图显示结果)

1 #CS231n中线性.非线性分类器举例(Softmax) 2 #注意其中反向传播的计算 3 4 # -*- coding: utf-8 -*- 5 import numpy as np 6 import matplotlib.pyplot as plt 7 N = 100 # number of points per class 8 D = 2 # dimensionality 9 K = 3 # number of classes 10 X = np.zeros((N*K,D)) # da

SVM入门(二)线性分类器Part 1

线性分类器(一定意义上,也可以叫做感知机) 是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念.用一个二维空间里仅有两类样本的分类问题来举个小例子.如图所示 C1和C2是要区分的两个类别,在二维平面中它们的样本如上图所示.中间的直线就是一个分类函数,它可以将两类样本完全分开.一般的,如果一个线性函数能够将样本完全正确的分开,就称这些数据是线性可分的,否则称为非线性可分的. 什么叫线性函数呢?在一维空间里就是一个点,在二维空间里就是一条直线,三维

SVM入门(三)线性分类器Part 2

上回说到对于文本分类这样的不适定问题(有一个以上解的问题称为不适定问题),需要有一个指标来衡量解决方案(即我们通过训练建立的分类模型)的好坏,而分类间隔是一个比较好的指标.    在进行文本分类的时候,我们可以让计算机这样来看待我们提供给它的训练样本,每一个样本由一个向量(就是那些文本特征所组成的向量)和一个标记(标示出这个样本属于哪个类别)组成.如下:Di=(xi,yi).xi就是文本向量(维数很高),yi就是分类标记.    在二元的线性分类中,这个表示分类的标记只有两个值,1和-1(用来表

cs231n笔记:线性分类器

cs231n线性分类器学习笔记,非翻译,根据自己的学习情况总结出的内容: 线性分类 本节介绍线性分类器,该方法可以自然延伸到神经网络和卷积神经网络中,这类方法主要有两部分组成,一个是评分函数(score function):是原始数据和类别分值的映射,另一个是损失函数:它是用来衡量预测标签和真是标签的一致性程度.我们将这类问题转化为优化问题,通过修改参数来最小化损失函数. 首先定义一个评分函数,这个函数将输入样本映射为各个分类类别的得分,得分的高低代表该样本属于该类别可能性的高低.现在假设有一个

机器学习基础笔记(2):最简单的线性分类器

监督学习多用来解决分类问题,输入的数据由特征和标签两部分构成.我们由浅入深地介绍一些经典的有监督的机器学习算法. 这里介绍一些比较简单容易理解的处理线性分类问题的算法. 线性可分&线性不可分 首先,什么是线性分类问题?线性分类问题是指,根据标签确定的数据在其空间中的分布,可以使用一条直线(或者平面,超平面)进行分割.如下图就是一个线性分类问题.这样的问题也叫做线性可分的. 当然,也存在着许多线性不可分的情况,例如下图所示 解决线性不可分问题往往相对复杂,我们从简单的线性可分问题开始探讨. 最简单

深度学习中得数学,高效计算基础与线性分类器

深度学习说到底就是要调节网络中得权重,使网络的分类结果更接近于训练值.这个重复迭代的过程又是一个线性回归的问题.在这种可能会用到高数,线性代数,概率论中的知识. 一.数学基础提一提. 1.高数中得知识. 高数中最重要的就是微积分了,那在深度学习中出现最多的一个概念就是梯度.什么是梯度呢?要说导数,学过高数的肯定都知道.其实梯度就是当把标量x变成向量X时,对X求导就是梯度.那为什么要用梯度呢?因为梯度等于0在凸函数中往往代表着一个极小值点.我们要求得就是损失函数的极小值,这正是我们需要的.梯度是指

cs231n笔记 (一) 线性分类器

线性分类器用作图像分类主要有两部分组成:一个是假设函数, 它是原始图像数据到类别的映射.另一个是损失函数,该方法可转化为一个最优化问题,在最优化过程中,将通过更新假设函数的参数值来最小化损失函数值. 从图像到标签分值的参数化映射 该方法的第一部分就是定义一个评分函数,这个函数将图像的像素值映射为各个分类类别的得分,得分高低代表图像属于该类别的可能性高低.下面会利用一个具体例子来展示该方法.现在假设有一个包含很多图像的训练集 $x_i \in \mathbb{R}^D$,每个图像都有一个对应的分类

模式识别: 线性分类器

一.实验目的和要求 目的: 了解线性分类器,对分类器的参数做一定的了解,理解参数设置对算法的影响. 要求: 1. 产生两类样本 2. 采用线性分类器生成出两类样本的分类面 3. 对比线性分类器的性能,对比参数设置的结果 二.实验环境.内容和方法 环境:windows 7,matlab R2010a 内容:通过实验,对生成的实验数据样本进行分类. 三.实验基本原理 感知器基本原理: 1.感知器的学习过程是不断改变权向量的输入,更新结构中的可变参数,最后实现在有限次迭代之后的收敛.感知器的基本模型结