第3课 线性分类器损失函数与最优化

  回顾上一节课,我们了解视觉识别,特别是图像分类,这确实是一个非常困难的问题,因为我们必须考虑到这些可能的变化,并使得当我们在识别这些类型时,分类器能够在面对这些变化时具有鲁棒性,例如对猫的识别,似乎存在着难解决的问题,我们仅需要知道如何解决这些问题,同时我们还必须能够在成千上万的其他类型中解决这些问题,而且这种方法能够基本达到甚至是稍微高于人类识别的准确率,这种技术还可能在手机上实时使用,这种技术在近几年开始有重要突破。

  这节课时主要讲述了线性分类器的理解方式,包括linearSVM和softmax,讲解了最小化损失函数用的方法:梯度下降,以及梯度计算需要注意的一些问题。

  对于图像分类和视觉识别的问题,我们不能够明确地用固定参数对分类器进行设置,必须用数据来进行训练,所以我们采用不同的训练集,采用验证集来调整超参数,并采用了一个测试集。我们了解最近邻分类器和KNN分类器,还有参数多态方法。讲授者写了一个线性函数,从图像得到一个1行10列的分数矩阵,f=Wx,可以理解为分类器与模板的匹配情况,或者将图片看成在高维度区域,线性分类器对这些区域进行染色。我们对每一张图片都进行随机选择权值设置,然后通过f函数进行评分,所以我们得到不同的权值在不同的图片上的作用效果,可能理想也可能糟糕,我们尽力去找到一些权值,能够使得数据集中的数据和识别的类型相一致,但是现在说的好和坏没有明显的界限。因此,我们有了损失函数,要使得它的值最小,我们要找到合适的W,使得到的损失最小。

原文地址:https://www.cnblogs.com/BlueBlue-Sky/p/9226456.html

时间: 2024-08-09 08:24:39

第3课 线性分类器损失函数与最优化的相关文章

『cs231n』限制性分类器损失函数和最优化

代码部分 SVM损失函数 & SoftMax损失函数: 注意一下softmax损失的用法: SVM损失函数: import numpy as np def L_i(x, y, W): ''' 非向量化SVM损失计算 :param x: 输入矢量 :param y: 标准分类 :param W: 参数矩阵 :return: ''' delta = 1.0 scores = W.dot(x) correct_score = scores[y] D = W.shap[0] loss_i = 0.0 f

cs231n笔记 (一) 线性分类器

线性分类器用作图像分类主要有两部分组成:一个是假设函数, 它是原始图像数据到类别的映射.另一个是损失函数,该方法可转化为一个最优化问题,在最优化过程中,将通过更新假设函数的参数值来最小化损失函数值. 从图像到标签分值的参数化映射 该方法的第一部分就是定义一个评分函数,这个函数将图像的像素值映射为各个分类类别的得分,得分高低代表图像属于该类别的可能性高低.下面会利用一个具体例子来展示该方法.现在假设有一个包含很多图像的训练集 $x_i \in \mathbb{R}^D$,每个图像都有一个对应的分类

cs231n笔记:线性分类器

cs231n线性分类器学习笔记,非翻译,根据自己的学习情况总结出的内容: 线性分类 本节介绍线性分类器,该方法可以自然延伸到神经网络和卷积神经网络中,这类方法主要有两部分组成,一个是评分函数(score function):是原始数据和类别分值的映射,另一个是损失函数:它是用来衡量预测标签和真是标签的一致性程度.我们将这类问题转化为优化问题,通过修改参数来最小化损失函数. 首先定义一个评分函数,这个函数将输入样本映射为各个分类类别的得分,得分的高低代表该样本属于该类别可能性的高低.现在假设有一个

深度学习中得数学,高效计算基础与线性分类器

深度学习说到底就是要调节网络中得权重,使网络的分类结果更接近于训练值.这个重复迭代的过程又是一个线性回归的问题.在这种可能会用到高数,线性代数,概率论中的知识. 一.数学基础提一提. 1.高数中得知识. 高数中最重要的就是微积分了,那在深度学习中出现最多的一个概念就是梯度.什么是梯度呢?要说导数,学过高数的肯定都知道.其实梯度就是当把标量x变成向量X时,对X求导就是梯度.那为什么要用梯度呢?因为梯度等于0在凸函数中往往代表着一个极小值点.我们要求得就是损失函数的极小值,这正是我们需要的.梯度是指

SVM入门(二)线性分类器Part 1

线性分类器(一定意义上,也可以叫做感知机) 是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念.用一个二维空间里仅有两类样本的分类问题来举个小例子.如图所示 C1和C2是要区分的两个类别,在二维平面中它们的样本如上图所示.中间的直线就是一个分类函数,它可以将两类样本完全分开.一般的,如果一个线性函数能够将样本完全正确的分开,就称这些数据是线性可分的,否则称为非线性可分的. 什么叫线性函数呢?在一维空间里就是一个点,在二维空间里就是一条直线,三维

SVM入门(三)线性分类器Part 2

上回说到对于文本分类这样的不适定问题(有一个以上解的问题称为不适定问题),需要有一个指标来衡量解决方案(即我们通过训练建立的分类模型)的好坏,而分类间隔是一个比较好的指标.    在进行文本分类的时候,我们可以让计算机这样来看待我们提供给它的训练样本,每一个样本由一个向量(就是那些文本特征所组成的向量)和一个标记(标示出这个样本属于哪个类别)组成.如下:Di=(xi,yi).xi就是文本向量(维数很高),yi就是分类标记.    在二元的线性分类中,这个表示分类的标记只有两个值,1和-1(用来表

机器学习基础笔记(2):最简单的线性分类器

监督学习多用来解决分类问题,输入的数据由特征和标签两部分构成.我们由浅入深地介绍一些经典的有监督的机器学习算法. 这里介绍一些比较简单容易理解的处理线性分类问题的算法. 线性可分&线性不可分 首先,什么是线性分类问题?线性分类问题是指,根据标签确定的数据在其空间中的分布,可以使用一条直线(或者平面,超平面)进行分割.如下图就是一个线性分类问题.这样的问题也叫做线性可分的. 当然,也存在着许多线性不可分的情况,例如下图所示 解决线性不可分问题往往相对复杂,我们从简单的线性可分问题开始探讨. 最简单

模式识别: 线性分类器

一.实验目的和要求 目的: 了解线性分类器,对分类器的参数做一定的了解,理解参数设置对算法的影响. 要求: 1. 产生两类样本 2. 采用线性分类器生成出两类样本的分类面 3. 对比线性分类器的性能,对比参数设置的结果 二.实验环境.内容和方法 环境:windows 7,matlab R2010a 内容:通过实验,对生成的实验数据样本进行分类. 三.实验基本原理 感知器基本原理: 1.感知器的学习过程是不断改变权向量的输入,更新结构中的可变参数,最后实现在有限次迭代之后的收敛.感知器的基本模型结

【转】SVM入门(六)线性分类器的求解——问题的转化,直观角度

SVM入门(六)线性分类器的求解--问题的转化,直观角度 让我再一次比较完整的重复一下我们要解决的问题:我们有属于两个类别的样本点(并不限定这些点在二维空间中)若干,如图, 圆形的样本点定为正样本(连带着,我们可以把正样本所属的类叫做正类),方形的点定为负例.我们想求得这样一个线性函数(在n维空间中的线性函数): g(x)=wx+b 使得所有属于正类的点x+代入以后有g(x+)≥1,而所有属于负类的点x-代入后有g(x-)≤-1(之所以总跟1比较,无论正一还是负一,都是因为我们固定了间隔为1,注