图像处理、机器学习概念一箩筐

Population Sparsity(种群稀疏) vs Lifetime Sparsity(存在稀疏)

Fn×m=Wn×d?Xd×m

  • d:表示原有的特征空间
  • n:变换后的特征空间
  • m:样本的数目
  • F:特征矩阵(Feature Matrix)

每个样本都只用很少的激活(非零)特征来描述。具体来说,对于特征矩阵的每一列(一个样本)f(i),只有很少的非零元素。其他的都是0 。例如,一幅图像可以由里面包含的一些目标来描述,如果里面存在很多可能的目标,那么在某一时刻,也只可能出现一些。我们称之为population sparsity(种群稀疏)。

好的特征应该是具有区分性的,这样才可以区分样本。例如需要区分人脸和人手,那么很明显,肤色不是区分性的特征,因为人脸和人手都有肤色。但如果看有没有眼睛,那么就很容易区分是人脸还是人手了,所以眼睛就是一个区分性的特征。所以要区分样本,就要选择样本独有的,而不是大家都有的特征。稍微学术点的表达就是,每个特征只允许在少量的样本内被激活。也就是说,在特征矩阵中,每一行(一种特征)应该只有少量的非零元素。这个特征的属性被称为lifetime sparsity(存在稀疏)。

High Dispersal(高分散性)

对每一行(一种特征在不同样本的时候的不同取值)的特征的分布,应该和其他行的特征的分布相似,或者说每种特征都应该具有相似的统计特性。具体来说,对矩阵的每一行,我们取该行所有元素(一种特征在不同样本的时候的不同取值)的平方后的均值作为其统计特性的描述。每一行都存在一个均值,那么每行的均值都应该是一样的,这样就可以认为所有的特征都具有相似的分布。这种属性我们称之为 high dispersal(高分散性)。但对于一个好的特征描述来说,这个属性并不是必要的。但它可以防止特征的退化,也就是可以防止提取到相同的特征(如果提取到相同的特征,那么特征既冗余,又没有增加信息量,所以一般都要求提取到的特征是正交的)。对于过完备的特征表达。high dispersal 可以理解为只有很少的 inactive 不活跃的特征。例如,PCA编码一般不会满足 high dispersal,因为大的特征值对应的特征向量(也就是特征code)大部分总是活跃active的。

时间: 2024-10-06 14:25:38

图像处理、机器学习概念一箩筐的相关文章

图像处理基本概念——卷积,滤波,平滑(转载)

/*今天师弟来问我,CV的书里到处都是卷积,滤波,平滑--这些概念到底是什么意思,有什么区别和联系,瞬间晕菜了,学了这么久CV,卷积,滤波,平滑--这些概念每天都念叨好几遍,可是心里也就只明白个大概的意思,赶紧google之~ 发现自己以前了解的真的很不全面,在此做一些总结,以后对这种基本概念要深刻学习了~*/ 1.图像卷积(模板) (1).使用模板处理图像相关概念: 模板:矩阵方块,其数学含义是一种卷积运算. 卷积运算:可看作是加权求和的过程,使用到的图像区域中的每个像素分别于卷积核(权矩阵)

机器学习概念_1

p.p1 { margin: 0.0px 0.0px 2.0px 0.0px; font: 14.0px ".PingFang SC" } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px "Helvetica Neue"; min-height: 14.0px } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ".PingFang SC&q

机器学习——概念

机器学习的大概概念 你们可以上百度查找—https://baike.baidu.com/item/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/217599?fr=aladdin 我当初学机器学习的时候用的是 jupyterlab 安装 jupyterlab pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyterlab Jupyther notebook(曾经的Ipython notebook),

1.0 机器学习概念介绍

机器学习的基本概念 数据 数据集 数据的整体叫做数据集   ( data set ) 样本 每一行数据被称为一个样本   ( sample ) 标记 最后一列, 称为标记   ( label ) 特征 表中的每个列都是一个特征, 用特征向量来表示一个特征值 特征空间 特征进行数据表示后的范围空间 此图中的形式是一个二维的特征空间, 高维的话则基于低维进行推导即可 抽象特征 很多的特征并不一定非要具体, 比如图像识别像素点 机器学习的基本任务 分类任务 二分类 多分类 多标签分类 回归任务 什么是

机器学习概念

机器学习就是把无序的数据转换成实用的信息. 机器学习的主要任务就是分类,通过通过训练数据训练算法,终于能够将实际的数据分到合适的类别中 监督学习算法:预測目标变量的值 k-means算法.线性回归 朴素贝叶斯算法,局部加权线性回归 支持向量机.ridge回归 决策树.lasso最小回归系数预计 无监督学习算法:不须要预測目标变量的值 k-均值.最大期望算法 DBSCAN,parzen窗设计 确定哪种算法之后,还要确定目标变量的类型: 离散型:是/否,1/2/3     分类器算法 连续性:-99

【转载】图像处理机器学习大牛主页列表

做图像处理方面的研究工作,最重要的两个问题:其一是要把握住国际上最前沿的内容:其二是所作工作要具备很高的实用背景.解决第一个问题的办法就是找出这个方向公认最牛的几个超级大拿(看看他们都在作什么)和最权威的出版物(阅读上面最新的文献),解决第二个问题的办法是你最好能够找到一个实际应用的项目,边做边写文章. 做好这几点的途径之一就是充分利用网络资源,特别是权威网站和大拿们的个人主页.下面是我收集的一些资源,希望对大家有用.(这里我要感谢SMTH AI版的alamarik和Graphics版的fain

Qt 5.3 下OpenCV 2.4.11 开发(0)图像处理基本概念

1.普通情况下的RGB彩色图像:它的每一个像素点都是由三个通道组成,即红色(R).绿色(G)和蓝色(B).8位三通道彩色图像就是每一个像素中每一个通道的取值范围都是 0~255(即二进制下的8位数),而整幅彩色图像则是由三个通道的图像所组成.在数据中的存储方式是依照像素连续存储的,而每一个像素中的数据存储也是按RGB连续存储的.当然,有些图片格式中像素数据是按BGR存储的,这个视情况而定. 2.灰度图像:它仅仅有一个颜色通道,所以在做图像处理的时候速度非常快,它的每一个像素是通过彩色图像的三个通

机器学习概念_2

降低损失:减少模型预测和标签之间的误差 迭代方法:在训练机器学习模型时,首先对权重和偏差进行初始猜测,然后反复调整这些猜测,直到获得损失可能最低的权重和偏差为止 原文地址:https://www.cnblogs.com/jp-mao/p/10108929.html

莫烦Python之机器学习概念了解

1.机器学习分类 有监督学习 无监督学习 半监督学习 强化学习 遗传算法 2.神经网络 一种基于传统统计学的模型,由大量的神经元与其关系构成.常用来对复杂的输入和输出关系进行建模 误差反向传递:给出信号,得到经过神经网络算法之后的结果(信号正向传播),再根据结果来修改神经网络中的神经元强度(信号反向传播) 通过正向和反向传播来更新神经元,从而形成更好的神经系统 每一个神经元都有属于它的激活函数,在训练过程中可以通过调整不同神经元的激活参数来调整模型 输入层:负责信息的传入 输出层:权衡.中转.输