【CV知识学习】Fisher Vector

在论文《action recognition with improved trajectories》中看到fisher vector,所以学习一下。但网上很多的资料我觉得都写的不好,查了一遍,按照自己的认识陈述一下,望大牛指正。

核函数:

先来看一下《统计学习方法》里叙述的核函数的概念,

可以看到,核函数其实是一个内积,在SVM的公式可以提炼出内积的部分。数据在低维输入空间可能线性不可分,而在高维希尔伯特空间可能线性可分的,因此会经过一个映射函数。事实上,内积中可以理解为相似性即距离。

Fisher核:

Fisher核与Fisher信息矩阵有关,Fisher信息矩阵的意义,在知乎上的答案有了解http://www.zhihu.com/question/26561604

最后,Fisher核与Fisher信息矩阵有关,得到:,而I就是信息矩阵,U就是Score Function。

Fisher Vector在图像上的应用:

图像在这里使用GMM去描述,而图像采集的描述子是在全局范围内的,因此,Fisher向量最后描述的也是全局的特征。一般步骤如下:

先随机选择数据集,去估计GMM的各个参数。Fisher向量应该是Score函数的聚集,但由于会应用到核函数,所以会乘上Fisher信息矩阵。

GMM模型为:

其中(熟悉GMM的人都很容易明白吧),

根据贝叶斯公式,定义描述子属于第i个高斯模型的概率为:

各个参数的Score函数

Fisher信息矩阵的近似解为:

计算FV向量为:

最终的结果为:

需要注意的是,参数已经在第一步估计出来了。可以看到FV向量的好处是,它把各个大小不同描述子集转化成大小一致的一个特征向量表述。

从原始特征到FV向量的算法表述如下:

其实也没有自己想的东西,本来以为昨晚理解的挺好,今天早上再来想了想,不对啊……直接把知道的写上吧,额,好多博客都没写到点上,哎~~~~~会用就好了~~~~~~~~~~~  T_T

时间: 2024-08-29 01:38:05

【CV知识学习】Fisher Vector的相关文章

【CV知识学习】神经网络梯度与归一化问题总结+highway network、ResNet的思考

这是一篇水货写的笔记,希望路过的大牛可以指出其中的错误,带蒟蒻飞啊~ 一.    梯度消失/梯度爆炸的问题 首先来说说梯度消失问题产生的原因吧,虽然是已经被各大牛说烂的东西.不如先看一个简单的网络结构, 可以看到,如果输出层的值仅是输入层的值与权值矩阵W的线性组合,那么最终网络最终的输出会变成输入数据的线性组合.这样很明显没有办法模拟出非线性的情况.记得神经网络是可以拟合任意函数的.好了,既然需要非线性函数,那干脆加上非线性变换就好了.一般会使用sigmoid函数,得到,这个函数会把数据压缩到开

【CV知识学习】early stop、regularation、fine-tuning and some other trick to be known

深度学习有不少的trick,而且这些trick有时还挺管用的,所以,了解一些trick还是必要的.上篇说的normalization.initialization就是trick的一种,下面再总结一下自己看Deep Learning Summer School, Montreal 2016 总结的一些trick.请路过大牛指正~~~ early stop “早停止”很好理解,就是在validation的error开始上升之前,就把网络的训练停止了.说到这里,把数据集分成train.validati

【CV知识学习】【转】beyond Bags of features for rec scenen categories。基于词袋模型改进的自然场景识别方法

原博文地址:http://www.cnblogs.com/nobadfish/articles/5244637.html 原论文名叫Byeond bags of features:Spatial Pyramid Matching for Recognizing Natural Scene Categories. 这篇文章的中心思想就是基于词袋模型+金字塔结构的识别算法.首先简单介绍词袋模型. 1.词袋模型 Bag of words模型也成为“词袋”模型,在最初多是用来做自然语言处理,Svetla

Fisher Vector 通俗学习

我写东西喜欢五颜六色,也喜欢通俗的来讲!哈哈.... 核心: Fisher vector本质上是用似然函数的梯度vector来表达一幅图像 基础知识的预备: 1. 高斯分布 生活和自然中,很多的事和物的分布都可以近似的看做是高斯分布.比如说:一个班的成绩的优良中差的分布.最优秀的和最差的往往都是少数,一般人是大多数. 高斯分布直观的感受是这样的:这是这种分布的概率情况的表示: 2. 混合高斯分布 问题是:一个班的成绩的分布他也可能是这样的:60分以下以及95分以上很少人,60-75很多人,突然7

Fisher Vector学习笔记

1,背景 现有的模式分类方法主要分为两类,一类是生成式方法,比如GMM,这类方法主要反映同类数据之间的相似度:一类是判别式方法,比如SVM,主要是反映异类数据之间的差异.fisher kernel是想要结合二者的优势(1,生成式方法可以处理长度不一的输入数据,2,判别式方法不能处理长度不一的数据但是分类效果较好.),将生成式模型用于判别式分类器中. 关于处理长度不一的数据,举例说明如下: 我们要对一个图片集I=X1,X2...中的图片做分类,考虑生成式的方法,GMM,是对每一幅图片Xi=x1,.

Fisher Vector Encoding and Gaussian Mixture Model

一.背景知识 1. Discriminant  Learning Algorithms(判别式方法) and Generative Learning Algorithms(生成式方法) 现在常见的模式识别方法有两种,一种是判别式方法:一种是生成式方法.可以这样理解生成式方法主要是数据是如何生成的,从统计学的角度而言就是模拟数据的分布distribution;而判别式方法,不管数据是如何生成而是通过数据内在的差异直接进行分类或者回归.举个例子你现有的task是去识别一段语音属于哪一种语言.那么生成

Fisher vector fundamentals

文章<Fisher Kernels on Visual Vocabularies for Image Categorization>中提到: Pattern classication techniques can be divided into the classes ofgenerative approaches anddiscriminative approaches. While the first class focuses onthe modeling of class-condit

Fisher Vector的改进

<Fisher vector学习笔记>中介绍了fisher vector相关知识,本文接着这片学习笔记,来记录论文<Improving the Fisher Kernel for Large-Scale Image Classification>中第三部分提出的对fisher vector的3种改进. 1,L2 Normalization 首先假设一幅图像的特征们X=xt,t=1...T服从一个分布p,对于Large-Scale image,根据大数定律,样本数T增大时,样本均值收

ARM基础知识学习笔记

/*****************数电知识*******************/ PN结(Positive-Negative) 三极管:BJT(双极结型三极管Bipolar Junction Transistor)               FET(场效应管Field Effect Transistor)          (单极结型) 1.MOSFET (金属氧化物半导体Metal Oxide Semiconductor FET)               2.JFET(结型Junct