Fisher information matrix笔记

1,背景 现有的模式分类方法主要分为两类,一类是生成式方法,比如GMM,这类方法主要反映同类数据之间的相似度:一类是判别式方法,比如SVM,主要是反映异类数据之间的差异.fisher kernel是想要结合二者的优势(1,生成式方法可以处理长度不一的输入数据,2,判别式方法不能处理长度不一的数据但是分类效果较好.),将生成式模型用于判别式分类器中. 关于处理长度不一的数据,举例说明如下: 我们要对一个图片集I=X1,X2...中的图片做分类,考虑生成式的方法,GMM,是对每一幅图片Xi=x1,.

Matrix #python学习之矩阵matrix 2018.4.18 # -*- coding: UTF-8 -*- from numpy import * import numpy as np import math a=np.matrix('1 2 7;3 4 8;5 6 9')#矩阵的换行必须使用分号隔开,内部数据必须为字符串形式,元素之间必须以空格隔开 print(np.matrix([[1,2],[3,4]])) m=np.asmatrix(a)#将输入的a解释为矩阵m,并修改m中某

一.背景知识 1. Discriminant  Learning Algorithms(判别式方法) and Generative Learning Algorithms(生成式方法) 现在常见的模式识别方法有两种,一种是判别式方法:一种是生成式方法.可以这样理解生成式方法主要是数据是如何生成的,从统计学的角度而言就是模拟数据的分布distribution;而判别式方法,不管数据是如何生成而是通过数据内在的差异直接进行分类或者回归.举个例子你现有的task是去识别一段语音属于哪一种语言.那么生成

A Statistical View of Deep Learning (V): Generalisation and Regularisation We now routinely build complex, highly-parameterised models in an effort to address the complexities of modern data sets. We design our models so that they have enough 'capaci

1 数据处理 首先注明我们要处理的数据是矩阵X,其shape为[N x D] (N =number of data, D =dimensionality). 1.1 Mean subtraction 去均值 去均值是一种常用的数据处理方式.它是将各个特征值减去其均值,几何上的展现是可以将数据的中心移到坐标原点,Python中的代码是 X -= np.mean(X, axis = 0). 对于图像处理来说,每个像素的值都需要被减去平均值 ( X -= np.mean(X)), 也可以分别处理RGB

A kernel function implicitly maps a data point into some high-dimensional feature space and substitutes for the inner product of two feature vectors, so that a non-linearly separable classification problem can be converted into a linearly separable o

https://statweb.stanford.edu/~owen/mc/Ch-var-is.pdf https://zhuanlan.zhihu.com/p/29934206 blue curve is the lower bounded one conjugate gradient to solve the optimization problem. Fisher information matrix, natural policy gradient To write down an op

<Fisher vector学习笔记>中介绍了fisher vector相关知识,本文接着这片学习笔记,来记录论文<Improving the Fisher Kernel for Large-Scale Image Classification>中第三部分提出的对fisher vector的3种改进. 1,L2 Normalization 首先假设一幅图像的特征们X=xt,t=1...T服从一个分布p,对于Large-Scale image,根据大数定律,样本数T增大时,样本均值收

目录:Matrix Differential Calculus with Applications in Statistics and Econometrics,3rd_[Magnus2019] Title -16 Contents -14 Preface -6 Part One - Matrices 1 1 Basic properties of vectors and matrices 3 1.1 Introduction 3 1.2 Sets 3 1.3 Matrices: additio