[模式识别].(希腊)西奥多里蒂斯<第四版>笔记5之__特征选取

1，引言

有关模式识别的一个主要问题是维数灾难。我们将在第7章看到维数很容易变得很大。

降低维数的必要性有几方面的原因。计算复杂度是一个方面。另一个有关分类器的泛化性能。

因此，本章的主要任务是：在尽可能保留特征的分类判别信息前提下，来选择重要的和维数少的特征量。这个过程被称作特征选择或者特征降维。

定量描述来讲，选择的特征应该使得类内距离减小，类间距离增大。

一些文献表述中使用feature extraction,而不是我们本文使用的featureselection。这将会和第7章的一些描述有些冲突。

2，预处理

① 离群值删除（outlier removal）

离群值定义为偏离相关变量均值较大的点

② 数据归一化

许多特征值位于不同的动态阈中，而大的特征值对损耗函数会有较大影响。所以归一化到相似阈值会有帮助。

③ 缺失数据

一些特征会从特征量量中缺失。例如遥感在特定区域被其他传感器覆盖的情况就是如此。

3，峰值现象

4，基于统计假设的特征选取

5,接收操作（THE RECEIVER OPERATING）特性曲线

6，类可分性度量

7，特征子集选取

8，最优特征代（OPTIMAL FEATURE GENERATION）

9，神经网络和特征选取

10，一个提示泛化理论

11，贝叶斯信息标准

时间： 2024-09-29 16:44:37

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记5之__特征选取的相关文章

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记10之__监督学习：后记

本章是监督学习的最后一部分,主要有三个目标. 首先,根据系统的分类错误概率来评估系统性能. 其次,将整个系统设计的各个阶段组合到一起. 最后,引入无标签数据,简单介绍半监督学习 1,ERROR-COUNTING方法 2,探求有限的数据集的大小 3,一个医学图像的学习案例 4,半监督学习:生成模型(generative model);基于图的方法(graph-based method); Transductive Support Vector Machines [模式识别].(希腊)西奥多里蒂

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记10之__聚类：基本概念

一,引言之前几个章节讨论的都是监督聚类,从本章开始讨论非监督聚类,即训练模式不带标签的情形. 聚类的步骤: 1,特征选择.选取最能够表示我们目标物体信息的特征. 2,相似性度量.给出两个特征量相似点或者不想似的地方. 3,聚类标准.聚类标准.可能由损耗函数(cost function)或者其他形式表达. 4,聚类算法.根据相似性度量和聚类标准,阐明数据的结构. 5,结果验证. 6,解释结果. 不同的特征.相似性度量.聚类标准和聚类算法会导致完全不同的结果. 主观性会一直伴随我们.(Subjec

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记4之__非线性分类器

1,Exclusive OR(XOR)Booleanfunction问题布尔量AND和OR是线性可分的 2,两层感知器对Figure4.1中A类和B类,首先能想到的是画两条直线.如图Figure4.4. ① 两层感知器的分类能力 3,三层感知器 4,基于训练集精确分类的算法 5,反向传播算法 6,反向传播主题的变种 7,成本函数的选择(THE COST FUNCTION CHOICE) 8, 网络尺寸的选择 9,权重共享网络 10,广义线性分类器 11,线性二分法的维度空间容量

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记8之__模板匹配

对语音识别来讲,同一个单词被同一个人每次说的情况都不同,给识别带来困难.本章讨论的就是对不同的情形如何定义适应不同特性的度量. 1,基于最优路径搜索的度量:①贝尔曼最优性原则和动态编程②编辑距离(The Edit Distance)③在语音识别动态时间扭曲(DTW), speaker-dependentrecognition. speaker-independentrecognition. 2,基于相关性的度量:这一部分解决的问题是"给定一组记录数据,查找数据是否包含已知模式,并找出其具体位

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记9之__context-based classification

本章的假设前提是不同类之间存在相关性.连续的特征向量不是孤立的. 1,贝叶斯分类器 2,马尔科夫链模型 3,the viterbi algorithm 4, 信道均衡(channel equalization):任务是回复被传输通道或者噪音破坏的信息序列. 5,隐式马尔科夫模型 6,带状态持续模型(state duration model)的HMM 7,通过神经网络训练马尔科夫模型 8,马尔科夫随机场的讨论 [模式识别].(希腊)西奥多里蒂斯<第四版>笔记9之__context-based c

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记7之__feature generation (2)

本章将关注图像分析领域的feature generation. 1,区域特征:①纹理特性②局部线性变换提取纹理特征③矩④参数模型 2,形状和尺寸特征:①傅里叶特征②链式编码,它是边界形状描述最常用的技术③基于矩(moment)的特征④几何特征 3,分形(A GLIMPSE AT FRACTALS) 1980年代有两个重要工具被引入模式识别应用领域:神经网络和小波分析同一时期,分形和分形维数也被引入. 4,语音和音频分类的典型特征

[模式识别].(希腊)西奥多里蒂斯<第四版>笔记6之__feature generation (1)：数据转换和降维

1,单值分解:线性代数的重要部分,已经被广泛用于模式识别中的降维和信息检索应用中. 2,独立成分分析 3,非负矩阵分解 4,非线性降维算法:① kernel PCA②基于图的方法(拉普拉斯算子,Local LinearEmbedding (LLE),Isometric Mapping (ISOMAP)) 5,离散傅里叶变换 6,离散cos和sin变换 7,THEHADAMARD TRANSFORM 8,哈尔变换(THE HAAR TRANSFORM) 9,哈尔扩展回顾(THE HAAR EXPA

[模式识别].(希腊)西奥多里蒂斯&lt;第四版&gt;笔记8它__模板匹配

在语音识别方面,同样的话都是同一个人,每次说的情况是不同的,难以识别.本章是定义如何适应不同的情况有不同的特性指标. 1,基于最优路径搜索的度量:①贝尔曼最优性原则和动态编程②编辑距离(The Edit Distance)③在语音识别动态时间扭曲(DTW), speaker-dependentrecognition. speaker-independentrecognition. 2,基于相关性的度量:这一部分解决的问题是"给定一组记录数据.查找数据是否包括已知模式.并找出其详细位置&quo

史蒂夫·乔布斯-读书笔记6

摘要:此文记录了本人阅读乔老爷子传记过程中的一些感想,以及个人觉得比较好的内容.仅供参考. 原文:这次会谈实际上持续了45分钟,乔布斯说话丝毫不留情面.“看你的架势,你就想当一届总统吧.”一开场乔布斯就这样对奥巴马说.否则,他说,奥巴马政府应该对企业更友好一些.他描述了在中国建一家工厂有多么容易,而这在现在的美国几乎不可能做成,主要是由于监管和不必要的成本. 个人:在天朝,阔以这样说嘛? 原文:乔布斯的传奇是硅谷创新神话的典型代表:在被传为美谈的车库里开创一家企业,把它打造成全球最有价值的公司.