各种算法的优缺点:

1.SRC

1)、SRC对测试集中的噪声比较鲁棒,但是当训练集中同样含有噪声时,效果往往较差,因为SRC需要用一个纯净的训练集来训练一个非常好的字典。

【原话:Bing-Kun, B., Guangcan, L., Richang, H., Shuicheng, Y. and Changsheng, X. (2013) General subspace learning with corrupted training data via graph embedding, IEEE Trans. on Image Process., 22, 4380-4393.】 Representation Classifier (SRC) [24] is a robust supervised method and can correct the corruptions possibly existing in testing data, but cannot well handle the cases where the training data themselves are corrupted [25].

2 PCA

PCA是使用最广泛的降维方法和误差校正方法,然而实际应用中,当存在gross corruptions(污染,遮挡)时,PCA不能很好的抓住数据的真实子空间结构,因此效果比较差,特别是遮挡幅值较大时,效果更差。

3 RPCA

RPCA正是为了处理PCA的遮挡等问题而提出来的。

1)能够很好的处理稀疏噪声问题,但是他是一种无监督方法,无法利用标签信息来增加识别率。

2)不能处理新样本,即使能够处理新样本,每来一个新样本,所有训练样本都需要被重新计算,很耗时间了吧~

RPCA的一种处理新样本的方法是,根据训练样本得到的子空间矩阵Y=U∑V’,得到投影矩阵U来处理新样本;不过这有个缺点就是这个投影矩阵并不能很好的处理原始训练样本矩阵X,证明:主分量为UU*X,误差E=X-UU*X,此时这个误差E并不是稀疏的。

3)核约束的优点:能够发现数据类间的低秩结构

4、图嵌入方法,PCA,LDA,NMF,MFA,MNGE,PNGE等

1)训练集有遮挡情况下,效果不好。

5、线性回归方法

1)类标貌似没有中心化。但是文献【Cai, X., Ding, C., Nie, F. and Huang, H. (2013) On the equivalent of low-rank linear regressions and linear discriminant analysis based regressions. In: Proceedings of ACM SIGKDD Int. Conf. Knowl. Discovery Data Mining. 1124-1132.】提到只要训练样本矩阵X是中心化的,那么类标矩阵Y是否中心化是等价的。

6、LDA

(1)ratio-of-trace还是trace-of-ratio问题,一般而言trace-of-ratio等价于线性回归的方法。

(2)在满秩情况下,多线性回归等价于LDA,(对于min||Y-XAB||,当B满秩时)

      Ye则证明,当降维维数为k-1以及rank(Sb)+rank(Sw) = rank(St)时才等价。

时间: 2024-11-06 18:15:39

各种算法的优缺点:的相关文章

[聚类算法]K-means优缺点及其改进

[聚类算法]K-means优缺点及其改进 [转]:http://blog.csdn.net/u010536377/article/details/50884416 K-means聚类小述 大家接触的第一个聚类方法,十有八九都是K-means聚类啦.该算法十分容易理解,也很容易实现.其实几乎所有的机器学习和数据挖掘算法都有其优点和缺点.那么K-means的缺点是什么呢? 总结为下: (1)对于离群点和孤立点敏感: (2)k值选择; (3)初始聚类中心的选择: (4)只能发现球状簇. 对于这4点呢的

JVM虚拟机垃圾回收(GC)算法及优缺点

一.什么是GC GC是jvm的垃圾回收,垃圾回收的规律和原则为: 次数上频繁收集新生区(Young) 次数上较少收集养老区(Old) 基本上不动永久区(Perm) 二.GC算法(分代收集算法) GC总共有四大算法,分别是: ①引用计数法 ②复制算法(Copying) ③标记清除(Mark-Sweep) ④标记压缩(Mark-Compact) ⑤标记清除压缩(Mark-Sweep-Compact) 1.1 引用计数法 1.2 复制算法(Copying) 复制算法主要用在新生代中. 1.2.1 复制

各种排序算法的优缺点

一.冒泡排序   已知一组无序数据a[1].a[2].--a[n],需将其按升序排列.首先比较a[1]与 a[2]的值,若a[1]大于a[2]则交换两者的值,否则不变.再比较a[2]与a[3]的值,若a[2]大于a[3]则交换两者的值,否则不变.再比 较a[3]与a[4],以此类推,最后比较a[n-1]与a[n]的值.这样处理一轮后,a[n]的值一定是这组数据中最大的.再对a[1]~a[n- 1]以相同方法处理一轮,则a[n-1]的值一定是a[1]~a[n-1]中最大的.再对a[1]~a[n-2

机器学习实战-K-nearest neighbors 算法的优缺点

K临近算法是基于实例的学习,使用算法的时候我们必须要有接近分类结果的实例训练样本数据. 优点:精度高,对异常值不敏感 缺点: 时间复杂度和空间复杂度比较大.(如果训练样本数据集比较大,需要大量的空间来保存数据,并且需要待预测数据和训练样本数据集每条数据的距离,耗费时间.) 无法给出任何数据的基础结构信息,因此无法知晓平均实例样本和典型事例样本有什么特征. 无法持久化分类器.

k-means算法的优缺点以及改进

大家接触的第一个聚类方法,十有八九都是K-means聚类啦.该算法十分容易理解,也很容易实现.其实几乎所有的机器学习和数据挖掘算法都有其优点和缺点.那么K-means的缺点是什么呢? 总结为下: (1)对于离群点和孤立点敏感: (2)k值选择; (3)初始聚类中心的选择: (4)只能发现球状簇. 对于这4点呢的原因,读者可以自行思考下,不难理解.针对上述四个缺点,依次介绍改进措施. 改进1 首先针对(1),对于离群点和孤立点敏感,如何解决?笔者在前面的一篇博客中,提到过离群点检测的LOF算法,通

目标跟踪算法meanshift优缺点

原博主:http://blog.csdn.net/carson2005/article/details/7341051 meanShift算法用于视频目标跟踪时,采用目标的颜色直方图作为搜索特征,通过不断迭代meanShift向量使得算法收敛于目标的真实位置,从而达到跟踪的目的. 传统的meanShift算法在跟踪中有几个优势: (1)算法计算量不大,在目标区域已知的情况下完全可以做到实时跟踪: (2)采用核函数直方图模型,对边缘遮挡.目标旋转.变形和背景运动不敏感. 同时,meanShift算

机器学习中各个算法的优缺点(四)

在前面的文章中我们给大家介绍了很多关于机器学习的算法,这些算法都是能够帮助大家更好地理解机器学习,而机器学习的算法各种各样,要想好好地使用这些算法就需要对这些算法一个比较透彻的了解.我们在这篇文章中接着给大家介绍一下机器学习中涉及到的算法的最后一部分内容. 首先说一下聚类算法,聚类算法是指对一组目标进行分类,属于同一组的目标被划分在一组中,与其他组目标相比,同一组目标更加彼此相似.聚类算法的例子有很多,比如说K-均值(k-Means).k-Medians 算法.Expectation Maxim

机器学习常见算法优缺点总结

机器学习常见算法优缺点总结 K近邻:算法采用测量不同特征值之间的距离的方法进行分类. 优点: 1.简单好用,容易理解,精度高,理论成熟,既可以用来做分类也可以用来做回归: 2.可用于数值型数据和离散型数据: 3.训练时间复杂度为O(n):无数据输入假定: 4.对异常值不敏感 缺点: 1.计算复杂性高:空间复杂性高: 2.样本不平衡问题(即有些类别的样本数量很多,而其它样本的数量很少): 3.一般数值很大的时候不用这个,计算量太大.但是单个样本又不能太少 否则容易发生误分. 4.最大的缺点是无法给

几个常用算法的适应场景及其优缺点!

机器学习算法太多了,分类.回归.聚类.推荐.图像识别领域等等,要想找到一个合适算法真的不容易,所以在实际应用中,我们一般都是采用启发式学习方式来实验.通常最开始我们都会选择大家普遍认同的算法,诸如SVM,GBDT,Adaboost,现在深度学习很火热,神经网络也是一个不错的选择. 假如你在乎精度(accuracy)的话,最好的方法就是通过交叉验证(cross-validation)对各个算法一个个地进行测试,进行比较,然后调整参数确保每个算法达到最优解,最后选择最好的一个.但是如果你只是在寻找一