PCA和SVD简述

PCA

PCA全称为Principal Components Analysis，即主成分分析，是一种常用的降维方法。

PCA将原来众多具有一定相关性的指标重新组合成一组新的相互无关的综合指标来代替原来的全部指标。将n维特征映射到k维全新的正交特征上。

PCA的实现一般有两种：特征值分解和SVD.

原理

对原始空间中顺序找出一组相互正交的坐标轴，首先找到第一个坐标轴（数据特征的线性组合）F1，使得数据样本在该坐标轴上的方差达到最大，F1表征第一主成分信息；接下来找第二个轴，第二个轴与第一个轴为正交关系（表示不再使用第一主成分中的信息）并且也是使得该方向上的样本方差最大；以此类推...这样能够找到n个坐标轴。由于后面找到的坐标轴上的方差较小，因此可以只取前面r个坐标轴去近似表示这个空间。最终达到降维的效果。

实现方法

1. 特征值分解 (以下图片来源于北京大学李戈老师的课件)

参考资料

http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html

时间： 2024-10-13 15:11:39

PCA和SVD简述的相关文章

What is an intuitive explanation of the relation between PCA and SVD?

What is an intuitive explanation of the relation between PCA and SVD? 36 FOLLOWERS Last asked: 30 Sep, 2014 QUESTION TOPICS Singular Value Decomposition Principal Component Analysis Intuitive Explanations Statistics (academic discipline) Machine Lear

sklearn中的降维算法PCA和SVD

sklearn中的降维算法PCA和SVD 1 概述 1.1 从什么叫“维度”说开来 1.2 sklearn中的降维算法 2 PCA与SVD 2.1 降维究竟是怎样实现? 2.2 重要参数n_components 2.2.1 迷你案例:高维数据的可视化 2.2.2 最大似然估计自选超参数 2.2.3 按信息量占比选超参数 2.3 PCA中的SVD 2.3.1 PCA中的SVD哪里来? 2.3.2 重要参数svd_solver 与 random_state 2.3.3 重要属性components_

浅谈 PCA与SVD

前言 在用数据对模型进行训练时,通常会遇到维度过高,也就是数据的特征太多的问题,有时特征之间还存在一定的相关性,这时如果还使用原数据训练模型,模型的精度会大大下降,因此要降低数据的维度,同时新数据的特征之间还要保持线性无关,这样的方法称为主成分分析(Principal component analysis,PCA),新数据的特征称为主成分,得到主成分的方法有两种:直接对协方差矩阵进行特征值分解和对数据矩阵进行奇异值分解(SVD). 一.主成分分析基本思想 ??数据X由n个特征降维到k个特征,这k

PCA和SVD

一.PCA(Principal Component Analysis) 主成分分析,数据从原来的坐标系转换到新的坐标系,只保留新坐标系中的前面几个坐标轴,即对数据进行了降维处理 1.算法描述 (1)第一个新坐标轴:原数据集中方差最大的方向 (2)第二个新坐标轴:与第一个新坐标轴正交且具有最大方差的方向 (3)一直重复,重复次数为原始数据中特征的数目,但是到最后只保留最先产生的几个新坐标轴,而忽略余下的坐标轴 2.步骤 (1)计算样本数据各个特征的平均值 (2)样本各个特征的值:=样本各个特征的值

Machine Learning in Action – PCA和SVD

降维技术, 首先举的例子觉得很好,因为不知不觉中天天都在做着降维的工作 对于显示器显示一个图片是通过像素点0,1,比如对于分辨率1024×768的显示器,就需要1024×768个像素点的0,1来表示,这里每个像素点都是一维,即是个1024×768维的数据.而其实眼睛真正看到的只是一副二维的图片,这里眼睛其实在不知不觉中做了降维的工作,把1024×768维的数据降到2维 降维的好处,显而易见,数据更易于显示和使用,去噪音,减少计算量,更容易理解数据 主流的降维技术,包含: 主成分分析,princi

PCA和SVD最佳理解

奇异值分解(SVD)原理与在降维中的应用 https://www.cnblogs.com/pinard/p/6251584.html 最通俗易懂的PCA主成分分析推导 https://blog.csdn.net/u012526436/article/details/80868294,https://blog.csdn.net/zhongkejingwang/article/details/42264479 原文地址:https://www.cnblogs.com/andylhc/p/102983

PCA, SVD以及代码示例

本文是对PCA和SVD学习的整理笔记,为了避免很多重复内容的工作,我会在介绍概念的时候引用其他童鞋的工作和内容,具体来源我会标记在参考资料中. 一.PCA (Principle component analysis) PCA(主成分分析)通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维. 为什么需要降维?以下图为例,图c中的点x y 呈现明显线性相关,假如以数据其实以数据点分布的方向的直线上的投影(一维)已经能够很好的描述这组数据特点了 .

KTV歌曲推荐-PCA降维+逻辑回归-性别预测及过拟合处理

上一篇使用逻辑回归预测了用户性别,由于矩阵比较稀疏所以会影响训练速度.所以考虑降维,降维方案有很多,本次只考虑PCA和SVD. PCA和SVD原理 有兴趣的可以自己去研究一下 https://www.sangyulpt.com   /@jonathan_hui/machine-learning-singular-value-decomposition-svd-principal-component-analysis-pca-1d45e885e491 我简述一下: PCA是将高维数据映射到低维坐标

自适应滤波：奇异值分解SVD

作者:桂. 时间:2017-04-03  19:41:26 链接:http://www.cnblogs.com/xingshansi/p/6661230.html 声明:欢迎被转载,不过记得注明出处哦~ [读书笔记10] 前言 广义逆矩阵可以借助SVD进行求解,这在上一篇文章已经分析.本文主要对SVD进行梳理,主要包括: 1)特征向量意义: 2)特征值分解与SVD: 3)PCA与SVD: 内容为自己的学习记录,其中多有借鉴他人之处,最后一并给出链接. 一.特征向量 第一反应是:啥是特征向量?为什