关于主成分分析与因子分析的几点

一、主成分分析

主成分分析流程

1、原始数据标准化。

2、计算标准化变量间的相关系数矩阵。

3、计算相关系数矩阵的特征值和特征向量。

4、计算主成分变量值。

5、统计结果分析,提取所需的主成分。

相关系数公式

主成分计算公式

其中Y是主成分变量矩阵,X是原始数据标准化后的矩阵,U是相关系数矩阵的特征向量。

特征值和特征向量的关系

主成分变量对应的特征向量的每个元素,与对应的特征值的平方根的乘积,等于该主成分变量,与该元素列标签对应的原始变量之间的相关系数。这是特征值与特征向量隐藏的

秘密,可以用矩阵代数严格推导出来。看不懂请看下图。图中的eigVec1至eigVec4是4个特征向量,对应的特征值分别为eigVal1至eigVal4。在每个列中进行操作,用特征向量

每个元素分别乘以对应特征值的平方根,得到该主成分变量与所有原始变量的相关系数。

一些概念:

原始变量之间的相关系数矩阵:可以看出原始变量之间的相关性。

原始变量和主成分变量之间的相关系数矩阵:可以看出主成分变量受原始变量影响的程度。

主成分变量之间的相关系数矩阵:主成分变量之间相关系数为零。

特征值:原始变量相关系数矩阵的特征值。

特征向量:原始变量相关系数矩阵的特征向量。

二、主成分分析与因子分析的联系与区别

两种方法的出发点都是变量的相关系数矩阵,在损失较少信息的前提下,把多个变量(这些变量之间要求存在较强的相关性,以保证能从原始变量中提取主成分)综合成少数几

个综合变量来研究总体各方面信息的多元统计方法,且这少数几个综合变量所代表的信息不能重叠,即变量间不相关。

主要区别:

1. 主成分分析是通过变量变换把注意力集中在具有较大变差的那些主成分上,而舍弃那些变差小的主成分;因子分析是因子模型把注意力集中在少数不可观测的潜在变量(即公

共因子)上,而舍弃特殊因子。

2. 主成分分析是将主成分表示为原观测变量的线性组合,

(1)

主成分的个数i=原变量的个数p,其中j=1,2,…,p, 是相关矩阵的特征值所对应的特征向量矩阵中的元素,是原始变量的标准化数据,均值为0,方差为1。其实质是p维空间的坐

标变换,不改变原始数据的结构。

而因子分析则是对原观测变量分解成公共因子和特殊因子两部分。因子模型如式(2),

(2)

其中i=1,2,…,p, m是因子分析过程中的初始因子载荷矩阵中的元素, 是第j个公共因子,是第i个原观测变量的特殊因子。且此处的的均值都为0,方差都为1。

3. 主成分的各系数,是唯一确定的、正交的。不可以对系数矩阵进行任何的旋转,且系数大小并不代表原变量与主成分的相关程度;而因子模型的系数矩阵是不唯一的、可

以进行旋转的,且该矩阵表明了原变量和公共因子的相关程度。

4. 主成分分析,可以通过可观测的原变量X直接求得主成分Y,并具有可逆性;因子分析中的载荷矩阵是不可逆的,只能通过可观测的原变量去估计不可观测的公共因子,即公

共因子得分的估计值等于因子得分系数矩阵与原观测变量标准化后的矩阵相乘的结果。还有,主成分分析不可以像因子分析那样进行因子旋转处理。

5.综合排名。主成分分析一般依据第一主成分的得分排名,若第一主成分不能完全代替原始变量,则需要继续选择第二个主成分、第三个等等,此时综合得分=∑(各主成分得

分×各主成分所对应的方差贡献率),主成分得分是将原始变量的标准化值,代入主成分表达式中计算得到;而因子分析的综合得分=∑(各因 子得分×各因子所对应的方差贡献

率)÷∑各因子的方差贡献率,因子得分是将原始变量的标准化值,代入因子得分函数中计算得到。

由于上文提到主成分可表示为原观测变量的线性组合,其系数为原始变量相关矩阵的特征值所对应的特征向量,且这些特征向量正交,因此,从X到Y的转换关系是可逆的,便

得到如下的关系:

  (3)

下面对其只保留前m个主成分(贡献大),舍弃剩下贡献很小的主成分,得:

 i=1,2,...p(4)

由此可见,式(4)在形式上已经与因子模型(2)忽略特殊因子后的模型即:

(2)*

相一致,且 (j=1,2,…,m)之间相互独立。由于模型(2)*是因子分析中未进行因子载荷旋转时建立的模型,故如果不进行因子载荷旋转,许多应用者将容易把此时的因子分析

理解成主成分分析,这显然是不正确的。

然而此时的主成分的系数阵即特征向量与因子载荷矩阵确实存在如下关系:

主成分分析中,主成分的方差等于原始数据相关矩阵的特征根,其标准差也即特征根的平方根,于是可以将除以其标准差(单位化)后转化成合适的公因子,即令,则式(4)变为:(4)*

可得,  (5)

式(5)便是主成分系数矩阵与初始因子载荷阵之间的联系。不能简单地将初始因子载荷矩阵认为是主成分系数矩阵(特征向量矩阵),否则会造成偏差。

时间: 2024-10-03 13:23:12

关于主成分分析与因子分析的几点的相关文章

主成分分析与因子分析

主成分分析,主成份是原始变量的线性组合,在考虑所有主成份的情况下主成份和原始变量间是可以逆转的.即"简化变量",将变量以不同的系数合起来,得到好几个复合变量,然后在从中挑几个能表示整体的复合变量就是主成份,然后计算得分. 因子分析,公共因子和原始变量的关系是不可逆转的,但是可以通过回归得到.是将变量拆开,分成公共因子和特殊因子.过程是:因子载荷计算,因子旋转,因子得分. 主成份分析 主成份分析需要知道两变量之间的相关性,生成协方差举证和相关新矩阵,对应的生成的新向量矩阵Y还有特征值λi

因子分析与主成分分析之间爱恨离愁。FA与FCA

主成分分析和因子分析无论从算法上还是应用上都有着比较相似之处,本文结合以往资料以及自己的理解总结了以下十大不同之处,适合初学者学习之用. 1.原理不同 主成分分析基本原理:利用降维(线性变换)的思想,在损失很少信息的前提下把多个指标转化为几个不相关的综合指标(主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能(主成分必须保留原始变量90%以上的信息),从而达到简化系统结构,抓住问题实质的目的. 因子分析基本原理:利用降维的思想,由研究

主成分分析PCA详解

转载请声明出处:http://blog.csdn.net/zhongkelee/article/details/44064401 一.PCA简介 1. 相关背景 上完陈恩红老师的<机器学习与知识发现>和季海波老师的<矩阵代数>两门课之后,颇有体会.最近在做主成分分析和奇异值分解方面的项目,所以记录一下心得体会. 在许多领域的研究与应用中,往往需要对反映事物的多个变量进行大量的观测,收集大量数据以便进行分析寻找规律.多变量大样本无疑会为研究和应用提供了丰富的信息,但也在一定程度上增加

SPSS数据分析—主成分分析

我们在分析问题的时候,为了准确全面的反映问题,常常收集很多变量,这些变量之间往往具有相关性,导致存在大量的重复信息,直接使用的话,不但模型非常复杂,而且所引起的共线性问题会使模型准确度降低. 对此,我们经常使用主成分分析对数据进行处理,主成分分析是考察多变量间相关性的一种多元统计分析方法,基本思想是:既然变量很多并且之间存在相关性,那么我们就将其压缩合并,通过统计分析方法将多个变量结合成少数几个有代表性的主成分,这些主成分携带了原始变量的绝大部分信息,并且之间互不相关. 有时,我们提取主成分并不

R in action读书笔记(19)第十四章 主成分和因子分析

第十四章:主成分和因子分析 本章内容 主成分分析 探索性因子分析 其他潜变量模型 主成分分析(PCA)是一种数据降维技巧,它能将大量相关变量转化为一组很少的不相关变量,这些无关变量称为主成分.探索性因子分析(EFA)是一系列用来发现一组变量的潜在结构的方法.它通过寻找一组更小的.潜在的或隐藏的结构来解释已观测到的.显式的变量间的关系. PCA与EFA模型间的区别 主成分(PC1和PC2)是观测变量(X1到X5)的线性组合.形成线性组合的权重都是通过最大化各主成分所解释的方差来获得,同时还要保证个

【转载】--主成分分析PCA

降维的必要性 1.多重共线性--预测变量之间相互关联.多重共线性会导致解空间的不稳定,从而可能导致结果的不连贯. 2.高维空间本身具有稀疏性.一维正态分布有68%的值落于正负标准差之间,而在十维空间上只有0.02%. 3.过多的变量会妨碍查找规律的建立. 4.仅在变量层面上分析可能会忽略变量之间的潜在联系.例如几个预测变量可能落入仅反映数据某一方面特征的一个组内. 降维的目的: 1.减少预测变量的个数 2.确保这些变量是相互独立的 3.提供一个框架来解释结果 降维的方法有:主成分分析.因子分析.

Stat2&mdash;主成分分析(Principal components analysis)

最近在猛撸<R in nutshell>这本课,统计部分涉及的第一个分析数据的方法便是PCA!因此,今天打算好好梳理一下,涉及主城分析法的理论以及R实现!come on-gogogo- 首先说一个题外话,记得TED上有一期,一个叫Simon Sinek的年轻人提出了一个全新的Why-How-What黄金圈理论(三个同心圆,最里面的一个是Why,中间一层是How,最外面一层是What:一般人的思维习惯是从里面的圆逐渐推到外面,而创造了伟大作品.引领了伟大运动的人们,其思维习惯则恰恰相反,逆向思维

R与数据分析旧笔记(十七) 主成分分析

主成分分析 主成分分析 Pearson于1901年提出的,再由Hotelling(1933)加以发展的一种多变量统计方法 通过析取主成分显出最大的个别差异,也用来削减回归分析和聚类分析中变量的数目 可以使用样本协方差矩阵或相关系数矩阵作为出发点进行分析 成分的保留:Kaiser主张(1960)将特征值小于1的成分放弃,只保留特征值大于1的成分 如果能用不超过3-5个成分就能解释变异的80%,就算是成功 通过对原是变量进行线性组合,得到优化的指标 把原先多个指标的计算降维为少量几个经过优化指标的计

【转载】因子分析(Factor Analysis)

因子分析(Factor Analysis) [pdf版本]因子分析 1 问题 之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n,这样不管是进行回归.聚类等都没有太大的问题.然而当训练样例个数m太小,甚至m<<n的时候,使用梯度下降法进行回归时,如果初值不同,得到的参数结果会有很大偏差(因为方程数小于参数个数).另外,如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合时,也会有问题.让我们来演算一下,看看会有什么问题: 多元高斯分