SVD小结

1.矩阵分解

假设一个矩阵Data是m行n列，SVD(奇异值分解)将Data分解为U,E,VT 三个矩阵：

Datam*n=Um*kEk*kVTk*n

E是一个对角矩阵，对角元素为奇异值，对应Data的奇异值，即Data*DataT特征值的平方

2.选取特征

下面确定选取哪几维特征实现降维，去除噪声和冗余信息，用低维数据集表示原数据集。

典型做法是保留矩阵90%能量信息，公式如下，先选一个值h:

奇异阵的平方 sig=ETE

如果奇异阵的平方中前i项的和大于奇异阵的平方总和，即sum(sig[:h]) >
sum(sig)*0.9，就可以把原矩阵转换成一个h维的矩阵，新矩阵具体为：

newDatam*n=DataTm*n * U[:,:h]m*h
* E-1h*h

3.python实现

numpy中线性代数工具箱linalg包的svd方法可方便得到奇异阵E。另，linalg包的norm方法可用于计算范数。

SVD一些典型应用如推荐系统，06年的Netflix大赛即使用SVD。

SVD小结,布布扣,bubuko.com

时间： 2024-12-31 16:05:08

SVD小结的相关文章

奇异值分解(SVD)原理与在降维中的应用

奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域.是很多机器学习算法的基石.本文就对SVD的原理做一个总结,并讨论在在PCA降维算法中是如何运用运用SVD的. 1. 回顾特征值和特征向量 我们首先回顾下特征值和特征向量的定义如下:$$Ax=\lambda x$$ 其中A是一个$n \times n$的矩阵,$x$是一个$n$维向量,则我们说$\lam

数据挖掘笔试面试（12）

[校招面经]机器学习与数据挖掘常见面试题整理 part8 2018年08月04日 21:46:27 稻蛙 阅读数:266 七十六.t-SNE from:http://www.datakit.cn/blog/2017/02/05/t_sne_full.html t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来.此外,t

推荐系统的各个矩阵分解模型1

推荐系统的各个矩阵分解模型 1. SVD 当然提到矩阵分解,人们首先想到的是数学中经典的SVD(奇异值)分解,直接上公式: $$ M_{m \times n}=U_{m \times k} \Sigma_{k \times k} V_{k \times n}^{T} $$ 原理和流程 当然SVD分解的形式为3个矩阵相乘 左右两个矩阵分别表示用户/项目隐含因子矩阵 中间矩阵为奇异值矩阵并且是对角矩阵,每个元素满足非负性,并且逐渐减小 目的 推荐好 计算得到三个矩阵 左右两个矩阵分别表示用户/项目隐

推荐系统的各个矩阵分解模型

# 推荐系统的各个矩阵分解模型 ## 1. SVD 当然提到矩阵分解,人们首先想到的是数学中经典的SVD(奇异值)分解,直接上公式:$$M_{m \times n}=U_{m \times k} \Sigma_{k \times k} V_{k \times n}^{T}$$ - 原理和流程 - 当然SVD分解的形式为3个矩阵相乘 - 左右两个矩阵分别表示用户/项目隐含因子矩阵 - 中间矩阵为奇异值矩阵并且是对角矩阵,每个元素满足非负性,并且逐渐减小- 目的 - 推荐好 - 计算得到三个矩阵 -

我学习图像处理的小结

前一段时间,我一直在制作OpenCV基础知识的课件(<学习OpenCV3.0初级实战视频课程> http://edu.51cto.com/course/10381.html,<学习OpenCV3.0中级实战视频课程>http://edu.51cto.com/course/10712.html).因为一方面我感觉如果仅仅是有比如"答题卡识别"http://edu.51cto.com/course/8637.html,"图像拼接"http://e

SVD简化数据

一,引言 我们知道,在实际生活中,采集到的数据大部分信息都是无用的噪声和冗余信息,那么,我们如何才能剔除掉这些噪声和无用的信息,只保留包含绝大部分重要信息的数据特征呢? 除了上次降到的PCA方法,本次介绍另外一种方法,即SVD.SVD可以用于简化数据,提取出数据的重要特征,而剔除掉数据中的噪声和冗余信息.SVD在现实中可以应用于推荐系统用于提升性能,也可以用于图像压缩,节省内存. 二,利用python事先SVD 1 svd原理--矩阵分解   在很多情况下,数据中的一小段携带了数据集的大部分信息

数据降维方法小结

原文:http://blog.csdn.net/yujianmin1990/article/details/48223001 数据的形式是多种多样的,维度也是各不相同的,当实际问题中遇到很高的维度时,如何给他降到较低的维度上?前文提到进行属性选择,当然这是一种很好的方法,这里另外提供一种从高维特征空间向低纬特征空间映射的思路. 数据降维的目的 数据降维,直观地好处是维度降低了,便于计算和可视化,其更深层次的意义在于有效信息的提取综合及无用信息的摈弃. 数据降维的方法 主要的方法是线性映射和非线性

处理图像技术小结

前一段时间,我一直在制作OpenCV基础知识的课件,因为一方面我感觉如我现在的准备的东西缺乏一个系统的过程:另一方面我也在做视频的过程中,反省自己对基础知识是否掌握牢靠了,千万不能误人子弟.那么课件的制作,包括内容的顺序,主要还是基于<learningOpenCV3>的.结合制作课件,我对<learningOpenCV3>书后的习题较为仔细的解决,并且push到了Github上https://github.com/oreillymedia/Learning-OpenCV-3_exa

机器学习——降维（主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE）

机器学习--降维(主成分分析PCA.线性判别分析LDA.奇异值分解SVD.局部线性嵌入LLE) 以下资料并非本人原创,因为觉得石头写的好,所以才转发备忘 (主成分分析(PCA)原理总结)[https://mp.weixin.qq.com/s/XuXK4inb9Yi-4ELCe_i0EA] 来源:?石头?机器学习算法那些事?3月1日 主成分分析(Principal components analysis,以下简称PCA)是最常用的降维方法之一,在数据压缩和消除冗余方面具有广泛的应用,本文由浅入深的