矩阵求导记录

矩阵求导

在看多元线性回归的闭式解的时候遇到矩阵求导问题,总体来讲矩阵求导与函数求导有极大的相似性,查看wiki后记录下矩阵求导的一些性质,方面日后查看。




用到比较多的公式如下(分母布局):
\[
\frac{\partial \boldsymbol A\boldsymbol x}{\partial \boldsymbol x}=A^T
\]

\[
\frac{\partial \boldsymbol x^T\boldsymbol A}{\partial \boldsymbol x}=A
\]

\[
\frac{\partial \boldsymbol u \cdot \boldsymbol v}{\partial \boldsymbol x}=\frac{\partial \boldsymbol u^T\boldsymbol v}{\partial \boldsymbol x}=\frac{\partial \boldsymbol u}{\partial \boldsymbol x}\boldsymbol v+\frac{\partial \boldsymbol v}{\partial \boldsymbol x}\boldsymbol u
\]

证明几个公式:

1.\(\cfrac{\partial \boldsymbol x^T\boldsymbol A \boldsymbol x}{\partial \boldsymbol x}=(\boldsymbol A+\boldsymbol A^T)\boldsymbol x\)
\[
\begin{align}
\frac{\partial \boldsymbol x^T\boldsymbol A \boldsymbol x}{\partial \boldsymbol x}=&\frac{\partial (\boldsymbol A^T \boldsymbol x)^T \boldsymbol x}{\partial \boldsymbol x}\\=&\frac{\partial \boldsymbol A^T \boldsymbol x}{\partial \boldsymbol x}\boldsymbol x+\frac{\partial \boldsymbol x}{\partial \boldsymbol x}\boldsymbol A^T \boldsymbol x\=&\boldsymbol A\boldsymbol x+\boldsymbol A^T\boldsymbol x\=&(\boldsymbol A+\boldsymbol A^T)\boldsymbol x
\end{align}
\]
2.$ \cfrac{\partial E_{\hat{\boldsymbol w}}}{\partial \hat{\boldsymbol w}}=2\mathbf{X}^T(\mathbf{X}\hat{\boldsymbol w}-\boldsymbol{y})$
\[
\begin{align}
\cfrac{\partial E_{\hat{\boldsymbol w}}}{\partial \hat{\boldsymbol w}}=& \cfrac{\partial \boldsymbol{y}^T\boldsymbol{y}}{\partial \hat{\boldsymbol w}}-\cfrac{\partial \boldsymbol{y}^T\mathbf{X}\hat{\boldsymbol w}}{\partial \hat{\boldsymbol w}}-\cfrac{\partial \hat{\boldsymbol w}^T\mathbf{X}^T\boldsymbol{y}}{\partial \hat{\boldsymbol w}}+\cfrac{\partial \hat{\boldsymbol w}^T\mathbf{X}^T\mathbf{X}\hat{\boldsymbol w}}{\partial \hat{\boldsymbol w}}\=&0-(\boldsymbol{y}^T\mathbf{X})^T-\mathbf{X}^T\boldsymbol{y}+(\mathbf{X}^T\mathbf{X}+\mathbf{X}^T\mathbf{X})\hat{\boldsymbol w}\=&2\mathbf{X}^T(\mathbf{X}\hat{\boldsymbol w}-\boldsymbol{y})
\end{align}
\]

参考文献:
https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities

原文地址:https://www.cnblogs.com/wyb6231266/p/11235204.html

时间: 2024-10-05 23:27:07

矩阵求导记录的相关文章

[转载]机器学习中常用的矩阵求导公式

原文地址:机器学习中常用的矩阵求导公式作者:MachineLearner 矩阵求导好像读书的时候都没学过,因为讲矩阵的课程上不讲求导,讲求导的课又不提矩阵.如果从事机器学习方面的工作,那就一定会遇到矩阵求导的东西.维基百科上:http://en.wikipedia.org/wiki/Matrix_calculus , 根据Y与X的不同类型(实值,向量,矩阵),给出了具体的求导公式,以及一堆相关的公式,查起来都费劲. 其实在实际的机器学习工作中,最常用到的就是实值函数y对向量X的求导,定义如下(其

矩阵求导

Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A' 于是把以前学过的矩阵求导部分整理一下: 1. 矩阵Y对标量x求导: 相当于每个元素求导数后转置一下,注意M×N矩阵求导后变成N×M了 Y = [y(ij)] --> dY/dx = [dy(ji)/dx] 2. 标量y对列向量X求导: 注意与上面不同

机器学习中的矩阵求导总结

下图为常见的矩阵求导公式及其推导.

[转载]矩阵求导公式

原文地址:矩阵求导公式[转]作者:三寅 今天推导公式,发现居然有对矩阵的求导,狂汗--完全不会.不过还好网上有人总结了.吼吼,赶紧搬过来收藏备份. 基本公式:Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A' 1. 矩阵Y对标量x求导: 相当于每个元素求导数后转置一下,注意M×N矩阵求导后变成N×M了 Y

[zt]矩阵求导公式

今天推导公式,发现居然有对矩阵的求导,狂汗--完全不会.不过还好网上有人总结了.吼吼,赶紧搬过来收藏备份. 基本公式:Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A' 1. 矩阵Y对标量x求导: 相当于每个元素求导数后转置一下,注意M×N矩阵求导后变成N×M了 Y = [y(ij)] --> dY/

矩阵求导术(上)

深度学习我认为最核心的被部分,是求导,更新的这个过程! 这里涉及的矩阵求导,我觉得很复杂,看了很多的方法,记忆法则,真的是越看越不懂! 清华那本书,也是太庞大了. 学习大佬这个矩阵求导术方法,矩阵求导,算法推理,真的是迎刃而解!非常的nice. 感谢大佬. 这里贴上图片,以防各种原因,丢失 原文知乎链接 原文地址:https://www.cnblogs.com/panfengde/p/10323182.html

矩阵求导术的应用

使用矩阵求导术的一些推到,示例 原文地址:https://www.cnblogs.com/panfengde/p/10323206.html

矩阵求导(包含极大似然估计)

from https://zhuanlan.zhihu.com/p/24709748 极大似然 https://blog.csdn.net/zengxiantao1994/article/details/72787849 https://zhuanlan.zhihu.com/p/26614750 矩阵求导 注1: 注2: 例子2 极大似然估计 知识:https://blog.csdn.net/zengxiantao1994/article/details/72787849 https://zhu

矩阵求导问题

复杂矩阵问题求导方法:可以从小到大,从scalar到vector再到matrix. x is a column vector, A is a matrix practice: