矩阵求导

后验笔记: https://www.notion.so/Learning-Methods-Summary-Pixel-based-df38101788744ef7b9a05a7419d9bd90

Note

💡 在机器学习和深度学习中，我们往往用到的是标量对矩阵求导的方法，因为一般来说损失函数是标量。

标量对矩阵求导

定义：$\frac{\partial f}{\partial \mathbf{X}}=[\frac{\partial f}{\partial {\mathbf{X}}_{ij}}]$ ，即逐元素求导并排列成等同于$\mathbf{X}$ 的矩阵

矩阵微分和矩阵导数之间的联系：$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d\mathbf{X}=tr({\frac{\partial f}{\partial \mathbf{X}}}^{T}d\mathbf{X})$

若标量函数 $f$ 是矩阵 $\mathbf{X}$ 经加减乘法、逆、行列式、逐元素函数等运算构成，则使用相应的运算法则对$f$求微分，再使用迹技巧给 $df$ 套上迹并将其它项交换至$d\mathbf{X}$左侧，对照导数与微分的联系 $df=tr({\frac{\partial f}{\partial \mathbf{X}}}^{T}d\mathbf{X})$ ，即能得到导数。

部分例题可以在下面的第一个链接中找到。

阵对矩阵求导

• 也可以退化成向量对矩阵求导， 先略。用的少。需要的时候学一下最下面的链接：矩阵求导术（二）

---

常见的矩阵微分运算法则

1. 加减法：$d(\mathbf{X}\pm \mathbf{Y})=d\mathbf{X}\pm d\mathbf{Y}$

2. 矩阵乘法：$d(\mathbf{XY})=(d\mathbf{X})\mathbf{Y}+\mathbf{X}(d\mathbf{Y})$

3. 转置： $d({\mathbf{X}}^T)=(d\mathbf{X}{)}^T$

4. 迹：$d(tr(\mathbf{X}))=tr(d\mathbf{X})$

5. 逆：$d({\mathbf{X}}^{-1})=-{\mathbf{X}}^{-1}d\mathbf{X}{\mathbf{X}}^{-1}$

6. 行列式：$d|\mathbf{X}|=tr({\mathbf{X}}^{\#}d\mathbf{X})$

   ${\mathbf{X}}^{\#}$表示$\mathbf{X}$的伴随矩阵，若$\mathbf{X}$可逆，则可以写成$d|\mathbf{X}|=|\mathbf{X}|tr({\mathbf{X}}^{-1}d\mathbf{X})$ [可参见教材P279]

7. 逐元素乘法： $d(\mathbf{X}⨀\mathbf{Y})=d\mathbf{X}⨀\mathbf{Y}+\mathbf{X}⨀d\mathbf{Y}$

8. 逐元素函数：$d\sigma (\mathbf{X})={\sigma }^{{}^{\prime }}(\mathbf{X})⨀d\mathbf{X}$

   $\sigma (\mathbf{X})=[\sigma (X_{ij})]$ 是逐元素标量函数运算，${\sigma }^{{}^{\prime }}(\mathbf{X})=[{\sigma }^{{}^{\prime }}(X_{ij})]$ 是逐元素求导

---

常见的迹（Trace）技巧 (Trick)

1. 标量套迹值不变： $a=tr(a)$
2. 转置：$tr({\mathbf{A}}^T)=tr(\mathbf{A})$
3. 线性：$tr(\mathbf{A}\pm \mathbf{B})=tr(\mathbf{A})\pm tr(\mathbf{B})$
4. 矩阵乘法直接交换：$tr(\mathbf{AB})=tr(\mathbf{BA})=\sum _{ij}{A}_{ij}{B}_{ji}$
5. 矩阵乘法与逐元素乘法交换： $tr({\mathbf{A}}^T(\mathbf{B}⨀\mathbf{C}))=tr((\mathbf{A}⨀\mathbf{B}{)}^T\mathbf{C})$ 其中三个矩阵 $\mathbf{A},\mathbf{B},\mathbf{C}$ 尺寸相同，两侧都等于 $\sum _{ij}{A}_{ij}{B}_{ij}{C}_{ij}$

指向原始笔记的链接

---

参考： 矩阵求导术（上）
矩阵求导术（下）