参考自周志华《机器学习》的附录A

向量 $\vec{a}$ 对标量 $x$ 的导数以及 $x$ 对 $\vec{a}$ 的导数都是向量。其第 $i$ 个分量为：

$$\left(\frac{\partial \vec{a}}{\partial x}\right)_i=\frac{\partial a_i}{\partial x}\\ \left(\frac{\partial x}{\partial \vec{a}}\right)_i=\frac{\partial x}{\partial a_i}$$

类似的，矩阵 $\mathbf{A}$ 对标量 $x$ 的导数以及 $x$ 对 $\mathbf{A}$ 的导数都是矩阵，第 $i$ 行第 $j$ 列的元素为：

$$\left(\frac{\partial \mathbf{A}}{\partial x}\right)_{i,j}=\frac{\partial {A}_{i,j}}{\partial x}\\ \left(\frac{\partial x}{\partial \mathbf{A}}\right)_{i,j}=\frac{\partial x}{\partial {A}_{i,j}}\\$$

对于函数 $f(\vec{x})$ ，假设其对向量元素可导，则 $f(\vec{x})$ 关于 $\vec{x}$ 的一阶导数是一个向量，其第 $i$ 个分量为

$$\left(\nabla f(\vec{x})\right)_i=\frac{\partial f(\vec{x})}{\partial x_i}$$

$f(\vec{x})$ 关于 $\vec{x}$ 的二阶导数是一个矩阵，被称为海森矩阵(Hessian matrix)，其第 $i$ 行第 $j$ 列上的元素为

$$\left(\nabla^2f(\vec{x})\right)_{i,j}=\frac{\partial^2f(\vec{x})}{\partial x_i\partial x_j}$$

向量和矩阵的导数满足乘法法则：

$$\frac{\partial\vec{x}^\mathrm{T}\vec{a}}{\partial \vec{x}}=\frac{\partial\vec{a}^\mathrm{T}\vec{x}}{\partial \vec{x}}=\vec{a}\\ \frac{\partial\mathbf{A}\mathbf{B}}{\partial \vec{x}}=\frac{\partial\mathbf{A}}{\partial \vec{x}}\mathbf{B}+\mathbf{A}\frac{\partial\mathbf{B}}{\partial \vec{x}}\\$$

由 $\mathbf{A}\mathbf{A^{-1}}=\mathbf{I}$ 知：

$$\frac{\partial\mathbf{A}\mathbf{A^{-1}}}{\partial\vec{x}}=\mathbf{O}\\ \mathbf{A}\frac{\partial\mathbf{A^{-1}}}{\partial\vec{x}}+\frac{\partial\mathbf{A}}{\partial\vec{x}}\mathbf{A^{-1}}=\mathbf{O}\\ \mathbf{A}\frac{\partial\mathbf{A^{-1}}}{\partial\vec{x}}=-\frac{\partial\mathbf{A}}{\partial\vec{x}}\mathbf{A^{-1}}\\ \frac{\partial\mathbf{A^{-1}}}{\partial\vec{x}}=-\mathbf{A^{-1}}\frac{\partial\mathbf{A}}{\partial\vec{x}}\mathbf{A^{-1}}$$

所以逆矩阵的导数可以表示为

$$\frac{\partial\mathbf{A^{-1}}}{\partial\vec{x}}=-\mathbf{A^{-1}}\frac{\partial\mathbf{A}}{\partial\vec{x}}\mathbf{A^{-1}}$$

若求导的标量是矩阵 $\mathbf{A}$ 的元素，则有

$$\frac{\partial tr(\mathbf{AB})}{\partial{A_{i,j}}}={B_{j,i}}\\ \frac{\partial tr(\mathbf{AB})}{\partial\mathbf{A}}=\mathbf{B}^\mathrm{T}\\ \frac{\partial tr(\mathbf{A}^\mathrm{T}\mathbf{B})}{\partial\mathbf{A}}=\mathbf{B}\\ \frac{\partial tr(\mathbf{A})}{\partial\mathbf{A}}=\mathbf{I}\\ \frac{\partial tr(\mathbf{ABA}^\mathrm{T})}{\partial\mathbf{A}}=\mathbf{A}(\mathbf{B}+\mathbf{B}^\mathrm{T})\\$$