2.2　关于矩阵理论的预备知识

本节将介绍关于矩阵理论的预备知识，其中涉及矩阵求逆计算公式、Moore-Penrose广义逆矩阵和正交投影矩阵、矩阵Kronecker积和矩阵向量化运算、矩阵奇异值分解、一个重要的矩阵等式，以及标量函数的梯度向量和向量函数的Jacobian矩阵。

2.2.1　矩阵求逆计算公式

下面将介绍几个重要的矩阵求逆公式。

1．矩阵和求逆公式

【命题2.1】设矩阵、、及，并且矩阵、及均可逆，则有如下等式：

【证明】根据矩阵乘法运算法则可知

将矩阵表示为

将式（2.3）代入式（2.2）中可得

由式（2.4）可知式（2.1）成立。证毕。

【命题2.2】设矩阵、、及，并且矩阵、及均可逆，则有如下等式：

【证明】将式（2.1）中的矩阵替换为即可知式（2.5）成立。证明过程略。

2．分块对称矩阵求逆公式

【命题2.3】设有如下分块对称可逆矩阵：

其中，和，并且矩阵、、及均可逆，则有如下等式：

【证明】首先将矩阵表示成如下分块形式：

根据逆矩阵的定义可得

基于式（2.9）可以得到如下3个等式：

利用式（2.10）中的第2式可知，将其代入式（2.10）中的第1式可得

由式（2.11）可知

结合式（2.10）中的第3式和式（2.12）可得

式中，第3个等号处的运算利用了命题2.2。结合式（2.11）～式（2.13）可知式（2.7）成立。证毕。

2.2.2　Moore-Penrose广义逆矩阵和正交投影矩阵

下面将介绍关于Moore-Penrose广义逆矩阵和正交投影矩阵的若干重要结论。

1．Moore-Penrose广义逆矩阵

Moore-Penrose广义逆矩阵是一种十分重要的广义逆矩阵，利用该逆矩阵可以构造任意矩阵的列空间或是其列补空间上的正交投影矩阵，其基本定义如下。

【定义2.1】设矩阵，若矩阵满足以下4个矩阵方程：

则称是矩阵的Moore-Penrose广义逆矩阵，并将其记为。

根据定义2.1可知，若是可逆方阵，则有。满足式（2.14）的Moore-Penrose逆矩阵存在并且唯一，它可以通过矩阵的奇异值分解来获得[50,51]。对于列满秩矩阵或行满秩矩阵而言，Moore-Penrose逆矩阵存在闭式表达式，具体可见如下两个命题。

【命题2.4】设矩阵，若为列满秩矩阵，则有。

【证明】若为列满秩矩阵，则是可逆矩阵，现将代入式（2.14）中可得

由式（2.15）可知，矩阵满足Moore-Penrose广义逆定义中的4个矩阵方程。证毕。

【命题2.5】设矩阵，若为行满秩矩阵，则有。

【证明】若为行满秩矩阵，则是可逆矩阵，现将代入式（2.14）中可得

由式（2.16）可知，矩阵满足Moore-Penrose广义逆定义中的4个矩阵方程。证毕。

2．正交投影矩阵

正交投影矩阵在矩阵理论中具有十分重要的作用，其基本定义如下。

【定义2.2】设是维欧氏空间中的一个线性子空间，是其正交补空间，对于任意向量，若存在阶矩阵满足

式中，和，则称是线性子空间上的正交投影矩阵，是的正交补空间上的正交投影矩阵。若表示矩阵的列空间（即），则将矩阵记为，将矩阵记为。

根据正交投影矩阵的定义可知，若矩阵和的列空间满足，则有或。根据正交投影矩阵的定义还可以得到如下重要结论。

【命题2.6】设是维欧氏空间中的一个线性子空间，则该子空间上的正交投影矩阵是唯一的，并且它是对称幂等矩阵，即满足和。

【证明】对于任意向量，根据正交投影矩阵的定义可知

利用向量和的任意性可得

由式（2.19）可知，矩阵满足对称幂等性。

接着证明唯一性，假设存在子空间上的另一个正交投影矩阵，它也是对称幂等矩阵，则对于任意向量，满足

由向量的任意性可知，由此证得唯一性。证毕。

【命题2.7】任意正交投影矩阵都是半正定矩阵。

【证明】由命题2.6可知，任意正交投影矩阵都满足。证毕。

一个重要的事实是，正交投影矩阵可以利用Moore-Penrose逆矩阵来表示，具体可见如下命题。

【命题2.8】设矩阵，则其列空间和列补空间上的正交投影矩阵可以分别表示为

若是列满秩矩阵，则其列空间和列补空间上的正交投影矩阵还可以分别表示为

【证明】任意向量都可以进行如下分解：

式中，和，下面仅需要证明和即可。首先有

式中，。另一方面，利用Moore-Penrose逆矩阵的性质可知

最后，若是列满秩矩阵，利用命题2.4可得，将该式代入式（2.21）中可知式（2.22）成立。证毕。

2.2.3　矩阵Kronecker积和矩阵向量化运算

下面将介绍矩阵Kronecker积和矩阵向量化运算的若干重要结论。

1．矩阵Kronecker积

矩阵Kronecker积也称为直积。设矩阵和，则它们的Kronecker积可以表示为

由式（2.26）不难看出，Kronecker积并没有交换律（即）。关于Kronecker积有如下重要结论。

【命题2.9】设矩阵、、及，则有如下等式

【证明】将矩阵位于坐标处的元素记为，将矩阵位于坐标处的元素记为，于是矩阵中第个阶数为的子矩阵为，矩阵中第个阶数为的子矩阵为。因此，矩阵中第个阶数为的子矩阵为

显然，式（2.28）右边恰好等于矩阵中第个阶数为的子矩阵，由此可知式（2.27）成立。证毕。

2．矩阵向量化运算

矩阵向量化（记为）的概念具有广泛的应用，它可以简化数学表述，基本定义如下。

【定义2.3】设矩阵，则该矩阵的向量化运算可定义为

由式（2.29）可知，矩阵向量化是将矩阵按照字典顺序排成列向量。利用矩阵向量化运算可以得到关于Kronecker积的重要等式，具体可见如下命题。

【命题2.10】设矩阵、及，则有。

【证明】首先将矩阵按列分块表示为，由此可以将矩阵进一步表示为

基于式（2.30）可得

式中，第4个等号处的运算利用了命题2.9。证毕。

2.2.4　矩阵奇异值分解

下面将介绍矩阵奇异值分解的基本概念。奇异值分解是一种非常重要的矩阵分解，通过此分解可以获得矩阵的列空间和零空间，并且还可以确定矩阵的秩。任意矩阵都存在奇异值分解，具体可见如下命题。

【命题2.11】设矩阵，并且其秩为，则存在两个正交矩阵和满足

式中，，其中称为奇异值，矩阵和中的列向量分别称为左和右奇异向量。

【证明】由于是半正定矩阵，并且其秩为，因此矩阵的特征值中会包含个正值和个零值，于是可以将矩阵的全部特征值设为

并记，其中。根据对称矩阵的特征分解定理[50,51]可知，存在正交矩阵满足

由式（2.34）可以进一步推得

将矩阵按列分块表示为，结合式（2.35）可知

进一步可得

于是有

若令（等价于），利用式（2.38）中的第1个等式可知，矩阵中的列向量是相互正交的单位向量，将其按列分块表示为，然后再扩充个列向量构造矩阵，以使得为正交矩阵。于是有

证毕。

根据命题2.11可知，任意矩阵都可以分解为如下形式：

式中，矩阵、及的定义见命题2.11。式（2.40）即为矩阵奇异值分解。需要指出的是，命题2.11中矩阵的列空间也为矩阵的列空间，矩阵的列空间也为矩阵的零空间，非零的奇异值个数也为矩阵的秩。

2.2.5　一个重要的矩阵等式

下面将证明一个重要的矩阵等式，它对于本书中的加权多维标度定位方法非常重要。

【命题2.12】设向量组为，其中，若令，并定义如下两个矩阵：

式中，，则有。

【证明】矩阵中的第行、第列元素为

矩阵中的第行、第列元素为

将式（2.43）中的2-范数进一步展开可得

比较式（2.43）和式（2.44）可知，由此可得。证毕。

2.2.6　标量函数的梯度向量和向量函数的Jacobian矩阵

下面将介绍标量函数的梯度向量和向量函数的Jacobian矩阵的基本概念。

1．标量函数的梯度向量

【定义2.4】设是关于维实向量的连续且一阶可导的标量函数，则其梯度向量定义为

利用梯度向量的定义，下面将给出一个重要结论，具体可见如下命题。

【命题2.13】设列满秩矩阵、正定矩阵及向量，则无约束优化问题

的唯一最优解为

【证明】首先获得标量函数的梯度向量，如下式所示：

由于最优解应使得梯度为零向量，于是有

该最优解的唯一性是由于是列满秩矩阵。证毕。

2．向量函数的Jacobian矩阵

【定义2.5】设由m个标量函数构成的向量函数，其中每个标量函数都是关于维实向量的连续且一阶可导函数，则其Jacobian矩阵定义为

比较式（2.45）和式（2.50）可知，Jacobian矩阵中的第行向量是标量函数的梯度向量的转置。