数值分析之解线性方程组的直接方法 5.X

矩阵

谱分解

设 \(\boldsymbol{A}=a_{i j} \in \mathbb{R}^{n \times n}\) , 若存在数 \(\lambda\) (实数或复数) 和非零向量 \(\boldsymbol{x}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{\mathrm{T}} \in \mathbb{R}^{n}\) , 使

\[A x=\lambda x
\]

则称 \(\lambda\) 为 \(\boldsymbol{A}\) 的特征值, \(\boldsymbol{x}\) 为 \(\boldsymbol{A}\) 对应 \(\lambda\) 的特征向量, \(\boldsymbol{A}\) 的全体特征值称为 \(\boldsymbol{A}\) 的谱,记作 \(\sigma(\boldsymbol{A})\) , 即 \(\sigma(\boldsymbol{A})=\left\{\lambda_{1}, \lambda_{2}, \cdots, \lambda_{n}\right\}\) . 记

\[\rho(\boldsymbol{A})=\max _{1 \leq i \leq n}\left|\lambda_{i}\right|
\]

称为矩阵 \(\boldsymbol{A}\) 的谱半径.

特征值特征向量性质

• \(\boldsymbol{A}^{\mathrm{T}}\) 与 \(\boldsymbol{A}\) 有相同的特征值 \(\lambda\) 及特征向量 \(\boldsymbol{x}\) .
• 若 \(\boldsymbol{A}\) 非奇异, 则 \(\boldsymbol{A}^{-1}\) 的特征值为 \(\lambda^{-1}\) , 特征向量为 \(\boldsymbol{x}\) .
• 相似矩阵 \(\boldsymbol{B}=\boldsymbol{S}^{-1} \boldsymbol{A S}\) 有相同的特征多项式.

特殊矩阵

设 \(\boldsymbol{A}=\left(a_{i j}\right) \in \mathbb{R}^{n \times n}\) .

• 对角矩阵 如果当 \(i \neq j 时, a_{i j}=0\) .
• 三对角矩阵 如果当 \(|i-j|>1 时, a_{i j}=0\) .
• 上三角矩阵 如果当 \(i>j 时, a_{i j}=0\) .
• 上海森伯格 (Hessenberg)阵 如果当 \(i>j+1 时, a_{i j}=0\) .
• 对称矩阵 如果 \(\boldsymbol{A}^{\mathrm{T}}=\boldsymbol{A}\) .
• 埃尔米特矩阵 设 \(\boldsymbol{A} \in \mathbb{C}^{n \times n}\) , 如果 \(\boldsymbol{A}^{\mathrm{H}}=\boldsymbol{A} (\boldsymbol{A}^{\mathrm{H}}=\overline{\boldsymbol{A}}^{\mathrm{T}}\) , 即为 \(\boldsymbol{A}\) 的共轭转置).
• 对称正定矩阵 如果 (1) \(\boldsymbol{A}^{\mathrm{T}}=\boldsymbol{A}\) , (2)对任意非零向量 \(\boldsymbol{x} \in \mathbb{R}^{n},(\boldsymbol{A} \boldsymbol{x}\), \(\boldsymbol{x})=\boldsymbol{x}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{x}>0\) .
• 正交矩阵 如果 \(\boldsymbol{A}^{-1}=\boldsymbol{A}^{\mathrm{T}}\) .
• 西矩阵 设 \(\boldsymbol{A} \in \mathbb{C}^{n \times n}\) , 如果 \(\boldsymbol{A}^{-1}=\boldsymbol{A}^{\mathrm{H}}\) .
• 初等置换阵由单位矩阵 \(\boldsymbol{I}\) 交换第 \(i\) 行与第 \(j\) 行 (或交换第 \(i\) 列与第 \(j\) 列), 得到的矩阵记为 \(\boldsymbol{I}_{i j}\) , 且
  
  \(\boldsymbol{I}_{i j} \boldsymbol{A}=\widetilde{\boldsymbol{A}}\)(为交换 \(\boldsymbol{A}\) 第 \(i\) 行与第 \(j\) 行得到的矩阵);
  
  \(\boldsymbol{A} \boldsymbol{I}_{i j}=\boldsymbol{B}\) (为交换 \(\boldsymbol{A}\) 第 \(i\) 列与第 \(j\) 列得到的矩阵).
• 置换阵由初等置换阵的乘积得到的矩阵.

定理一 (满秩矩阵的等价命题)

设 \(\boldsymbol{A} \in \mathbb{R}^{n \times n}\) , 则下述命题等价 :

• 对任何 \(\boldsymbol{b} \in \mathbb{R}^{n}\) , 方程组 \(\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}\) 有唯一解.
• 齐次方程组 \(\boldsymbol{A x}=\mathbf{0}\) 只有唯一解 \(\boldsymbol{x}=\mathbf{0}\) .
• \(\operatorname{det}(\boldsymbol{A}) \neq 0\) .
• \(\boldsymbol{A}^{-1}\) 存在.
• \(\boldsymbol{A}\) 的秩 \(\operatorname{rank}(\boldsymbol{A})=n\) .

定理二 (正定矩阵的性质)

设 \(A \in \mathbb{R}^{n \times n}\) 为对称正定矩阵, 则

• \(\boldsymbol{A}\) 为非奇异矩阵, 且 \(\boldsymbol{A}^{-1}\) 亦是对称正定矩阵.
• 记 \(\boldsymbol{A}_{k}\) 为 \(\boldsymbol{A}\) 的顺序主子阵, 则 \(\boldsymbol{A}_{k}(k=1,2, \cdots, n)\) 亦是对称正定矩阵, 其中

\[\boldsymbol{A}_{k}=\left(\begin{array}{ccc}
a_{11} & \cdots & a_{1 k} \\
\vdots & & \vdots \\
a_{k 1} & \cdots & a_{k k}
\end{array}\right), \quad k=1,2, \cdots, n\]

• \(\boldsymbol{A}\) 的特征值 \(\lambda_{i}>0(i=1,2, \cdots, n)\) .
• \(\boldsymbol{A}\) 的顺序主子式都大于零, 即 \(\operatorname{det}\left(\boldsymbol{A}_{k}\right)>0(k=1,2, \cdots, n)\) .

定理三 (重特征值的矩阵相似为非对角形式的若尔当形)

定理 4 (若尔当 (Jordan) 标准形) 设 \(\boldsymbol{A}\) 为 \(n\) 阶矩阵, 则存在一个非奇异矩阵 \(\boldsymbol{P}\) 使得

\[\boldsymbol{P}^{-1} A P=\left(\begin{array}{llll}
\boldsymbol{J}_{1}\left(\lambda_{1}\right) & & & \\
& \boldsymbol{J}_{2}\left(\lambda_{2}\right) & & \\
& & \ddots & \\
& & & \boldsymbol{J}_{r}\left(\lambda_{r}\right)
\end{array}\right)\]

其中

\[\begin{array}{c}
\boldsymbol{J}_{i}=\left(\begin{array}{lllll}
\lambda_{i} & 1 & & & \\
& \lambda_{i} & 1 & & \\
& & \ddots & \ddots & \\
& & \lambda_{i} & 1 \\
& & & \lambda_{i}
\end{array}\right)_{n_{i} \times n_{i}}, \\
n_{i} \geqslant 1(i=1,2, \cdots, r), \quad \text { 且 } \sum_{i=1}^{r} n_{i}=n
\end{array}\]

为若尔当块.

(1）当 \(\boldsymbol{A}\) 的若尔当标准形中所有若尔当块 \(\boldsymbol{J}_{i}\) 均为一阶时, 此标准形变成对角矩阵.

(2) 如果 \(\boldsymbol{A}\) 的特征值各不相同,则其若尔当标准形必为对角矩阵 \(\operatorname{diag}\left(\lambda_{1}, \lambda_{2}, \cdots, \lambda_{n}\right)\) .

直接解方程组

高斯消元法

高斯若尔当消元法

把 \(A\) 变成对角阵, 再归一化为 \(I_n\),

列主元消元法

进行高斯消元法的时候, 选取每一列绝对值最大的数作为主元, 换行来进行操作

矩阵三角分解法

(1) \(\boldsymbol{L} \boldsymbol{y}=\boldsymbol{b}\) , 求 \(\boldsymbol{y}\) ;

(2) \(\boldsymbol{U} \boldsymbol{x}=\boldsymbol{y}\) , 求 \(\boldsymbol{x}\) .

LU分解 \(A=LU\) (杜利特尔分解) [各阶顺序主子式不为零即可]

设 \(\boldsymbol{A}\) 为 \(n\) 阶矩阵, 如果 \(\boldsymbol{A}\) 的顺序主子式 \(D_{i} \neq 0(i=1,2, \cdots , n-1 )\), 则 \(\boldsymbol{A}\) 可分解为一个单位下三角矩阵 \(\boldsymbol{L}\) 和一个上三角矩阵 \(\boldsymbol{U}\) 的乘积, 且这种分解是唯一的.

平方根法 \(A=\tilde{L}\tilde{L}^T\) (对称正定阵的三角分解或楚列斯基分解) [对称正定阵]

如果 \(\boldsymbol{A}\) 为 \(n\) 阶对称正定矩阵, 则存在一个实的非奇异下三角矩阵 \(\boldsymbol{L}\) 使 \(\boldsymbol{A}=\boldsymbol{L} \boldsymbol{L}^{\mathrm{T}}\) , 当限定 \(\boldsymbol{L}\) 的对角元素为正时, 这种分解是唯一的.

改进的平方根法 \(A=LDL^T\) [对称且各阶顺序主子式不为零]

设 \(\boldsymbol{A}\) 为 \(n\) 阶对称矩阵, 且 \(\boldsymbol{A}\) 的所有顺序主子式均不为零, 则 \(\boldsymbol{A}\) 可唯一分解为

\(\boldsymbol{A}=\boldsymbol{L} \boldsymbol{D} \boldsymbol{L}^{\mathrm{T}}\),

其中 \(\boldsymbol{L}\) 为单位下三角矩阵, \(\boldsymbol{D}\) 为对角矩阵.

追赶法 (三对角方程的LU分解)

误差分析

算子范数 (有矩阵向量相容性的范数)

定义

设 \(\boldsymbol{x} \in \mathbb{R}^{n}, \boldsymbol{A} \in \mathbb{R}^{n \times n}\) , 给出一种向量范数 \(\|\boldsymbol{x}\|_{v}\) (如 \(v=1,2\) 或 \(\infty\) ), 相应地定义一个矩阵的非负函数

\[\|\boldsymbol{A}\|_{v}=\max _{\boldsymbol{x} \neq \boldsymbol{0}} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_{v}}{\|\boldsymbol{x}\|_{v}}
\]

可验证 \(\|\boldsymbol{A}\|_{v}\) 满足定义 4(见下面定理), 所以 \(\|\boldsymbol{A}\|_{v}\) 是 \(\mathbb{R}^{n \times n}\) 上矩阵的一个范数, 称为 \(\boldsymbol{A}\) 的算子范数, 也称从属范数.

3种算子范数

设 \(x \in \mathbb{R}^{n}, \boldsymbol{A} \in \mathbb{R}^{n \times n}\) , 则 :

(1) \(\|\boldsymbol{A}\|_{\infty}=\max _{1 \leqslant i \leqslant n} \sum_{j=1}^{n}\left|a_{i j}\right|\) (称为 \(\boldsymbol{A}\) 的行范数, \(\infty\)横着, 所以行范数);

(2) \(\|\boldsymbol{A}\|_{1}=\max _{1 \leqslant j \leqslant n} \sum_{i=1}^{n}\left|a_{i j}\right|\) (称为 \(\boldsymbol{A}\) 的列范数, 1竖着所以列范数);

(3) \(\|\boldsymbol{A}\|_{2}=\sqrt{\lambda_{\max }\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)}\) (称为 \(\boldsymbol{A}\) 的 2-范数), 其中 \(\lambda_{\max }\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)\) 表示 \(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\) 的最大特征值.

性质

\[\|\boldsymbol{A} \boldsymbol{B}\|_{v}\leqslant\|\boldsymbol{A}\|_{v}\|\boldsymbol{B}\|_{v}
\]

条件数

带横线表示测量值，测量解

\[\|x-\bar{x}\|=\|A^{-1}(b-\bar{b})\|\leq\|A^{-1}\|\|b-\bar{b}\|~(1)
\]

\[\|b\|\leq \|A\|\|x\| \Rightarrow \frac{1}{\|x\|}\leq \frac{\|A\|}{\|b\|}~(2)
\]

结合 (1) (2), 有

\[\frac{\|x-\bar{x}\|}{\|x\|} \leqslant\left\|A^{-1}\right\|\|A\| \frac{\|b-\bar{b}\|}{\|b\|}
\]

因此我们取 \(\left\|A^{-1}\right\|\|A\|\) 为条件数

定义:设 \(\boldsymbol{A}\) 为非奇异阵, 称数 \(\operatorname{cond}(\boldsymbol{A})_{v}=\left\|\boldsymbol{A}^{-1}\right\|\left\|_{v}\right\| \boldsymbol{A} \|_{v}(v=1,2\) 或 \(\infty)\) 为矩阵 \(\boldsymbol{A}\) 的条件数.

常用条件数

(1) \(\operatorname{cond}(\boldsymbol{A})_{\infty}=\left\|\boldsymbol{A}^{-1}\right\|_{\infty}\|\boldsymbol{A}\|_{\infty}\) ;

(2) \(\boldsymbol{A}\) 的谱条件数

\[\operatorname{cond}(\boldsymbol{A})_{2}=\|\boldsymbol{A}\|_{2}\left\|\boldsymbol{A}^{-1}\right\|_{2}=\sqrt{\frac{\lambda_{\max }\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{A}\right)}{\lambda_{\min }\left(\boldsymbol{A} \boldsymbol{A}^{\mathrm{T}}\right)}}
\]

当 \(A\) 为对称矩阵时

\[\operatorname{cond}(\boldsymbol{A})_{2}=\frac{\left|\lambda_{1}\right|}{\left|\lambda_{n}\right|}
\]

其中 \(\lambda_{1}, \lambda_{n}\) 为 \(\boldsymbol{A}\) 的绝对值最大和绝对值最小的特征值.

条件数的性质

(1) 对任何非奇异矩阵 \(\boldsymbol{A}\) , 都有 \(\operatorname{cond}(\boldsymbol{A})_{v} \geqslant 1\) . 事实上,

\[\operatorname{cond}(\boldsymbol{A})_{v}=\left\|\boldsymbol{A}^{-1}\right\|_{v}\|\boldsymbol{A}\|_{v} \geqslant\left\|\boldsymbol{A}^{-1} \boldsymbol{A}\right\|_{v}=1
\]

(2) 设 \(\boldsymbol{A}\) 为非奇异阵且 \(c \neq 0\) (常数), 则

\[\operatorname{cond}(c \boldsymbol{A})_{v}=\operatorname{cond}(\boldsymbol{A})_{v}
\]

(3) 如果 \(\boldsymbol{A}\) 为正交矩阵, 则 \(\operatorname{cond}(\boldsymbol{A})_{2}=1\) ;

如果 \(\boldsymbol{A}\) 为非奇异矩阵, \(\boldsymbol{R}\) 为正交矩阵, 则 \(\operatorname{cond}(\boldsymbol{R A})_{2}=\operatorname{cond}(\boldsymbol{A R})_{2}=\operatorname{cond}(\boldsymbol{A})_{2}\)