[北航矩阵理论A]课程笔记

一、特征值

特征根相关：
设任一方阵 $A = (a_{ij})_{n\times n} \in C^{n\times n}$
- 特征多项式 $T(\lambda)=|\lambda I- A| = \Pi(\lambda-\lambda_i)$
- 全体特征根（含重复）：$\lambda(A) = \{\lambda_1,\cdots,\lambda_n\}$，叫做矩阵的 “谱”
- 特征值两个性质：
  - $\Sigma \lambda_i = tr(A)$ 特征根和等于矩阵迹和
  - $\Pi \lambda_i = det(A)$ 特征根积等于行列式值
  - $P可逆，P^{-1}AP = B$，叫做A的一个相似变换，相似变换特征值不变
分块求特征值：
- 当矩阵可化为分块上（下）三角时，求主对角线上的矩阵块的特征值，并求并集，保留重复
  \[A = \bigg( \begin{matrix} B & O \\ C & D \end{matrix}\bigg)\]
  \[A = \bigg( \begin{matrix} B & C \\ O & D \end{matrix}\bigg)\]
特征根观察法：$A = (a_{ij})_{n\times n}$
- 若 $A$ 中每行和恒为常数 $a$，则$\lambda_1 = a \in \lambda(A)$，且 $X = \bigg(\begin{matrix} 1\\...\\1\end{matrix}\bigg)$为对应的特征向量
- 若 $A$ 中每列和恒为常数 $a$，则...........,但$X = \bigg(\begin{matrix} 1\\...\\1\end{matrix}\bigg)$不一定为特征向量
平移法则：特征向量不变
- $A \pm CI$与 $A$有相同的特征向量，且$(A \pm CI)X_i = (\lambda_i \pm C)X_i$
多项式法则：
- $f(A)$与$A$的特征向量相同，特征值分别为$f(\lambda),\lambda$

二、Jordan形

三角阵定理：
- 任一方阵 $A$，存在可逆阵 $P$ 使A相似于 $D$ （上三角）
接三角阵定理：
- 可选取P使三角形简化为双线上三角，此时$D$被称为$A$的$Jordan$形
  - 其中，重复根排在一起，$* = 0/1$；不同根之间 $* = 0$
    \[
    \exists P,P^{-1}AP = D =
    \left(
    \begin{matrix}
    \lambda_1 & * & \cdots & 0\\
    \vdots & \lambda_2 & * &\vdots\\
    \vdots & \vdots & \ddots &*\\s
    0 & 0 & 0 & \lambda_n \\
    \end{matrix}
    \right)_{n\times n}
    \]
若当块定义：
- 一阶若当块是一个数 $(a)$
- k阶若当块(k重根$\lambda$)形为：
  \[
  J_k(a) = \left(
  \begin{matrix}
  a & 1 & \cdots&\cdots & 0\\
  \vdots & a & 1 &\cdots &\vdots\\
  \vdots & \vdots & \ddots &\ddots &1\\
  0 & 0 & 0 & 0 & a
  \end{matrix}
  \right)_{k\times k}
  \]
Jordan形定理：
- 任一：$A = (a_{ij})_{n\times n} \in C^{n\times n}，\exists P$
  - $A$共有$t$个不同的特征根，每个特征根分别为$k_i$重特征根
  - 其中$J_{k_i}^{(\lambda_i)}$为若当块
    \[
    p =
    \left(
    \begin{matrix}
    J_{k_1}^{(\lambda_1)} & 0 & \cdots&\cdots & 0\\
    \vdots & J_{k_2}^{(\lambda_2)} & 0 &\cdots &\vdots\\
    \vdots & \vdots & \ddots &\ddots & 0 \\
    0 & 0 & 0 & 0 & J_{k_t}^{(\lambda_t)}
    \end{matrix}
    \right)_{n\times n}
    \]

三、一些基础

共轭转置：
- $A^H = \overline{A}^T$
- 一些性质：
  - $\overline{AB} = \bar A \bar B$
  - $(AB)^H = B^HA^H$
  - $(ABC)^H = C^HB^HA^H$
  - $(A+B)^H = A^H + B^H$
  - $(kA)^H = \bar k A^H$
- 几个公式：
  - $r(A^HA) = r(A) = r(AA^H)$
  - $AX = 0,A^HAX = 0$ 有相同解：$X^H(A^HAX) = 0 \Rightarrow |AX|^2 = 0$，所以这两个方程解空间维数相同，所以上一行三个矩阵的秩相同
向量模长：
- 模公式：$|X|^2 = X^HX = \Sigma \bar x_i x_i = \Sigma |x_i|^2$
- 一些性质：
  - $|kX| = |k||X|$
- 一些公式：
  - $\frac{X}{|X|}$为$\vec X$方向的单位向量
  - $tr(X^HX) = tr(XX^H) = |X|^2$
  - $A = (a_{ij})_{n\times n} \in C^{n\times n},tr(A^HA) = tr(AA^H) = \sum \sum |a_{ij}|^2$
    - 若 $tr(AA^H) = 0或tr(A^HA) = 0,则A = 0$
    - 若 $AA^H = 0或A^HA = 0,则A = 0$
$C^{n\times n}$内积：
- 定义$(X|Y) = Y^HX$，$X$，$Y$为列向量
- 内积公理
  - $X \neq 0,(X|X)>0$
  - $\overline{(Y|X)} = (X|Y)$
  - $(kX|Y) = k(X|Y),(X|kY) = \bar k(X|Y)$
  - $(X+Y|Z) = (X|Z) + (Y|Z),(X|Y+Z) = (X|Y) + (X|Z)$
正交：
- 正交则内积为0
- 正交组一定是线性无关组
- 菱形对角线在实空间内正交
酉阵
- 定义：
  - $A = A_{n\times p}$中各列相互正交，称$A$为预备半酉阵
  - $B = B_{n\times p}$中各列相互正交且都为单位向量，即 $B^HB = I_P$,称$B$为半酉阵
  - 方阵$C$中各列相互正交且都为单位向量，即 $C^HC = I_P$,称$C$为半酉阵
- 常用酉阵等价条件：
  - $A^HA = I_n \Leftrightarrow A^{-1} = A^H$
  - $A^HA = AA^H = I$
- 性质：
  - 保内积：$(AX,AY) = (X,Y)$
  - 保长：$|AX|^2 = |X|^2$
  - 保正交：$X_1 \perp X_2 \perp\cdots\perp X_n \Rightarrow AX_1 \perp AX_2 \perp\cdots\perp AX_n$
镜面阵
\[A = I - \frac{2XX^H}{|X|^2}\]
- 性质：
  - $A^H = A$
  - $A^2 = I$
  - $A$为酉阵，$A^{-1} = A^H$
  - $AX = -X$
  - $if X \perp Y,AY = Y$
  - $\lambda(A) = {-1,1,\cdots,1},det(A) = -1$
- 结论：
  - $(\alpha,\beta)$为实数，两向量不相等，则存在镜面阵使得 $A\alpha = \beta$且
    \[A = I - \frac{2(\alpha-\beta)(\alpha-\beta)^H}{(\alpha-\beta)^2}\]
  - 证明：由镜面公式，取$X = \alpha - \beta$，使用性质4、5
- 引理(构造镜面阵)
  - $C^{n}$中任一 $\alpha = (\alpha_1,\cdots,\alpha_n)^T \neq \vec 0$，令$\beta = (\lambda|\alpha|,0,\cdots,0)^T$
    \[\lambda =
    \begin{cases}
    \frac{\alpha_1}{|\alpha_1|}& \alpha_1 = 0\\
    1& \alpha_1 \neq 0
    \end{cases}\]
    则存在镜面阵 $A$ 使得 $A\alpha = \beta$
Hermite阵
\[A^H = A,A\in C^{n\times n}\]
斜Hermite：$A^H = -A$，则$\frac{A}{i},Ai$为Hermite
- 一些性质：
  - 若A为Hermite，则存在酉阵Q使得$Q^{-1}AQ = D$为正线上三角，且主对角线元素均为实数
  - $f(X) = X^HAX$只取实数
  - $\lambda_1 = \frac{X^HAX}{|X|^2}$，其中X为非零特征向量
  - $A = A^H,A \ge 0 \Leftrightarrow \lambda_i \ge 0$
  - $A = A^H,A > 0 \Leftrightarrow \lambda_i > 0$
    - $\Rightarrow : X^HAX > 0,\lambda_i = \frac{X^HAX}{|X|^2}>0$
    - $\Leftarrow : A = A^H \Rightarrow Q^HAQ = D$，D的主对角线为特征值，$Y^H(Q^HAQ)Y = Y^HDY = \sum\lambda_i|y_i|^2>0$，记$(QY)^HA(QY)>0,X = QY$
  - 若$A\ge0 \Rightarrow \exists B B^2 =A,B \ge 0,$
    - $A = A^H \Rightarrow Q^HAQ = D,Q$为酉阵，D的主对角线为特征值，且均大于等于0，令$B = Q\sqrt{D}Q^H$，易得B为Hermite，且B相似于$\sqrt{D}$，B为半正定
  - 任一$A = A_{m\times n},A^HA,AA^H \ge 0$，且都是Hermite
  - 任一方阵$A = A_{n\times n},A + A^H$是Hermite
- 定理：
  - 若$A = A^H \in C^{n\times n}$，则A恰有n个正交的特征向量$
    - $A = A^H \Rightarrow Q^HAQ = D,Q$为酉阵，且Q每一列都是特征向量，且正交
正定性：
- 半正定：定义：$A = A^H \in C^{n\times n},f(X) = X^HAX \ge 0$，记为$A\ge 0$

四、QR分解

求法：
$A = A_{n\times p}$，且$A$列满秩，如何求 $A = QR$:
- 其中 $Q = (\epsilon_1,...\epsilon_p)_{n\times p}$ 为半酉阵（或酉阵）
  - 对A使用施密特正交化方法：
    \[Y_1 = X_1\]
    \[Y_2 = X_2 - \frac{(X_2,Y_1)}{|Y_1|^2}Y_1\]
    \[Y_3 = X_3 - \frac{(X_3,Y_1)}{|Y_1|^2}Y_1 - \frac{(X_3,Y_2)}{|Y_2|^2}Y_2\]
    \[Y_p = X_p - \sum^{p-1}_{j = 0} \frac{(X_n,Y_i)}{|Y_i|^2}Y_i\]
  - 对 $Y_i$ 进行单位化，得到 $\epsilon_i$
- R为正线上三角，且主对角线上元素 $b_i = |Y_i|$
  - $A = QR \Rightarrow Q^HA = R$
结论
- 任一方阵$A \in C^{n\times n}$，存在酉阵$Q$与上三角阵$R$，使得$A = QR$
  - 取$A$第一列，利用镜面阵引理构造镜面阵$P$
  - $PA = R,A = P^{-1}R$ 形如 $A = QR$

五、常见矩阵分解

秩1分解：设 $A = A_{m\times n},r(A) = rank(A) = 1$，即$A$各列成比例，记 $A = \alpha\beta,\alpha = (\alpha_1,\cdots,\alpha_m)^T,\beta = (\beta_1,\cdots,\beta_n)$
- 当A为方阵时，$\lambda(A) = {tr(A),0,\cdots,0}$，且$A\alpha = tr(A)\alpha$，解$\Sigma b_ix_i = 0$，得到另外的特征向量
满秩分解（高低分解）：设 $A = A_{m\times n},r(A) = rank(A) = P(P \ge 1)\Rightarrow A = BC$，其中$B = B_{m\times p}$，为列满秩$r(B) = P$ （B叫高阵）；$C = C_{p\times n}$，为行满纸$r(C) = P$ （C叫低阵）
- 解法：行变法，将A转化为形如D的矩阵，取$\boldsymbol{D}$的前$P$行为$C$，取$\boldsymbol{A}$中前$P$列为$B$：
  \[D =
  \left(
  \begin{matrix}
  1 & \cdots & 0& * &\cdots & * \\
  \vdots & \ddots & \vdots & * &\cdots & * \\
  0 & \cdots &1 & * &\cdots & * \\
  0 & \cdots & 0 & 0 &\cdots & 0 \\
  \vdots &\vdots &\vdots &\vdots &\vdots &\vdots \\
  0 &0 &0 &0 &0 &0 & \\
  \end{matrix}
  \right)_{m\times n}\\
  \]
- 几个性质：
  - 高阵$B$有左侧逆$B_L$：$B_LB = I_P,B_L = (B^HB)^{-1}B^H$
  - 低阵$C$有右侧逆$C_R$：$CC_R = I_P,C_R = C^H(CC^H)^{-1}$
- 用法：
  - 若 $BCX = 0$，B为高阵，则 $B_LBCX = 0 \Rightarrow CX = 0$
  - 若 $BX = BY$，B为高阵，则 $B_LBX = B_LBY$

六、换位公式

$A = A_{n\times p},B = B_{p\times n},AB \in C^{n\times n},BA \in C^{p\times p}$

则 $|\lambda I_n - AB| = \lambda^{n-p}|\lambda I_p - BA|$
\[令 M = \left(
\begin{matrix}
AB& O\\
B&O_p\\
\end{matrix}
\right)_{n+p},N = \left(
\begin{matrix}
O_n& O\\
B&BA\\
\end{matrix}
\right)_{n+p},P = \left(
\begin{matrix}
I_n& A\\
O&I_p\\
\end{matrix}
\right)\]
\[MP = \left(
\begin{matrix}
AB& ABA\\
B&BA\\
\end{matrix}
\right) = PN,且P^{-1} = \left(
\begin{matrix}
I_n& -A\\
O&I_p\\
\end{matrix}
\right)\]
\[MP = PN \Rightarrow P^{-1}MP = N \Rightarrow |\lambda I - M| = |\lambda I -N| \Rightarrow |\lambda I_n - AB| = \lambda^{n-p}|\lambda I_p - BA|\]
$AB$与$BA$ 只差 $n-p$ 个 $0$ 根
$tr(AB) = tr(BA) = \sum {\lambda_i}$

七、奇异值分解

正奇值：设 $A = A_{m\times n}, r(A) = P > 0$ ，则 $A^HA$ 与 $AA^H$ 恰有$P$个正特征根，称$\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}$为$A$的正奇异值，记为$S^+ (A) = \{\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}\}$

简奇异值分解：任意 $A = A_{m \times n},r(A) = r >0$，则有分解 $A = P\Delta Q^H$，其中 $\Delta$ 为正线上三角，主对角线上依次为$\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}$，且$P = P_{m\times r},Q = Q_{n\times r}$都是半酉阵：$P^HP = Q^HQ = I_r$

已知简奇异值分解 $A = P\Delta Q^H,则A^H = Q\Delta P^H为A^H$的简化奇异值分解
令$P = (Y_1,\cdots,Y_r),Q = (X_1,\cdots,X_r)$，可写$A = \sum \sqrt{\lambda_i}Y_iX_i^H$

解法：求$A^HA$的正特征值，与对应的特征向量，令$Q = (\frac{X_1}{|X_1|},\cdots,\frac{X_p}{|X_p|}),P = (\frac{AX_1}{|AX_1|},\cdots,\frac{AX_p}{|AX_p|})$

奇异值分解：将简奇异值分解的$P,Q$扩充为酉阵，并将$\Delta$扩充为与A同型

八、单纯阵

$A = A_{n\times n}$为单阵$\Leftrightarrow A \sim D,D$为正线上三角，对角线上为特征值 $\Leftrightarrow P^{-1}AP = D$，也叫做可对角化

$A = A_{n\times n}$为单阵$\Leftrightarrow A$ 有 $n$ 个线性无关的特征向量
$A = A_{n\times n}$为单阵$\Leftrightarrow$ 每个 $k$ 重根，恰有$k$个线性无关的特征向量
若$n$阶方阵$A$有n个互异根，则$A$为单阵
若每个 $k>1$ 重根，恰有 $k$ 个特征向量，则 $A$ 为单阵
$A = A_{n\times n}$恰有$k$个互异根，且$\Pi (A-\lambda_i) = 0$，则$A$为单阵，反之亦然
任意一个$k>1$重根$\lambda_i \in \lambda(A)$
- 若 $r(A-\lambda_i I) = n-k$，则$A$为单阵，反之亦然

补充定义：若方阵$A$与多项式$f(x)$，$f(A) = 0$，则称$f(x)$为$A$的一个0化式，$A$叫做$f(x)$的一个矩阵根

可求出矩阵$A$次数最低的0化式，叫做$A$的极小式$m_A(x)$

Cayley定理：方阵$A$的特征多项式$T(x) = |xI-A|$，使得$T(A) = 0$

若$f(x)$无重根且为$A$的0化式，则$A$为单阵

谱分解公式：

记$P^{-1}AP = D,D$为正线上三角，记$D = \sum \lambda_iE_i$，有：
- $\sum E_i = I_n$
- $E_iE_j = 0, i \ne j$
- $E^2_i = E_i$
- $E^H_i = E_i$
记$P^{-1}AP = D \Rightarrow A = PDP^{-1} = \sum \lambda_i(PE_iP^{-1})$
- 记$F_i = PE_iP^{-1}$
- 可写$A =\sum \lambda_iF_i$（即A的原谱分解），且：
  - $\sum F_i = I_n$
  - $F_iF_j = 0, i \ne j$
  - $F^2_i = F_i$
  - 但$F^H_i \ne F_i$，当且仅当P为酉阵时成立$F^H_i = F_i$
单阵谱分解公式：若A为单阵，全体不同根为$t_1,\cdots,t_k,k \le n$有：
- $A =\sum t_iG_i$，这些G叫做谱阵
- $\sum G_i = I_n$
- $G_iG_j = 0, i \ne j$
- $G^2_i = G_i$
- $A^p =\sum t^p_iG_i$
- 任意多项式$f(x)$，有$f(A) = \sum f(t_i)G_i$
- 且$G_i = \frac{(A-t_1)(A-t_2)\cdots(A-t_k)}{(t_i-t_1)(t_i-t_2)\cdots(t_i-t_k)}$，其中分子中不含$(A-t_i)$，分母中不含$(t_i-t_i)$