[线性代数xOI/ACM]系数矩阵的QGXZ分解

一些无关紧要的Q&A

Q：你是怎么想到这个花里胡哨的算法的啊？

A：前几天学习线性代数时有幸和Magolor大佬讨论到 $LU$ 分解在多解时的时间复杂度问题，于是yy出了这个奇怪（？）的算法。

Q：为什么叫 $QGXZ$ 分解呀？你是不是在装逼啊？

A：这个名字是Magolor大佬起的，我也只能无条件服从咯~ 如有雷同绝非学术不端~

Q：Magolor大佬太强啦~

A：恭喜我们达成了共识~

概述

$QGXZ$ 分解，是用于解决多线性方程组通解问题的算法。具体来讲：

给出 $n\times m$ 的系数矩阵 $A$ ，分别求 $Ax=b_1,Ax=b_2,...,Ax=b_q$ 的通解，其中 $b_i$ 是 $n\times 1$ 的列向量。以下假设 $n,m,q$ 同阶。

如果对 $b_i$ 强制在线的话，朴素算法的时间复杂度为 $O(n^4)$ 。如果对矩阵进行 $QGXZ$ 分解，则复杂度降为 $O(n^3)$ 。

前置技能

$QGXZ$ 分解本质上是 $LU$ 分解的扩展，因此先来介绍一下 $LU$ 分解。

$LU$ 分解是对于一个 $n\times m$ 的矩阵，将其分解为一个 $n\times n$ 的下三角矩阵 $L$ 和一个 $n\times m$ 的上梯形矩阵 $U$ 的乘积的结果，即 $A=L\times U$ 。

求法：对于矩阵 $A$ ，从上到下进行矩阵行变换过程（这里仅考虑第三种行变换：将一行乘以一个数加到零一行上）。我们知道，使用一次行变换将 $A$ 变成 $B$ 的过程可以使用 $A=K\times B$ 的形式描述，其中 $K$ 是变换矩阵。由于在用上消下的前提下 $K$ 是下三角矩阵，而下三角矩阵的乘积也是下三角矩阵，因此每次的变换矩阵的乘积就是我们所求的下三角矩阵 $L$ ，而 $A$ 的最终结果也是上梯形矩阵 $U$。

例如：

\[\begin{pmatrix}
1&1&0&0\\
1&0&1&1\\
2&1&0&0\end{pmatrix}=
\begin{pmatrix}
1&0&0\\
1&1&0\\
2&0&1
\end{pmatrix}
\begin{pmatrix}
1&1&0&0\\
0&-1&1&1\\
0&-1&0&0
\end{pmatrix}=
\begin{pmatrix}
1&0&0\\
1&1&0\\
2&1&1
\end{pmatrix}
\begin{pmatrix}
1&1&0&0\\
0&-1&1&1\\
0&0&-1&-1
\end{pmatrix}
\]

$LU$ 分解有什么用？

假如现在有方程组 $Ax=b$ ，它就等价于 $LUx=b$ 。我们可以把 $Ux$ 当作一个整体 $y$ ，先解方程 $Ly=b$ ，然后再解 $Ux=y$ 。显然这两个方程都比较 “容易” 解出。

局限性

$LU$ 分解有两点局限性：

由于行变换的过程必须是使用上边的行消下边的行，因此对于一些矩阵可能不能直接进行 $LU$ 分解；就算能进行 $LU$ 分解，在处理小数时不能实现 “使用当前元系数绝对值最大的行消其余的行” ，精确度也就无法得到保证。
即使矩阵能够进行 $LU$ 分解，在解方程 $Ux=y$ 时，如果方程有多解，则主元需要使用自由元来表示。而在代入求解的过程中，有 $O(n)$ 个方程，每个方程要代入 $O(n)$ 个主元，每个主元要用 $O(n)$ 个自由元表示，因此就算知道了系数矩阵 $LU$ 分解的形式，一次代入的复杂度也是 $O(n^3)$ 的，和暴力没有区别。

下面我们介绍 $GXZ$ 分解和 $QGXZ$ 分解来解决这两点局限性。

$GXZ$ 分解

$GXZ$ 分解是对于一个 $n\times m$ 的矩阵，将其分解为一个 $n\times n$ 的下三角矩阵 $G$ 、一个 $n\times n$ 的上三角矩阵 $X$ 和一个 $n\times m$ 的简化行阶梯矩阵（每个主元所在列的其它位置都是 $0$ 的行阶梯矩阵) $Z$ 的乘积的结果，即 $A=G\times X\times Z$ 。

这个求法也很简单：在LU分解使用行变换正消得到变换矩阵 $L$ 和行阶梯矩阵 $U$ 后，我们再反消一波，用主元行将上面行的相应位置消成 $0$ ，并使用同 $LU$ 分解的方法记录变换矩阵。由于每次都是用下面消上面，因此变换矩阵必然是上三角矩阵（和 $LU$ 分解类似）。

在偷换一波变量名后便有 $A=GXZ$ 。

例如：

\[\begin{pmatrix}
1&1&0&0\\
1&0&1&1\\
2&1&0&0
\end{pmatrix}=
\begin{pmatrix}
1&0&0\\
1&1&0\\
2&1&1
\end{pmatrix}
\begin{pmatrix}
1&-1&0\\
0&1&-1\\
0&0&1
\end{pmatrix}
\begin{pmatrix}
1&0&0&0\\
0&-1&0&0\\
0&0&-1&-1
\end{pmatrix}
\]

这样的话，只需要解方程 $Gd=b$ 、$Xe=d$ 和 $Zx=e$ 即可。前两个方程显然是 $O(n^2)$ 的，而第三个方程只需要表示主元且没有代入过程，也是 $O(n^2)$ 的。

于是我们就得到了一个 $O(n^3)$ 预处理， $O(n^2)$ 单次询问的算法。

$QGXZ$ 分解

$GXZ$ 分解处理了第二点局限性，第一点局限性则由 $QGXZ$ 分解来解决。

$QGXZ$ 分解即将 $n\times m$ 的矩阵分解成置换矩阵 $Q$ 和 $GXZ$ 分解的乘积的形式。

具体方法：在 $GXZ$ 分解的第一步（LU分解）时，假设当前已经消成了 $A=L_0U_0$ 的形式，进一步变换消元时发现需要交换 $U_0$ 的某两行，也即 $U_0=T_0U_1$ ，其中 $T_0$ 是置换矩阵。我们现在要做的就是将 $L_0T_0U_1$ 变成 $T_1L_1U_1$ ，即把 $L_0T_0$ 变成 $T_1L_1$ 。

我们知道，$L_0T_0$ 相当于交换 $L_0$ 的某两列，而 $T_1L_1$ 相当于交换 $L_1$ 的某两行。由于我们消元的过程是从上到下进行的，因此 $L_0$ 要交换的两列必然是只有主对角线是 $1$ ，其余位置为 $0$ 。

因此，我们只需要手动交换 $L_0$ 相应两行的主对角线前面的部分作为 $L_1$ ，然后直接把 $T_0$ 拿到前面，原封不动作为 $T_1$ 即可。

例如：我们要交换 $L_0$ 第 $2$ 列和第 $3$ 列，则手动交换 $L_0$ 第 $2$ 行和第 $3$ 行的前 $\text{min}(2,3)-1$ 个数作为 $L_1$ ，把 $T_0$ 拿到 $L_0$ 前面作为 $L_1$ 即可。也即：

\[\begin{pmatrix}
1&0&0\\
x&1&0\\
y&0&1
\end{pmatrix}
\begin{pmatrix}
1&0&0\\
0&0&1\\
0&1&0
\end{pmatrix}=
\begin{pmatrix}
1&0&0\\
0&0&1\\
0&1&0
\end{pmatrix}
\begin{pmatrix}
1&0&0\\
y&1&0\\
x&0&1
\end{pmatrix}
\]

每次交换都进行这样的过程，这样我们就把置换矩阵和置换矩阵放到了一起，把下三角矩阵和下三角矩阵放到了一起。由于它们的乘积都不会改变矩阵的特殊性质，因此最终的 $Q$ 必然也是置换矩阵，$G$ 必然也是下三角矩阵。

到此，解 $Ax=b$ 就变为：分解 $A=Q\times G\times X\times Z$ ，然后分别解 $Qc=b$ 、$Gd=c$ 、$Xe=d$ 、$Zx=e$ 即可。

单次询问的时间复杂度还是 $O(n^2)$ 不变。

代码

老年选手不保证代码正确性（

#include <bits/stdc++.h>

#define N 510

#define eps 1e-6

using namespace std;

int pos[N];

double Q[N][N] , G[N][N] , X[N][N] , Z[N][N] , b[N] , c[N] , d[N] , e[N];

int main()

{

	int n , m , q , i , j , k , p = 0 , t;

	double mx;

	scanf("%d%d%d" , &n , &m , &q);

	for(i = 1 ; i <= n ; i ++ )

		for(j = 1 ; j <= m ; j ++ )

			scanf("%lf" , &Z[i][j]);

	for(i = 1 ; i <= n ; i ++ ) Q[i][i] = G[i][i] = X[i][i] = 1;

	for(i = 1 ; i <= m ; i ++ )

	{

		t = 0 , mx = eps;

		for(j = p + 1 ; j <= n ; j ++ )

			if(abs(Z[j][i]) > mx)

				t = j , mx = abs(Z[j][i]);

		if(!t) continue;

		pos[ ++ p] = i;

		for(k = i ; k <= m ; k ++ ) swap(Z[p][k] , Z[t][k]);

		for(k = 1 ; k <= n ; k ++ ) swap(Q[p][k] , Q[t][k]);

		for(k = 1 ; k < p ; k ++ ) swap(G[p][k] , G[t][k]);

		for(j = p + 1 ; j <= n ; j ++ )

		{

			G[j][p] = Z[j][i] / Z[p][i];

			for(k = i ; k <= m ; k ++ )

				Z[j][k] -= Z[p][k] * G[j][p];

		}

	}

	for(i = p ; i ; i -- )

	{

		for(j = i - 1 ; j ; j -- )

		{

			X[j][i] = Z[j][pos[i]] / Z[i][pos[i]];

			for(k = pos[i] ; k <= m ; k ++ )

				Z[j][k] -= Z[i][k] * X[j][i];

		}

	}

	while(q -- )

	{

		for(i = 1 ; i <= n ; i ++ ) scanf("%lf" , &b[i]);

		for(i = 1 ; i <= n ; i ++ )

			for(j = 1 ; j <= n ; j ++ )

				if(Q[i][j] == 1)

					c[j] = b[i];

		for(i = 1 ; i <= n ; i ++ )

		{

			d[i] = c[i];

			for(j = 1 ; j < i ; j ++ )

				d[i] -= G[i][j] * d[j];

		}

		for(i = n ; i ; i -- )

		{

			e[i] = d[i];

			for(j = n ; j > i ; j -- )

				e[i] -= X[i][j] * e[j];

		}

		for(i = p + 1 ; i <= n ; i ++ )

			if(abs(e[i]) > eps)

				break;

		if(i <= n) puts("No solution!");

		else

		{

			for(i = 1 ; i <= p ; i ++ )

			{

				printf("x[%d]=%lf" , pos[i] , e[i] / Z[i][pos[i]]);

				for(j = pos[i] + 1 ; j <= m ; j ++ )

					if(abs(Z[i][j]) > eps)

						printf("%+lfx[%d]" , -Z[i][j] / Z[i][pos[i]] , j);

				puts("");

			}

		}

	}

	return 0;

}