注：本文是对Matrix Analysis and Applied Linear Algebra一书第二章Rectangular Systems and Echelon Forms的学习笔记

An m × n m \times n m×n matrix E \mathbf{E} E with rows E i ∗ \mathbf{E}_{i*} Ei∗​ and columns E ∗ j \mathbf{E}_{*j} E∗j​ is said to be in row echelon form provided the following two conditions hold.

基本列 (basic columns): 假设原矩阵 A m × n \mathbf{A}_{m \times n} Am×n​被化为行阶梯矩阵 E \mathbf E E， E \mathbf E E取值不唯一。 A \mathbf A A的基本列定义为 A \mathbf A A中包含pivots的那些列。

基本列为什么“基本”？也即，它有怎样的性质？ 下面将证明，矩阵的所有列都可以通过基本列的线性组合表示出来。

A matrix E m × n \mathbf{E}_{m \times n} Em×n​ is said to be in reduced row echelon form provided that the following three conditions hold.

定义 E A \mathbf{E}_\mathbf A EA​表示 A \mathbf A A的最简行阶梯矩阵， E A \mathbf{E}_\mathbf A EA​是由 A \mathbf A A唯一确定的。

下面我们来探究一下 E A \mathbf{E}_\mathbf A EA​和 A \mathbf A A列之间的关系(Column Relationships in E A \mathbf{E}_\mathbf A EA​ and A \mathbf A A). 对于 E A \mathbf{E}_\mathbf A EA​来说，以下结论是显然的：

下面我们证明：

首先，矩阵 A \mathbf A A经过一系列初等变换化为最简行阶梯矩阵 E A \mathbf E_\mathbf A EA​，该过程可以等价为给 A \mathbf A A左乘一个非奇异矩阵 P \mathbf P P，也即 E A = P A . \mathbf E_\mathbf A=\mathbf P\mathbf A. EA​=PA. 根据 E ∗ k = ( P A ) ∗ k = P A ∗ k \mathbf{E}_{∗k}=(\mathbf P\mathbf A)_{*k}=\mathbf P\mathbf A_{*k} E∗k​=(PA)∗k​=PA∗k​，则若有 E ∗ k = ∑ i = 1 j μ i E ∗ b i , \mathbf{E}_{∗k}=\sum_{i=1}^{j} \mu_i\mathbf{E}_{∗b_i}, E∗k​=i=1∑j​μi​E∗bi​​, 等式两边左乘 P − 1 \mathbf P^{-1} P−1即可得到 A ∗ k = ∑ i = 1 j μ i A ∗ b i . \mathbf{A}_{∗k}=\sum_{i=1}^{j} \mu_i\mathbf{A}_{∗b_i}. A∗k​=i=1∑j​μi​A∗bi​​.

则基本列的性质已经得到证明，即矩阵的所有列都可以通过基本列的线性组合表示出来。

Suppose A m × n \mathbf A_{m\times n} Am×n​ is reduced by row operations to an echelon form E \mathbf E E. The rank of A \mathbf A A is defined to be the number r a n k ( A ) = number of pivots = number of nonzero rows in  E = number of basic columns in  A . \begin{aligned} rank (\mathbf A) &= \text{number of pivots} \\ &=\text{number of nonzero rows in }\mathbf E \\ &=\text{number of basic columns in }\mathbf A. \end{aligned} rank(A)​=number of pivots=number of nonzero rows in E=number of basic columns in A.​

A system of m m m linear equations in n n n unknowns is said to be a consistent system if it possesses at least one solution. If there are no solutions, then the system is called inconsistent. Each of the following is equivalent to saying that [ A ∣ b ] [\mathbf A|\mathbf b] [A∣b] is consistent.

第一点：显然； 第二点：若 b \mathbf b b是基本列，则 α \alpha α是一个pivot，与第一点矛盾； 第三点：根据矩阵的秩的定义，秩=基本列列数。由第二点 b \mathbf b b不是基本列，有 r a n k [ A ∣ b ] = r a n k ( A ) rank[\mathbf A|\mathbf b]=rank(\mathbf A) rank[A∣b]=rank(A)成立； 第四点：所有非基本列都可以表示成基本列的线性组合。

A system of m m m linear equations in n n n unknowns a 11 x 1 + a 12 x 2 + ⋯ + a 1 n x n = b 1 , a 21 x 1 + a 22 x 2 + ⋯ + a 2 n x n = b 2 , ⋮ a m 1 x 1 + a m 2 x 2 + ⋯ + a m n x n = b m , a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1,\\ a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2,\\ \vdots\\ a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m,\\ a11​x1​+a12​x2​+⋯+a1n​xn​=b1​,a21​x1​+a22​x2​+⋯+a2n​xn​=b2​,⋮am1​x1​+am2​x2​+⋯+amn​xn​=bm​, in which the right-hand side consists entirely of 0 0 0’s is said to be a homogeneous system. If there is at least one nonzero number on the right-hand side, then the system is called nonhomogeneous.

对于齐次方程组，consistency不是需要考虑的问题，因为一定存在一个平凡解(trival solution) x 1 = x 2 = ⋯ = x n = 0 x_1=x_2=\cdots=x_n=0 x1​=x2​=⋯=xn​=0. 因此，需要考虑的问题是，除了平凡解之外，有没有其它的解，以及如何表示它们。

Let A m × n \mathbf A_{m\times n} Am×n​ be the coefficient matrix for a homogeneous system of m m m linear equations in n n n unknowns, and suppose r a n k ( A ) = r rank (\mathbf A)= r rank(A)=r.

对于非齐次方程组，可能会是inconsistent的，需要用上一节的方法判断。在下面的讨论中，我们假设它们是consistent的。

Let [ A ∣ b ] [\mathbf A|\mathbf b] [A∣b] be the augmented matrix for a consistent m × n m\times n m×n nonhomogeneous system in which r a n k ( A ) = r rank (\mathbf A)= r rank(A)=r.

非齐次通解=特解+齐次通解，其中特解是怎么来的？ 首先，记线性方程组的增广矩阵为 [ A ∣ b ] [\mathbf A|\mathbf b] [A∣b]，其中 r a n k ( A ) = r rank(\mathbf A)=r rank(A)=r. 将增广矩阵化成最简行阶梯矩阵： E [ A ∣ b ] = [ E A ∣ c ] \mathbf E_{[\mathbf A|\mathbf b]}=[\mathbf E_\mathbf A|\mathbf c] E[A∣b]​=[EA​∣c]，则 c = [ ξ 1 ⋯ ξ r 0 ⋯ 0 ] T \mathbf c=[\xi_1 \cdots \xi_r 0 \cdots 0]^T c=[ξ1​⋯ξr​0⋯0]T. 若 b = 0 \mathbf b=\mathbf 0 b=0，也就是齐次方程组的情况，基本变量 x b i x_{b_i} xbi​​可以被自由变量 x f i , x f i + 1 , ⋯   , x f n − r x_{f_i},x_{f_{i+1}},\cdots,x_{f_{n-r}} xfi​​,xfi+1​​,⋯,xfn−r​​表示成： x b i = α i x f i + α i + 1 x f i + 1 + ⋯ + α n − r x f n − r , x_{b_i}=\alpha_ix_{f_i}+\alpha_{i+1}x_{f_{i+1}}+\cdots+\alpha_{n-r}x_{f_{n-r}}, xbi​​=αi​xfi​​+αi+1​xfi+1​​+⋯+αn−r​xfn−r​​, 若 b ≠ 0 \mathbf b\ne\mathbf 0 b​=0，也就是非齐次方程组的情况，基本变量和自由变量在上式的基础上还要加一项常数： x b i = ξ i + α i x f i + α i + 1 x f i + 1 + ⋯ + α n − r x f n − r . x_{b_i}=\xi_i+\alpha_ix_{f_i}+\alpha_{i+1}x_{f_{i+1}}+\cdots+\alpha_{n-r}x_{f_{n-r}}. xbi​​=ξi​+αi​xfi​​+αi+1​xfi+1​​+⋯+αn−r​xfn−r​​. 因此可以看出所谓特解其实就是由 r r r个 ξ i \xi_i ξi​和 n − r n-r n−r个 0 0 0组成的向量， n − r n-r n−r个 0 0 0对应的是自由变量的位置。