线性代数笔记（1）：线性方程组

2019-10-14

---

这部分的笔记依据David C. Lay 的《线性代数及其应用》第一章内容。

$\heartsuit 1$ 线性方程组

1.1 线性方程组

对于包含未知数$x_1, x_2, \cdots, x_n$的方程：$a_1 x_1 + a_2 x_2 + \cdots + a_n x_n = b$
，如果其中$b$与系数$a_1, a_2, \cdots, a_n$是实数或复数，则这个方程就是线性方程组；$n$可以是任意正整数。
线性方程组是由一个或几个包含相同变量$x_1, x_2,\cdots, x_i$的线性方程组成的。而线性方程组的一组解是一组数（$s_1,s_2,\cdots,s_n$），用这组数分别代替$x_1, x_2,\cdots, x_i$时，所有方程的两边相等。
方程组所有可能的解的集合称为线性方程组的解集。当且仅当两个方程组有相同的解集，则两个线性方程组是等价的。

1.2 线性方程组解的情况

线性方程组的解有下列三种情况：

• 无解
• 有唯一解
• 有无穷多解

当一个线性方程组有一个或无穷多个解时，称这个线性方程组是相容的；如无解，则称不相容。

1.3 矩阵

一个线性方程组包含的主要信息可以用一个称为矩阵的紧凑的矩形阵列表示，如方程组：
$x_1 - 2 x_2 + x_3 = 0$
$2 x_2 - 8X_3 = 8$
$-4x_1 + 5x_2 + 9x_3 = -9$
把每一个变量的系数写在对其的一列中，矩阵
$\left[\begin{matrix}1 & -2 & 1 \\0 & 2 & -8 \\-4 & 5 & 9\end{matrix} \right]$
称为上面方程组的系数矩阵。而
$\left[\begin{matrix}1 & -2 & 1 & 0 \\0 & 2 & -8 & 8\\-4 & 5 & 9 & -9\end{matrix} \right]$
称为方程组的增广矩阵。

1.4 线性方程组的解法

线性方程组求解的基本思路是把方程组用一个更容易解的等价方程组（即有相同解集）代替。
一个矩阵经过初等行变换后得到的矩阵，与原来的矩阵是行等价的，因此两个线性方程组的增广矩阵如果是行等价的则它们有相同的解集。
初等行变换有3中形式：

• （倍加）把某一行的倍数加到玲一行上
• （对换）把两行对换
• （倍乘）把某一行的所有元素乘以同一个非零整数

通过对增广矩阵的初等行变换可以研究关于线性方程组解存在情况的问题：

• 方程组是否相容，即存在至少一组解
• 如果方程组有解，那么解是否唯一

通过初等行变换形成的阶梯形矩阵可以判断线性方程组解集存在的情况。阶梯形矩阵是指：

• 每一个非零行在每一零行之上
• 某一行先导元素所在的列位于前一行先导元素的右面
• 某一先导元素所在列的下方元素都是零

如果一个阶梯型矩阵还有以下性质，则被称为简化（行）阶梯形，：

• 每一非零行的先导元素是1
• 魅影先导元素1是该元素所在列的唯一非零元素

定理1：每个矩阵行等价于唯一的简化阶梯型矩阵

阶梯型的矩阵可以参考下图：

非零行的先导元素是指该行中最左边的非零元素。
若矩阵 $A$ 等价于阶梯形矩阵 $U$，称 $U$ 为 $A$ 的（行）阶梯形。矩阵中的主元位置是 $A$ 中对应于它的阶梯形中先导元素的位置，主元列是 $A$ 含有主元位置的列。

定理2：线性方程组相容的充要条件是增广矩阵的最右列不是主元列，就是说，增广矩阵的阶梯形没有形如$\left[ \begin{matrix} 0 & 0 & \cdots & b \end{matrix} \right]$的行；若线性方程组相容，它的解集可能有两种情形：（1）当没有自由变量时，有唯一解；（2）若至少有一个自由变量，有无穷多解

若线性方程组的方程个数少于未知数个数，被称为欠定方程组，如果一个欠定方程组是相容的，则会有无穷多解；若线性方程组的方程个数多于未知数个数，被称为超定方程组，超定方程组可以相容（唯一解或无穷多解）也可能不相容。
应用行简化方法解线性方程组的步骤：
a. 写出线性方程组的增广矩阵
b. 应用行简化方法把增广矩阵化为阶梯形，确定方程组是否有解，如果没有解就停止，否则进行下一步
c. 继续行简化方法得到简化阶梯形
d. 写出由c步所得矩阵所对应的方程组
e. 把d步所得的每个方程改写成为用自由变量表示基本变量的形式

1.5 向量方程

仅含一列的矩阵称为列向量，简称向量；向量集合用 $R^n$ 表示，$R$ 表示向量中的元素是实数，指数 $n$ 表示每个向量包含元素的个数。$R^n$ 中两个向量相等，当且仅当对应元素都相等。
向量在空间中可以视为从原点出发的一个有方向和长度的量，有时会将原点这个前提省略，用向量的终点坐标直接表示向量。
两个同属于向量空间 $R^n$ 的向量相加，就是把对应元素相加得到新的向量。在二维平面中可以图示为平行四边形法则。

$R^n$ 中向量有以下袋鼠性质：对 $R^n$ 中一切向量 $u, v, w$ 以及标量 $c$ 和 $d$ ：

• （1）$u$ + $v$ = $v$ + $u$
• （2）$u$ + $v$ + $w$ = $u$ + ($v$ + $w$)
• （3）$u$ + $0$ = $0$ + $u$ = $u$
• （4）$u$ + ($-u$) = $-u$ + $u$ = $0$
• （5）$c$($u$ + $v$) = $c$$u$ + $c$$v$
• （6）($c$ + $d$)$u$ = $c$$u$ + $d$$u$
• （7）$1$$u$ = $u$

定义线性组合：给定$R^n$中向量 $v_1, v_2, \cdots, v_p$ 和标量 $c_1, c_2, \cdots, c_p$，向量 $y = c_1 v_1+ c_2 v_2 + \cdots + c_p v_p$ 称为向量 $v_1, v_2, \cdots, v_p$ 以 $c_1, c_2, \cdots, c_p$ 为权的线性组合。 线性组合中的权可以是任意实数，包括零。

向量方程$x_1 a_1+x_2 a_2+\cdots+x_n a_n = b$与增广矩阵为 $\left[ \begin{matrix} a_1 & a_2 & \cdots & a_n & b \end{matrix} \right]$ 的线性方程有相同的解集，当且仅当这个线性方程有解时，$b$可以表示为 $a_1, a_2, \cdots, a_n$ 的线性组合。

定义$Span\{v_1, v_2, \cdots, v_p\}$ ：若 $v_1, v_2, \cdots, v_p$ 是$R^n$中的向量，则 $v_1, v_2, \cdots, v_p$ 的所有线性组合所成的集合用记号 $Span\{v_1, v_2, \cdots, v_p\}$ 表示，称为由 $v_1, v_2, \cdots, v_p$ 所生成（或张成）的 $R^n$ 的子集，也就是说 $Span\{v_1, v_2, \cdots, v_p\}$ 是所有形如 $c_1 v_1+ c_2 v_2 + \cdots + c_p v_p$ 的向量的集合，其中 $c_1, c_2, \cdots, c_p$ 是标量。$0$ 一定属于 $Span\{v_1, v_2, \cdots, v_p\}$

要判断向量 $b$ 是否属于 $Span\{v_1, v_2, \cdots, v_p\}$ 就是判断向量方程 $x_1 v_1 + x_2 v_2 + \cdots + x_p v_p = b$是否有解；或等价地，判断增广矩阵$\left[ \begin{matrix} v_1 & v_2 & \cdots & v_p & b \end{matrix}\right]$的线性方程是否有解。

1.6 向量方程

线性代数的一个基本思想是把线性组合看做是矩阵与向量的积。
若 $A$ 是 $m$ × $n$ 的矩阵，它的各列为 $a_1, a_2, \cdots, a_n$ ，若向量 $x$ 是 $R^n$ 中的向量，则 $A$ 与 $x$ 的积，记为 $Ax$ ，就是 $A$ 的各列以 $x$ 对应元素为权的线性组合，即 $Ax = \left[\begin{matrix} a_1 & a_2 & \cdots & a_n \end{matrix}\right] \left[\begin{matrix}x_1\\ x_2\\ \vdots \\ x_n\end{matrix}\right] =x_1 a_1 + x_2 a_2+\cdots+x_n a_n$ 这里当且仅当 $A$ 的列数等于 $x$ 中元素个数时，$Ax$ 才有意义。
若乘积 $Ax$ 有定义，则 $Ax$ 中的第 $i$ 个元素是 $A$ 的第 $i$ 行元素与 $x$ 对应元素乘积之和。

定理3 若 $A$ 是 $m$ × $n$ 的矩阵，它的各列为 $a_1, a_2, \cdots, a_n$ ，而 $b \in R^n$ ，则矩阵方程 $Ax = b$与向量方程$x_1 a_1 + x_2 a_2 + \cdots + x_n a_n = b$ 有相同的解集，它又与增广矩阵为$\left[ \begin{matrix} a_1 & a_2 & \cdots & a_n & b \end{matrix}\right]$ 的线性方程组有相同的解集。

以上定理说明，可以将线性方程组用三种不同但彼此等价的观点来研究：作为矩阵方程，作为向量方程或作为线性方程组。
$Ax$ 的定义可以推出：$Ax = b$ 有解，当且仅当 $b$ 是 $A$ 的各列的线性组合。

定理4 设 $A$ 是 $m$ × $n$ 的矩阵，则以下命题是逻辑上等价的，也就是说，对某个 $A$ ，他们都成立或者都不成立：

• 对 $R^n$ 中每个 $b$ ，方程 $Ax = b$ 有解
• $R^n$ 中的每个 $b$ 都是 $A$ 的列的一个线性组合
• $A$ 的各列生成 $R^n$
• $A$ 在每一行都有一个主元位置（不是增广矩阵）

如果矩阵 $A$ 的主对角线上的元素都是1（$a_{ii} = 1$），其它位置上的元素都是0，这样的矩阵称为单位矩阵。

定理5 若 $A$ 是 $m$ × $n$ 的矩阵，$u$ 和 $v$ 是 $R^n$ 中的向量，$c$ 是标量，则：

• a. $A(u+v) = Au + Av$
• b. $A(cu) = c(Au)$

线性方程组称为齐次方程，若它可以写成 $Ax = 0$ 的形式；其中 $A$ 是 $m × n$ 的矩阵，而 $0$ 是 $R^n$ 中的零向量。根据定理2，齐次方程 $Ax = 0$ 有非平凡解，当且仅当方程至少有一个自由变量。
其次方程 $Ax = 0$ 可以表示为 $span\{v_1, \cdots, v_p\}$，其中 $v_1, \cdots, v_p$ 是适当的解向量；若唯一解是零向量，则解集就是 $span\{0\}$；若方程 $Ax = 0$ 仅有一个自由变量，解集是通过原点的一条直线。
非其次线性方程组有很多解时，一般可以表示为参数向量形式，即由一个向量加上满足对应齐次方程的一些向量的任意线性组合的形式，即 $x = su + tv$，其中 $s$ 和 $t$ 是任意实数。
解释存在参数向量形式的解集，可以把向量的加法解释为平移，例如有 $v \in R^2$ 和 $p \in R^2$，$v + p$ 的结果就是把 $v$ 沿着平行于通过 $p$ 和 $0$ 的直线移动，；若$R^2$ 或 $R^3$中的直线 $L$ 上的每一点都被平移 $p$，就得到一条平行于 $L$ 的直线。

$Ax = b$ 的解集是一条通过 $p$ 而平行于 $Ax = 0$ 的直线。

定理6 设方程 $Ax=b$ 对某个 $b$ 是相容的， $p$ 是一个特解，则 $Ax=b$ 的解集是所有形如 $w=p+v_k$ 的向量的集合，其中 $v_k$ 是其次方程 $Ax=0$ 的任意一个解。

以上定理说明，如果 $Ax=b$ 有解，则解集可由 $Ax=0$ 的解平移向量 $p$ 得到， $p$ 是 $Ax=b$ 的任意一个特解。

1.7 线性无关

对于 $R^n$ 中的一组向量 $\{v_1,\cdots,v_p\}$ ，如果向量方程 $x_1 v_1 + x_2 v_2 + \cdots + x_p v_p = 0$ 仅有平凡解，则成这一组向量是线性无关的；对应地，如果存在不全为零的权 $c_1,\cdots,c_p$ 使$c_1 v_1 + c_2 v_2 + \cdots + c_p v_p = 0$成立，则这一组向量是线性相关的。
对于矩阵$\left[ \begin{matrix} a_1 & a_2 & \cdots & a_n \end{matrix}\right]$ ，矩阵方程 $Ax=0$ 可以写成$x_1a_1+x_2a_2 + \cdots+x_na_n=0$，则 $A$ 的各列之间每一个线性相关关系对应于方程 $Ax=0$ 的一个非平凡解，因此，矩阵 $A$ 的列各列线性无关，当且仅当方程 $Ax =0$ 仅有平凡解。
当仅有一个向量时，设其为 $v$，当 $v\neq0$ 时向量方程 $x_pv=0$ 仅有平凡解，所以 $v$ 形成的集合是线性无关的；而如果 $v=0$ 时，由于 $x_p0 = 0$有很多平凡解，所以零向量是线性相关的。
两个向量的集合 $\{v_1,v_2\}$ 线性相关，当且仅当其中一个向量是另一个向量的倍数。

定理7 两个或更多个向量的集合 $S=\{v_1,\cdots,v_p\}$ 线性相关，当且仅当 $S$ 中至少有一个向量是其他向量的线性组合；事实上，若 $S$ 线性相关，且 $v_i \neq0$ ，则某个 $v_j$$(j > 1 )$ 是它前面几个向量 $v_1, \cdots, v_{i-1}$ 的线性组合。

定理8 若一个向量组的向量个数超过每个向量元素的个数，那么这个向量组线性相关；就是说，$R^n$ 中的任意向量组 $\{v_1, \cdots, v_p\}$ ，当 $p >n$ 时线性相关。

设想 $A$ 是 $n \times p$ 的矩阵，方程对应于 $p$ 个未知量的 $n$ 个方程，如果 $p >n$ ，即未知量比方程多，则必定存在自由变量。因此
$Ax = 0$ 必定有非平凡解。

定理9 若向量组 $S=\{v_1,\cdots,v_p\}$ 包含零向量，则它线性相关。

1.8 线性变换

矩阵方程 $Ax=b$ 和对应的向量方程 $x_1a_1 + \cdots + x_na_n=b$ 之间的差别仅是记号上的不同，而另一方面，也会将矩阵 $A$ 看作是一种“对象”，通过乘法“作用”于向量 $x$，产生新的向量称为 $Ax$。按照这个视角，解方程 $Ax=b$ 就是求出 $R^n$ 中经过乘以 $A$ 作用后变为向量 $b$ 的 $x$。（下图是一个线性变化的举例图示）

由 $x$ 到 $Ax$ 的对应是由一个向量集到另一个向量集的函数，这概念推广了通常的函数概念，通常的函数时把一个实数变成另一个实数的规则。由 $R^n$ 到 $R^m$ 的一个变换（或称函数、映射） $T$ 是一个规则，它把 $R^n$ 中的每个向量 $x$ 对应以 $R^m$ 中的一个向量 $T(x)$ ，集 $R^n$ 称为 $T$ 的定义域，而 $R^m$ 称为 $T$ 的余定义域（或取值空间），符号 $T: R^n \to R^m$ 说明 $T$ 的定义域是 $R^n$ 而余定义域是 $R^m$，对于 $R^n$ 中的向量 $x$，$R^m$ 中向量 $T(x)$ 称为 $x$ 在 $T$ 作用下的像，所有像 $T(x)$ 的集合称为 $T$ 的值域。
矩阵变换可以记为 $x \to Ax$，当 $A$ 有 $n$ 列时，$T$ 的定义域为 $R*n$ ，而当 $A$ 的每一列有 $m$ 个元素时，$T$ 的余定义域为 $R…m$。

变换（或映射） $T$ 称为是线性的，如果：

• 对 $T$ 的定义域中一切 $u$ 和 $v$ ，$T(u+v)=T(u) + T(v)$
• 对一切 $u$ 和标量 $c$ ，$T(cu)=cT(u)$

另外，若 $T$ 是线性变换，则 $T(0)=0$；对 $T$ 的定义域中的一切向量 $u$ 和 $v$ 以及数 $c$ 和 $d$ 有 $T(cu+dv)=cT(u)+dT(v)$ 。以下推广
$T(c_1v_1+\cdots+c_pv_p)=c_1T(x_1)+\cdots+c_pT(v_p)$ 称为叠加原理，假设 $v_i$ 是进入某个系统的信号，$T(v_i)$ 为系统对这些信号的相应，如果某一输入可以表示为这些信号的线性组合，则系统的相应是对各个信号的相应的同样的线性组合。

从 $R^n$ 到 $R^m$ 的每一个线性变换，实际上都是一级矩阵变换 $x \to Ax$ ，而且变换 $T$ 的性质都归结为 $A$ 的性质。寻找矩阵 $A$ 的关键，是了解 $T$ 完全由它对单位矩阵 $I_n$ 的各列 的作用所决定.

定理10 设 $T:R*n \to R^m$ 为线性变换，则存在唯一的矩阵 $A$ ，则对于 $x \in R^n$，有 $T(x)=Ax$。事实上，$A$ 是 $ m \times n$ 矩阵，它的第 $j$ 列是向量 $T(e_j)$，其中 $e_j$ 是单位矩阵 $I_n$ 的第 $j$ 列：$A = [T(e_1) \cdots T(e_n)]$。$A$ 被称为线性变换 $T$ 的标准矩阵。

定义映射：$T:R^n \to R^m$ 称为到 $R^m$ 上的映射，若 $R^m$ 中任一 $b$ 都至少有一个 $R^n$ 中的 $x$ 与之对应。而如果 $R^m$ 中每个 $b$ 是 $R^n$ 中至多一个 $x$ 的像，则称为一对一映射或单射。

定理11 设 $T:R^n \to R^m$ 为线性变换，则 $T$ 是一对一，当且仅当方程 $Ax=0$ 仅有平凡解。

定理12 设 $T:R^n \to R^m$ 是线性变换，设 $A$ 是 $T$ 的标准矩阵，则：
a. $T$ 把 $R^n$ 映射到 $R^m$ 当且仅当 $A$ 的列生成 $R^m$
b. $T$ 是一对一映射，当且仅当 $A$ 的各列线性无关