本节是Gilbert Strang的MIT线性代数Linear Algebra公开课中【第五讲 转置-置换-向量空间（lecture 5 Transposes, Permutations, Vector Spaces）】的笔记，参考他在 MIT Linear Algebra课程网站上公开分享的 lecture summary (PDF) & Lecture video transcript (PDF)等文档，整理笔记如下，笔记中的大部分内容是从 MIT Linear Algebra课程网站上的资料中直接粘贴过来的，本人只是将该课程视频中讲述的内容整理为文字形式，前面的章节可在本人的其他博客中找到（此处戳第一讲，第二讲，第三讲，第四讲），后面的章节会按照视频顺序不断更新~

lecture 5 Transposes, Permutations, Vector Spaces

一. 置换（Permutations）

1.置换矩阵

 Permutations matrix $P$：执行行变换（Permutations $P$ is the identity matrix with reordered rows）.

 $n×n$ 的置换矩阵总数为：$n!=n(n-1)(n-2) \dots(3)(2)(1)$ ，即各行重新排列后所有可能的矩阵的数目。

 所有置换矩阵都可逆，因为各行还原后可以得到单位阵；而且，$P^{-1}=P^{T}$，即$P^{T} P=I$.（符合这个条件的矩阵，除了置换矩阵以外，还有其他矩阵，但是不多，比较稀少）。

2. LU分解（需要行互换）

 上一章讲的LU分解：无需进行行交换
$A=LU=\left[\begin{array}{lll} {1} & {0} & {0} & {0} & {0} \\ {-} & {1} & {0} & {0} & {0} \\ {-} & {-} & {1} & {0} & {0} \\ {\vdots} & {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {-} & {-} & {-} & {-} & {1} \end{array}\right] \left[\begin{array}{lll} {-} & {-} & {-} & {-} & {-} \\ {0} & {-} & {-} & {-} & {-} \\ {0} & {0} & {-} & {-} & {-}\\ {\vdots} & {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {0} & {0} & {0} & {0} & {-} \end{array}\right]$ 当存在行互换时：
$PA=LU$ 该式概括了包含行互换的消元，其中，$P$是表示执行行互换的矩阵（置换矩阵），它将各行互换为正确的顺序，对于任意可逆矩阵$A$，都有这种形式。

 MATLAB不仅检验主元位置是否存在0，它甚至不允许存在非常小的非零主元，主元接近于0，数值运算上很难处理，因此在MATLAB操作中，它会进行一些我们认为不必要的行互换。

二. 转置（Transposes）

1. 转置

$\left(A^{T}\right)_{i j}=A_{j i}$ Example 1：
$\left[\begin{array}{ll} {1} & {3} \\ {2} & {3} \\ {4} & {1} \end{array}\right]^{T}=\left[\begin{array}{lll} {1} & {2} & {4} \\ {3} & {3} & {1} \end{array}\right]$

2. 对称矩阵（symmetric matrix）

 对称矩阵：转置之后，矩阵不变，满足$A^{T}=A$的矩阵就是对称矩阵。（对角元素任意，其余元素关于对角元素对称），对称矩阵极为常见。

 Example 2：
$\left[\begin{array}{lll} {3} & {1} & {7} \\ {1} & {2} & {9} \\ {7} & {9} & {4} \end{array}\right]$ 构造对称矩阵方法：给定矩阵$R$（$R$可以不是方阵），则$R^{T} R$ 为对称阵。所有的$R^{T} R$ 都是对称的，因为$\left(R^{T} R\right)^{T}=R^{T}\left(R^{T}\right)^{T}=R^TR$。

 Example 3：
$R=\left[\begin{array}{lll} {1} & {2} & {4} \\ {3} & {3} & {1} \end{array}\right]， R^T=\left[\begin{array}{ll} {1} & {3} \\ {2} & {3} \\ {4} & {1} \end{array}\right]$

$R^T R=\left[\begin{array}{ll} {1} & {3} \\ {2} & {3} \\ {4} & {1} \end{array}\right]\left[\begin{array}{lll} {1} & {2} & {4} \\ {3} & {3} & {1} \end{array}\right]= \left[\begin{array}{lll} {10} & {11} & {7} \\ {11} & {13} & {11} \\ {7} & {11} & {17} \end{array}\right]$

三. 向量空间（Vector spaces）

1. 向量空间

 空间必须满足一定的规则，必须能够满足加法和数乘运算，必须对线性组合（线性组合：数乘和加法）封闭（对数乘和加法两种运算是封闭的）。

 Example 4：

 $\mathcal{R}^2$就是向量空间（向量用两个实数表示）；
$\mathcal{R}^2=$ 所有的二维实矢量 = “x ~ y plane”.
$\mathcal{R}^3=$ 所有的三维实矢量
$\mathcal{R}^n=$ the set of (column) vectors with $n$ real number components.

 注：原点必须属于向量空间，否则数乘和加法就不完全满足了。

 假设一个非向量空间，如只取 $\mathcal{R}^2$的第一象限，所有向量都是正的，两矢量相加后仍为正矢量，但如果进行数乘，很多数乘结果都会脱离第一象限（如乘以负数），因此第一象限不是向量空间，它不是封闭的。

2. 子空间（Subspaces）

 Example 5：

 A vector space in $\mathcal{R}^2$ （subspace of $\mathcal{R}^2$ ）：$\mathcal{R}^2$ 中的直线（过原点）。$\mathcal{R}^2$ 中经过原点的直线是子空间（数乘和加法封闭）；但是，并不是所有的直线都是子空间，例如不经过原点的直线，其对数乘和加法都不封闭，则不是子空间，因此子空间必须过零点。 Every subspace must contain the zero vector because vector spaces are closed under multiplication.

 The subspaces of $\mathcal{R}^2$ are:

1. all of $\mathcal{R}^2$ ：整个二维空间（空间本身显然是自己的子空间），空间本身总是构成最大的子空间；
2. any line through $\left[\begin{array}{l}{0} \\ {0}\end{array}\right]$ $(L)$：经过原点的任意直线（ $\mathcal{R}^2$ 中的直线与 $\mathcal{R}^1$不同，只能说两者类似，因为他们都是直线，但是对于$\mathcal{R}^2$ 中的直线，该直线上的向量都有两个分量，而 $\mathcal{R}^1$中的只有一个分量，因此两者截然不同）；
3. the zero vector alone $(Z)$：只是一个点（只包含零向量），他总是构成最小的子空间。

 The subspaces of $\mathcal{R}^3$ are:

1. all of $\mathcal{R}^3$ ；
2. any plane through the origin；
3. any line through the origin；
4. the zero vector alone (Z) $\left[\begin{array}{l}{0} \\ {0} \\ {0}\end{array}\right]$ .

3. 列空间（Column space）

 矩阵如何构造子空间？ 矩阵列向量的所有线性组合。

 Example 6：
$A=\left[\begin{array}{ll} {1} & {3} \\ {2} & {3} \\ {4} & {1} \end{array}\right]$ $A$的各列都属于 $\mathcal{R}^3$ ，可以用这些列来构造子空间，首先，这两个列向量已经在子空间中了，那么他们所有的线性组合都必须在子空间中，即：all their linear combinations form a subspace of $\mathcal{R}^3$，被称为列空间column space，记作$C(A)$.

 如果向量在$\mathcal{R}^3$空间中，那么它们构成的空间也在$\mathcal{R}^3$中；关键是我们对其进行线性组合后，仍在子空间内； 在Example 6中，若在几何上画出这两个列向量，那么他们构成的子空间（即列空间）是一个通过原点的平面。如果矩阵的两列恰好共线，那么列空间将只是一条直线。

 Example 7：

 若要求解$\mathcal{R}^{10}$中五个向量的线性组合，结果是什么？
也是某种子空间。$\mathcal{R}^{10}$中的五个向量，每个都有10个分量，取这五个向量的线性组合，得到的不是$\mathcal{R}^{5}$，因为每个都有十个分量；也许是十维空间中的五维平面之类的东西，当然，它也穿过原点；如果这五个矢量共线，那么线性组合将是一条直线；因此，结果不止一种可能性，这取决于这5个向量的性质。