目录

第2章 线性代数

2.1 标量、向量、矩阵和张量

2.2 矩阵和向量相乘

2.3 单位矩阵和逆矩阵

2.4 线性相关和生成子空间

2.5 范数

2.6 特殊类型的矩阵和向量

2.7 特征分解

2.8 奇异值分解

2.9 Moore-Penrose伪逆

2.10 迹运算

2.11 行列式

2.12 实例：主成分分析

---

第2章 线性代数

2.1 标量、向量、矩阵和张量

标量：一个标量就是一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量，标量通常被赋予小写的变量名称。

向量：一个向量是一列数，这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。我们可以把向量看作空间中的点，每个元素是不同坐标轴上的坐标。

矩阵：矩阵是一个二维数组，其中的每一个元素由两个索引（而非一个）所确定。

张量：在某些情况下，我们会讨论坐标超过两维的数组。一般的，一个数组中的元素分布在若干维坐标的规则网络中，我们称之为张量。

转置是矩阵的重要操作之一，矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为主对角线。

向量可以看作只有一列的矩阵，对应地，向量的转置可以看作只有一行的矩阵。

标量可以看作只有一个元素的矩阵。因此，标量的转置等于它本身。

两个矩阵相加是指对应位置的元素相加，比如。

标量和矩阵相乘，或是和矩阵相加时，我们只需将其与矩阵的每个元素相乘或相加，比如。

在深度学习中，我们也使用一些不那么常用的符号。我们允许矩阵和向量相加，产生另一个矩阵：。换言之，向量b和矩阵A的每一行相加。这种隐式地复制向量b到很多位置的方法，称为广播。

2.2 矩阵和向量相乘

两个矩阵A和B的矩阵乘积是第三个矩阵C。为了使乘法可被定义，矩阵A的列数必须和矩阵B的行数相等。

具体地，该乘法操作定义为

需要注意的是，两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过，那样的矩阵操作确实是存在的，称为元素对应乘积或者Hadamard乘积，记为 。

两个相同维数的向量x和y的点积可以看作矩阵乘积。

2.3 单位矩阵和逆矩阵

任意向量和单位矩阵相乘，都不会改变。

矩阵A的逆矩阵记作，其定义的矩阵满足如下条件：

2.4 线性相关和生成子空间

一般而言，这种操作称为线性组合。形式上，一组向量的线性组合，是指每个向量乘以对应标量系数之后的和，即

一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。

确定Ax=b是否有解，相当于确定向量b是否在A列向量的生成子空间中。这个特殊的生成子空间被称为A的列空间或者A的值域。

不等式n>=m仅方程对每一点都有解的必要条件。这不是一个充分条件，因为有些列向量可能是冗余的。正式地说，这种冗余称为线性相关。如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为线性无关。如果某个向量是一组向量中某些向量的线性组合，那么我们将这个向量加入这组向量后不会增加这组向量的生成子空间。

2.5 范数

有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用称为范数的函数来衡量向量大小。形式上，范数定义如下

范数是将向量映射到非负值的函数。直观上来说，向量x的范数衡量从原点到点x的距离。更严格地说，范数是满足下列性质的任意函数：

 有时候我们可能也希望衡量矩阵的大小。在深度学习中，最常见的做法是使用Frobenius范数，即

 两个向量的点积可以用范数来表示，具体如下

2.6 特殊类型的矩阵和向量

对角矩阵是只在主对角线上含有非零元素，其他位置都为零。并非所有的对角矩阵都是方针，长方形的矩阵也有可能是对角矩阵。非方阵的对角矩阵没有逆矩阵，但我们仍然可以高效地计算它们的惩罚。

对称矩阵是转置和自己相等的矩阵，即

当某些不依赖参数顺序的双参数函数生成元素时，对称矩阵经常会出现。

单位向量是具有单位范数的向量，即

如果，那么向量x和向量y互相正交。如果两个向量都有非零范数，那么这两个向量之间的夹角是90°。在中，至多有n个范数非零向量互相正交。如果这些向量不但互相正交，而且范数都为1，那么我们称它们是标准正交。

正交矩阵指行向量和列向量分别标准正交的方针，即

这意味着

正交矩阵受到关注是因为求逆计算代价小。正交矩阵的行向量不仅是正教的，还是标准正交的。对于行向量或列向量互相正交但不是标准正交的矩阵，没有对应的专有术语。

2.7 特征分解

许多数学对象可以通过将它们分解成多个组成部分或者找到它们的一些属性来更好地理解，这些属性是通用的，而不是由我们选择表示它们的方式所产生的。

特征分解是使用最广的矩阵分解之一，即我们将矩阵分解成一组特征向量和特征值。

方阵A的特征向量是指与A相乘后相当于对该向量进行缩放的非零向量v：

其中标量称为这个特征向量对应的特征值。（类似地，我们也可以定义左特征向量，但是通常我们更关注右特征向量）。

如果v是A的特征向量，那么任何缩放后的向量sv也是A的特征向量。此外，sv和v有相同发的特征值。

 A的特征分解可记作：

我们已经看到了构建具有特定特征值和特征向量的矩阵，能够使我们在目标方向上延伸空间。然而，我们也常常希望将矩阵分解成特征值和特征向量，这样可以帮助我们分析矩阵的特定性质，就像质因数分解有助于我们理解整数。

每个实对称矩阵都可以分解成实特征向量和实特征值：

所有特征值都是正数的矩阵称为正定；所有特征值都是非负数的矩阵称为半正定。同样地，所有特征值都是负数的矩阵称为负定；所有特征值都是非正数的矩阵称为半负定。半正定矩阵受到关注是因为它们保证。此外，正定矩阵还保证。

2.8 奇异值分解

奇异值分解是将矩阵分解为奇异向量和奇异值。每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。例如，非方阵的矩阵没有特征分解，这时我们只能使用奇异值分解。

我们将矩阵A分解成三个矩阵的乘积：

矩阵U和V都定义为正交矩阵，而矩阵D定义为对角矩阵。矩阵D不一定是方阵。

对角矩阵D对角线上的元素称为矩阵A的奇异值。矩阵U的列向量称为左奇异向量，矩阵V的列向量称为右奇异向量。

事实上，我们可以用与A相关的特征分解去解释A的奇异值分解。A的左奇异向量是的特征向量，A的右奇异向量是的特征向量，A的非零奇异值是特征值的平方根，同时也是特征值的平方根。

2.9 Moore-Penrose伪逆

矩阵A的伪逆定义为

计算伪逆的实际算法没有基于这个定义，而是使用下面的公式

其中，矩阵U、D和V时矩阵A奇异值分解后得到的矩阵，对角矩阵D的伪逆是其非零元素取倒数之后再转置得到的。

2.10 迹运算

迹运算返回的是矩阵对角元素的和：

迹运算提供了另一种描述矩阵F范数的方式：

迹运算在转置运算下是不变的：

多个矩阵相乘得到的方针的迹，和将这些矩阵中的最后一个挪到最前面之后相乘的迹是相同的。当然，我们需要考虑挪动之后矩阵乘积依然定义良好：

或者更一般地，

即使循环置换后矩阵乘积得到的矩阵形状变了，迹运算的结果依然不变。

另一个有用的事实是标量在迹运算后仍然是它自己：。

2.11 行列式

行列式，记作，是一个将方针A映射到实数的函数。行列式等于矩阵特征值的乘积，行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。如果行列式是0，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积；如果行列式是1，那么这个转换保持空间体积不变。

2.12 实例：主成分分析

主成分分析是一个简单的机器学习算法，可以通过基础的线性代数知识推导。

假设在空间中有m个点，我们希望对这些点进行有损压缩。有损压缩表示我们使用更少的内存，但损失一些精度去存储这些点，我们希望损失的精度尽可能少。