本文中，我们对凸优化要求的基本知识进行基本的介绍。大家不要嫌烦，这已经是我能想到最少的了。

1. 线性代数

是空间的一组基，若

换言之，任意一个向量w 都要能够被这组基 线性表示。 

于此，我们可以引出线性不相关。

即若中，彼此都无法被剩余的k-1 个向量线性表示，则线性无关。

线性无关，这里咱们举个例子：

a = [1 0 0 ] b=[0 1 0] c= [ 0 0 1], 显然a,b,c是线性相关的。

最后，根据上面的例子，我们给出，一组基的向量之间，彼此都是线性无关的。

接着我们定义线性运算 内积

外积（矩阵）

柯西施瓦茨不等式：

 

这个不等式的证明网上特别的多，简单来说就是, 这里是向量之间的夹角，所以就简单证明了。

根据这个知识点，我们给出向量在另一个向量上的投影的快速计算方法，如我们需要计算向量在向量方向上的投影，如下图所示：

投影是蓝色这条线，方向应该和v是一个方向。那么我们如何快速计算呢？

首先给出v的方向：

然后我们计算蓝色线条的长度，根据勾股定理，容易得到

 这里是向量之间的夹角

因此，向量在向量方向上的投影为：

有了投影这个说法之后，我们就有一个新的东西，即：

一个向量 u 对子空间的投影，如果子空间的基相互正交，且长度为1，那么

 该向量在子空间的投影，等于该向量在每一个基向量上投影之和。

其实这里讲的意思就是我们很熟悉的矢量的分解与合成差不多。

接着我们说向量的Lp范数

这里的p可以取 1 2 无穷。注意，如果p取无穷，就代表取向量x中绝对自最大的元素。

三角不等式：

三角不等式的证明网上也有很多，这里我就不过分赘述了。

 

接着是矩阵的秩；

其实矩阵可以按行 和列 分别写成行向量形式 与列向量形式， 那么不论行向量形式 还是列向量形式，我们都可以从中发现有多少个线性无关的行向量 或者列向量， 因此线性无关的行向量 或者列向量的个数称为 矩阵的秩。

一个矩阵对应着几个特殊的空间：

零空间：，x所构成的空间

值空间：, y所构成的空间

因此，如果一个矩阵的秩为m 或者n，我们称为满秩矩阵

如果一个方阵的秩为n， 则其值空间为, 零空间为{0}。

如果一个矩阵的行列式值为0， 则该矩阵一定不满秩。

接着我们聊一聊什么是线性子空间：

所谓子空间就是对加法和放缩(scaling)运算封闭的向量集合。

一个子空间的正交补：

设V是一个子空间， 其正交补,w是一个与子空间V中任何向量都正交的这么一个向量

仿射子空间：

对于一个集合C中两个不同的点, 对于任意有

 上面的变换着称为仿射变换

接着是特征值与特征向量

设M是一个矩阵， 则满足

的向量v 称为特征向量， 对应的称为特征值

如果M是一个对称矩阵， 即, 且其所有特征值为实数，特征向量之间彼此正交。同时我们可以对M 进行谱分解

 x代表外积

正定矩阵 与半正定矩阵

即 矩阵M 若任意向量v 都有,则M为半正定矩阵

若,则M为正定矩阵

好啦，基础知识就这么些，大家可以看到基本都是一些关于线性代数的概念。下一次，咱么就开始进入正题啦。