---

1. 什么是PCA？

PCA全称Principal Component Analysis，主成分分析。顾名思义，就是从原始数据中提取主要的成分进行分析，忽略掉那些不重要的信息。取之精华，去其糟粕。

2. 为什么用PCA？

在机器学习中，降维Dimentionalty Reduction是个主要的原因，这里面有两个目标：

• 降维的一个主要目的就是数据压缩Data Compression。在机器学习中有大量的样本，而且每个样本有着大量的features。数据量非常大，导致存储和内存的资源问题。这时通过降维，大幅度的缩减数据量，而且还能保持住feature之间很大的差异性。比如保持了95%的差异性，但是维度可能下降了100倍

• 降维的另一个目的就是可视化Visualization。因为人类只能识别2D，3D的事物，而一个样本的feature可能是很高的维度，因此就需要通过降维的手段，将高维降到2D或者3D，让人们能够直观的看到效果，帮助人们很好地分析问题

另外，降维还能带来两个额外的好处：

• 舍弃了部分信息后，使样本被采用的密度增大
• 当数据受到影响后，最小的特征值所对应的向量往往与噪声有关，将它们舍弃后，能在一定程度上起到了去噪的效果

3. PCA是如何工作的？

我们同样以人类能够理解的2D降到1D为例解释PCA的工作原理。在2D的空间中散步的一堆样本(x, y)，我们要寻找一条直线，使得这些样本投影到该条直线上，那么这些投影点，即为降维后的新样本。我们的坐标系也从原来的(x, y)变为现在的直线z。同样的道理，如果要降到2D，那么就是寻找一个平面，将原样本投影到该平面上面，如下图所示：

如果降低的维度大于3维了，实际上就是要找一个称为“超平面”的东西，将高维的数据投影到这个超平面上面。

这里其实存在着多条直线或者多个超平面，那么在使用PCA降维的过程中是如何选择的呢？它必须满足下面两个条件：

• 最小投影误差，即样本点与其对应的超平面上的投影点的距离最短
• 最大投影方差，即样本点在这个超平面上的投影点的分布要尽量分开，方差最大

如下图所示：

很明显，右边这条红色的直线在投影距离和分布上面都优于左边的直线，因此这条红色的直线就是我们新的坐标系，投影在该直线上面的点即为降维后的样本。

PCA背后的意义：通过上两个特质，我们可以这样理解，PCA主要提取了原始数据中方差大的那部分成分，即主成分，放弃掉那些方差小的成分。因为方差大，说明原样本和新样本之间的关系度高，方差小说明关系度低，那当然保留关系度高的那部分信息。

4. PCA算法是怎样的？

输入：
训练集X(注意，只对训练集进行PCA计算)：$x^{(1)}, x^{(2)}, \dots, x^{(m)}$
每个样本feature的维度为n，目标维度为k，$k \le n$

处理过程：

• 1.对所有样本进行归一化：

  • $u_j = \frac{1}{m}\sum_{i=1}^{m}x_j^{(i)}, \sigma_j^2 = \frac{1}{m}\sum_{i=1}^{m}(x_j^{(i)} - u_j)^2$
  • $x_j^{(i)} = \frac{x_j^{(i)} - u_j}{\sigma_j}$
    注意： PCA提取的是样本feature的主成分。对于$x_j^{(i)} \in R^{(n × 1)}$，上标表示第i个样本，下标表示第j个feature。按照上式的方法，对所有样本进行归一化。

• 2.计算样本的协方差矩阵：
  $\Sigma = \frac{1}{m}\sum_{i=1}^{m}(x^{(i)})(x^{(i)})^T$
  注意：$x^{(i)}$为一个nx1维的向量，如果扩展到m个样本，那么X为nxm的矩阵。协方差矩阵如下，维度为nxn：$\Sigma = \frac{1}{m} X X^T$

• 3.对协方差矩阵做特征值分解，得到特征值矩阵(eigenvectors)：
  注意： 提取矩阵特征的两种方法：特征值分解和奇异值SVD分解。在实践中，通常使用奇异值分解(SVD-Singluar Value Decomposition)代替特征值分解，所以这里我们只介绍SVD。

假设我们的样本矩阵A是一个m×n的矩阵，其中m为样本个数，n为feature数，那么我们定义矩阵A的SVD为:
$A = U \Sigma V^T$，其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足$U^T U = I, V^T V = I$。下图可以很形象的看出上面SVD的定义：

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。也就是说：
$A_{m×n} = U_{m×m}\Sigma_{m×n}V^T_{n×n} \approx U_{m×k}\Sigma_{k×k}V^T_{k×n}$其中k小于n，也就是一个大的矩阵A可以用三个小的矩阵$U_{m×m}, \Sigma_{m×n}, V^T_{n×n}$来表示。如下图所示，现在我们的矩阵A只需要三个小矩阵就可以近似描述了。

• 4.特征值分解后，取最大的k个特征值对应的特征向量$V^T_{k×n}$：

**输出：**得到新样本矩阵：
$Z_{m×k} = X_{m×n} V_{n×k}$

这个矩阵和我们原来的m×n维样本矩阵X相比，列数从n减到了k，即，feature从n维降到了k维。

另一方面，注意到PCA仅仅使用了我们SVD的右奇异矩阵，没有使用左奇异矩阵，那么左奇异矩阵有什么用呢？假设我们的样本是m×n的矩阵X，对于U只取前k列，即：
$X'_{k×n} = U^T_{k×m}X_{m×n}$
可以得到一个k×n的矩阵X‘,这个矩阵和我们原来的m×n维样本矩阵X相比，行数从m减到了k，可见对行数进行了压缩。也就是说，左奇异矩阵可以用于行数的压缩。相对的，右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维

5. 如何重构经过PCA降维的数据？

上面推导了如何得到投影矩阵Z，那么我们能否通过Z恢复出原始的X呢？那么肯定有人要问：为什么要恢复出原始数据X呢？因为这里有个信息保留度的问题。比如，希望降维后的新样本能够保留原样本95%的信息，即，只允许降维丢失5%的信息。那么如何衡量这个保留度或者丢失度呢？这就需要下面的公式来计算：

$\frac{\frac{1}{m}\sum_{i=1}^{m}||x^{(i)} - x^{(i)}_{approx}||^2}{sum_{i=1}^{m}||x^{(i)}||^2} \le 0.05$

该式表示至少要保留95%的信息，只允许损失5%的信息。式中的$X_{approx}$即为我们需要从Z恢复回来的“原始数据”，毕竟信息有丢失，所以它只是近似的原始数据。

接下来看如何得到$X_{approx}$？
其实很简单，仍然使用上面的右奇异矩阵$V^T_{k×n)}$，计算方法如下：
$X_{approx(m×n)} = Z_{m×k}V^T_{k×n}$

6. 如何选择主成分的个数？

如果你要可视化，那么很容易就确定降到的维度，无非就是2或者3。但是如果要真正地做特征降维，那么这个k是很难主观确定出来的，但是从信息保留度的角度，这个就比较容易确定了，比如要保留99%的信息，然后据此来推断出来k应该是多少。方法其实也简单，就是通过上面提到的公式：
$\frac{\frac{1}{m}\sum_{i=1}^{m}||x^{(i)} - x^{(i)}_{approx}||^2}{sum_{i=1}^{m}||x^{(i)}||^2} \le 0.01$
算法如下：

• 1.对于k，从1, 2, …逐个取值，然后计算$V^T, Z, X_{approx}$
• 2.然后通过上面的公式计算比值是否小于0.01，如果不小于，就继续取不同的值，如果满足条件了，那么当前取得值就是最终的k值

这种方法虽然可行，但是效率太低了。下面介绍一种更为简单的方法，就是利用SVD分解的三个矩阵中的$\Sigma$。
在上面的推导中可知$\Sigma$的维度是mxn，而且该矩阵的特点就是在主对角线上的元素为奇异值(Singular Value)，其他的元素全部为0。
“对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。”
我们就是利用上面的特性来评估k的值，方法如下：

• 只计算对角线上k个奇异值的和，然后比上对角线上所有奇异值的和
• 它们的比例就是信息保留度，如果对于某个值k，可以满足这个比例大于0.99了，那么这个k值就是我们的主成分个数了
  过程如下图所示：
  
  这种计算方法比上面那种效率要高很多。

7. 总结

以上，讲述了什么是PCA，解释了为什么要用PCA，PCA的工作原理，以及如何选择k值。本文中有不足的地方或者错误也请指出，比如那个“信息保留度”，这是我自己定义的，Andrew.Wu称之为差异性(比如，99% of variace is retained)。

8. sklearn中的PCA

在sklearn.decomposition模块中封装好了PCA的算法，下面简单介绍下里面的主要参数：

• n_components: 即上面提到的k值，要降到的维度值。如果不填写k，只是填写一个[0, 1]的值的话，那么它代表的就是信息保留率，比如填写0.95，那就是保留95%的信息，而k值是该算法自动得到的
• svd_solver：里面有4种方法，如果输入数据比较大的话，选择randomized，效率会比较高，具体使用场景，请阅读说明sklearn.decomposition.PCA

主要属性：

• components_：这里保存的就是主成分，即$V^T_{k×n}$
• explained_variance_：这里保存的就是协方差
• explained_variance_ratio_：这里保存的是协方差
• n_components_：这里保存的就是k
• singular_values：这里保存的就是奇异值

主要的函数：

• fit_transform(X): 它的作用就是将X降维后得到Z
• inverse_transform(Z): 它的作用就是将Z恢复为$X_{approx}$

其他关系：
Z = np.dot(X, pca.components_.T) —投影后的新矩阵
X_approx = np.dot(Z, pca.components_) —得分矩阵
Resi = X - X_approx — 残差矩阵