今天上了一节数学模型的课， 正好讲到PCA(主成分分析方法), 有几个地方没有太清楚，所以通过查阅一些博客和资料，在这里稍微整理一下， 做一个知识的整合。

1、 简介

 PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。 在机器学习和深度学习领域，有着广泛的应用。 比如深度学习中，在处理有关数字图像处理方面的问题时，经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift，surf，vlad等等特征，然后将其保存，建立响应的数据索引，然后对要查询的图像提取相应的特征，与数据库中的图像特征对比，找出与之最近的图片。这里，如果我们为了提高查询的准确率，通常会提取一些较为复杂的特征，如sift，surf等，一幅图像有很多个这种特征点，每个特征点又有一个相应的描述该特征点的128维的向量，设想如果一幅图像有300个这种特征点，那么该幅图像就有300*vector（128维）个，如果我们数据库中有一百万张图片，这个存储量是相当大的，建立索引也很耗时，如果我们对每个向量进行PCA处理，将其降维为64维，是不是很节约存储空间啊？ 但是PCA究竟是怎么做到的呢？

2、 基本思想

 主成分分析是对于原先提出的所有特征，建立尽可能少的新特征， 使得这些变量是两两不相关的， 而且这些新变量在反应研究对象信息方面尽可能保持原有信息。

3、基本原理

  基本原理这块，打算先从几何意义上说明一下PCA到底在干嘛？ 然后进入数学的过程。

3.1 直观上来理解

 前面说了那么多， 合起来就是一句： 就是当我们处理的数据，特征数量非常多且复杂的时候，我们需要对一些相关的特征进行剔除， 然后对所有 的特征，选出一组新的基去表示， 我们知道，在机器学习中，我们所有的训练样本在几何上都是一个个的样本点， 而这些特征可以看做是坐标系。 如果我们进行降维的话，在几何上理解也就是说，我们需要找到一组新的坐标系去表示这些样本点，

利用吴恩达老师机器学习课程中的一个图看的清晰一些

看上面图像， 二维的降成一维，三维降成二维， 其实就是重新寻找一个坐标系，使得能够在尽可能保持原有样本信息的基础上（保留尽可能大的方差）， 减少特征个数。 但是在坐标系上如何寻找这样的一个轴呢？ 貌似好多轴都可以进行降维啊。 这里再利用吴恩达老师的图做一个解释：

看这个图片， 这些样本点既可以投影在橙色的坐标轴上，也可以投影在洋红色的坐标轴上， 那么为什么最好的降维是橙色的而不是洋红色的呢?
刚才我们说，要尽可能的保持原有的信息， 也就是说，最好的降维方式是这些样本点尽量的移动较少的距离， 才不会太大的改变原来的信息。
所以， 所有样本的这个移动距离之和就成了选择坐标轴的衡量标准，要选择移动距离之和最小的那个轴。 这些距离也称为投影误差。 高维度的道理一样。
那么，我们怎么去找这个主成分呢？

3.2 数学上的求解方式

 在数学上，先给出主成分的定义


满足以下条件：
（1） Zi与Zj不相关
（2）Z1是x1,x2,…xp线性组合中方差最大的， Z2是与Z1不相关的, x1,…xp线性组合中方差最大的， …Zm是与前面的不相关， x1…xp线性组合中方差最大的。
则新变量指标Z1,…Zm分别称为原变量x1…xp的第1个…第m个主成分。

由上面的定义中，我们知道了， Z系列是X系列中方差最大的，并且去掉了X中的一些相关关系， 把X坐标系换成了Z坐标系， 又知道了Z系列两两互不相关。 所以这其实就是线性代数中涉及到的特征值和特征向量的知识以及线性方程组。 而这些系数l系列，其实就是特征向量组成的。
那么好了， 我们现在就可以写出应该如何在数学上求出主成分了：

• 首先针对给定的训练样本，求相关系数矩阵
  
  这里的rij为原变量xi和xj的相关系数。 rij = rji
  
  这个相关系数矩阵究竟代表了什么呢？ 简单的说，就是每个特征之间的一种变化的一种相关性。如果想深入理解，参考：深入理解协方差矩阵
• 然后，就是计算这个相关系数矩阵的特征值
  
  求出特征值，然后从大到小排序
  
  为什么呢？因为协方差矩阵表示向量两两之间的相似度，可以理解为向量之间的关系信息。协方差矩阵保存的信息越多，误差越小。
  特征值其实是反映的主成分的方差，因为，矩阵乘法，从几何的角度来看，其实是一种向量的变换， 旋转或者伸缩。而特征值的定义我们知道是

AX = λX
λ是特征值，X是特征向量，几何上的理解是我们在向量X上施加某种变换，使得变换之后的向量只是在原来的基础上同方向伸缩或者舒张，而方向并没有改变。 特征向量就是这样一种向量，它经过这种特定的变换后保持方向不变，只是进行长度上的伸缩而已，而特征值，其实是在经过这些变换后特征向量的伸缩的倍数。

所以，特征值越大，表示原向量在同方向上的伸缩程度越大，变换越大， 方法越大。放在降维的角度，我们求得的Z其实就是特征向量与X的一个线性组合， 特征向量的变换越大，Z的变换就越大，方差就越大。

• 然后分别求出对应于特征值λi的特征向量， 然后把特征向量单位化，正交化
  组成矩阵A
• 根据线性代数里面的相似对角化
  下面从百度文库上摘了一个例子：
  
  降到K维的话，就取A的前K列，就得到了系数l
  有了l，就可以得到Z系列，也就是新的主成分了。
  
  

4. 基于编程的求解方式

 吴恩达老师的机器学习课程中，是这样描述的：

这里的sigma就是协方差矩阵，但是这里为啥是这种写法，我有一个疑问？ 但是注意，这里之所以这样写，是训练样的特征是按行排列的， 样本是按列排列的。如果是训练样本按行排列，应该是先求出每一列的特征的均值，然后减去，然后再进行相乘。 具体的，见这篇博客
这里主要是想说一下svd返回的这三个矩阵，在之前听机器学习的过程中，没有去探索，今天知道了数学上的求解过程之后，我觉得，这里的U是特征向量组成的矩阵， S是λ组成的对角矩阵。参考博客

5. 总结

好了，这里就借助今天学习的知识，简单的梳理了一下PCA， 包括PCA的原理和可视化理解，数学求解过程以及编程求解过程等。 至于由N维降到K维中的这个K如果求， PCA与线性回归的关系， PCA应用建议， 参考
吴恩达老师机器学习课程笔记