本篇主要记录下svd(Singular Value Decomposition)、pca(Principal Component Analysis)、lda(Linear Discriminant Analysis)

svd

svd是一种无监督的降维算法，其可以用来对任一矩阵（不要求为方阵）进行分解，如下：

详细可参考：https://www.cnblogs.com/pinard/p/6251584.html

pca

pca是一种无监督的降维算法，其基本思想是如果样本在某一维度上的方差越大，则该维度包含的信息就越多；反之如果某一维度上的方差非常小，则该维度基本不含信息，去掉也不会有多大损失；其目标是希望找到个空间变换矩阵使得样本在新空间各基底（坐标轴）上的方差尽可能的大，然后直接舍弃掉方差最小的那几个新空间基底（坐标轴）就达到了降维的目的了；其主要步骤是对数据矩阵的协方差矩阵进行分解，求特征值和特征向量；流程如下：

其原理与推导过程见：http://blog.codinglabs.org/articles/pca-tutorial.html

https://www.zhihu.com/question/30094611

lda

lda是一种有监督的降维算法，其基本思想是希望找到个投影矩阵使得投影（降为后），各类样本类内尽可能的聚集、类间尽可能的分散；其流程如下：

其原理与推导过程见：https://www.cnblogs.com/pinard/p/6244265.html

注意点：LDA降维最多降到类别数k-1的维数