PCA

Principal Component Analysis (PCA) 是一种线性降维技术。可用于将数据信息从高维空间映射到低维空间。经过PCA处理，数据变化较大的必要部分得以保留，而数据变化较小的非必要部分会被移除。

维度（dimension）

这里的维度指的是代表数据的特征。

主成分（principal component）

主成分是PCA技术中最关键的部分。它们能表示出数据集内部的隐含信息。
简单来说，将数据集从高维（假设为三维）映射到低维（假设为二维）时，这三个维度就是三个主成分，包含了大部分的数据变化信息。每个主成分代表从数据中获得的总变化的百分比。

数据集

本文中示例使用的数据集是数据分析中流行的数据集之一——乳腺癌（Breast Cancer）。
乳腺癌数据集由两个类别（恶性和良性）组成的实值多元数据，其中每个类别标识了患者是否患有乳腺癌。其中，恶性类包含212个样本值，良性类包含357个样本。
整个数据集内共有30种特征值（半径、直径、面积、分形维数等）。

代码

接下来使用Python代码，针对Breast Cancer数据集进行PCA分析。

1. 数据探索
   使用sklearn模块，从sklearn模块的数据集中引入Breast Cancer数据集

from sklearn.datasets import load_breast_cancer

现在数据集已经成功导入，如果想要获取数据集中的数据，可以使用：

breast_data = load_breast_cancer().data

检查数据（注意，此时数据中不包含标签）：

print(breast_data.shape)

结果为：

(569, 30)

可以看到，数据共有569个样本，有30种特征。
查看所有特征：

features = breast.feature_names
print(features)

结果为：

['mean radius' 'mean texture' 'mean perimeter' 'mean area''mean smoothness' 'mean compactness' 'mean concavity''mean concave points' 'mean symmetry' 'mean fractal dimension''radius error' 'texture error' 'perimeter error' 'area error''smoothness error' 'compactness error' 'concavity error''concave points error' 'symmetry error' 'fractal dimension error''worst radius' 'worst texture' 'worst perimeter' 'worst area''worst smoothness' 'worst compactness' 'worst concavity''worst concave points' 'worst symmetry' 'worst fractal dimension']

对于每个样本，有一个对应的标签值。在本数据集中， 有两种标签。查看数据集中标签的方法：

print(load_breast_cancer().target)

结果为：

[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 01 0 0 0 0 0 0 0 0 1 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 0 1 0 0 1 1 1 1 0 1 0 01 0 1 0 0 1 1 1 0 0 1 0 0 0 1 1 1 0 1 1 0 0 1 1 1 0 0 1 1 1 1 0 1 1 0 1 11 1 1 1 1 1 0 0 0 1 0 0 1 1 1 0 0 1 0 1 0 0 1 0 0 1 1 0 1 1 0 1 1 1 1 0 11 1 1 1 1 1 1 1 0 1 1 1 1 0 0 1 0 1 1 0 0 1 1 0 0 1 1 1 1 0 1 1 0 0 0 1 01 0 1 1 1 0 1 1 0 0 1 0 0 0 0 1 0 0 0 1 0 1 0 1 1 0 1 0 0 0 0 1 1 0 0 1 11 0 1 1 1 1 1 0 0 1 1 0 1 1 0 0 1 0 1 1 1 1 0 1 1 1 1 1 0 1 0 0 0 0 0 0 00 0 0 0 0 0 0 1 1 1 1 1 1 0 1 0 1 1 0 1 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 11 0 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 0 1 1 1 1 0 0 0 1 11 1 0 1 0 1 0 1 1 1 0 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 0 00 1 0 0 1 1 1 1 1 0 1 1 1 1 1 0 1 1 1 0 1 1 0 0 1 1 1 1 1 1 0 1 1 1 1 1 11 0 1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 0 1 1 1 1 1 0 1 10 1 0 1 1 0 1 0 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 11 1 1 1 1 1 0 1 0 1 1 0 1 1 1 1 1 0 0 1 0 1 0 1 1 1 1 1 0 1 1 0 1 0 1 0 01 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 0 0 0 0 0 0 1]

从结果可见，此数据集中的标签有两种，0和1。

2. 使用numpy创建DataFrame
   将数据和标签结合起来，生成一个同时包含二者的DataFrame。

import numpy as np
breast_labels = breast.target
labels = np.reshape(breast_labels, (569, 1))
concatenate_data = np.concatenate([breast_data, labels], axis=1)
print(concatenate_data.shape)

结果为：

(569, 31)

现在，数据矩阵为569 X 31。

3. 使用Pandas模块以表格形式展示数据

import pandas as pd
breast_dataset = pd.DataFrame(concatenate_data)

手动给特征矩阵添加标签域。

features_labels = np.append(features, 'label')
breast_dataset.columns = features_labels

接下来还需要修改标签列中的值（1代表恶性肿瘤，0代表良性肿瘤）：

breast_dataset['label'].replace(0, 'Benign', inplace=True)
breast_dataset['label'].replace(1, 'Malignant', inplace=True)

此时，查看dataframe的前10行数据：

print(breast_dataset.head(10))

结果为：

   mean radius  mean texture   ...    worst fractal dimension   label
0        17.99         10.38   ...                    0.11890  Benign
1        20.57         17.77   ...                    0.08902  Benign
2        19.69         21.25   ...                    0.08758  Benign
3        11.42         20.38   ...                    0.17300  Benign
4        20.29         14.34   ...                    0.07678  Benign
5        12.45         15.70   ...                    0.12440  Benign
6        18.25         19.98   ...                    0.08368  Benign
7        13.71         20.83   ...                    0.11510  Benign
8        13.00         21.82   ...                    0.10720  Benign
9        12.46         24.04   ...                    0.20750  Benign[10 rows x 31 columns]

4. 使用PCA处理数据

由于PCA的输出受数据特征量的影响，因此首先要对数据进行标准化处理。
首先从sklearn库中导入StandardScaler模块

from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

标准化处理：

x = breast_dataset.loc[:, features].values
x = StandardScaler().fit_transform(x)

将规范化后的数据转换为表格格式：

feat_cols = ['feature' + str(i) for i in range(x.shape[1])]
normalised_data = pd.DataFrame(x, columns=feat_cols)

结果示例：

     feature0  feature1  feature2    ...      feature27  feature28  feature29
564  2.110995  0.721473  2.060786    ...       1.629151  -1.360158  -0.709091
565  1.704854  2.085134  1.615931    ...       0.733827  -0.531855  -0.973978
566  0.702284  2.045574  0.672676    ...       0.414069  -1.104549  -0.318409
567  1.838341  2.336457  1.982524    ...       2.289985   1.919083   2.219635
568 -1.808401  1.221792 -1.814389    ...      -1.745063  -0.048138  -0.751207[5 rows x 30 columns]

接下来是PCA分析的核心部分，将三十维数据映射为二维主成分。

pca_breast = PCA(n_components=2)
principal_components = pca_breast.fit_transform(x)

创建DataFrame

principal_dataframe = pd.DataFrame(data=principal_components,columns=['principal component 1', 'principal component 2'])

查看结果：

     principal component 1  principal component 2
564               6.439315              -3.576817
565               3.793382              -3.584048
566               1.256179              -1.902297
567              10.374794               1.672010
568              -5.475243              -0.670637
Explained variation per principal component: [0.44272026 0.18971182]

5. explained_variance_ratio
   explained_variance_ratio提供了每个主成分所持有的信息量或差异值。

print(pca_breast.explained_variance_ratio_)

结果

[0.44272026 0.18971182]

从结果中，可以看到主成分1保留了44.2％的信息，而主成分2仅保留了19％的信息。 另外，要注意的另一点是，在将30维数据映射到二维数据时，丢失了36.8％的信息。

6. 可视化处理
   接下来使用可视化工具绘制PCA分析后的结果图。

import matplotlib.pyplot as plt
plt.figure()
plt.figure(figsize=(10, 10))
plt.xticks(fontsize=12)
plt.yticks(fontsize=14)
plt.xlabel('Principal Component - 1', fontsize=20)
plt.ylabel('Principal Component - 2', fontsize=20)
plt.title('Principal Component Analysis of Breast Cancer Dataset', fontsize=20)
targets = ['Benign', 'Malignant']
colors = ['r', 'b']for target, color in zip(targets, colors):indicesToKeep = breast_dataset['label'] == targetplt.scatter(principal_dataframe.loc[indicesToKeep, 'principal component 1'],principal_dataframe.loc[indicesToKeep, 'principal component 2'],c=color, s=50)plt.legend(targets, prop={'size': 15})
plt.show()

结果图：

从结果可以看出，当将良性和恶性这两个类别映射到二维空间时，在某种程度上可以做到线性分离。