机器学习日记01—KNN算法

故事：再过几天，就是情人节了，小H正打算筹备个烛光晚餐，和女朋友浪漫一下。然而说到烛光晚餐自然需要好酒的助兴。这是小H犯难了，他并不清楚酒的类别，连最基本的知识也不懂。还好，我有一招能帮我的小H朋友：不懂酒，没关系，KNN算法，来帮你~

（醒醒，你还没有女朋友，小哥）

好吧，进入我们的正题：
本次涉及这些知识：
1.k最邻近算法的原理；
2.knn算法的概念；
3.实例之对酒的分类建模。
（参考资料：深入浅出Python机器学习）

一、KNN算法的原理
可以说是：近朱者赤近墨者黑
或者说是： ”物以类聚“ 等；
对于KNN算法来说，这个道理很简单：就是数据点离谁越近，就和谁属于同一类。


但是，我们需要注意一个问题，如果是选近邻数等于1的话，在大量的数据点情况下，我们会犯”一叶障目,不识泰山“的问题，因此对于不同的选取近邻数有不同的分类判断。
这样一来，实际上KNN算法中，K这个含义就是最邻近的个数。

二、KNN的用法
（这里会用Jupyter notebook来进行代码操作)
首先是我在初步学习中的结果展示：


在上述结果中，我用了scikit-learn的make_blobs函数生成了一个样本数量为200，分类数量为2的数据集，并赋值，然后用matplotlib将数据图形表示出来。第二张图是使用KNN算法进行拟合这些数据，基于数据集创建一个分类模型，形成粉色区域与灰色区域两部分。
第二张图代码如下：
import numpy as np
clf=KNeighborsClassifier()
clf.fit(X,y)

x_min,x_max=X[:,0].min()-1,X[:,0].max()+1
y_min,y_max=X[:,1].min()-1,X[:,1].max()+1
xx,yy=np.meshgrid(np.arange(x_min,x_max, .02),
np.arange(y_min,y_max, .02))
Z=clf.predict(np.c_[xx.ravel(),yy.ravel()])
Z=Z.reshape(xx.shape)
plt.pcolormesh(xx,yy,Z,cmap=plt.cm.Pastel1)
plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.spring,edgecolor=‘k’)
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
plt.title(“Classifier:KNN”)
plt.show()
接着，我们可以设置一个数据点来试一试，这两个特征值分别是3.69,6.49。放入模型中，将这一行代码：plt.scatter(3.69,6.49,marker=’*’,c=‘red’,s=200)
放在plt.show()之前，结果为：
大家可以试一试，感受一下knn算法。

三、KNN算法概念

正式定义：对一个D维空间的样本x，找到训练集样本空间中K个距离x最近的点，统计这K个距离最近的点的类别，找出个数最多的类别，将x归入该类别。

关键词：样本和特征（颜色和形状)

knn算法的条件
1.给定一个正整数K
2.一个已知类别的训练集
3.一个用来测量特征点距离的标准

例如：在5个距离最近的特征点中，4个属性类别W1，1个属于类别W3，按照少数服从多数的原则，我们认为属于W1。

算法的三要素：
（1）距离度量
（2）K值选择
（3）分类决策规则

距离度量：（常用6种）
1.欧式距离
2.明可夫斯基距离
3.曼哈顿距离
4.切比雪夫距离
5.马哈拉诺比斯距离
6.海明距离

（距离度量用于衡量个体在空间上存在的距离，距离越远说明个体间差异越大）

欧式距离：

相似度度量：（9种）
1.余弦相似度
2.调整余弦相似度
3.皮尔森相关系数
4.Jaccard相关系数
5.Tanimoto系数
6.对数似然相似率
7.互信息/信息增益，相对熵/KL散度
8.信息检索-词频-逆文档频率（TF-IDF）
9.词对相似度-点间互信息
（这与距离相似度相反，它的值越小，说明个体间相似度越小，差异越大）

相似度度量与距离度量的区别：

1.欧式距离能够体现个体数值特征的绝对差异，更多的用于需要从维度的数值大小中体现差异的分析，如使用用户行为指标分析用户价值的相似度或差异；
2.余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感，更多用于使用用户对内容评分来区分用户兴趣的相似度和差异，同时修正用户间可能存在的度量标准不统一的问题（因为余弦相似度对绝对数值不敏感）。

knn算法的优势：
（1）易于估计结果；
（2）算法容易实现；
（3）在样本足够大的时候，能够有比较高的精度；
（4）算法实现能够并行化；

它的劣势：
（1）数据存量大（需要存储训练集中所有的样本）；
（2）在预测时计算量大（需要计算到所有样本点的距离）；
（3）容易对维度灾难敏感。

（一个解决KNN算法存储量过大的办法是抽取较少的样本，用来表示原来的完整样本集。关于如何选择这些样本，可参考聚类算法。）

四、使用K邻近算法进行酒的建模

我们将使用scikit-learn内置的酒数据集来进行实验，这个数据集也包含在scikit-learn的datasets模块中。
（可以参考段小手的《深入浅出Python机器学习》的第3章K最近邻算法)

我们通过打印DESCR键来获得上图，从图中可以看到酒数据集中共有178个样本，每条数据有13个特征变量。

1.生成训练数据集和测试数据集
在创建一个酒分类的机器学习算法模型前，我们需要对模型的可信度进行评判，否则我们无法知道它对于新酒进行的分类是否准确。我们现在要做的工作是：把数据集分两个部分，一个是训练数据集，一个是测试数据集。在默认情况下将其中75%的数据及所有对应标签归到训练数据集，而其剩余25%的数据和所对应的标签划归到测试数据集。

from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(
wine_dataset[‘data’],wine_dataset[‘target’],random_state=0)

我们一般用大写的X表示数据的特征，而用小写的y表示数据对应的标签。这是因为X是一个二维数组，也称为矩阵；而y是一个一维数组，或者说是一个向量。我们对酒数据集完成了拆分。同时可以输入：

print(’\n\n\n’)
print(‘代码运行结果:’)
print(’=========================================’)
print(‘X_tarin shape:{}’.format(X_train.shape))
print(‘X_test shape:{}’.format(X_test.shape))
print(‘y_train shape:{}’.format(y_train.shape))
print(‘y_test shape:{}’.format(y_test.shape))

print(’=========================================’)
print(’\n\n\n’)
运行后结果为：

此时我们可以看到在训练数据集中，样本X数量和其对应的标签y数量均为133个，约占样本总量的74.7%,而测试数据集中的样本X数量和标签y数量均为45个，约占样本总数的25.3%。同时，不论是在训练数据集中，还是在测试数据集中，特征变量都是13个。

接着，我们进行建模：
from sklearn.neighbors import KNeighborsClassifier
knn=KNeighborsClassifier(n_neighbors = 1)
print(’\n\n\n’)
print(‘代码运行结果:’)
print(’=========================================’)
knn.fit(X_train,y_train)
print(knn)

print(’=========================================’)
print(’\n\n\n’)
knn.fit(X_train,y_train)

print(’\n\n\n’)
print(‘代码运行结果:’)
print(’=========================================’)
print(‘测试数据集得分:{:.2f}’.format(knn.score(X_test,y_test)))

print(’=========================================’)
print(’\n\n\n’)

import numpy as np
X_new=np.array([[13.2,2.77,2.51,18.5,96,6,1.04,2.55,0.57,1.47,6.2,1.05,3.33,820]])
prediction=knn.predict(X_new)
print(’\n\n\n’)
print(‘代码运行结果:’)
print(’=========================================’)
print(“预测新红酒的分类为:{}”.format(wine_dataset[‘target_names’][prediction]))

print(’=========================================’)
print(’\n\n\n’)

在代码运行后，我们可以看到这个模型在预测测试数据集的样本分类上的得分并不高，只有0.76。

也就是说，模型对于新的样本数据做出正确分类预测的概率是76%，虽然结果差强人意，但我们只是演示KNN算法，所以不必纠结分数的问题。

我们建立了新的数据点：

我们使用 .prediction(有个点）进行预测，运行代码得出结果是：预测新红酒的分类为 ‘class_2’ 。

模型把新酒的分类预测为class_2，虽然准确率只有76%，但是对于我们第一个机器学习实战还是相当不错的。

最后，KNN算法可以说是一个非常经典而且原理十分容易理解的算法，也希望这方面的分享能让大家更好的理解它的算法模型。另外，这次我们帮助小H对酒进行分类分析，通过KNN算法的表现并不能说它很优异，当它遇到稀疏数据集、超大规模的数据集拟合时间较长等场景容易束手无策。因此，我们需要结合其他算法来更好地帮助我们处理更多元复杂的问题。