机器学习-k近邻（KNN）
本篇主要是自己复习和总结机器学习算法中最基础入门的——k近邻（KNN）算法，内容由网上百度与摘抄唐宇迪老师的讲义。

k近邻介绍

——K最近邻(k-Nearest Neighbor，KNN)，k近邻算法可以应用于分类场景与回归场景，是一个理论上比较不成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
——用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

: 看图举例：

图形中有2种已知的图形，分别是蓝色的方块和红色的三角，绿色的未知图形。通过K近邻算法去判断未知的绿色图形是什么，取决于它周围距离最近的图形。
比如把K近邻的近邻参数设置成3(图中实线圆圈)，那么未知的绿色图形就是三角。如果近邻参数设置成5(图中虚线圆圈)，那么未知的绿色图形就是方块。

所以在K近邻算法中，设置近邻参数是会决定最后预测的结果准确性，那么怎么设置参数是多少呢？这个后面会给大家再进行介绍，本篇K近邻算法的实现主要是通过经典的机器学习库（sklearn）来完成。

K近邻在sklearn里面的API为sklearn.neighbors，在该模块下由细分了13个小的模块。本文主要使用neighbors.KNeighborsRegressor基于k-最近邻居的回归来进行说明官方教程链接

类型	描述
neighbors.BallTree	BallTree用于快速广义N点问题
neighbors.DistanceMetric	DistanceMetric类
neighbors.KDTree	KDTree用于快速广义N点问题
neighbors.KernelDensity([bandwidth, …])	核密度估计
neighbors.KNeighborsClassifier([…])	实现k近邻的分类器投票
neighbors.KNeighborsRegressor([n_neighbors, …])	基于k-最近邻居的回归
neighbors.LocalOutlierFactor([n_neighbors, …])	使用局部异常因子（LOF）的无监督异常值检测
neighbors.RadiusNeighborsClassifier([…])	在给定半径内的邻居之间实施投票的分类器
neighbors.RadiusNeighborsRegressor([radius, …])	基于固定半径内的邻居的回归
neighbors.NearestCentroid([metric, …])	最近的质心分类器
neighbors.NearestNeighbors([n_neighbors, …])	用于实现邻居搜索的无监督学习者
neighbors.kneighbors_graph(X, n_neighbors[, …])	计算X中点的k-邻居的（加权）图
neighbors.radius_neighbors_graph(X, radius)	计算X中各点的邻居（加权）图

k近邻参数

sklearn.neighbors.KNeighborsRegressor默认参数：

sklearn.neighbors.KNeighborsRegressor（n_neighbors = 5，weights =‘uniform’，algorithm =‘auto’，leaf_size = 30，p = 2，metric =‘minkowski’，metric_params = None，n_jobs = 1，** kwargs ）

参数说明：
n_neighbors：int, optional (default = 5)

使用默认的邻居数量kneighbors查询，默认是5

weights : str or callable

权函数用于预测,可能的值
‘uniform’ :统一的重量。权重分在每个社区都是一样的
‘distance’ :重量分距离的倒数。在这种情况下,接近邻居查询的点会有一个更大的影响力远比邻居
[callable] :一个用户定义的函数接受一个数组的距离,并返回一个数组包含权重相同的形状

algorithm : {‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, optional

算法用于计算最近的邻居
‘ball_tree’将使用BallTree
‘kd_tree’将使用KDTree
'brute’将使用蛮力搜索
‘auto’将试图确定最合适的算法基于价值观传递给合适的方法

leaf_size : int, optional (default = 30)

叶大小BallTree或KDTree传递。这可能影响施工和查询的速度,以及所需的内存存储树。最优值取决于问题的性质。

metric : string or callable, default ‘minkowski’

指标用于树的距离。默认度量是闵可夫斯基,p = 2相当于欧几里得度量的标准。看到的DistanceMetric类的文档的列表可用指标。

metric_params : dict, optional (default = None)

额外的关键字参数的度量函数

n_jobs : int, optional (default = 1)

并行工作的数量的邻居搜索。如果1,那么就业人数将CPU核的数量。不影响健康的方法。

官网例子

X=[[0],[1],[2],[3]] #建一个List
y=[0,0,1,1] #建一个List
from sklearn.neighbors import KNeighborsRegressor #导入K近邻回归模块
neigh=KNeighborsRegressor(n_neighbors=2) #近邻参数设置成2个相邻
neigh.fit(X, y) #使用X作为训练数据，y作为目标值
print(neigh.predict([[1.5]])) #给提供的数据预测对应的标签，当x=1.5的时候y应该是多少#最终输出当x=1.5的时候y=0.5

类型	描述
fit(X, y)	使用X作为训练数据，y作为目标值（类似于标签）来拟合模型。
get_params([deep])	获取估值器的参数。
kneighbors([X, n_neighbors, return_distance])	查找一个或几个点的K个邻居
kneighbors_graph([X, n_neighbors, mode])	计算在X数组中每个点的k邻居的（权重）图
predict(X)	给提供的数据预测对应的标签
predict_proba(X)	返回测试数据X的概率估值
score(X, y[, sample_weight])	返回给定测试数据和标签的平均准确值
set_params(**params)	设置估值器的参数

k近邻实际应用

注：该实例出至唐宇迪老师，大家也可以百度查看
案例数据下载
案例背景：
自己在美国有一套房子想要在Airbnb平台上进行短租，但是不知道自己的房子能租多少钱？设置多少钱才是最合理的呢？
好吧，开始前我先说明一下我的房子情况：我的房子可以容纳6名旅客，有3个卧室，厕所每个卧室都有，有3张床，我想最短租1天我还是能接受的，最多租30天好像就差不多了。为了能收益最大我们直接来代码：

房租价格预测

导入所需要的Python模块

import pandas as pd #导入pandas库
from sklearn.neighbors import KNeighborsRegressor #导入机器学习库中的K近邻回归模型
from sklearn.metrics import mean_squared_error #导入机器学习库中的均方误差回归损失模型

导入数据及数据预处理

dc_listings=pd.read_csv(r'C:\Users\huangjunwen\Desktop\listings.csv') #将数据导入,路径请根据自己的文件路径设置
features = ['accommodates','bedrooms','bathrooms','beds','price','minimum_nights','maximum_nights','number_of_reviews'] #因数据太多设置只选取这8列
dc_listings = dc_listings[features] #获取只需要的数据列，并覆盖原始数据
dc_listings.head()#先查看一下数据情况，对数据有个初步了解
dc_listings['price']=dc_listings.price.str.replace("\$|,",'').astype(float) #将价格price变成数字类型
dc_listings=dc_listings.dropna() #过滤缺失数据
normalized_listings = dc_listings #复制一下数据norm_train_df=normalized_listings.copy().iloc[0:2792] #创建训练集训练集取2792个样本
norm_test_df=normalized_listings.copy().iloc[2792:] #创建测试集取879个样本

数据列名说明 accommodates:可以容纳的旅客、bedrooms：卧室的数量、bathrooms：厕所的数量、beds：床的数量、price：每晚的费用、minimum_nights：客人最少租几天、maximum_nights：客人最多租几天、number_of_reviews：评论的数量

创建K近邻模型

cols = ['accommodates','bedrooms','bathrooms','beds','minimum_nights','maximum_nights','number_of_reviews'] #选择测试集的训练的列
knn = KNeighborsRegressor(10) #模型近邻值手动设置成10,其他为默认参数
knn.fit(norm_train_df[cols], norm_train_df['price']) #X放入训练集数据，Y放入目标输出数据
two_features_predictions = knn.predict(norm_test_df[cols]) #输出测试集结果

创建模型效果验证

two_features_mse = mean_squared_error(norm_test_df['price'], two_features_predictions)
two_features_rmse = two_features_mse ** (1/2)
print(two_features_rmse) #输出模型验证结果，根据结果调整近邻参数

调用模型设置实际值进行预测

print(knn.predict([[6,3,3,3,1,30,0]])) #设置自己房子的信息，预测出对应的价格

数字代表我房子与数量列对应的名称，容纳旅客数=6，卧室=3，厕所=3，床=3，最少租=1，最多租=30，评论=0

好了，我房子的一晚上价格大概能租192美元，哇！感觉自己好有钱。。。。好吧，能先给我来一套房子吗？