K近邻

1. k近邻法（k-Nearest Neighbor，简称kNN）是一种基本的分类与回归方法。

• 分类问题：对新的样本，根据其k个最近邻的训练样本的类别，通过多数表决等方式进行预测。
• 回归问题：对新的样本，根据其k个最近邻的训练样本标签值的均值作为预测值。

2. k近邻法不具有显式的学习过程，它是直接预测。它是惰性学习(lazy learning)的著名代表。

   • 它实际上利用训练数据集对特征向量空间进行划分，并且作为其分类的"模型"。

   • 这类学习技术在训练阶段仅仅将样本保存起来，训练时间开销为零，等到收到测试样本后再进行处理。

     那些在训练阶段就对样本进行学习处理的方法称作急切学习(eager learning)。

3. k近邻法是个非参数学习算法，它没有任何参数（k是超参数，而不是需要学习的参数）。

   • k近邻模型具有非常高的容量，这使得它在训练样本数量较大时能获得较高的精度。

   • 它的缺点有：

     • 计算成本很高。因为需要构建一个$N×NN×N N\times N$L∞​(xi​,xj​)=maxl​ ∣xi,l​−xj,l​∣

   • 不同的距离度量所确定的最近邻点是不同的。

3. 决策规则

1. 分类决策通常采用多数表决，也可以基于距离的远近进行加权投票：距离越近的样本权重越大。

2. 回归决策通常采用均值回归，也可以基于距离的远近进行加权投票：距离越近的样本权重越大。