拟解决基本问题描述

问题一：数据量：1000

特征：

每年获得的飞行常客里程数

玩视频游戏所耗时间比

每周消费冰淇淋公升数

标签：不喜欢的人魅力一般的人 极具魅力的人

问题二：垃圾邮件过滤

数据量50

标签：

非垃圾邮件（25）垃圾邮件（25）

数据准备与数据预处理

（I）问题一  约会网站配对问题

（1）数据归一化：

可适用于KNN算法

（2）数据归类

（3）对于朴素贝叶斯，数据归类时用数字标注类别

（II）问题二：垃圾邮件过滤

（1）录入数据

（2）统计所有单词

去标点，切分网址类数据，过滤掉长度小于三的字符串

（3）对应构建词向量

数据可视化

模型基本原理与算法实现

KNN算法：

1、计算测试对象与训练集中所有对象的距离，可以是欧式距离、余弦距离等，比较常用的是较为简单的欧式距离；

2、找出上步计算的距离中最近的 K 个对象，作为测试对象的邻居；

3、找出 K 个对象中出现频率最高的对象，其所属的类别就是该测试对象所属的类别。

决策树算法：

决策树的主函数：本质上是个递归函数，该函数主要功能是根据某种规则生长出决策树的各个分支节点，并根据终止条件结束算法。 

a)        输入需要分类的数据集和类别标签

b)        根据某种分类规则得到最优的划分特征，并创建特征的划分节点——计算最优特征子函数

c)        按照该特征的每个取值划分数据集为若干部分——划分数据集子函数

d)        根据划分子函数的计算结果构建出新的节点，作为树生长出的新分支

e)        检验是否符合递归终止条件

f)         将划分的新节点包含的数据集和类别标签作为输入，递归执行上述步骤

朴素贝叶斯：

根据贝叶斯定理，对一个分类问题，给定样本特征x，样本属于类别y的概率是

只要分别估计出，特征xi在每一类的条件概率就可以了。类别y的先验概率可以通过训练集算出，同样通过训练集上的统计，可以得出对应每一类上的，条件独立的特征对应的条件概率向量。 

算法的数学归纳

测试方法与结果

决策树分类图：

正确率比较

数据集处理情况对比

代码修改方向

总结

小结：

通过对于1000个数据的三种方法对比计算，发现无明显准确率差别。

KNN算法，对于数值型的数据适配度比较高，且预处理较少，一般单一类数据归一化即可，选择求距离的公式也可以依托实际进行。注意，KNN有算法的一个优点为对异常值不敏感，但是注意，我们在预处理的时候，如果能将极端数据去掉后再进行归一化，分类效果会更好。

决策树算法对于数据预处理要求高一点，需要预分类，分类过程如果面向问题本身会更加好，用于制作实际算法投入运用的话，由用户来进行一个标度效果对于特定用户本身会更好。但是数据过多的时候，决策树剪枝方面要多进行考虑，但是势必带来准确度降低。

朴素贝叶斯方法对于数据的要求较高，预处理的过程较多，但是效果不错，对于数据较少的情况依旧适用。