一、理论篇

1、概述

朴素贝叶斯（naive Bayes）算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入$x$，利用贝叶斯定理求出后验概率最大的输出$y$。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。

2、频率学派与贝叶斯派

在说极大似然估计（MLE）与最大后验概率估计（MAP）之前，不得不说对于概率看法不同的两大派别频率学派与贝叶斯派。他们看待世界的视角不同，导致他们对于产生数据的模型参数的理解也不同。

① 频率学派：

他们认为世界是确定的。他们直接为事件本身建模，也就是说事件在多次重复实验中趋于一个稳定的值$p$，那么这个值就是该事件的概率。

他们认为模型参数是个定值，希望通过类似解方程组的方式从数据中求得该未知数。这就是频率学派使用的参数估计方法-极大似然估计（MLE），这种方法往往在大数据量的情况下可以很好的还原模型的真实情况。

② 贝叶斯派

他们认为世界是不确定的，因获取的信息不同而异。假设对世界先有一个预先的估计，然后通过获取的信息来不断调整之前的预估计。 他们不试图对事件本身进行建模，而是从旁观者的角度来说。因此对于同一个事件，不同的人掌握的先验不同的话，那么他们所认为的事件状态也会不同。

他们认为模型参数源自某种潜在分布，希望从数据中推知该分布。对于数据的观测方式不同或者假设不同，那么推知的该参数也会因此而存在差异。这就是贝叶斯派视角下用来估计参数的常用方法-最大后验概率估计（MAP），这种方法在先验假设比较靠谱的情况下效果显著，随着数据量的增加，先验假设对于模型参数的主导作用会逐渐削弱，相反真实的数据样例会大大占据有利地位。极端情况下，比如把先验假设去掉，或者假设先验满足均匀分布的话，那它和极大似然估计就如出一辙了。

3、极大似然估计与最大后验概率估计

如果我们现在有一个任务，就是根据已知的一堆数据样本，来推测产生该数据的模型的参数，即已知数据，推测模型和参数。因此根据两大派别的不同，对于模型的参数估计方法也有两类：极大似然估计与最大后验概率估计。

①极大似然估计（MLE）-频率派模型参数估计的常用方法。

似然，可以简单理解为概率、可能性，也就是说要最大化该事件发生的可能性。它的含义是根据已知样本，希望通过调整模型参数来使得模型能够最大化样本情况出现的概率。

• 例子：假如一个盒子里面有红黑共10个球，每次有放回的取出，取了10次，结果为7次黑球，3次红球。问拿出黑球的概率$p$是多少？

我们假设7次黑球，3次红球为事件 A ，一个理所当然的想法就是既然事件 A已经发生了，那么事件 A 发生的概率应该最大。所以既然事件 A 的结果已定， 我们就有理由相信这不是一个偶然发生的事件，这个已发生的事件肯定一定程度上反映了黑球在整体中的比例。所以我们要让模型产生这个整体事件的概率最大，我们把这十次抽取看成一个整体事件 A ，很明显事件 A 发生的概率是每个子事件概率之积。我们把$P(A)$ 看成一个关于$p$的函数，求$P(A)$ 看取最大值时的$p$，这就是极大似然估计的思想。具体公式化描述为$P(A)=p^7(1-p{)}^3$。

接下来就是取对数转换为累加，然后通过求导令式子为0来求极值，求出$p$的结果。

②最大后验概率估计（MAP）-贝叶斯派模型参数估计的常用方法。

根据已知样本，来通过调整模型参数使得模型能够产生该数据样本的概率（后验概率）最大，只不过对于模型参数有了一个先验假设，即模型参数可能满足某种分布，不再一味地依赖数据样例（万一数据量少或者数据不靠谱呢）。

• 例子：抛一枚硬币10次，有10次正面朝上，0次反面朝上。求正面朝上的概率$p$。

在频率派看来，利用极大似然估计可以得到$p=10/10=1$。显然当缺乏数据时MLE可能会产生严重的偏差。

如果我们利用极大后验概率估计来看这件事，先验认为大概率下这个硬币是均匀的（例如最大值取在0.5处的Beta分布），那么$P(p|X)$是一个分布，最大值会介于0.5~1之间，而不是武断的给出$p=1$。

4、贝叶斯定理

不管是在投资领域，还是机器学习，或是日常生活中，几乎都在用到贝叶斯定理。
生命科学家用贝叶斯定理研究基因是如何被控制的；教育学家突然意识到，学生的学习过程其实就是贝叶斯法则的运用；基金经理用贝叶斯法则找到投资策略；Google用贝叶斯定理改进搜索功能，帮助用户过滤垃圾邮件；无人驾驶汽车接收车顶传感器收集到的路况和交通数据，运用贝叶斯定理更新从地图上获得的信息；人工智能、机器翻译中大量用到贝叶斯定理。

4.1 贝叶斯定理有什么用

【例子】一个抽奖箱子里有10个球，其中2个白球，8个黑球，抽到白球就算你中奖。你伸手进去随便摸出1颗球，摸出中奖球的概率是多大？
根据频率概率的计算公式，你可以轻松的知道中奖的概率是2/10。

以上的问题其实是属于一个“正概率”问题。而贝叶斯定理的提出是为了解决一个“逆概率”问题。比如上面的例子我们并不知道抽奖箱子里有什么，而是摸出一个球，通过观察这个球的颜色，来预测这个箱子里里白色球和黑色球的比例。

这个预测其实就可以用贝叶斯定理来做。
贝叶斯定理席卷了概率论，并将应用延伸到各个问题领域。可以说，所有需要作出概率预测的地方都可以见到贝叶斯定理的影子，贝叶斯是机器学习的核心方法之一。例如垃圾邮件过滤，中文分词，艾滋病检查，肝癌检查等。

为什么贝叶斯定理在现实生活中这么有用呢？
这是因为现实生活中的问题，大部分都是像上面的“逆概率”问题。生活中绝大多数决策面临的信息都是不全的，我们手中只有有限的信息。既然无法得到全面的信息，我们就在信息有限的情况下，尽可能做出一个好的预测。
比如天气预报说，明天降雨的概率是30%，这是什么意思呢？
我们无法像计算频率概率那样，重复地把明天过上100次，然后计算出大约有30次会下雨。
而是只能利用有限的信息（过去天气的测量数据），用贝叶斯定理来预测出明天下雨的概率是多少。
同样的，在现实世界中，我们每个人都需要预测。想要深入分析未来、思考是否买股票、政策给自己带来哪些机遇、提出新产品构想，或者只是计划一周的饭菜。
贝叶斯定理就是为了解决这些问题而诞生的，它可以根据过去的数据来预测出概率。
贝叶斯定理的思考方式为我们提供了明显有效的方法来帮助我们提供能力，以便更好地预测未来的商业、金融、以及日常生活。

4.2 什么是贝叶斯定理

条件概率公式：（在B条件下发生A的概率）
$$P(A|B)=\frac{P(AB)}{P(B)}$$
乘法公式：$$P(AB)=P(A|B)P(B)=P(B|A)P(A)$$
全概率公式：$$P(B)=P(B|A)P(A)+P(B|A^{\prime })P(A^{\prime })$$
贝叶斯公式：（乘法公式/全概率公式）
$$P(A|B)=\frac{P(AB)}{P(B)}=P(A)\frac{P(B|A)}{P(B)}$$
我们还是从一个例子开始聊起。
小鹿说，他的女神每次看到他的时候都冲他笑，他想知道女神是不是喜欢他呢？
下面我们一起用贝叶斯帮小鹿预测下女神喜欢他的概率有多大，这样小鹿就可以根据概率的大小来决定是否要表白女神。
首先，我分析了给定的已知信息和未知信息：
1）要求解的问题：女神喜欢你，记为A事件
2）已知条件：女神经常冲你笑，记为B事件
所以说，$P(A|B)$是女神经常冲你笑这个事件（B）发生后，女神喜欢你（A）的概率。

从公式来看，我们需要知道这么3个事情：

1）先验概率

我 们把$P(A)$称为“先验概率”，即在不知道B事件的前提下，我们对A事件概率的一个主观判断。这个例子里就是在不知道女神经常对你笑的前提下，来主观判断出女神喜欢一个人的概率，这里我们假设是50%，也就是不能喜欢你，可能不喜欢还你的概率都是一半。

2）可能性函数

$P(B|A)/P(B)$称为“可能性函数”，这是一个调整因子，即新信息B带来的调整，作用是使得先验概率更接近真实概率。
可能性函数你可以理解为新信息过来后，对先验概率的一个调整。比如我们刚开始看到“人工智能”这个信息，你有自己的理解（先验概率/主观判断），但是当你学习了一些数据分析，或者看了些这方面的书后（新的信息），然后你根据掌握的最新信息优化了自己之前的理解（可能性函数/调整因子），最后重新理解了“人工 智能”这个信息（后验概率）。
如果“可能性函数”$P(B|A)/P(B)>1$，意味着“先验概率”被增强，事件A的发生的可能性变大；
如果“可能性函数”$P(B|A)/P(B)=1$，意味着B事件无助于判断事件A的可能性；
如果“可能性函数”$P(B|A)/P(B)<1$，意味着"先验概率"被削弱，事件A的可能性变小。

3）后验概率

$P(A|B)$称为“后验概率”，即在B事件发生之后，我们对A事件概率的重新评估。这个例子里就是在女神冲你笑后，对女神喜欢你的概率重新预测。

现在我们再回头看一遍贝叶斯公式，你现在就能明白这个公式背后的最关键思想了：
我们先根据以往的经验预估一个“先验概率”$P(A)$，然后加入新的信息（实验结果B），这样有了新的信息后，我们对事件A的预测就更加准确。
因此，贝叶斯定理可以理解成下面的式子：
后验概率（新信息出现后的A概率）＝先验概率（A概率）ｘ可能性函数（新信息带来的调整）。

贝叶斯的底层思想就是：

如果我能掌握一个事情的全部信息，我当然能计算出一个客观概率（古典概率）。
可是生活中绝大多数决策面临的信息都是不全的，我们手中只有有限的信息。既然无法得到全面的信息，我们就在信息有限的情况下，尽可能做出一个好的预测。也就是，在主观判断的基础上，你可以先估计一个值（先验概率），然后根据观察的新信息不断修正（可能性函数）。

其实阿尔法狗也是这么战胜人类的，简单来说，阿尔法狗会在下每一步棋的时候，都可以计算自己赢棋的最大概率，就是说在每走一步之后，他都可以完全客观冷静的更新自己的信念值，完全不受其他环境影响。

4.3 贝叶斯定理的应用案例

每一个医学检测，都存在假阳性率和假阴性率。所谓假阳性，就是没病，但是检测结果显示有病。假阴性正好相反，有病但是检测结果正常。

假设检测准确率是99%，如果医生完全依赖检测结果，也会误诊，即假阳性的情况，也就是说根据检测结果显示有病，但是你实际并没有得病。

举个更具体的例子，因为艾滋病潜伏期很长，所以即便感染了也可能在相当长的一段时间身体没有任何感觉，所以艾滋病检测的假阳性会导致被测人非常大的心理压力。

你可能会觉得，检测准确率都99%了，误测几乎可以忽略不计了吧？所以你觉得这人肯定没有患艾滋病了对不对？

但我们用贝叶斯分析算一下，你会发现你的直觉是错误的。

• 例子：设某种疾病的发病率是0.001，即1000人中会有1个人得病。现有一种试剂可以检验患者是否得病，它的准确率是0.99，即在患者确实得病的情况下， 它有99%的可能呈现阳性。它的误报率是5%，即在患者没有得病的情况下，它有5%的可能呈现阳性。现有一个病人的检验结果为阳性，请问他确实得病的可能性有多大？

step1分解问题：

1）要求解的问题：病人的检验结果为阳性，他确实得病的概率有多大？

病人的检验结果为阳性（新的信息）为事件B，他得病记为事件A，那么求解的就是$P(A|B)$，即病人的检验结果为阳性，他确实得病的概率。

2）已知信息：疾病的发病率是0.001，即$P(A)=0.001$。

试剂可以检验患者是否得病，准确率是0.99，即在患者确实得病的情况下（A），它有99%的可能呈现阳性（B），也就是$P(B|A)=0.99$，试剂的误报率是5%，即在患者没有得病的情况下，它有5%的可能呈现阳性得病我们记为事件A，那么没有得病就是事件A的反面，记为A’，所以这句话就是$P(B|A^{\prime })=5\%$。

step2应用贝叶斯定理：
1）求先验概率$P(A)$：

疾病的发病率是0.001，即$P(A)=0.001$。

2）求可能性函数$P(B|A)/P(B)$：

其中，$P(B|A)$表示在患者确实得病的情况下（A），试剂呈现阳性的概率，从前面的已知条件中我们已经知道$P(B|A)=0.99$。

现在只有求出$P(B)$就可以得到答案。根据全概率公式，可以求得$P(B)=P(B|A)P(A)+P(B|A^{\prime })P(A^{\prime })=0.05$。

所以可能性函数$P(B|A)/P(B)=0.99/0.05=19.8$。

3）带入贝叶斯公式求后验概率$P(A|B)$：

我们得到了一个惊人的结果，$P(A|B)=1.98\%$。

也就是说，虽然筛查的准确率都高达99%了，但是如果通过体检结果呈现阳性，真正得病概率也只有1.98%。

为什么会这样呢？我们拿艾滋病来说，由于艾滋病实在是小概率事件，所以当我们对一大群人做艾滋病筛查时，虽说准确率有99%，但仍然会有相当一部分人因为误测而被诊断为艾滋病，这一部分人在人群中的数目甚至比真正艾滋病患者的数目还要高。

造成这么不靠谱的误诊的原因，是我们无差别地给一大群人做筛查，而不论测量准确率有多高，因为正常人的数目远大于实际的患者，所以误测造成的干扰就非常大了。

根据贝叶斯定理，我们知道提高先验概率，可以有效的提高后验概率。

所以解决的办法倒也很简单，就是先锁定可疑的样本，比如10000人中检查出现问题的那10个人，再独立重复检测一次，因为正常人连续两次体检都出现误测的概率极低，这时筛选出真正患者的准确率就很高了，这也是为什么许多疾病的检测，往往还要送交独立机构多次检查的原因。

这也是为什么艾滋病检测第一次呈阳性的人，还需要做第二次检测，第二次依然是阳性的还需要送交国家实验室做第三次检测。

在《医学的真相》这本书里举了个例子，假设检测艾滋病毒，对于每一个呈阳性的检测结果，只有50%的概率能证明这位患者确实感染了病毒。但是如果医生具备先验知识，先筛选出一些高风险的病人，然后再让这些病人进行艾滋病检查，检查的准确率就能提升到95%。

二、实战篇

待完成…

【参考资料】

1. 斯坦福大学Andrew Ng《CS229》
2. 周志华《机器学习》
3. 王圣元《快乐机器学习》
4. AI MOOC《机器学习算法基础》
5. Datawhale公众号
6. 简书：https://www.jianshu.com/p/4d5e3655269e

【感谢阅读！如有错误，欢迎指正，谢谢！】