贝叶斯原理

介绍贝叶斯网络前，我们先说一下贝叶斯定理。我们在大学学概率论的时候就听过贝叶斯定理了。
在贝叶斯中，经常提到的就是条件概率，也叫作后验概率。它的意思是事件A在事件B已经发生的条件下仍然发生的概率，表示为P(A|B)，读作“在B条件下A的概率”。

先验概率：通过经验来判断事情发生的概率，就是先验概率，再比如南方的梅雨季是 6-7 月，就是通过往年的气候总结出来的经验，这个时候下雨的概率就比其他时间高出很多。
后验概率：后验概率就是发生结果之后，推测原因的概率。它是属于条件概率的一种。
条件概率：事件 A 在另外一个事件 B已经发生条件下的发生概率，表示为 P(A|B)，读作“在 B 发生的条件下 A 发生的概率”。
朴素贝叶斯
接下来我们讲一下算法的核心思想，朴素贝叶斯是什么。朴素贝叶斯是一种简单但是却很强大的预测建模算法。因为它们之间的变量是独立的，所以它称作朴素贝叶斯。但这是一个强硬的假设，实际情况并不一定符合，但是这项技术对于绝大部分的复杂问题仍然非常有效。在日常生活中，如果我们遇见一个陌生人。一般要判断这个人的性别，那么根据经验，我们就会以身高、体重、鞋码、头发长短、声音等角度来判断。

贝叶斯分类
贝叶斯分类，也叫贝叶斯网络又叫做有向无环图模型，是一种概率图模型，有向无环图中的每个节点表示随机变量，它们可以是可观察到的变量或者隐藏变量，未知参数等。若两个节点之间可以用一个单向的箭头连接，就认为它们之间是因果关系，并且它们的关系是独立的。一个节点代表因，另一个节点代表果，两个节点就会产生一个条件概率。这样就形成了贝叶斯网络。

在sklearn 机器学习包中，给我们提供了 3 个朴素贝叶斯分类算法，分别是高斯朴素贝叶斯（GaussianNB）、多项式朴素贝叶斯（MultinomialNB）和伯努利朴素贝叶斯（BernoulliNB）。这三种算法适合应用在不同的场景下，我们应该根据特征变量的不同选择不同的算法：

高斯朴素贝叶斯：特征变量是连续变量，符合高斯分布，比如说人的身高，物体的长度。
多项式朴素贝叶斯：特征变量是离散变量，符合多项分布，在文档分类中特征变量体现在一个单词出现的次数，或者是单词的 TF-IDF值等。(TF是指词频，也就是一个单词在文档中出现的次数。在NLP中，一般认为一个单词出现的次数与它的重要性成正比。而IDF是逆向文档频率，是指一个单词在文档中的区分度。如果一个单词在一个文档中出现的次数越少，那么就容易通过这个单词将这个文档和其他文档区分开。IDF越大就代表该单词的区分度越大。)

伯努利朴素贝叶斯：特征变量是布尔变量，符合 0/1 分布，在文档分类中特征是单词是否出现。
伯努利朴素贝叶斯是以文件为粒度，如果该单词在某文件中出现了即为 1，否则为0。而多项式朴素贝叶斯是以单词为粒度，会计算在某个文件中的具体次数。而高斯朴素贝叶斯适合处理特征变量是连续变量，且符合正态分布（高斯分布）的情况。比如身高、体重这种自然界的现象就比较适合用高斯朴素贝叶斯来处理。而文本分类是使用多项式朴素贝叶斯或者伯努利朴素贝叶斯。

为什么要将贝叶斯和马尔科夫放在一起讲呢，因为它们都是涉及到图模型的算法。我们先理清这几个概念：
1.将随机变量作为结点，如果他们之间是相关的，或者不独立，就将他们练成一条线；如果给定若干个随机变量，那么这样就会形成一个有向图，也就是网络。
2.如果这个网络是有向无环图，就称之为贝叶斯网络。
3.如果这个图退化成线性链的方式，就可以得到马尔科夫模型；因为其中的每一个结点都是随机变量，当将这些看成每个时刻或者空间的相关变化，叫做马尔科夫过程。
4.如果这个网络是无向的，就是无向图模型，又称作马尔科夫随机场或者马尔科夫网络。

马尔科夫
上面说了，有向图的模型叫做贝叶斯网络，没有方向的模型就叫马尔科夫随机场或者马尔科夫网络，广泛应用在语音识别，词性自动标注，音字转换，概率文法等各个自然语言处理等应用领域。经过长期发展，尤其是在语音识别中的成功应用，使它成为一种通用的统计工具。到目前为止，它一直被认为是实现快速精确的语音识别系统的最成功的方法。
马尔科夫过程是一类随机过程，它代表在目前这个已知的状态下，它接下来这个时刻的状态不会依赖于当下它这个过去的状态。如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。
每个状态的转移只依赖于之前的n个状态，这个过程被称为1个n阶的模型，其中n是影响转移状态的数目。最简单的马尔可夫过程就是一阶过程，每一个状态的转移只依赖于其之前的那一个状态，这个也叫作马尔可夫性质。