0. 时间序列的定义

时间序列是一族依赖于时间 $t$ 的随机变量，它在统计学上被称作随机过程。设 $T$ 是一段无限长时间的时刻实数集，随机过程是依赖于参数 $t\in T$ 的一族（无限多个）随机变量，记作{X(t),t∈T}\{ X(t), t \in T \}{X(t),t∈T}。

其中，$T$ 叫做参数集，$X(t)$为 $t$ 时刻时随机过程的状态，而 $X(t_i)=x_i,x_i\in R$ 说成是 $t_i$ 时刻时，随机过程的状态 $X(t_i)$ 的一个观测值 $x_i$ 。

自然语言就是一种典型的时间序列数据。

1. 机器学习时间序列模型

1.1 马尔可夫模型

马尔可夫模型，是指假设时间序列（随机过程）满足无后效性（又称马尔科夫性）和转移概率具有平稳性的齐次马尔科夫过程的模型，它认为一个给定过程的未来状态仅取决于当前状态。

根据过程状态是否完全可被观测，自然语言处理任务涉及的常见马尔可夫模型分为两类：马尔可夫链和隐马尔可夫模型（HMM）。

1.1.1 马尔科夫链

马尔科夫链，在自然语言处理任务中，常用于简化语言模型中的条件概率计算，具体内容请详见作者文章：自然语言处理 (NLP)：语言模型

1.1.2 隐马尔科夫模型（HMM）

隐马尔科夫模型，请详见作者文章：