对输入的原始语音信号进行处理(输入的语言信号首先要进行反混叠滤波、 采样、 A/D转换 等过程进行数字化， 之后要进行预处理， 包括预加重、 加窗和 分帧、 端点检测等。)，滤除掉其中的不重要的信息以及背景噪声，并进行语音信号的端点检测（找出语音信号的始末）、语音分帧（近似认为在10-30ms内是语音信号是短时平稳的，将语音信号分割为一段一段进行分析）以及预加重（提升高频部分）等处理。

目前主流的语音信号端点检测方法：

(1)短时能量En:反应语音振幅或能量随着事件缓慢变化的规律；

(2)短时平均过零率Zn:对于离散信号而言，是样本改变符号的次数，可以粗略分别清音和浊音；

(3)双门限端点检测：短时平均能量和过零率两者结合可以起到区分语音信号中的静音与语音信息的作 用，完成端点检测。一段完整的语音信号的可以分为三段：静音段、过渡段、语音段。 在静音段，过零率或能量越过了低门限，进入过渡段。在过渡段，过零率或能量都降低至低门限以下，则恢复到静音态；过零率或能量中的其中一个越过了高门限，则为进入了语音段。在低噪声情况下，双门限端点检测简单可靠。但在噪声较大的情况下，该方法失去判断能力，所以此方法的抗噪能力较差。 

       语音信号是一种典型的时变信号，然而如果把音频的参考时间控制在几十毫秒以内，则得到一段基本稳定的信号。去除语音信号中对于语音识别无用的冗余信息，保留能够反映语音本质特征的信息，并用一定的形式表示出来。也就是提取出反映语音信号特征的关键特征参数形成特征矢量序列，去掉那些相对无关的信息如背景噪声、信道失真等，以便用于后续处理。目前的较常用的提取特征的方法还是比较多的，不过这些提取方法都是由频谱衍生出来的。

目前主流的语音信号特征提取方法：

(1)线性预测系数(LPCC)：很好的模拟语音信号，语音信号是由声带振动发出的， 声带可以不振动也可以有周期的振动，分别对应清音（consonants）和浊音（vowels），每一段声管则对应一个LPC 模型的极点。通常极点个数在 12-16 个左右，即可清晰地描述信号的特征了。

(2)Mel频率倒谱系数（MFCC)参数

   人的听觉系统却是一种特殊的非线性系 统，它对不同频率信号的响应灵敏度有较大区别。 MFCC参数比LPC 参数更能够充分利用人耳的感知特性提高系统的识别性能，因其良好的抗噪性和鲁棒性而应用广泛。MFCC的计算首先用FFT将时域信号转化成频域，之后对其对数能量谱用依照Mel刻度分布的三角滤波器组进行卷积，最后对各个滤波器的输出构成的向量进行离散余弦变换DCT，取前N个系数。在sphinx中也是用MFCC特征的，用帧frames去分割语音波形，每帧大概10ms，然后每帧提取可以代表该帧语音的39个数字，这39个数字也就是该帧语音的MFCC特征，用特征向量来表示。

(3)小波分析

      声学模型的训练，即为建模过程。声学模型是识别系统的底层模型，是语音识别系统中最关键的部分。声学模型表示一种语言的发音声音，可以通过训练来识别某个特定用户的语音模式和发音环境的特征。根据训练语音库的特征参数训练出声学模型参数，在识别时可以将待识别的语音的特征参数同声学模型进行匹配与比较，得到最佳识别结果。

目前主流的声学模型训练方法：

     HMM是对语音信号的时间序列结构建立统计模型，将其看作一个数学上的双重随机过程:一个是用具有有限状态数的Markov链来模拟语音信号统计特性变化的隐含（马尔可夫模型的内部状态外界不可见）的随机过程，另一个是与Markov链的每一个状态相关联的外界可见的观测序列（通常就是从各个帧计算而得的声学特征）的随机过程。

    HMM 模型是语音信号时变特征的有参表示法。它由相 互关联的两个随机过程共同描述信号的统计特性，其中一个 是隐蔽的 （不可观测的） 具有有限状态的 Markor 链， 另一个是 与 Markor链的每一状态相关联的观察矢量的随机过程 （可观测的） 。HMM 很好的模拟了人得语言过程， 目前应用十分广泛。目前的主流语音识别系统多采用隐马尔可夫模型HMM进行声学模型建模。声学模型的建模单元，可以是音素，音节，词等各个层次。对于小词汇量的语音识别系统，可以直接采用音节进行建模。而对于词汇量偏大的识别系统，一般选取音素，即声母，韵母进行建模。识别规模越大，识别单元选取的越小。 

        人的言语过程实际上就是一个双重随机过程，语音信号本身是一个可观测的时变序列，是由大脑根据语法知识和言语需要（不可观测的状态）发出的音素的参数流（发出的声音）。HMM合理地模仿了这一过程，是较为理想的一种语音模型。用HMM刻画语音信号需作出两个假设，一是内部状态的转移只与上一状态有关，另一是输出值只与当前状态（或当前的状态转移）有关，这两个假设大大降低了模型的复杂度。所以HMM 可以 非常精确地描述语音信号的产生过程。 

       语音识别中使用HMM通常是用从左向右单向、带自环、带跨越的拓扑结构来对识别基元建模，一个音素就是一个三至五状态的HMM，一个词就是构成词的多个音素的HMM串行起来构成的HMM，而连续语音识别的整个模型就是词和静音组合起来的HMM。总之HMM 模型较为完整的表达了语音的声学模型，采用统计的训练方法将 上层的语言模型和底层的声学模型融入统一的语音识别搜索算法中，并获得更好 的效果。

    统计语言模型是用概率统计的方法来揭示语言单位内在的统计规律，其中N-Gram模型简单有效，被广泛使用。它包含了单词序列的统计。N-Gram模型基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积(即根据前面N-1个词汇的历史来决定下一个词可能出现的概率)。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。

         Sphinx中是采用二元语法和三元语法的统计语言概率模型，也就是通过前一个或两个单词来判定当前单词出现的概率P(w2| w1)，P(w3| w2, w1)。

       解码器：即指语音技术中的识别过程。针对输入的语音信号，根据己经训练好的HMM声学模型、语言模型及字典建立一个识别网络，根据搜索算法在该网络(识别网络)中寻找最佳的一条路径，这个路径就是能够以最大概率输出该语音信号的词串，这样就确定这个语音样本所包含的文字了。所以解码操作即指搜索算法：是指在解码端通过搜索技术寻找最优词串的方法。连续语音识别中的搜索，就是寻找一个词模型序列以描述输入语音信号，从而得到词解码序列。搜索所依据的是对公式中的声学模型打分和语言模型打分。在实际使用中，往往要依据经验给语言模型加上一个高权重，并设置一个长词惩罚分数。当今的主流解码技术都是基于Viterbi搜索算法的，Sphinx也是。模型参数得到后可以用Viterbi 算法来确定与观察序列对 应的最佳的状态序列。建好模型后，在识别阶段就是要计算每个模型产生观察符号序列的输出概率，输出概率最大的模型所表示的词就是我们的识别结果。

    基于动态规划的Viterbi算法在每个时间点上的各个状态，计算解码状态序列对观察序列的后验概率，保留概率最大的路径，并在每个节点记录下相应的状态信息以便最后反向获取词解码序列。Viterbi算法本质上是一种动态规划算法，该算法遍历HMM状态网络并保留每一帧语音在某个状态的最优路径得分。

    连续语音识别系统的识别结果是一个词序列。解码实际上是对词表的所有词反复搜索。词表中词的排列方式会影响搜索的速度，而词的排列方式就是字典的表示形式。Sphinx系统中采用音素作为声学训练单元，通常字典就用来记录每个单词由哪些个音素组成，也可以理解为对每个词的发音进行标注。

     N-best搜索和多遍搜索：为在搜索中利用各种知识源，通常要进行多遍搜索，第一遍使用代价低的知识源（如声学模型、语言模型和音标词典），产生一个候选列表或词候选网格，在此基础上进行使用代价高的知识源（如4阶或5阶的N-Gram、4阶或更高的上下文相关模型）的第二遍搜索得到最佳路径。