连续语音识别系统的识别结果是一个词序列。解码实际上是对词表的所有词反复搜索。词表中词的排列方式会影响搜索的速度，而词的排列方式就是字典的表示形式。Sphinx系统中采用音素作为声学训练单元，通常字典就用来记录每个单词由哪些个音素组成，也可以理解为对每个词的发音进行标注。

         N-best搜索和多遍搜索：为在搜索中利用各种知识源，通常要进行多遍搜索，第一遍使用代价低的知识源（如声学模型、语言模型和音标词典），产生一个候选列表或词候选网格，在此基础上进行使用代价高的知识源（如4阶或5阶的N-Gram、4阶或更高的上下文相关模型）的第二遍搜索得到最佳路径。

对于语音识别过程个人的理解：

      例如我对电脑说：“帮我打开“我的电脑”！”然后电脑得理解我说了什么，然后再执行打开“我的电脑”的操作，那怎么实现呢？

       这个得预先有一个工作，就是电脑得先学会“帮我打开“我的电脑”！”这句语音（实际上是一个波形）所代表的文字就是“帮我打开“我的电脑”！”这句词串。那么如何让它学会呢？

       如果以音节（对汉语来说就是一个字的发音）为语音基元的话，那么电脑就是一个字一个字地学习，例如“帮”字、“我”字等等，那么“帮”字怎么学习呢？也就是说电脑接收到一个“帮”字的语音波形，怎么分析理解才知道它代表的是“帮”字呢？首先我们需要建立一个数学模型来表示这个语音。因为语音是连续的不平稳的信号，但是在短的时间内可以认为是平稳的，所以我们需要分割语音信号为一帧一帧，假如大概25ms一帧，然后为了让每一帧平稳过渡，我们就让每帧见存在重叠，假如重叠10ms。这样每帧的语言信号就是平稳的了，再从每帧语音信号中提取反映语音本质特征的信息（去除语音信号中对于语音识别无用的冗余信息，同时达到降维）。那么采用什么特征最能表达每一帧的语音呢？MFCC是用的比较多的一种，这里不介绍了。然后我们就提取每一帧语音的MFCC特征，得到了是一系列的系数，大概四五十个这样，sphinx中是39个数字，组成了特征向量。好，那么我们就通过39个数字来描述每一帧的语音了，那不同的语音帧就会有不同的39个数字的组合，那我们用什么数学模型去描述这39个数字的分布情况呢？这里我们可以用一个混合高斯模型来表示着39个数字的分布，而混合高斯模型就存在着两个参数：均值和方差；那么实际上每一帧的语音就对应着这么一组均值和方差的参数了。呵呵，挺啰嗦的啊。

       好了，这样“帮”字的语音波形中的一帧就对应了一组均值和方差（HMM模型中的观察序列），那么我们只需要确定“帮”字（HMM模型中的隐含序列）也对应于这一组均值和方差就可以了。那么后者是怎么对应的呢？这就是训练的作用了！我们知道描述一个HMM模型需要三个参数：初始状态概率分布π、隐含状态序列的转移矩阵A（就是某个状态转移到另一个状态的概率观察序列中的这个均值或者方差的概率）和某个隐含状态下输出观察值的概率分布B（也就是某个隐含状态下对应于）；而声学模型可以用HMM模型来建模，也就是对于每一个建模的语音单元，我们需要找到一组HMM模型参数（π，A，B）就可以代表这个语音单元了。那么这三个参数怎么确定呢？训练！我们给出一个语音的数据库，指明说这个语音代表这个词，然后让电脑去学习，也就是对数据库进行统计，得到（π，A，B）这三个参数。

         好了，一个字（建模单元）的声学模型建立了。那汉语是不是有很多个字啊，那我们就得对每一个建立声学模型了。假设就有几千个模型，然后每个模型就有了三个或者5个HMM状态，那么如果你说的句子有10个字，那我们就得搜索这所有可能的模型去匹配你的语音，那是多么大的搜索空间了，这非常耗时。那我们就需要采用一个比较优的搜索算法了（这里是Viterbi-Beam算法），它每搜索到一个状态点，就保留概率最大的，然后舍弃之前的状态点，这样就裁剪了很多的搜索路径，但因为忽略了之前的路径，所以它就只能得到一个局部的最优解。

        那假如出现以下情况呢？例如，It’s a nice day，从语音上可能会被识别为：It sun niced A，或者是Itson ice day。从声学模型来看它是无法区别这些结果，因为其不同之处只是在于每个单词的边界划分位置不同造成的。这时候语言模型就该闪亮登场了，从语义上判断那个结果出现的概率最大，即为搜索结果。语言模型N-Gram基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。这样就可以约束搜索，增加识别的准确率了。

       好了，有点啰嗦啊，我也是前几天为了要将语音识别加入到我的人机交互系统，然后才去了解语音识别的，所以可能理解不是很正确，希望各位不吝指正！谢谢

对于一些语音的基本概念我翻译了CMUsphinx的wiki的部分，具体见：

http://blog.csdn.net/zouxy09/article/details/7941055

补充的一些概念：（整理自百度百科）

音节：

      音节是听觉能感受到的最自然的语音单位，有一个或几个音素按一定规律组合而成。

汉语音节:

       汉语中一个汉字就是一个音节，每个音节由声母、韵母和声调三个部分组成；汉语普通话中的无调音节（不做音调区分）共有400个音节。拼音是拼读音节的过程，就是按照普通话音节的构成规律，把声母、韵母、声调急速连续拼合并加上声调而成为一个音节。如：q-i-áng→qiáng（强）。

英语音节：

        音节是读音的基本单位，任何单词的读音，都是分解为一个个音节朗读。英语中一个元音音素可构成一个音节，一个元音音素和一个或几个辅音音素结合也可以构成一个音节。英语的词有一个音节的，两个音节的，多个音节的。一个音节叫单音节词，两个音节叫双音节词，三个音节以上叫多音节。如：take拿，ta'ble 桌子，po‘ta'to马铃薯，po’pu‘la'tion人口，con’gra‘tu’la'tion祝贺。te‘le’com‘mu‘ni’ca'tion电讯。

        元音音素是构成音节的主体，辅音是音节的分界线。每个元音音素都可以构成一个音节，如：bed床，bet 打赌。两个元音音素都可以构成一个音节，如：seat坐位，beat 毒打，beast极好的。两元音音素之间有一个辅音音素时，辅音音素归后一音节，如：stu'dent学生，la'bour 劳动。有两个辅音音素时，一个辅音音素归前一音节，一个归后一音节，如： win'ter冬天 fa'ther 父亲，tea'cher教师。

音素：

         音素是根据语音的自然属性划分出来的最小语音单位。从声学性质来看，音素是从音质角度划分出来的最小语音单位。从生理性质来看，一个发音动作形成一个音素。如〔ma〕包含〔m〕〔a〕两个发音动作，是两个音素。相同发音动作发出的音就是同一音素，不同发音动作发出的音就是不同音素。如〔ma-mi〕中，两个〔m〕发音动作相同，是相同音素，〔a〕〔i〕发音动作不同，是不同音素。

汉语音素：

        音节只是最自然的语音单位，而音素是最小的语音单位音素。汉语包括10个元音，22个辅音，总共有32个。一个音节，至少有一个音素，至多有四个音素。如“普通话”，由三个音节组成（每个字一个音节），可以分析成“p,u,t,o,ng,h,u,a”八个音素。

英语音素：

      记录英语音素的符号叫做音标。英语国际音标共有48个音素，其中元音音素20个，辅音音素28个。英语辅音和元音在语言中的作用，就相当于汉语中的声母和韵母。

语料：

        通常，在统计自然语言处理中实际上不可能观测到大规模的语言实例。所以，人们简单地用文本作为替代，并把文本中的上下文关系作为现实世界中语言的上下文关系的替代品。我们把一个文本集合称为语料库（Corpus），当有几个这样的文本集合的时候，我们称之为语料库集合（Corpora）。语料库通常指为语言研究收集的、用电子形式保存的语言材料，由自然出现的书面语或口语的样本汇集而成，用来代表特定的语言或语言变体。

语料库就是把平常我们说话的时候的句子、一些文学作品的语句段落、报刊杂志上出现过的语句段落等等在现实生活中真实出现过的语言材料整理在一起，形成一个语料库，以便做科学研究的时候能够从中取材或者得到数据佐证。

例如我如果想写一篇关于“给力”这个词的普及性的文章，就可以到语料库中查询这个词出现的频率、用法等等。