基于深度学习智能问答笔记

自动问答系统的两个主要难题是：1.问句的真实意图分析。2.问句与答案之间的匹配关系判别。

        问答系统可分为面向限定域的问答系统，面向开放域的问答系统，面向常用问题集（FAQ）的问答系统。依据答案的不同数据来源，问答系统可以划分为基于结构化数据问答系统，基于问答对的问答系统。按照答案生成反馈机制划分，问答系统可以划分为基于检索式的问答系统和基于生成式的问答系统。

基于检索式的问答系统，包括三部分：问句理解、信息检索、答案生成。

问句理解：

根据问句的语义结构，可以从问题类别和问题内容两方面来表示。通常采用自然语言技术对问题进行深层次的理解，包括命名实体识别、依存句法分析、词义消歧等。

问句理解主要包括问句分类、主题焦点提取、问题扩展处理。问句分类是将用户提问归入不同的类别，使系统能够针对不同问题类型采用不同的答案反馈机制得到候选答案集合。问答系统通常使用机器学习算法训练问题分类器来实现用户提问的分类。主题焦点提取主要完成用户问题的信息需求的精确定位，其中主题表示问句的主要背景或者用户的感兴趣的对象，焦点则是用户询问的有关主题的内容，通常是问句话题的相关信息或对话题起到描述性的作用，比如属性、动作、实例等等。问题扩展是将用户在提问中没有充分表达的意思补充出来，对问题中潜在的信息显化出来，从而提高答案检索的召回率。

信息检索：

对于基于自由文本数据的问答系统，信息检索过程是一个逐渐缩小答案范围的过滤过程，主要包括文档检索和段落句群检索。对于基于问句答案对的问答系统，信息检索处理是通过问句检索得到与用户提问相似的候选问句，返回对应的候选答案列表。

通常问答系统的检索模型主要包括布尔模型、向量空间模型、语言模型、概率模型。

问句检索的主要问题在于如何缩小用户提问与知识库中问句之间的语义鸿沟。近几年，研究人员采用基于翻模模型的方法计算从用户提问“翻译”到检索问句的翻译概率，从而实现相似性问句检索。

答案生成：

答案生成模块主要实现候选答案的抽取答案的置信度计算，最终返回简洁性、正确性的答案。按照答案信息粒度，候选答案抽取可以分为段落答案抽取、句子答案抽取、词汇短语答案抽取。段落答案抽取是将一个问题的多个相关答案信息进行汇总、压缩，整理出一个完整简洁的答案（本质上是信息摘要）。

句子答案抽取是将候选答案信息进行提纯，通过匹配计算过滤表面相关，实际语义不匹配的错误答案置信度计算是将问题与候选答案进行句法和语义层面上的验证处理，从而保证返回答案是与用户提问最为匹配的结果。应用最广泛是基于统计机器学习的置信度计算方法。这种方法通常定义一系列词法、句法、语义以及其他相关特征（如编辑距离、BM25等）来表示问题与候选答案之间的匹配关系，并使用分类器的分类置信度作为答案的置信度。例如IBMWaston中使用的答案融合和特征排序方法[15]，以及基于关系主题空间特征的多核SVM分类方法[16]。

近几年，基于自然语言处理的问答匹配验证通常是使用句子的浅层分析获得句子的浅层句法语法信息，然后将问句与答案的句法树（短语句法树或依存句法树）进行相似性计算[17-20]。然而，问答系统的答案正确性更需满足问题和答案之间的语义匹配，比如问“苹果6splus最新活动价多少”，如果回答“红富士苹果降到了12元”，就属于所答非所问。常用的方法是通过引入诸如语义词典（WordNet），语义知识库（Freebase）等外部语义资源进行问答语义匹配建模[21-23]，以此提高问句答案间的语义匹配计算性能。。词汇短语抽取是采用语言的深层结构分析技术从候选答案中准确地提取答案词或短语。

问答领域所需解决的两个关键问题：一是如何实现问句及答案的语义表示。无论是对于用户提问的理解，还是答案的抽取验证，都需抽象出问题和答案的本质信息的表示。这不仅需要表示问答语句的句法语法信息，更需表示问句及答案在语义层面上的用户意图信息和语义层匹配信息。二是如何实现问句答案间的语义匹配。为了保证反馈用户提问的答案满足严格语义匹配，系统必须合理利用语句高层抽象的语义表示去捕捉到两个文本之间关键而细致的语义匹配模式。鉴于近几年卷积神经网络（CNN）和循环神经网络（RNN）在NLP领域任务中表现出来的语言表示能力，越来越多的研究人员尝试深度学习的方法完成问答领域的关键任务。例如问题分类（questionclassification），答案选择（answerselection），答案自动生成（answergeneration）。此外，互联网用户为了交流信息而产生的大规模诸如微博回复、社区问答对的自然标注数据[50]，给训练深度神经网络模型提供了可靠的数据资源，并很大程度上解决自动问答研究领域的数据匮乏问题。

基于语义的表示方法有两种：

CNN与RNN

基于问答语义的匹配架构有两种：

并列匹配架构：

这种架构的匹配模型分别将两句话输入到两个CNN句子模型，可以得到它们的语义表示（实数值向量）。之后，再将这两个语义表示输入到一个多层神经网络，判断两句话语义的匹配程度，从而判断给定的两句话和是否可以成为一对句子匹配对（问答对）。

交互匹配架构：

第二种基于DCNN的语义匹配架构为交互匹配[39]架构。与并列匹配不同，交互匹配的基本想法是直接对两个句子的匹配模式进行学习，在模型的不同深度对两个句子间不同粒度的局部之间进行交互，学习得到句子匹配在不同层次上的表示，最终得到句子对固定维度的匹配表示，并对匹配表示进行打分。