现在问答机器人真是火的不要不要的，大致分为两类：普适多场景的和单一专业场景的问答机器人。由于资源有限，不知死活的笔者只做了单一场景的分类器，如对海量数据、多场景的问答机器人感兴趣的话可以参考QA问答系统中的深度学习技术实现，对于该网站在NLP方面的贡献简直不能更感激（请允许献上我的膝盖）！

1. 问答语料库

由于仅面向业务，场景单一，所以训练集语料库只包含20类，共400多条问题，每类问题对应一个回答。

2. 训练词向量

不知死活的笔者决定兴师动众的选择word2vec将训练集语料转化为词向量作为模型的输入。关于word2vec的原理及其C语言的词向量训练方法，请参考word2vec词向量训练及中文文本相似度计算以及该博文内的链接。笔者根据【pythongensim使用】word2vec词向量处理中文语料用Python训练的中文词向量模型。（英文的词向量训练可以参考
利用Gensim训练关于英文维基百科的Word2Vec模型（Training Word2Vec Model on English Wikipedia by Gensim））

2.1 中文语料库

可以参考Windows下使用Word2vec继续词向量训练中提到的语料库，不知死活的笔者选择从搜狗实验室下载了全网新闻语料，不得不说，搜狗实验室是非常具有贡献力的！完整版1.02G，解压后2.22G，共378个文件，HTML格式，你值得拥有！

News List.png

2.2 分词合并

首先是分词，可供选择的工具有很多：Jieba、ANSJ、NLPIR、LTP等等，在此笔者选择Jieba进行分词：

import jieba  def readLines(filename):# read txt or csv filefp = open(filename, 'r')lines = []for line in fp.readlines():line = line.strip()line = line.decode("utf-8")lines.append(line)fp.close()return linesdef parseSent(sentence):# use Jieba to parse sentencesseg_list = jieba.cut(sentence)output = ' '.join(list(seg_list)) # use space to join themreturn output

然后将所有文档合并，并写入corpus.csv中：

import re  
import codecs  
import os # only content is valid
pattern = "<content>(.*?)</content>"
csvfile = codecs.open("corpus.csv", 'w', 'utf-8')
fileDir = os.listdir("./corpus/")
for file in fileDir:with open("./corpus/%s" % file, "r") as txtfile:for line in txtfile:m = re.match(pattern, line)if m:segSent = parseSent(m.group(1))csvfile.write("%s" % segSent)

特别mark以下，codecs这个包在调整编码方面的贡献真的不要太大，尤其是常常对于中文编码无力的不知死活的笔者来说，简直是神器！
对于中文的编码处理：utf-8 --> unicode --> utf-8

2.3 训练word2vec模型

在此，笔者使用gensim的word2vec进行词向量的训练：

from gensim.models import word2vec
import logginglogging.basicConfig(format = '%(asctime)s : %(levelname)s : %(message)s', level = logging.INFO)
sentences = word2vec.Text8Corpus("corpus.csv")  # 加载语料
model = word2vec.Word2Vec(sentences, size = 400)  # 训练skip-gram模型# 保存模型，以便重用
model.save("corpus.model")
# 对应的加载方式
# model = word2vec.Word2Vec.load("corpus.model")# 以一种C语言可以解析的形式存储词向量
model.save_word2vec_format("corpus.model.bin", binary = True)
# 对应的加载方式
# model = word2vec.Word2Vec.load_word2vec_format("corpus.model.bin", binary=True)

关于调参，可自行参考gensim文档。

2.4 获得词向量

接下来就是使用上述获得的model将训练集的中文语料转化为词向量：

def getWordVecs(wordList):vecs = []for word in wordList:word = word.replace('\n', '')try:# only use the first 500 dimensions as input dimensionvecs.append(model[word])except KeyError:continue# vecs = np.concatenate(vecs)return np.array(vecs, dtype = 'float')

3. 构建模型

3.1 Naive Bayes

效果良好，效率高！

from sklearn.naive_bayes import MultinominalNBMNB = MultinominalNB(alpha = 0.000607)

3.2 Random Forest

效果良好，效率一般。

from sklearn.ensemble import RandomForestClassifierRFC = RandomForestClassifier(min_samples_leaf = 3, n_estimators = 100)

3.3 RBM + Logistic Regression

效果很好，效率很低……由于这个模型只需要训练一次，所以效率关系不大（抱歉我随便乱用模型，实际上这模型本身来源于sklearn上的实例……原本着使用效果至上的原则，然而至于为何这样搭配……）

from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.neural_network import BernoulliRBMrbm.learning_rate = 0.07
rbm.n_iter = 50
# more components tend to give better prediction performance, but larger fitting time
rbm.n_components = 800
rbm.batch_size = 10
logistic.C = 10000.0
rbm = BernoulliRBM(random_state = 0, verbose = True)
logistic = LogisticRegression()
clf = Pipeline(steps = [('rbm', rbm), ('logistic', logistic)])

总的来说，神经网络（例如MLP）对这类文本分类问题效果普遍不错，至于传统机器学习算法，朴素贝叶斯也有不俗的表现。

4. 其他

这次学习到sklearn中一个非常有用的功能sklearn.externals.joblib，可用于导出训练好的模型，这对于training cost非常高的模型来说实在是非常好用啊！

from sklearn.externals import joblib# save classifier
joblib.dump(clf, "Classifier.pkl")
# load classifier
clf = joblib.load("Classifier.pkl")

其次就是sklearn中的sklearn.pipeline.Pipeline，将多个模型结合在一起，通过Pipeline的方式进行训练，真的是非常方便啊！

from sklearn.pipeline import Pipelineclf = Pipeline(steps = [clf1, clf2])