说到文本相似度和文本距离，他们其实是亲兄弟，是一体两面的关系：

        相似度侧重于文本之间的相似性，距离侧重文本之间的差异性。将相似度或者距离的度量指标压缩到[0,1]这个区间，则有这样的关系：相似度 = 1 -距离

一，文本相似性度量的应用场景。

通常，在文本挖掘的过程中，我们会经常涉及到以下3个文本相似度度量的场景：

        （1）两个文本之间，比如比较“我是北京人”和“我是帝都人”之间的语义相似度；

        （2）两个文本集合之间，比如两组词汇分布['国家','民族','政治制度','政党']，['少数民族','旅游','美食','客栈']的相似度，通常用在度量主题模型中各主题间的相似度上；

        （3）文本对象与文本集合，比如给定一条语句，在另一个语句库中找出若干条与其语义最为接近的语句来，比如基于LSI的相似文档检索。

二，文本相似性度量的意义。

（1）有了文本之间相似性的度量方法，便可以利用 基于划分法的K-means,基于密度的DBSCAN或者是基于主题模型的概率方法 对文本进行聚类分析。

（2）也可以利用文本之间的相似性，对大规模语料进行去重预处理。

（3）或者寻找某一实体名称的相关名称（模糊匹配）。

三，文本相似性度量的方法

最直接的是利用Hashcode, 以及经典的欧式距离，余弦距离。今天用的方法是Hellinger。

四，步骤。

1，载入主要的库和语料

载入库

载入语料，该语料库已经经过分词和去停用词处理，围绕着“苹果”一词展开：一个是关于“苹果公司”，另一个是关于“苹果这种水果”。

texts =  [['苹果','叶子','椭圆形','树上'],           ['植物','叶子','绿色','落叶乔木'],           ['水果','苹果','红彤彤','味道'],            ['苹果','落叶乔木','树上','水果'],           ['植物','营养','维生素'],           ['营养','维生素','苹果','成分'],            ['互联网','电脑','智能手机','高科技'],         ['苹果','公司','互联网','品质'],          ['乔布斯','苹果','硅谷'],          ['电脑','智能手机','苹果','乔布斯'],         ['苹果','电脑','品质','生意'],         ['电脑','品质','乔布斯'],          ['苹果','公司','生意','硅谷']]

2， 训练主题模型

 构建词汇映射表（词汇:词频）和语料库（词汇ID：词频）：

#构建词汇映射表（词汇:词频）和语料库（词汇ID：词频）：
dictionary=gensim.corpora.Dictionary(texts)
corpus= [dictionary.doc2bow(text) for text in texts]

训练主题模型：

#训练主题模型
numpy.random.seed(2019) # 设置随机种子以获得每次相同的结果。
model=gensim.models.ldamodel.LdaModel(corpus,id2word=dictionary, iterations=100,num_topics=2)
print(model.show_topics(num_words=10))#展示主题模型，显示每个主题下的TOP10主题词
#看看该主题模型中总计多少个词汇：
print(model.num_terms)

 

3， 基于训练好的主题模型来比较文档之间的相似度

在这里人为设定3个文档，基于上面训练的主题模型，用以比较它们之间的两两相似度。注意，它们已经过分词、去停用词处理，可直接用于后续的词袋表示和主题模型分布表示。

（1）将示例文档 向量化表示（词袋表示 和主题分布表示）

#基于训练好的主题模型来比较文档之间的相似度
doc1 = ['树上', '叶子', '植物']
doc2 = ['乔布斯', '智能手机', '互联网']
doc3 = [ '营养', '苹果','维生素']
#将上述3个文档转化为词袋表示
bow1 = model.id2word.doc2bow(doc1)
bow2 = model.id2word.doc2bow(doc2)
bow3 = model.id2word.doc2bow(doc3)
#获得这些（词袋表示）语句的LDA主题分布
lda_bow1 = model[bow1]
lda_bow2 = model[bow2]
lda_bow3 = model[bow3]

（2）用Hellinger 来度量上述语句之间的相似度/距离

对于两个概率分布，Hellinger距离度量给出了[0,1]范围内的输出，其值接近0意味着它们更相似。

#用Hellinger 来度量上述语句之间的相似度/距离
from gensim.matutils import hellinger
print(hellinger(lda_bow1, lda_bow3))
print(hellinger(lda_bow1, lda_bow2))
print(hellinger(lda_bow2, lda_bow3))

从上面的结果可以得知，文档1（['树上', '叶子', '植物']）和文档3（[ '营养', '苹果','维生素']）之间的相似度最高，hellinger度量的返回值约为0.05，因为它们同属一个主题（“苹果是水果”这一主题）的缘故，从小试牛刀的结果来看，hellinger度量主题相似性的效果还行。

接下来，我们验证一下这3个测试文档的主题分布.看是否跟笔者的判断一致：

print(model.get_document_topics(bow1))
print(model.get_document_topics(bow2))
print(model.get_document_topics(bow3))

 

4，主题分布的距离度量

虽然已有标准方法来识别文档的相似性，但我们的距离度量还有一个非常有趣的应用场景--- 主题分布（Topic Distributions）。

前面已由LDA拟合出了2个主题：

• 0 代表主题 '0.170"苹果" + 0.087"电脑" + 0.064"品质" + 0.063"乔布斯" + 0.053*"智能手机"

• 1 代表主题 '0.093"苹果" + 0.082"植物" + 0.075"维生素" + 0.074"营养" + 0.060*"叶子"

这里，为了简便起见，且根据主题下的主题词分布情况，我们将主题0命名为“公司”，主题1命名为“水果”。

假若，我们想知道这两个主题在语句距离上是多么的相近，那么该如何做呢？

度量两个主题的相似度：

########编写抽取主题词汇分布的函数：###############
topic_公司, topic_水果 = model.show_topics()
print(topic_公司)
print(topic_水果)
#一些预处理，以使距离度量以可接受的数据形式来获得主题
def make_topics_bow(topic):
# 获取由model.show_topics（）返回的字符串，分割字符串以便分别获取主题和概率topic = topic.split('+')#用于存储主题bows的listtopic_bow = []for word in topic:#分隔概率和词汇prob, word = word.split('*')#去掉空格word = word.replace(" ","")word = word.replace('"','')#词汇表示转换#print(word)word = model.id2word.doc2bow([word])[0][0]  #词idtopic_bow.append((word, float(prob)))    #[(词id,概率)，（词id,概率）。。。。]return topic_bow

(0, '0.170*"苹果" + 0.087*"电脑" + 0.064*"品质" + 0.063*"乔布斯" + 0.053*"智能手机" + 0.052*"水果" + 0.051*"互联网" + 0.049*"树上" + 0.049*"公司" + 0.042*"生意"')
(1, '0.093*"苹果" + 0.082*"植物" + 0.075*"维生素" + 0.074*"营养" + 0.060*"叶子" + 0.058*"落叶乔木" + 0.051*"成分" + 0.049*"绿色" + 0.048*"硅谷" + 0.045*"乔布斯"')

抽取“公司”、“水果”这两个主题的词汇分布，并展示两个主题的词汇分布情况： 

#抽取“公司”、“水果”这两个主题的词汇分布，并展示“水果”这一主题的词汇分布情况：
公司_distribution = make_topics_bow(topic_公司[1])
水果_distribution = make_topics_bow(topic_水果[1])
print(水果_distribution)    #第一个主题的  [(词id,概率)，（词id,概率）。。。。]
print(公司_distribution)    #第二个主题的  [(词id,概率)，（词id,概率）。。。。]
print(hellinger(公司_distribution, 水果_distribution))

经过上述函数的转换，hellinger可以接受这种输入格式，让我们使用距离度量来查看上述两个主题中的词汇分布的相似程度如何。 

[(3, 0.093), (4, 0.082), (10, 0.075), (11, 0.074), (0, 0.06), (6, 0.058), (12, 0.051), (5, 0.049), (20, 0.048), (19, 0.045)]
[(3, 0.17), (15, 0.087), (18, 0.064), (19, 0.063), (14, 0.053), (8, 0.052), (13, 0.051), (1, 0.049), (17, 0.049), (21, 0.042)]
0.6917495641343796

返回值约为0.69，这意味着这2个主题在词汇分布方面存在一定差距，深层次的原因是 ---这两个主题所反映的语义存在差异。

5，距离度量指标的几个“硬性条件