1. 项目背景

选取与某一城市形象评论相关的主要网址进行数据爬取，采集针对某一城市的点评信息，对文本进行分词，词频统计分析，从而得到清晰的分析结论，展示该城市的主要关键词“名片”。

2. 网络数据抓取

利用 request 请求网页数据，利用 beautifulsoup 完成对 DOM 树的解析，提取出所需要的文本内容。

import requests
from bs4 import BeautifulSoup
import time
import matplotlib
import matplotlib.pyplot as pltimport warnings
warnings.filterwarnings('ignore')

以温州城市为例，抓取与之相关的评论等信息，温州文明网

def fetch_web_text_content(prefix, url):content = requests.get(url).contentsoup = BeautifulSoup(content, 'lxml')div = soup.find_all(attrs={'class', 'list'})text_contents = []if div and len(div) > 0:div = div[0]li_tags = div.find_all(name='li')for li_tag in li_tags:a_tag = li_tag.find(name='a')url = 'http://zjwz.wenming.cn/{}/{}'.format(prefix, a_tag.attrs['href'])print('-->爬取: {} {}'.format(a_tag.text, url))content = requests.get(url).contentsoup = BeautifulSoup(content, 'lxml')zw_tag = soup.find(attrs={'class': 'TRS_Editor'})content = zw_tag.texttext_contents.append(content)time.sleep(0.5)return text_contents

-->爬取: 垃圾“革命” 任重道远 http://zjwz.wenming.cn/wmpl/./201912/t20191217_6203542.html
-->爬取: 文明新风终将吹遍乡村 http://zjwz.wenming.cn/wmpl/./201912/t20191213_6198572.html
-->爬取: 以贵德涵养精神文明之花 http://zjwz.wenming.cn/wmpl/./201912/t20191213_6198570.html
-->爬取: 信用之“州”扬帆起航 http://zjwz.wenming.cn/wmpl/./201912/t20191213_6198565.html
-->爬取: 抛在空中的“道德线” http://zjwz.wenming.cn/wmpl/./201912/t20191213_6198561.html
-->爬取: 别让水滴筹成为“水滴愁” http://zjwz.wenming.cn/wmpl/./201912/t20191213_6198559.html
-->爬取: 文明出游  莫让陋习“煞风景” http://zjwz.wenming.cn/wmpl/./201912/t20191213_6198194.html
-->爬取: 汉服热，不在形式而在于践行 http://zjwz.wenming.cn/wmpl/./201912/t20191212_6196797.html
-->爬取: 生命通道不容堵塞 http://zjwz.wenming.cn/wmpl/./201912/t20191212_6196756.html
-->爬取: 请呵护“车厢里的文明”之花 http://zjwz.wenming.cn/wmpl/./201912/t20191206_6187835.html
-->爬取: 举手之劳使社会更文明 http://zjwz.wenming.cn/wmpl/./201911/t20191128_6173761.html
.........

3. 文本清洗

观察抓取的数据可发现，其中包含很多脏数据，如重复或无效的标点符号、html标签等，因此在做关键词抽取之前需要先进行基本的文本清洗，去除多余的空格、无效符号和html标签等。

import re# remove space
spaces = {'\x10', '\x7f', '\x9d', '\xad', '\\x0a', '\\xa0', '\\x0d''\f', '\n', '\r', '\t', '\v', '&#160;', '&nbsp;','\u200b', '\u200e', '\u202a', '\u202c', '\ufeff', '\uf0d8', '\u2061', '\u1680', '\u180e','\u2000', '\u2001', '\u2002', '\u2003', '\u2004', '\u2005', '\u2006', '\u2007', '\u2008','\u2009', '\u200a', '\u2028', '\u2029', '\u202f', '\u205f', '\u3000'}def _remove_space(text):for space in spaces:text = text.replace(space, '')text = text.strip()text = re.sub('\s+', ' ', text)return textdef _remove_html_tag(text):cleanr = re.compile('<.*?>')text = re.sub(cleanr, '', text)return text

4. 中文文本分词和词频统计

作者在 jieba 工具包的基础上，实现了一个基于 tfidf 的关键词抽取算法，包含关键词抽取比率的参数，具体实现如下：

from jieba.analyse.tfidf import TFIDFclass WordSegmentPOSKeywordExtractor(TFIDF):def extract_sentence(self, sentence, keyword_ratios=None):"""Extract keywords from sentence using TF-IDF algorithm.Parameter:- keyword_ratios: return how many top keywords. `None` for all possible words."""words = self.postokenizer.cut(sentence)freq = {}seg_words = []pos_words = []for w in words:wc = w.wordseg_words.append(wc)pos_words.append(w.flag)if len(wc.strip()) < 2 or wc.lower() in self.stop_words:continuefreq[wc] = freq.get(wc, 0.0) + 1.0# 关键词抽取核心代码，此处省略if keyword_ratios is not None and keyword_ratios > 0:............return seg_words, pos_words, key_wordselse:return seg_words

利用 WordSegmentPOSKeywordExtractor 关键词抽取器，即可实现对所有抓取的文本进行关键词抽取。

5. 词云统计与实验效果对比

5.1 原始文本的词云统计

为了对比关键词抽取前后的效果，先对原始文本进行词云可视化，方便对比分析。

from wordcloud import WordCloudwordcloud = WordCloud(font_path="SimSun.ttf").generate(mytext)%pylab inline
import matplotlib.pyplot as pltplt.figure(figsize=(30,30))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

可以看到，包含很多英文和数字标点符号等噪声数据，影响词云的统计效果！

5.2 去除停用词和非中文字符（如标点符号和英文）后的词频统计

with open('stopwords-zh.txt', 'r', encoding='utf8') as f:stopwords = [w.strip() for w in f.readlines()]stopwords = list(set(stopwords))stopwords.extend([' ', '.', 'Editor', '_', ',', '”', '“', '-', ':', ';', '1', '\n'])#检验是否全是中文字符
def is_all_chinese(strs):for _char in strs:if not '\u4e00' <= _char <= '\u9fa5':return Falsereturn True#构造文本语料
mytext = []
for cuted_cont in all_cuted_contents:for word in cuted_cont:if word in stopwords:continue# 不是中文的不统计if not is_all_chinese(word) or word in {'温州', '一个', '宋体', '需要'}:continuemytext.append(word)mytext = ' '.join(mytext)

可以看出，孩子、工作、垃圾分类、文化、活动等关键词更加突出体现，反应出温州整体对教育、文化、工作和环保等基础民生较为关注。

5.3 进一步，只对文本中的关键词构成的语料进行词云展示

为了提高可视化的效果，在词云展示过程中，加载“温州”字体，以此为基础展示词云：

#构造文本语料
mytext = []
for cuted_cont in all_key_words:for word in cuted_cont:if word in stopwords:continue# 不是中文的不统计if not is_all_chinese(word) or word in {'温州', '一个', '宋体', '需要'}:continuemytext.append(word)mytext = ' '.join(mytext)

from PIL import Imagebackground = np.array(Image.open("background.jpeg"))wordcloud = WordCloud(font_path="SimSun.ttf", background_color = "white", mask=background).generate(mytext)plt.figure(figsize=(16,10))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

6. 总结

本文利用 python 的 requests he  beautifulsoup 等工具包完成网络文本的抓取，并基于正则表达式等基础方法实现对文本数据的清洗，利用基于 TFIDF 和 Jieba 分词的关键词抽取算法，实现对文本关键词的抽取，并通过词云可视化展示的效果，对比不同文本预处理方法对关键词抽取的影响情况。

7. 完整代码获取

由于篇幅优先，需要完整可运行的代码，请加作者 qq：3149861739（注意：有偿，小额，非诚勿扰）