此文章是vip文章,如何查看?  

1,点击链接获取密钥 http://nicethemes.cn/product/view29882.html

2,在下方输入文章查看密钥即可立即查看当前vip文章


简单的Pig Latin语句进行文本情感分析

  • 时间:
  • 浏览:
  • 来源:互联网

第一天学Pig Latin,忍不住就要发个文卖弄卖弄。所以大神们不要笑哈。

首先是安装及环境的搭建。Pig有2种模式,一种是本地模式,一种是hadoop集群模式。本地模式用命令 pig -x local,集群模式直接用pig就可以启动。

从网站上下载pig后解压,再配置环境变量。然后直接启动就可以了,pig项目是apache免费的项目,所以在已有集群上部署pig应该不太复杂(至少对于我这种只有1个datanode的学生版集群是这样的)。

说下pig和hive的区别。两个都是将操作转换为MapReduce作业,并且适用于批处理。hive感觉更加的中规中矩一点,并且基于表进行操作,只要会写sql,基本操作hive不成问题。Pig感觉更擅长分析非结构化数据,文本数据、日志,JSON数据也可以分析。Pig基于关系、包、模式,能更加灵活的处理非结构化数据。

然后讲讲文本情感分析。这个大神级的话题,其实我也不太懂。大致就知道先tokenize文本,然后构建特征,进行训练,最终的模型用来对文本的情感进行分析,分为正向情感和负向情感。但是如果要进行全量分析(巨大的数据量),感觉深度学习或者python、JAVA建立的模型就有点不行了,要应用到集群上的话,比较流行的是转换成Mapreduce作业或者spark的内存计算。但是貌似Tensorflow也可以部署到yarn上面去的,所以啦,知识的海洋无穷无尽。

好了,本文用的情感分析逻辑很简单(hello word)版本的。就是看包含正向感情的词还是负向感情的词。由于不会写正则表达式(试了好多次都不成功)所以只好放弃了,还好本文只是抛砖引玉,第一次试着写pig Latin,大神们不要笑话哈。

好了,直接上代码。

文本是这样的:

I like the servce
I hate the servce
It is awful
I enjoy the process
It is just a waste of time.I hate it.
The process sucks
I can't understand why the servce is so awful
I like it
It is comfortable

It is the best
It is the worst servce I have been served.

grunt>records = Load '/home/pig/feeling.txt' using TextLoader as (feeling:chararray);--导入数据
grunt>positive = Filter records by feeling matches '.*like.*' or feeling matches '.*enjoy.*' or feeling matches '.*comfortable.*' or feeling matches '.*best.*';--正向情感
grunt>negtive = Filter records by feeling matches '.*hate.* or feeling matches '.*awful.*' or feeling matches '.*sucks.*';--负向情感
grunt>dump positive --查看正向情感文本
grunt>dump negtive -=查看负向情感文本

 

本文链接http://element-ui.cn/news/show-576903.aspx