R语言做文本挖掘Part5

Part5情感分析

这是这个系列里面最后一篇文章了,其实这里文本挖掘每一个部分单拎出来都是值得深究和仔细研究的,我还处于初级研究阶段,用R里面现成的算法,来实现自己的需求,当然还参考了众多网友的智慧结晶,所以也想把我的收获总结出来分享给大家,希望也能像我一样在看大家的分享时得到自己的启发。

网上翻了下中文文本情感分析的一些文章,再回想了一下我自己做情感分析的方法,觉得我的想法真的是简单粗暴直接。这是一篇介绍中文文本情感分析倾向的论文。http://wenku.baidu.com/link?url=TVf5LgNS6esnunpgubvM14z24m0f4lTyD483gw_hEnp2RyeL6XzanSlz8oCcZCFlwKLqD0PdBhVUcV4-0loTdGp3hL-kqeTTwJ3l91HfTa3,中间讲到做情感分析目前主要有三种方法。第一种由已有的电子词典或词语知识库扩展生成情感倾向词典;第二种,无监督机器学习的方法。第三种基于人工标注语料库的学习方法。

上面三种方法不仔细一一说明了,它们都有一个共同的特点,需要一个情感倾向的语料库。我在R中的实现方案与第一种方法类似,整理一个褒义词词库一个贬义词词库(这个万能的互联网上有自己稍加整理就OK)。给文本做分词,并提取出中间的情感词。给每条文本定情感倾向评分初始值为1,跟褒义贬义词词库做匹配,褒义词+1,贬义词-1,计算出每条文本的最终情感倾向评分,为正值则是正面评价,为负值则是负面评价。方法可以基本实现情感倾向判断,但还可以改进。像前面参考论文中讲到的,还可以根据词语的词性强弱来评定感情的强,不只是+1和-1之分;还有考虑一些词语在不同语境下情感倾向可能会不同,比如论文中讲到的“骄傲”,这个我在想可能需要整理出有这样特殊情况的词语;还有负负得正的情况,比如“不喜欢是不可能的事情!”,照我的评分标准它的结果就是负面评价了;反问的情况,“哪里便宜了?”,评出来结果变成了正。“便宜”这个词我把它放在褒义词表下,其实仔细考虑如果是说“便宜实惠”肯定是褒义,如果说“便宜没好货”,也会是褒义,这就不对了,还是第二个问题不同语境下情感倾向会不同。

R中的实现过程:

1.      数据输入处理

数据还是某品牌官微,取它微博中的1376条评论,情感褒义词库和贬义词库,将数据读入到R中。附词库下载地址:http://www.datatang.com/data/44317/,可能不是很全,需要自己整理丰富,我在看服装相关的文本时,发现有些词像“褪色”,“开线”,“显瘦”,“显胖”都没有在里面,这些就需要自己另外加进去。

> hlzj.comment <- readLines("hlzj_commentTest.txt")

> negative <-readLines("D:\\R\\RWorkspace\\hlzjWorkfiles\\negative.txt")

> positive <-readLines("D:\\R\\RWorkspace\\hlzjWorkfiles\\positive.txt")

> length(hlzj.comment)

[1] 1376

> length(negative)

[1] 4477

> length(positive)

[1] 5588

2.      对评论做分词处理并评级

过程类似Part2中讲到的分词处理。然后我自己写了个方法getEmotionalType(),将分词结果与negative表和positive表作对照计算得分。

> commentTemp <- gsub("[0-90123456789 < > ~]","",hlzj.comment)

> commentTemp <-segmentCN(commentTemp)

> commentTemp[1:2]

[[1]]

[1] "恭喜""大家""又"  
"没有" "找到" "俺"

[[2]]

[1] "没有" "私信" "給"  
"我"   "小编" "把"  
"我"   "给"   "漏"  
"了"

> EmotionRank <-getEmotionalType(commentTemp,positive,negative)

[1] 0.073

[1] 0.145

[1] 0.218

[1] 0.291

[1] 0.363

[1] 0.436

[1] 0.509

[1] 0.581

[1] 0.654

[1] 0.727

[1] 0.799

[1] 0.872

[1] 0.945

> EmotionRank[1:10]

[1] 1 0 2 1 1 2 3 1 0 0

> commentEmotionalRank <-list(rank=EmotionRank,comment=hlzj.comment)

> commentEmotionalRank <-as.data.frame(commentEmotionalRank)

> fix(commentEmotionalRank)

getEmotionalType <- function(x,pwords,nwords){
    emotionType <-numeric(0)
    xLen <-length(x)
    emotionType[1:xLen]<- 0
    index <- 1
    while(index <=xLen){
        yLen <-length(x[[index]])
        index2 <- 1
        while(index2<= yLen){
           if(length(pwords[pwords==x[[index]][index2]]) >= 1){
               emotionType[index] <- emotionType[index] + 1
            }elseif(length(nwords[nwords==x[[index]][index2]]) >= 1){
               emotionType[index] <- emotionType[index] - 1
            }
            index2<- index2 + 1
        }
        #获取进度
       if(index%%100==0){
        print(round(index/xLen,3)
        }
        index <-index +1
    }
    emotionType
}

查看到结果如下,第一个图里看着还挺正常的,第二个图好像是hlzj赞助的RM里出现了衣服被撕坏的时候的评论。没有黑他们家的意思,只是想找个例子来说明下差评的效果,好像不是很理想。那些反问的话无法识别判断,还有一些比较口语化的“醉了”,“太次”这样的词没有放到情感词库里,对这些评论的情感倾向识别效果不是很好。

像前面说的,方法有待改进,我的方法只是一个最基础的情感分析的实现方式,有任何问题欢迎指正。

转载请注明来源,谢谢!

时间: 2024-10-10 01:33:01

R语言做文本挖掘Part5的相关文章

R语言做文本挖掘 Part3文本聚类

Part3文本聚类 分类和聚类算法,都是数据挖掘中最常接触到的算法,分类聚类算法分别有很多种.可以看下下面两篇文章对常见的分类聚类算法的简介: 分类算法:http://blog.csdn.net/chl033/article/details/5204220 聚类算法:http://blog.chinaunix.net/uid-10289334-id-3758310.html 文本分类聚类会要用到这些算法去实现,暂时不用深究算法细节,R中已经有成熟的可以直接调用的这些算法了.大概说下分类和聚类的差

R语言做文本挖掘 Part2分词处理

Part2分词处理 在RStudio中安装完相关软件包之后,才能做相关分词处理,请参照Part1部分安装需要软件包.参考文档:玩玩文本挖掘,这篇文章讲用R做文本挖掘很详尽,并且有一些相关资料的下载,值得看看! 1.       RWordseg功能 说明文档可在http://download.csdn.net/detail/cl1143015961/8436741下载,这里只做简单介绍. 分词 > segmentCN(c("如果你因为错过太阳而流泪", "你也会错过星星

R语言做文本挖掘 Part1

Part1安装依赖包 R语言中中文分析的软件包是Rwordseg,Rwordseg软件包依赖rJava包,rJava需要本机中有安装Java.   第一步是安装Java,请安装JDK,JRE不行.请对应机型,下载安装32位的JDK.机器里已经有JDK的也请改成32位的,不然没办法使用Rwordseg,尝试使用过64位的,不可行. 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151

R语言做文本挖掘Part4

Part4文本分类 Part3文本聚类里讲到过,分类跟聚类的简单差异.所以要做分类我们需要先整理出一个训练集,也就是已经有明确分类的文本:测试集,可以就用训练集来替代:预测集,就是未分类的文本,是分类方法最后的应用实现. 1.       数据准备 训练集准备是一个很繁琐的功能,暂时没发现什么省力的办法,根据文本内容去手动整理.这里还是使用的某品牌的官微数据,根据微博内容,我将它微博的主要内容分为了:促销资讯(promotion).产品推介(product).公益信息(publicWelfare

R语言做文本挖掘 Part4文本分类

Part4文本分类 Part3文本聚类提到过.与聚类分类的简单差异. 那么,我们需要理清训练集的分类,有明白分类的文本:測试集,能够就用训练集来替代.预測集,就是未分类的文本.是分类方法最后的应用实现. 1.       数据准备 训练集准备是一个非常繁琐的功能,临时没发现什么省力的办法,依据文本内容去手动整理.这里还是使用的某品牌的官微数据,依据微博内容.我将它微博的主要内容分为了:促销资讯(promotion).产品推介(product).公益信息(publicWelfare).生活鸡汤(l

[译]用R语言做挖掘数据《一》

介绍 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到程序: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器3. R:在命令行输入‘R’即可进入交互式环境,下面的代码都是在交互式环境运行. 3. 环境使用 使用R语言交互式环境输入

[译]用R语言做挖掘数据《七》

时间序列与数据挖掘 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器3. R:在命令行输入‘R’进入交互式环境,下面的代码都是在交互式环境运行4. 数据:在命令行终端输入以下命令:

用R语言做挖掘数据《三》

决策树和随机森林 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到程序: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程Vim编辑器.3. R:在命令行终端输入‘R’,进入R的交互式环境,下面的代码都是在交互式环境运行. 3. 环境使用 使用

[译]用R语言做挖掘数据《五》

介绍 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到程序: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程[Vim编辑器](http://www.shiyanlou.com/courses/2)3. R:在命令行输入‘R’进入交互式环境,下