R语言︱情感分析文本操作技巧汇总(打标签、词典与数据匹配等)

笔者寄语:情感分析中对文本处理的数据的小技巧要求比较高,笔者在学习时候会为一些小技巧感到头疼不已。

主要包括以下内容:

1、批量读取txt字符文件(导入、文本内容逐行读取、加入文档名字)、

2、文本清洗(一级清洗,去标点;二级清洗去内容;三级清洗,去停用词)

3、词典之间匹配(有主键join、词库匹配%in%)

4、分词之后档案id+label的加入

5、情感打分(关联情感词join、情感分数aggerate、情感偏向)

————————————————————————————————————————————

1、批量读取txt字符文件

难题:一个文件夹有许多txt文件,如何导入,并且读出来,还要加上文档名字?

1.1 如何导入?

如何用函数批量导入文本,并且能够留在R的环境之中?循环用read.table,怎么解决每个文本文件命名问题?

list函数能够有效的读入,并且存放非结构化数据。

reviewpath <- "F:/R语言/train2"
completepath <- list.files(reviewpath, pattern = "*.txt$", full.names = TRUE)

代码解读:reviewpath为文件夹的目录名字,completepath为读取文件夹中所有的文件,生成字符串(character)格式。

详细的文本文件读取方法,可见博客。

1.2 如何读取单文本内容?

前面文档导入,相当于是给每个文档定了位,现在需要读入单个文档内的文本信息。

文本文档读取的时候会出现很多问题,比如分隔符、制表符等,而出现乱码,需要逐行读取。

######批量读入文本
read.txt <- function(x) {
  des <- readLines(x)                   #每行读取
  return(paste(des, collapse = ""))     #没有return则返回最后一个函数对象
}
review <- lapply(completepath, read.txt)
#如果程序警告,这里可能是部分文件最后一行没有换行导致,不用担心。

代码解读:read.txt是一个简单的逐行读取的函数,readLines函数,是将一段文字分成以下的形式,需要粘贴起来;

[1] ""
[2] "刚买的这款电脑,在自提点打开的,就发现键盘已经坏了,有个按键都快掉了,自提点不管,让去联系退换货部门,退换货部门说键盘坏了不管退换,让去惠普自己更换新键盘。"
[3] ""
[4] "在京东刚买的东西出现问题就要四处跑去修理,他们把责任推的一干二净,现在除非你出具惠普的质检报告,他们才给受理。"
[5] ""    

return(paste)函数将每一行粘贴在一起,最后返回完整的文本内容;

lapply表示逐文本读取。

1.3 加入文档名字

读取了每个文档到list之中,怎么跟每个文档名字匹配在一起?

docname <- list.files(reviewpath, pattern = "*.txt$")
reviewdf <- as.data.frame(cbind(docname, unlist(review)),
                          stringsAsFactors = F)
colnames(reviewdf) <- c("id", "msg")   #列名

代码解读:list.files中,full.names=F代表返回文档名字(默认),full.names=T则定位文档;

利用as.data.frame成为一个数据框,并且不变成因子型,stringsAsFactors是因为文档名字列,很容易变成字符因子型,需要关闭这功能;

colnames修改列名,还有names也可以达到同样的效果。

图 1

————————————————————————————————————————————

2、文本清洗工作

文本挖掘中,对文本的清洗工作尤为重要,会出现比如:英文逗号、波浪线、英文单引号、英文双引号、分隔符等

2.1 一级清洗——去标点

如图1,所示的msg,对其进行一些标点清洗,比如双引号,波浪号等。

reviewdf$msg <- gsub(pattern = " ", replacement ="", reviewdf$msg)  #gsub是字符替换函数,去空格
reviewdf$msg <- gsub("\t", "", reviewdf$msg) #有时需要使用\\\t
reviewdf$msg <- gsub(",", ",", reviewdf$msg)#文中有英文逗号会报错,所以用大写的“,”
reviewdf$msg <- gsub("~|'", "", reviewdf$msg)#替换了波浪号(~)和英文单引号('),它们之间用“|”符号隔开,表示或的关系
reviewdf$msg <- gsub("\\\"", "", reviewdf$msg)#替换所有的英文双引号("),因为双引号在R中有特殊含义,所以要使用三个斜杠(\\\)转义

代码解读:英文单引号(‘)、英文双引号(")、波浪号(~),都会引起读取时发生警告,带来csv文件或txt文件读取不完整的后果。还有一些字符型会出现乱码的标点等,详见博客:R语言︱文本(字符串)处理与正则表达式

2.2 二级清洗——去内容

如图1 ,msg,对文档进行二级清洗,比如清楚全英文字符、清除数字等。

sentence <- as.vector(test$msg) #文本内容转化为向量sentence

sentence <- gsub("[[:digit:]]*", "", sentence) #清除数字[a-zA-Z]
sentence <- gsub("[a-zA-Z]", "", sentence)   #清除英文字符
sentence <- gsub("\\.", "", sentence)      #清除全英文的dot符号
sentence <- sentence[!is.na(sentence)]   #清除对应sentence里面的空值(文本内容),要先执行文本名
sentence <- sentence[!nchar(sentence) < 2] #`nchar`函数对字符计数,英文叹号为R语言里的“非”函数

代码解读:在进行二级清洗的过程中,需要先转化为向量形式,as.vector;

字符数过小的文本也需要清洗,nchar就是字符计数函数。

2.3 三级清理——停用词清理(哎呦,哎,啊...)

去除原理就是导入停用词列表,是一列chr[1:n]的格式;

先与情感词典匹配,在停用词库去掉情感词典中的单词,以免删除了很多情感词,构造新的停用词;

再与源序列匹配,在原序列中去掉停用词。

第一种方法:

stopword <- read.csv("F:/R语言/R语言与文本挖掘/情感分析/数据/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F)
stopword <- stopword[!stopword$term %in% posneg$term,]#函数`%in%`在posneg$term中查找stopword的元素,如果查到了就返回真值,没查到就返回假
#结果是一个和stopword等长的波尔值向量,“非”函数将布尔值反向
testterm <- testterm[!testterm$term %in% stopword,]#去除停用词

代码解读:

管道函数A %in% B,代表在A中搜索B,存在则生成(TRUE,FALSE,TRUE)布尔向量,其中TURE代表A/B共有的。形成一个与原序列的等长的波尔值向量,“非”函数将布尔值反向就可以去除停用词。

stopword[!stopword$term %in% posneg$term,],去掉stopword中与posneg共有的词;

testterm[!testterm$term %in% stopword$term,],去掉testtrerm(原序列)与stopword共有的词。

第二种方法:

stopword <- read.csv("F:/R语言/R语言与文本挖掘/情感分析/数据/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F)
stopword <- setdiff(stopword$term,posneg$term)
testterm<- setdiff(testterm$term,stopword)

setdiff(x,y),代表在x中去掉xy共有的元素。

setdiff与%in%都是集合运算符号,可见其他的一些符号:R语言︱集合运算

————————————————————————————————————————————

3、文档之间匹配

3.1 有主键的情况

如图1 中的id,就是一个主键,建立主键之间的关联可以用plyr中的Join函数,`join`默认设置下执行左连接。

#plyr包里的`join`函数会根据名称相同的列进行匹配关联,`join`默认设置下执行左连接
reviewdf <- join(表1,表2)
reviewdf <- 表1[!is.na(表1$label),]  #非NA值的行赋值

代码解读:表1为图1中的数据表,表2是id+label;

join之后,在表1中加入匹配到的表2的label;

并且通过[!x,]去掉了,没有label的文本。

其他关于主键合并的方法有,dplyr包等,可见博客:R语言数据集合并、数据增减

3.2 词库之间相互匹配

在2.3的三级停用词清理的过程中,就会用到这个。两个词库,但是没有主键,两个词库都有共有的一些词语,那么怎么建立两个词库的连接呢?

管道函数%in%,可以很好的解决。A%in%B,代表在A中搜索B,存在B则生成(TRUE,FALSE,TRUE)布尔向量,其中TURE代表A/B共有的。

向量长度依存于A,会生成一个与A相同长度的布尔向量,通过A[布尔向量,]就可以直接使用。

回忆一下,缺失值查找函数,A[na.is(x)],也是生成布尔向量。

详细见2.3的停用词删除的用法。

————————————————————————————————————————————

4、分词之后文档如何整理?——构造一个单词一个文档名一个label

分词之后,一个文档可能就有很多单词,应该每个单词都单独列出来,并且一个单词一个文档名一个label。

图 2

system.time(x <- segmentCN(strwords = sentence))
#每次可能耗费时间较长的过程,都要使用少量数据预估一下时间,这是一个优秀的习惯
temp <- lapply(x, length) #每一个元素的长度,即文本分出多少个词
temp <- unlist(temp)  #lapply返回的是一个list,所以3行unlist
id <- rep(test[, "id"], temp) #将每一个对应的id复制相应的次数,就可以和词汇对应了
label <- rep(test[, "label"], temp)#id对应的情感倾向标签复制相同的次数
term <- unlist(x) #6行将list解散为向量
testterm <- as.data.frame(cbind(id, term, label), stringsAsFactors = F)
#将一一对应的三个向量按列捆绑为数据框,分词整理就基本结束了

代码解读:segmentCN是分词函数;lapply求得每个文本单词个数;

unlist,可以让单词变成向量化,单词操作的时候都需要这步骤,比如前面对单词进行清洗,需要展平数据;

rep,重复id以及label,按照单词个数,rep(c("id","su"),c(2,1)),执行之后为“id”“id”“su”。

————————————————————————————————————————————

5、情感打分

5.1 关联情感词

现在有了图2的数据以及情感词典数据图3,以term为主键,进行join合并。情感词典中没有的词,则删除。

图 3

library(plyr)
testterm <- join(testterm, posneg)
testterm <- testterm[!is.na(testterm$weight), ]
head(testterm)

代码解读:join,以term进行左关联合并,在A表中,会多出来weigh的一列,但是会出现(1,NA,2,3,NA),一些没有匹配到的NA,

用[is.na(testterm$weight),]来进行删除。

5.2 情感分数

有了图2的id+weight列,就可以直接分组汇总,比如aggregate,其他汇总函数可见比博客:R语言数据集合并、数据增减

dictresult <- aggregate(weight ~ id, data = testterm, sum)

对weight列以文本id分组求和,即为情感打分。

5.3 情感偏向

有了情感分数,我想单单知道这些ID正负,就像图2中的label。

可以利用布尔向量建立连接。

dictlabel <- rep(-1, length(dictresult[, 1]))
dictlabel[dictresult$weight > 0] <- 1
dictresult <- as.data.frame(cbind(dictresult, dictlabel), stringsAsFactors = F)

先生成一个原数列长度的-1数列;

在原数列$weight>0会生成一个布尔向量,然后进行赋值,就可以构造label了。

——代码很多来自《数据挖掘之道》的情感分析章节。

时间: 2024-10-10 12:07:15

R语言︱情感分析文本操作技巧汇总(打标签、词典与数据匹配等)的相关文章

R语言︱情感分析—词典型代码实践(最基础)(一)

笔者寄语:词典型情感分析对词典要求极高,词典中的词语需要人工去选择,但是这样的选择会很有目标以及针对性.本文代码大多来源于<数据挖掘之道>的情感分析章节.本书中还提到了监督算法式的情感分析,可见博客: R语言︱情感分析-基于监督算法R语言实现笔记. 可以与博客 R语言︱词典型情感分析文本操作技巧汇总(打标签.词典与数据匹配等)对着看. 词典型情感分析大致有以下几个步骤: 训练数据集.neg/pos情感词典.分词+数据清洗清洗(一.二.三级清洗步骤).计算情感得分.模型评价 ----------

R语言文件相关的操作

1. 文件系统介绍 R语言对文件系统的操作,包括文件操作和目录操作,函数API都定义在base包中. 2. 目录操作 2.1 查看目录 查看当前目录下的子目录. # 启动R程序 ~ R # 当前的目录 > getwd() [1] "/home/conan/R/fs" # 查看当前目录的子目录 > list.dirs() [1] "." "./tmp" 查看当前目录的子目录和文件. > dir() [1] "readme

R语言空间分析功能简介

大家知道,R语言的软件包都是各领域专家贡献而来,通过一个统一的开放的语言环境神奇地组装到了一起,然后开始产生化学反应,为大数据分析立下汗马功劳. R中已经有一个Spatial软件包.通过library(sp)即可加载,如果提示没有安装,使用install.packages("sp")进行安装即可,安装过程中需要选择一个软件分发站的镜像. 然后使用getClass("Spatial")即可查看类的信息.返回信息如下: > getClass("Spati

R语言进行文件夹操作示例(转)

rm(list=ls())path = 'J:/lab/EX29 --在R语言中进行文件(夹)操作'setwd(path)cat("file A\n", file="A") #创建一个文件A,文件内容是'file A','\n'表示换行,这是一个很好的习惯cat("file B\n", file="B")  #创建一个文件Bfile.append("A", "B")  #将文件B的内容附

R语言关联分析之啤酒和尿布

关联分析 概述 啤酒和尿布的故事,我估计大家都听过,这是数据挖掘里面最经典的案例之一.它分析的方法就关联分析. 关联分析,顾名思义,就是研究不同商品之前的关系.这里就发现了啤酒和尿布这两个看起来毫不相关的东西直接存在的微妙关系. 最经典的关联分析算法之一就是Apriori算法,也是数据挖掘十大算法之一.在R中就有一个包可以做关联分析--arules和arulesViz,前者用于关联规则的数字化生成而后者是前者的扩展包,它提供了几种对关联分析结果可视化技术,从分析到可视化一站式完成. 在了解学习关

R 语言的Dataframe常用操作

上节我们简单介绍了Dataframe的定义,这节我们具体来看一下Dataframe的操作 首先,数据框的创建函数为 data.frame( ),参考R语言的帮助文档,我们来了解一下data.frame( )的具体用法: Usage data.frame(..., row.names = NULL, check.rows = FALSE, check.names = TRUE, fix.empty.names = TRUE, stringsAsFactors = default.stringsAs

R语言dataframe的常用操作总结

前言:近段时间学习R语言用到最多的数据格式就是data.frame,现对data.frame常用操作进行总结,其中函数大部分来自dplyr包,该包由Hadley Wickham所作,主要用于数据的清洗和整理. 一.创建 data.frame创建较为容易,调用data.frame函数即可.本文创建一个关于学生成绩的数据框,接下来大部分操作都对该数据框进行,其中学生成绩随机产生 1 > library(dplyr) #导入dplyr包 2 > options(digits = 0) #保留整数 3

R语言生存分析可视化分析

完整原文链接:http://tecdat.cn/?p=5438 生存分析对应于一组统计方法,用于调查感兴趣事件发生所花费的时间. 生存分析被用于各种领域,例如: 癌症研究为患者生存时间分析, “事件历史分析”的社会学 在工程的“故障时间分析”. 在癌症研究中,典型的研究问题如下: 某些临床特征对患者的生存有何影响? 个人三年存活的概率是多少? 各组患者的生存率有差异吗? 基本概念 在这里,我们从定义生存分析的基本术语开始,包括: 生存时间和事件 生存功能和危险功能 癌症研究中的生存时间和事件类型

R语言--关联分析

经典段子--"啤酒与尿布",即很多年轻父亲在购买孩子尿布的时候,顺便为自己购买啤酒.关联分析中,最经典的算法Apriori算法在关联规则分析领域具有很大的影响力. 项集 这是一个集合的概念,每个事件即一个项,如啤酒是一个项,尿布是一个项,若干项的集合称为项集,如{尿布,啤酒}是一个二元项集. 关联规则 关联规则一般记为 \(X\rightarrow Y\) 的形式,X称为先决条件,右侧为相应的关联结果,用于表示出数据内隐含的关联性.如:关联规则 尿布 \(\rightarrow\) 啤