R语言︱词典型情感分析文本操作技巧汇总(打标签、词典与数据匹配等)
每每以为攀得众山小,可、每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~
———————————————————————————
笔者寄语:情感分析中对文本处理的数据的小技巧要求比较高,笔者在学习时候会为一些小技巧感到头疼不已。
主要包括以下内容:
1、批量读取txt字符文件(导入、文本内容逐行读取、加入文档名字)、
2、文本清洗(一级清洗,去标点;二级清洗去内容;三级清洗,去停用词)
3、词典之间匹配(有主键join、词库匹配%in%)
4、分词之后档案id+label的加入
5、情感打分(关联情感词join、情感分数aggerate、情感偏向)
————————————————————————————————————————————
1、批量读取txt字符文件
难题:一个文件夹有许多txt文件,如何导入,并且读出来,还要加上文档名字?
1.1 如何导入?
如何用函数批量导入文本,并且能够留在R的环境之中?循环用read.table,怎么解决每个文本文件命名问题?
list函数能够有效的读入,并且存放非结构化数据。
reviewpath <- "F:/R语言/train2" completepath <- list.files(reviewpath, pattern = "*.txt$", full.names = TRUE)
代码解读:reviewpath为文件夹的目录名字,completepath为读取文件夹中所有的文件,生成字符串(character)格式。
详细的文本文件读取方法,可见博客。
1.2 如何读取单文本内容?
前面文档导入,相当于是给每个文档定了位,现在需要读入单个文档内的文本信息。
文本文档读取的时候会出现很多问题,比如分隔符、制表符等,而出现乱码,需要逐行读取。
######批量读入文本 read.txt <- function(x) { des <- readLines(x) #每行读取 return(paste(des, collapse = "")) #没有return则返回最后一个函数对象 } review <- lapply(completepath, read.txt) #如果程序警告,这里可能是部分文件最后一行没有换行导致,不用担心。
代码解读:read.txt是一个简单的逐行读取的函数,readLines函数,是将一段文字分成以下的形式,需要粘贴起来;
[1] "" [2] "刚买的这款电脑,在自提点打开的,就发现键盘已经坏了,有个按键都快掉了,自提点不管,让去联系退换货部门,退换货部门说键盘坏了不管退换,让去惠普自己更换新键盘。" [3] "" [4] "在京东刚买的东西出现问题就要四处跑去修理,他们把责任推的一干二净,现在除非你出具惠普的质检报告,他们才给受理。" [5] ""
return(paste)函数将每一行粘贴在一起,最后返回完整的文本内容;
lapply表示逐文本读取。
1.3 加入文档名字
读取了每个文档到list之中,怎么跟每个文档名字匹配在一起?
docname <- list.files(reviewpath, pattern = "*.txt$") reviewdf <- as.data.frame(cbind(docname, unlist(review)), stringsAsFactors = F) colnames(reviewdf) <- c("id", "msg") #列名
代码解读:list.files中,full.names=F代表返回文档名字(默认),full.names=T则定位文档;
利用as.data.frame成为一个数据框,并且不变成因子型,stringsAsFactors是因为文档名字列,很容易变成字符因子型,需要关闭这功能;
colnames修改列名,还有names也可以达到同样的效果。
图 1
————————————————————————————————————————————
2、文本清洗工作
文本挖掘中,对文本的清洗工作尤为重要,会出现比如:英文逗号、波浪线、英文单引号、英文双引号、分隔符等
2.1 一级清洗——去标点
如图1,所示的msg,对其进行一些标点清洗,比如双引号,波浪号等。
reviewdf$msg <- gsub(pattern = " ", replacement ="", reviewdf$msg) #gsub是字符替换函数,去空格 reviewdf$msg <- gsub("\t", "", reviewdf$msg) #有时需要使用\\\t reviewdf$msg <- gsub(",", ",", reviewdf$msg)#文中有英文逗号会报错,所以用大写的“,” reviewdf$msg <- gsub("~|'", "", reviewdf$msg)#替换了波浪号(~)和英文单引号('),它们之间用“|”符号隔开,表示或的关系 reviewdf$msg <- gsub("\\\"", "", reviewdf$msg)#替换所有的英文双引号("),因为双引号在R中有特殊含义,所以要使用三个斜杠(\\\)转义
代码解读:英文单引号(')、英文双引号(")、波浪号(~),都会引起读取时发生警告,带来csv文件或txt文件读取不完整的后果。还有一些字符型会出现乱码的标点等,详见博客:R语言︱文本(字符串)处理与正则表达式
2.2 二级清洗——去内容
如图1 ,msg,对文档进行二级清洗,比如清楚全英文字符、清除数字等。
sentence <- as.vector(test$msg) #文本内容转化为向量sentence sentence <- gsub("[[:digit:]]*", "", sentence) #清除数字[a-zA-Z] sentence <- gsub("[a-zA-Z]", "", sentence) #清除英文字符 sentence <- gsub("\\.", "", sentence) #清除全英文的dot符号 sentence <- sentence[!is.na(sentence)] #清除对应sentence里面的空值(文本内容),要先执行文本名 sentence <- sentence[!nchar(sentence) < 2] #`nchar`函数对字符计数,英文叹号为R语言里的“非”函数
代码解读:在进行二级清洗的过程中,需要先转化为向量形式,as.vector;
字符数过小的文本也需要清洗,nchar就是字符计数函数。
2.3 三级清理——停用词清理(哎呦,哎,啊...)
去除原理就是导入停用词列表,是一列chr[1:n]的格式;
先与情感词典匹配,在停用词库去掉情感词典中的单词,以免删除了很多情感词,构造新的停用词;
再与源序列匹配,在原序列中去掉停用词。
第一种方法:
stopword <- read.csv("F:/R语言/R语言与文本挖掘/情感分析/数据/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F) stopword <- stopword[!stopword$term %in% posneg$term,]#函数`%in%`在posneg$term中查找stopword的元素,如果查到了就返回真值,没查到就返回假 #结果是一个和stopword等长的波尔值向量,“非”函数将布尔值反向 testterm <- testterm[!testterm$term %in% stopword,]#去除停用词
代码解读:
管道函数A %in% B,代表在A中搜索B,存在则生成(TRUE,FALSE,TRUE)布尔向量,其中TURE代表A/B共有的。形成一个与原序列的等长的波尔值向量,“非”函数将布尔值反向就可以去除停用词。
stopword[!stopword$term %in% posneg$term,],去掉stopword中与posneg共有的词;
testterm[!testterm$term %in% stopword$term,],去掉testtrerm(原序列)与stopword共有的词。
第二种方法:
stopword <- read.csv("F:/R语言/R语言与文本挖掘/情感分析/数据/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F) stopword <- setdiff(stopword$term,posneg$term) testterm<- setdiff(testterm$term,stopword)
setdiff(x,y),代表在x中去掉xy共有的元素。
setdiff与%in%都是集合运算符号,可见其他的一些符号:R语言︱集合运算
————————————————————————————————————————————
3、文档之间匹配
3.1 有主键的情况
#plyr包里的`join`函数会根据名称相同的列进行匹配关联,`join`默认设置下执行左连接 reviewdf <- join(表1,表2) reviewdf <- 表1[!is.na(表1$label),] #非NA值的行赋值
代码解读:表1为图1中的数据表,表2是id+label;
join之后,在表1中加入匹配到的表2的label;
并且通过[!x,]去掉了,没有label的文本。
其他关于主键合并的方法有,dplyr包等,可见博客:R语言数据集合并、数据增减
3.2 词库之间相互匹配
管道函数%in%,可以很好的解决。A%in%B,代表在A中搜索B,存在B则生成(TRUE,FALSE,TRUE)布尔向量,其中TURE代表A/B共有的。
向量长度依存于A,会生成一个与A相同长度的布尔向量,通过A[布尔向量,]就可以直接使用。
回忆一下,缺失值查找函数,A[na.is(x)],也是生成布尔向量。
详细见2.3的停用词删除的用法。
2、left_join——词库匹配打标签
以上%in%较为适合做去除数据来做,因为可以生成布尔向量,作为过渡。但是如何连接词库,并且匹配过去标签呢。
现在有两个数据:
> head(temp) term df 1 阿波罗 0.0000573263 2 阿尔卑斯山 0.0000573263 3 阿富汗 0.0001719789 4 阿哥 0.0001146526 5 阿根廷 0.0000573263 6 阿拉伯 0.0001146526 > head(traintfidf[,1:3]) id label term 1 4995.txt 1 阿波罗 2 16443.txt 1 阿尔卑斯山 3 12897.txt 1 阿富汗 4 7001.txt 1 阿富汗 5 9427.txt 1 阿富汗 6 12368.txt 1 阿哥
通过left_join之后,就可以根据每个词语匹配DF值,并且在源数据重复的情况下,还是能够顺利匹配上。
用在监督式算法情感分析之中,可见R语言︱监督算法式的情感分析笔记。
> head(traintfidf[,1:5]) id label term tf df 1 4995.txt 1 阿波罗 1 0.0000573263 2 16443.txt 1 阿尔卑斯山 1 0.0000573263 3 12897.txt 1 阿富汗 2 0.0001719789 4 7001.txt 1 阿富汗 1 0.0001719789 5 9427.txt 1 阿富汗 1 0.0001719789 6 12368.txt 1 阿哥 1 0.0001146526
————————————————————————————————————————————
4、分词之后文档如何整理?——构造一个单词一个文档名一个label
分词之后,一个文档可能就有很多单词,应该每个单词都单独列出来,并且一个单词一个文档名一个label。
图 2
system.time(x <- segmentCN(strwords = sentence)) #每次可能耗费时间较长的过程,都要使用少量数据预估一下时间,这是一个优秀的习惯 temp <- lapply(x, length) #每一个元素的长度,即文本分出多少个词 temp <- unlist(temp) #lapply返回的是一个list,所以3行unlist id <- rep(test[, "id"], temp) #将每一个对应的id复制相应的次数,就可以和词汇对应了 label <- rep(test[, "label"], temp)#id对应的情感倾向标签复制相同的次数 term <- unlist(x) #6行将list解散为向量 testterm <- as.data.frame(cbind(id, term, label), stringsAsFactors = F) #将一一对应的三个向量按列捆绑为数据框,分词整理就基本结束了
代码解读:segmentCN是分词函数;lapply求得每个文本单词个数;
unlist,可以让单词变成向量化,单词操作的时候都需要这步骤,比如前面对单词进行清洗,需要展平数据;
rep,重复id以及label,按照单词个数,rep(c("id","su"),c(2,1)),执行之后为“id”“id”“su”。
————————————————————————————————————————————
5、情感打分
5.1 关联情感词
现在有了图2的数据以及情感词典数据图3,以term为主键,进行join合并。情感词典中没有的词,则删除。
图 3
library(plyr) testterm <- join(testterm, posneg) testterm <- testterm[!is.na(testterm$weight), ] head(testterm)
代码解读:join,以term进行左关联合并,在A表中,会多出来weigh的一列,但是会出现(1,NA,2,3,NA),一些没有匹配到的NA,
用[is.na(testterm$weight),]来进行删除。
5.2 情感分数
有了图2的id+weight列,就可以直接分组汇总,比如aggregate,其他汇总函数可见比博客:R语言数据集合并、数据增减
dictresult <- aggregate(weight ~ id, data = testterm, sum)
对weight列以文本id分组求和,即为情感打分。
5.3 情感偏向
有了情感分数,我想单单知道这些ID正负,就像图2中的label。
可以利用布尔向量建立连接。
dictlabel <- rep(-1, length(dictresult[, 1])) dictlabel[dictresult$weight > 0] <- 1 dictresult <- as.data.frame(cbind(dictresult, dictlabel), stringsAsFactors = F)
先生成一个原数列长度的-1数列;
在原数列$weight>0会生成一个布尔向量,然后进行赋值,就可以构造label了。
——代码很多来自《数据挖掘之道》的情感分析章节。
每每以为攀得众山小,可、每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~
———————————————————————————
R语言︱词典型情感分析文本操作技巧汇总(打标签、词典与数据匹配等)的更多相关文章
- R语言:用简单的文本处理方法优化我们的读书体验
博客总目录:http://www.cnblogs.com/weibaar/p/4507801.html 前言 延续之前的用R语言读琅琊榜小说,继续讲一下利用R语言做一些简单的文本处理.分词的事情.其实 ...
- R语言——实验5-聚类分析
针对课件中的例子自己实现k-means算法 调用R语言自带kmeans()对给定数据集表示的文档进行聚类. 给定数据集: a) 数据代表的是文本信息. b) 第一行代表词 ...
- R语言︱基本函数、统计量、常用操作函数
先言:R语言常用界面操作 帮助:help(nnet) = ?nnet =??nnet 清除命令框中所有显示内容:Ctrl+L 清除R空间中内存变量:rm(list=ls()).gc() 获取或者设置当 ...
- R语言学习笔记:分析学生的考试成绩
孩子上初中时拿到过全年级一次考试所有科目的考试成绩表,正好可以用于R语言的统计分析学习.为了不泄漏孩子的姓名,就用学号代替了,感兴趣可以下载测试数据进行练习. num class chn math e ...
- R语言&页游渠道分析(转)
对着满屏的游戏后台数据,需要快速了解数据特征,一种茫然无从下手的感觉? 本文在游戏后台数据中,如何通过R语言快速的了解游戏后台的数据特征,以及统计各个数据之间的相关系数,并通过相关图来发现其中相关系数 ...
- R语言学习 - 非参数法生存分析--转载
生存分析指根据试验或调查得到的数据对生物或人的生存时间进行分析和推断,研究生存时间和结局与众多影响因素间关系及其程度大小的方法,也称生存率分析或存活率分析.常用于肿瘤等疾病的标志物筛选.疗效及预后的考 ...
- C语言-字符串典型问题分析
1.典型问题一 下面的程序输出什么为什么? #include <stdio.h> int main() { ] = {}; char src[] = ...
- 在R语言中使用Stringr进行字符串操作
今天来学习下R中字符串处理操作,主要是stringr包中的字符串处理函数的用法. 先导入stringr包,library(stringr),require(stringr),或者stringr::函数 ...
- my25_Mysql操作技巧汇总
1. drop database 在数据量很大的情况下,最好先对表进行truncate,然后再drop database:不然会卡住很长的时间. 2. 数据的逻辑导入导出 如果数据量大,又需要进行逻辑 ...
随机推荐
- html集锦
注意:此内容为复习所总结,非专业,不全,理解记录理解会有偏差. 一.HTML解释: 指的是超文本标记语言 (Hyper Text Markup Language),不是一种编程语言,而是一种标记语言 ...
- 基于 React + Webpack 的音乐相册项目(上)
笔记仓库:https://github.com/nnngu/LearningNotes 上一篇文章用爬虫自动下载了一些图片,这一篇就用这些图片做一个音乐相册吧! 效果预览 点击图片,切换到背面: 演示 ...
- ASP.NET Core 2.0 : 三. 项目结构
本章我们一起来对比着ASP.NET Framework版本看一下ASP.NET Core 2.0的项目结构.(此后的文章也尽量这样对比着, 方便学习理解.) 关注差异, 也为项目迁移做准备. 新建项目 ...
- c#扩展方法的使用,实现的几个功能
用扩展类写了一个管理类: using Newtonsoft.Json.Linq; using System; using System.Collections.Generic; using Syste ...
- vue中多个input绑定enter按键事件
默认再每个input上加 keyup.enter 是可以绑定事件的 可是多个input一起绑定同一个事件就比较麻烦 所以就在vue dom里面遍历查找并绑定事件 let handleEnter = ( ...
- Java锁概念基础
Java中的锁不管是Lock还是synchronized都可以分为互斥锁和非互斥锁. 互斥锁只能被一个线程持有,其他线程只能等待锁的释放.synchronized,ReentrantLock,Read ...
- BZOJ 4408: [Fjoi 2016]神秘数 [主席树]
传送门 题意: 一个可重复数字集合S的神秘数定义为最小的不能被S的子集的和表示的正整数.例如S={1,1,1,4,13},8无法表示为集合S的子集的和,故集合S的神秘数为8.现给定n个正整数a[1]. ...
- BZOJ 3110: [Zjoi2013]K大数查询 [整体二分]
有N个位置,M个操作.操作有两种,每次操作如果是1 a b c的形式表示在第a个位置到第b个位置,每个位置加入一个数c如果是2 a b c形式,表示询问从第a个位置到第b个位置,第C大的数是多少. N ...
- Go基础之--反射
反射:可以在运行时动态获取变量的相关信息 反射需要导入reflect 反射中重要函数的演示 反射有几下几个重要的函数:reflect.TypeOf :获取变量的类型,返回reflect.Type类型r ...
- MySQL数据库基础
MySQL数据库基础 本文的所有操作是基于CMD环境,MySQL通过在命令行中输入SQL语句对数据库进行操作.配置问题可参考<打通MySQL的操作权限>中的内容,该文算是针对前期的环境配置 ...