实训中的自然语言处理部分，首先就是要分词了，学习一下！
上手jiebaR
使用jiebaR的第一步当然是安装jiabaR包并加载咯
安装： install.packages("jiebaR") 加载： library(jiebaR)
三种分词语句的写法：
wk = worker()
#方法1
wk["我希望未来会很好"]
#方法2
wk<="我希望未来会很好" #此处用=的话可不行哟
#方法3
segment("我希望未来会很好",wk)
结果都是一样的，如下
[1] "我" "希望" "未来" "会" "很" "好"
当然也可对文本文件进行分词：当前目录下创建文本文件like.txt
##like.txt 新的一学年开始了，结束了大一的骄傲和浮躁之后，桥川、钟白、任逸帆等人顺利进入了大二。肖海洋也通过了大一的考试，如愿以偿没有留级。大一的同窗情谊依旧继续。过了一个假期，大二伊始，旧同学的离开和新同学的加入，让他们之间的关系也发生了微妙变化。顾一心随家人去了美国上学， 毕十三把这份牵挂变成了学习上奋进的动力。转学生许连翘新转入电摄班并貌似带着神秘的任务。原班主任的离开，让原本散漫的电摄班开始团结。 人物的新旧交替，和大二课业的丰富与繁重，2015级电摄班大二的同窗故事更加精彩。这时的他们褪去了大一的青涩，迎来大学中成长速度最快的一年。九个人开启了各自的梦想，并在跌跌撞撞中实现自己的梦想。又是一年大学时光的流逝，九位同窗好友之间的情谊越来越浓。
然后，输入 wk[‘like.txt‘]
返回 [1] "like.segment.2018-01-08_16_13_17.txt" ，即在同目录下生成了分好词的文件，如下：
##like.segment.2018-01-08_16_13_17.txt 新 的 一 学年 开始 了 结束 了 大 一 的 骄傲 和 浮躁 之后 桥川 钟 白 任 逸 帆 等 人 顺利 进入 了 大二 肖 海洋 也 通过 了 大 一 的 考试 如愿以偿 没有 留级 大一 的 同窗 情谊 依旧 继续 过 了 一个 假期 大二 伊始 旧 同学 的 离开 和 新 同学 的 加入 让 他们 之间 的 关系 也 发生 了 微妙 变化 顾 一心 随 家人 去 了 美国 上学 毕 十三 把 这份 牵挂 变成 了 学习 上 奋进 的 动力 转 学生 许 连翘 新 转入 电摄 班 并 貌似 带 着 神秘 的 任务 原 班主任 的 离开 让 原本 散漫 的 电 摄班 开始 团结 人物 的 新旧交替 和 大二 课业 的 丰富 与 繁重 2015 级 电 摄班 大二 的 同窗 故事 更加 精彩 这时 的 他们 褪去 了 大 一 的 青涩 迎来 大学 中 成长 速度 最快 的 一年 九个 人 开启 了 各自 的 梦想 并 在 跌跌撞撞 中 实现 自己 的 梦想 又 是 一年 大学 时光 的 流逝 九位 同窗好友 之间 的 情谊 越来越 浓
so easy 吧，现在让我们看一下刚刚到底发生了些什么
分词引擎
在调用worker()函数时，我们实际是在加载jiebaR库的分词引擎。jiebaR库提供了7种分词引擎。
- 混合模型(MixSegment):是四个分词引擎里面分词效果较好的类，结它合使用最大概率法和隐式马尔科夫模型。
- 最大概率法(MPSegment) :负责根据Trie树构建有向无环图和进行动态规划算法，是分词算法的核心。
- 隐式马尔科夫模型(HMMSegment):是根据基于人民日报等语料库构建的HMM模型来进行分词，主要算法思路是根据(B,E,M,S)四个状态来代表每个字的隐藏状态。 HMM模型由dict/hmm_model.utf8提供。分词算法即viterbi算法。
- 索引模型(QuerySegment):先使用混合模型进行切词，再对于切出来的较长的词，枚举句子中所有可能成词的情况，找出词库里存在。
- 标记模型(tag)
- Simhash模型(simhash)
- 关键词模型(keywods)
一般情况下，使用默认引擎(混合模型)就足够了。
下面让我们仔细研究以下work()函数
worker(type = "mix", dict = DICTPATH, hmm = HMMPATH, user = USERPATH, idf = IDFPATH, stop_word = STOPPATH, write = T, qmax = 20, topn = 5, encoding = "UTF-8", detect = T, symbol = F, lines = 1e+05, output = NULL, bylines = F, user_weight = "max")
各参数的含义如下：
- type, 引擎类型
- dict, 系统词典
- hmm, HMM模型路径
- user, 用户词典
- idf, IDF词典
- stop_word, 关键词用停止词库
- write, 是否将文件分词结果写入文件，默认FALSE
- qmax, 最大成词的字符数，默认20个字符
- topn, 关键词数,默认5个
- encoding, 输入文件的编码，默认UTF-8
- detect, 是否编码检查，默认TRUE
- symbol, 是否保留符号，默认FALSE
- lines, 每次读取文件的最大行数，用于控制读取文件的长度。大文件则会分次读取。
- output, 输出路径
- bylines, 按行输出
- user_weight, 用户权重
work()函数的默认配置：
如果我们想改变分词引擎的配置项，可以在调用worker()创建分词引擎时，也可以通过wk$XX来进行设置
自定义用户词典
编写自定义的词典文件，mydict.utf8
然后，在调用worker时设置自定义的用户词典 wk=worker(user="mydict.utf8")
再次对like.txt执行分词，得到的结果如下：
【自定义词典结果】
【默认词典结果】
duang，是不是很有效果
此外，过滤停止词的本质与自定义词典是一样的啦，只要把停止词的默认文件换成自己的停止词文件就好啦
此外此外，还可能需要去除数据字母，可用正则表达式，用stringr包去除空格等
原文地址：https://www.cnblogs.com/Hyacinth-Yuan/p/8243476.html