bigram分词

N-gram:

P(w1w2w3...wn)=P(w1)P(w2|w1)P(w3|w2,w1)...P(wn|wn-1,wn-2,...,w1)

bigram的语言模型：P(w1w2w3...wn)=P(w1)P(w2|w1)P(w3|w2)...P(wn|wn-1)

P(wn|wn-1)=count(wn,wn-1)/count(wn-1)

N-gram的基本思想是将文本内容按字节流进行大小为N的滑动窗口操作，形成长度为N的字节片段序列，每个字节片段即为gram，对全部gram的出现频度进行统计，并按照设定的阈值进行过滤，形成keygram列表，即为该文本的特征向量空间，每一种gram则为特征向量维度。

中文文本处理大多采用bi-gram进行分解，因为双字词出现概率比较大，即以大小为2的滑动窗口进行操作，切成长度为2的字节片段；

bigram切分方法在处理20%左右的中文多字词时，往往产生语义和语序方面的偏差。而多字词常常是文本的核心特征，处理错误会导致较大的负面影响。

自动产生多字特征词：基于n-gram改进的文本特征提取算法，在进行bigram切分时，不仅统计gram的出现频度，而且还统计某个gram与其前邻gram的情况，并将其记录在gram关联矩阵中，对于连续出现频率大于事先设定阈值的，就将其合并为多字特征词，可以较好弥补n-gram算法在处理多字词方面的缺陷。

听说这是一种比较简单粗暴有效的方法