N-gram
u 基础概念
-------------------------------------------------
条件概率的基本定理：
设A，B 是两个事件，且A不是不可能事件，则称
为在事件A发生的条件下，事件B发生的条件概率
-------------------------------------------------
P(W) = P(w1, w2, w3,...wn)
P(W) = N-gram = LM
P(W)=P(w1,w2,w3,…wn) = P(w1)P(w2|w1)P(w3|w1,w2)…P(wn|
w1…wn-1)
P(wn|w1,...wn-1) = C(w1,w2,...wn)/C(w1,w2,...wn-1)
故ngram只是一阶马尔科夫链
不足：
1.统计时需要计算大量的语句的概率，计算量随着n的增加爆炸性增长
2.数据稀疏，不可能有足够多的语句来统计概率
引入马尔科夫假设：假设要估算的状态只和其前i-1个状态有关
故:P(wn|w1,...wn) ≈P(wn|wn-i+1,...wn-1)
采用最大似然估计（MLE）来计算概率
涉及到一系列的打折平滑算法
P(wn|wn-i+1,...wn-1) = C(wn-i+1,...wn)/ C(wn-i+1,...wn-1)
u 基于SRILM的LM的概率计算方式
P（word1, word2, word3）
# if has (word3| word1, word2){
# returnP(word3| word1, word2);
# }else if has (word2| word1){
# returnbackOff(word2| word1) * P(word3| word2);
# }else{
# return P(word3| word2);
# }
# if has (word2| word1){
# return P(word2| word1);
# }else{
# return backOff(word1) * P(word2); #Make sure OOV change to <unk>
# }
u 基于SRILM的LM的PPL计算方式
ngram -ppl TESTSET.seg-order 3 -lm LM.ARPA
--------------------------------------------------------
file TESTSET.seg: 2000 sentences, 52388 words, 249 OOVs
0 zeroprobs, logprob= -105980 ppl= 90.6875 ppl1= 107.805
TESTSET.seg 测试集的分词文件
LM.ARPA 待评估的语言模型
--------------------------------------------------------
ppl=10^{-{logP(T)}/{Sen+Word}}
ppl1=10^{-{logP(T)}/Word}