机器学习--朴素贝叶斯算法案例

电子邮件垃圾过滤

1、如何从文本文档中构建自己的词列表。使用正则表达式切分句子，并将字符串全部转换为小写。

####################################

# 功能：切分文本

# 输入变量：大字符串 big_string

# 输出变量：字符串列表

####################################

def text_parse(big_string):

list_of_tokens = re.split(r‘\W*‘, big_string)

return [tok.lower() for tok in list_of_tokens if len(tok) > 2]

2、对贝叶斯垃圾邮件分类器自动化处理。本例中共有50封电子邮件，其中的10封电子邮件被随机选择为测试集，剩余部分作为训练集。通过多次迭代求出平均错误率来衡量分类器的性能。

####################################

# 功能：垃圾邮件测试

# 输入变量：空

# 输出变量：错误率

####################################

def spam_test():

doc_list = []

class_list = []

for i in xrange(1, 26):

word_list = text_parse(open(‘email/spam/%d.txt‘ % i).read())

doc_list.append(word_list)

class_list.append(1)

word_list = text_parse(open(‘email/ham/%d.txt‘ % i).read())

doc_list.append(word_list)

class_list.append(0)

vocab_list = create_vocab_list(doc_list)

training_set = range(50)

test_set = []

# 从50封邮件中随机选择10封做为测试集，相应的在训练集中剔除这10封邮件

for i in xrange(10):

rand_index = int(random.uniform(0, len(training_set)))

test_set.append(training_set[rand_index])

del(training_set[rand_index])

train_mat = []

train_classes = []

for doc_index in training_set:

train_mat.append(set_of_words2vec(vocab_list, doc_list[doc_index]))

train_classes.append(class_list[doc_index])

p0v, p1v, p_spam = train_nb0(array(train_mat), array(train_classes))

error_count = 0

# 遍历测试集，对其中的每封邮件进行分类

for doc_index in test_set:

word_vector = set_of_words2vec(vocab_list, doc_list[doc_index])

if classify_nb(array(word_vector), p0v, p1v, p_spam) != class_list[doc_index]:

error_count += 1

print ‘classification error ‘, doc_list[doc_index]

print ‘the error rate is: ‘, float(error_count)/len(test_set)

3、代码测试

def main():

spam_test()

if __name__ == ‘__main__‘:

main()