机器学习-朴素贝叶斯应用-判断垃圾邮件

文章中代码均来自于《机器学习实战》
这个程序没有邮件的文件的话是不能运行的，要是想试试可以去网上搞搞文件

'''
Created on Oct 19, 2010

@author: Peter
'''
#和其他复杂模型不一样，朴素贝叶斯的思想和操作比较简单，它一般是内嵌在处理具体问题的函数中的，而不像神经网络模型或者决策树等等有自己独立的方法
from numpy import *
def createVocabList(dataSet):
    #将data中出现的所有词放在一个列表中
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #union of the two sets，也就是并集
    return list(vocabSet)
def setOfWords2Vec(vocabList, inputSet):
    #返回训练集中的哪些词在这个样本中出现了
    #vocabList是词库，inputSet是输入的该条样本
    returnVec = [0]*len(vocabList)#创建一个所含元素都为0的向量
    for word in inputSet:
        if word in vocabList:#判断是不是输入的样本中的所有词都训练过
            returnVec[vocabList.index(word)] = 1#出现了
        else: print("the word: %s is not in my Vocabulary!" % word)
    return returnVec
def trainNB0(trainMatrix,trainCategory):#朴素贝叶斯分类器训练函数
    #接受的输入（trainMatrix)是用词袋或者词集处理后的01数组,不能直接传源数据过来啊
    #trainMatrix是训练集data，trainCategory是训练集样本的labels
    numTrainDocs = len(trainMatrix)#训练集样本个数
    numWords = len(trainMatrix[0])#训练集中单词一共有多少个
    pAbusive = sum(trainCategory)/float(numTrainDocs)#返回的结果是“训练集中样本有多少百分比是侮辱性文档”,即P(ci)
    #初始化概率的分子变量
    p0Num = ones(numWords)
    p1Num = ones(numWords)
    #初始化概率的分母变量
    p0Denom = 2.0; p1Denom = 2.0
    #遍历所有data
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]#p1Num统计总体中的哪些词出现在了被标记为侮辱性的文档中，它不是一个数，而是一个向量，是侮辱性文档中字符出现的叠加
            #例如[0,1,2,0],0表示这个词从来没有在侮辱性文档中出现过，而1,2,3分别表示他们出现了1次、2、3次
            p1Denom += sum(trainMatrix[i])#侮辱性文档的总词数
        else:
            p0Num += trainMatrix[i]#同上，只不过这次操作的是非侮辱性的那些
            p0Denom += sum(trainMatrix[i])
    #对每个元素做除法求概率
    p1Vect = log(p1Num/p1Denom)          #change to log()，原本的朴素贝叶斯模型中这里应该是不带log的，它表示的是P(w|ci),这里是改进后的模型
    #注意，p1Vect是一个数组，每个元素表示已知是侮辱性文档的前提下这个词出现的概率，就是P(wj|ci)
    p0Vect = log(p0Num/p0Denom)          #change to log()
    return p0Vect,p1Vect,pAbusive#返回P(w|ci)和P(ci)

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)    #p1是判断为侮辱性文档的概率，即P(Ci)=P(Ci|w)P(w)
    #按元素相乘再相加，为什么是加上log(pClass1),不应该是P(w|ci)*P(ci)吗，因为这里我们改进了，都把他们做了log变换，所以原来的乘法自然也变成加法了
    """
    1. 为什么要改进成log:
    小数连乘会造成所得值几乎等于 0 的结果，从而无法比较大小。鉴于此，往往在实际运算中，会借助 log 函数
    因为概率处于[0,1]区间，由log的函数图像可知，这样改造之后不会改变增减性，但是会起到特征放大的作用
    2.为什么没计算P（w):
    贝叶斯式子的那个分母在比较的时候根本不需要，就不算了
    """
    """
    *(星号)运算的作用
    对数组执行对应位置相乘
    对矩阵执行矩阵乘法运算
    """
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else:
        return 0

def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
        else:
            print("the word: %s is not in my Vocabulary!" % word)
    return returnVec
def textParse(bigString):    #input is big string, #output is word list
    import re#re包：正则表达式的支持
    listOfTokens = re.split('\\W+',bigString)
    #print(listOfTokens)
    """
    这个函数和书上的不太一样，改了正则表达式，具体的可以看这个：
    https://www.cnblogs.com/jiading/p/11632618.html
    """
    return [tok.lower() for tok in listOfTokens if len(tok) > 2] #返回一个处理后的数组

def spamTest():
    docList=[]; classList = []; fullText =[]
    for i in range(1,26):
        #注意这里面有些文档是EASCII码格式的，直接读会报错，需要先把他们的格式改了。
        #可以先print(i)看看是卡在哪个文件上了，然后将其改为ASCII格式
        openTextParse=open('email/spam/%d.txt' % i,encoding='ascii')
        readTextParse=openTextParse.read()#读取一行文件
        #print(i,'-readTextParsead:',readTextParse)
        #print(i,'-readTextParse\'s type:',type(readTextParse))
        wordList = textParse(readTextParse)#送到textParse进行处理，将读入的字符串切割为字符数组
        #print(i,'-wordList:',wordList)
        docList.append(wordList)#保存这条记录
        fullText.extend(wordList)#在总词库中加上这条记录的词
        #注意上面这个命令，它和下面创建的vocabList的区别就是它是不去重的！
        classList.append(1)#保存label，这是spam
        openText=open('email/ham/%d.txt' % i,encoding='ascii')
        #print(i)
        wordList = openText.read()
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(0)#这是ham
    vocabList = createVocabList(docList)#create vocabulary
    trainingSet = list(range(50)); testSet=[]           #create test set
    """
    这里不能再用原来的trainingSet=range(50)了
    原因：python3.x   range返回的是range对象，不返回数组对象
    trainingSet里面是数组，元素是0-49
    """
    for i in range(10):#随意选10个作为测试集
        randIndex = int(random.uniform(0,len(trainingSet)))#随便选一个
        #print(i,':',randIndex)
        testSet.append(trainingSet[randIndex])
        del(trainingSet[randIndex])  #就是把那个作为index的数删掉，不动源数据，这是很重要的，别随随便便改源数据
    trainMat=[]; trainClasses = []
    for docIndex in trainingSet:#train the classifier (get probs) trainNB0
        trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))#把词袋模型的结果（01数组）传进去
        trainClasses.append(classList[docIndex])#传入label
    p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses))
    errorCount = 0
    for docIndex in testSet:        #算算有没有归类错误的
        wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
        if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:
            errorCount += 1
            print("classification error",docList[docIndex])
    print('the error rate is: ',float(errorCount)/len(testSet))
    #return vocabList,fullText

原文地址：https://www.cnblogs.com/jiading/p/11632737.html