第四次任务计划书

一、计划进度

二、本周研究内容。

1、 数据预处理：

　　步骤一：将离散值转化为连续值：对于非连续的属性，如：protocol_type（3种类型），service（70种类型），flag （11种类型），以及最后的label属性（23种类型）分为进行编号，将离散型转换化成连续型。

　　步骤二：属性取值情况较少的属性删除 
　　（1）land属性及land攻击的删除：所有的land属性取值为1的22条连接记录中有21条均属于land攻击，且land攻击和normal 之间，除land 属性之外的其他属性之间并无明显区别，因此可以忽略。（2）urgent 属性的删除：该属性值几乎全部为 0，只有 4 条记录取值不为 0。只要将这四条记录加以标记，便可以删除该属性。（3）su_attempted和 num_shells
属性的删除：属性值几乎全部为0，只有个别连接记录的值为1或2，将特殊值记录加以标识便可以删除该属性。

　　步骤三：数据分块

　　根据service（网络服务类型）数据分块可以看出，有42种服务类型基本上攻击类型为neptune,其他的攻击类型较样本来说影响较小。还有7种服务类型基本上也对应着是normal则同理其他的攻击类型可以忽略。这样一来，数据集就从66减少到17个。在剩下的服务类型中，cr_i网络服务类型占了一大半的数据量，但是通过数据集分块，该数据集中只有6 个决策类型，同时通过属性的二次删除，其特征属性的个数也只剩下13 个。而对于决策类型较多的三个数据集块 ftp、ftp_data 和 telnet 来说，其特征属性个数也相对较多，但是其连接记录条目一般并不多，最多也只有四千多条而已。

2、参考的部分朴素贝叶斯的代码：

from numpy import *

class NaiveBayesClassifier(object):
   
    def __init__(self):
        self.dataMat = list()
        self.labelMat = list()
        self.pLabel1 = 0
        self.p0Vec = list()
        self.p1Vec = list()

def loadDataSet(self,filename):
        fr = open(filename)
        for line in fr.readlines():
            lineArr = line.strip().split()
            dataLine = list()
            for i in lineArr:
                dataLine.append(float(i))
            label = dataLine.pop() # pop the last column referring to  label
            self.dataMat.append(dataLine)
            self.labelMat.append(int(label))

def train(self):
        dataNum = len(self.dataMat)
        featureNum = len(self.dataMat[0])
        self.pLabel1 = sum(self.labelMat)/float(dataNum)
        p0Num = zeros(featureNum)
        p1Num = zeros(featureNum)
        p0Denom = 1.0
        p1Denom = 1.0
        for i in range(dataNum):
            if self.labelMat[i] == 1:
                p1Num += self.dataMat[i]
                p1Denom += sum(self.dataMat[i])
            else:
                p0Num += self.dataMat[i]
                p0Denom += sum(self.dataMat[i])
        self.p0Vec = p0Num/p0Denom
        self.p1Vec = p1Num/p1Denom

def classify(self, data):
        p1 = reduce(lambda x, y: x * y, data * self.p1Vec) * self.pLabel1
        p0 = reduce(lambda x, y: x * y, data * self.p0Vec) * (1.0 - self.pLabel1)
        if p1 > p0:
            return 1
        else:
            return 0

def test(self):
        self.loadDataSet(‘testNB.txt‘)
        self.train()
        print(self.classify([1, 2]))

if __name__ == ‘__main__‘:
    NB =  NaiveBayesClassifier()
    NB.test()

三、你本周的体会及需要改进地方。

数据预处理方面还是存在着一些问题。算法暂时还没有和数据入口对接，算法的一些细节部分仍然需要完善，整体设计思路还是要重新整理，多参考一些硕士论文，Python部分也要多去学习，还有很多东西需要补充。

五、你本周参考的文献。

1、KDDCUP99数据集的数据分析研究_吴建胜

2、http://www.cnblogs.com/Finley/p/5334987.html