集成开发环境:Pycharm
python版本:2.7(anaconda库)
用到的库:科学计算库numpy,数据分析包pandas,画图包matplotlib,机器学习库sklearn
大体步骤分为三步:
1.数据分析
2.交叉验证
3.预测并输出结果
导入库函数
import numpy as np import pandas as pa import matplotlib.pyplot as pl from sklearn.linear_model import LogisticRegression from sklearn import model_selection # 最后一个库是原来cross_validation的替代,原来那个过时了,再用会有警告,其实里边的函数都没变
第一步:数据分析
1.1通过画图分析出数据中对预测影响很小的特征值,忽略这些特征可以减小工作量
1 # pandas库里的read_csv可以把csv文件读取为dataFrame对象,这个对象就是很多列(数组)共享一个index,这个index 是真的存在的且可以指定,每一列都有name 2 # 其形状大小是真实数据的形状,不包括index和name 3 # 路径可以是绝对路径和相对路径,注意路径中的反斜线是两根,或者一根/ 4 train_obj = pa.read_csv(‘train.csv‘) 5 test_obj = pa.read_csv(‘test.csv‘) 6 7 # 首先把一看就知道对结果没有影响的数据去掉 8 # DataFrame对象的drop方法:删除行或者列,可以多行,drop(‘行名或者列名‘,axis=0/1(0是行,1是列)),多个行名或者列名:[‘‘,‘‘] 9 trainData = train_obj.drop([‘Name‘, ‘Ticket‘, ‘Cabin‘], axis=1) 10 testData = test_obj.drop([‘Name‘, ‘Ticket‘, ‘Cabin‘], axis=1) 11 12 # 下面用画图的形式对其他变量对最后结果的影响作出判断: 13 # 首先考察船舱和性别,用groupby函数对的数据进行分类,groupby(‘列名‘),根据给出的列,把具有相同数值的合为一组,组数为列值的种数 14 # 如果groupby([‘列名1‘,‘列名2‘]),则列1为分大类,大类中再根据列2进行分类 15 train_group1 = trainData.groupby([‘Sex‘, ‘Pclass‘]) # 返回类型是Groupby类型,里边有key1*key2组 16 # sum()是将各组内每个特征的所有数据相加,返回也是key1*key2组,只不过每组里只有一行数据,是所有数据之和 17 # count()是统计各组每个特征的数据量(由于有缺失数据,所以各个特征间是不一定一样的) 18 rate = (train_group1.sum() / train_group1.count())[‘Survived‘] # 有6组,每组都只有一个值,生存率 19 20 # 下面开始画图,柱状图 21 x = np.array([1, 2, 3]) 22 wi = 0.3 23 # bar(left,height,width,color)用来化柱状图,参数分别是每个柱子的左侧位置坐标,高度(一般就是数据),宽度,颜色,前三个一般都是集合 24 pl.bar(x, rate.female, wi, color=‘r‘) 25 pl.bar(x, rate.male, wi, color=‘b‘) 26 pl.title("survived rate") 27 # 坐标轴名称 28 pl.xlabel("Pclass") 29 pl.ylabel("rate") 30 # 指定网格线格式 31 pl.grid(True, linestyle=‘-‘, color=‘0.7‘) 32 # 轴的刻度 33 pl.xticks([1, 2, 3]) 34 # arange(起点,终点,间隔),创建一个等差序列 35 pl.yticks(np.arange(0.0, 1.1, 0.1)) 36 # 对不同的柱做标记 37 pl.legend([‘female‘, ‘male‘]) 38 # pl.show() 39 # 接下来的过程和上边差不多,分别是判断了年龄、上船地点、船上亲属人数
1.2数据预处理,将特征中比较相似的直接相加作为一个,非数值类型转为数值类型,对缺失值进行处理
1 # 船上的亲属人数就是把两个代表家属的变量相加 2 trainData[‘family‘] = trainData[‘SibSp‘] + trainData[‘Parch‘] 3 # pandas中的map()函数一般是用来进行数据转换的,参数是函数或者字典,一个series调用map(),会对照字典用的key,将series中的key全部改成相应的value,map()函数返回一个新的,对源对象不操作 4 trainData[‘Sex‘] = trainData[‘Sex‘].map({‘female‘: 0, ‘male‘: 1}) 5 trainData[‘Embarked‘] = trainData[‘Embarked‘].map({‘C‘: 0, ‘Q‘: 1, ‘S‘: 2}) 6 # numpy.isnan()函数的作用是返回一个Boolean数组,对应input的下标,若当前位置是nan那么就是true,否则false 7 # 对一个数组挑选时可以用array[True,False,True...]True就是选择 8 # 挑选出age为nan的,这个集合不用age这个特征,做四特征预测 9 train_age_nan = trainData[np.isnan(trainData[‘Age‘])] 10 # 挑选出age不为空的数据,直接调用dropna(),这个方法会去掉输入数组中有nan特征的数据,挑选后的具备所有特征,所以可以用所有特征 11 train_all = trainData.dropna() 12 # 对于以上两个数据集分别挑选出需要的特征组成训练集,因为之前已经确认了有的是对结果没有影响的,所以可以只挑选有用的 13 # dataframe选取列的格式是两个方括号,[[‘列名‘,‘列名‘]] 14 train_five = train_all[[‘Sex‘, ‘Embarked‘, ‘family‘, ‘Age‘, ‘Pclass‘]] 15 train_four = train_age_nan[[‘Sex‘, ‘Embarked‘, ‘family‘, ‘Pclass‘]] 16 17 # 两个数据集的标记数组 18 train_five_label = train_all[‘Survived‘] 19 train_four_label = train_age_nan[‘Survived‘] 20 21 # 至此处理数据工作全部完成,接下来就是训练模型
2.交叉验证
1 # 使用分类器类 2 classifier = LogisticRegression(C=10000) # 这个作为5特征分类器,这里的c是正则化系数,防止系统由于过于复杂而产生过拟合 3 # 调用cross_validation.cross_val_score(分类器,data,target,cv),这个函数返回每次交叉验证的准确率,方法是StratifiedKFold,具体看http://blog.sina.com.cn/s/blog_6a90ae320101a5rc.html 4 # 函数返回一个数组 5 score = model_selection.cross_val_score(classifier, train_five, train_five_label, cv=5) # 交叉验证 6 classifier2 = LogisticRegression() # 这个作为4特征分类器 7 score2 = model_selection.cross_val_score(classifier2, train_four, train_four_label, cv=5) # 交叉验证 8 # 查看平均值 9 print score.mean() 10 print score2.mean()
3.输出结果
1 # 下面开始输出结果 2 3 # 首先处理测试集 4 testData[‘Sex‘] = testData[‘Sex‘].map({‘female‘: 0, ‘male‘: 1}) 5 testData[‘Embarked‘] = testData[‘Embarked‘].map({‘C‘: 0, ‘Q‘: 1, ‘S‘: 2}) 6 testData[‘family‘] = testData[‘SibSp‘] + testData[‘Parch‘] 7 # 这里不能用两个数据集,因为如果将数据分开分别判断,那么无法和乘客号对应 8 # 读取官方结果 9 answer = pa.read_csv(‘gender_submission.csv‘) 10 11 # 训练分类器 12 classifier.fit(train_five, train_five_label) 13 classifier2.fit(train_four, train_four_label) 14 15 # 输出测试集结果 16 passengers = pa.DataFrame(testData[‘PassengerId‘]) 17 # 这里必须先创建一个列,直接赋值会出错 18 passengers[‘Survived‘] = ‘‘ 19 # isnan()是numpy库里的函数 20 #这里有个问题就是如果直接对passengers[‘Survived‘][i]每行赋值的话会有SettingCopyWarning警告,正确的方法是先生成一个数组temp,然后把数组赋值给列,直接添加会有警告 21 temp = np.zeros(passengers.shape[0]) 22 for i in range(len(testData)): 23 if np.isnan(testData[‘Age‘][i]): 24 # 这里也有一个问题:由于需要一个一个做预测,但是predict函数要求输入二维数组,单行数据是一维的 25 #所以要把数据转为numpy中的array,然后转为二维数组 26 #reshape()函数可以利用原数组数据改变数组的尺寸,但是主要新旧数组数据量相同,而reshape(1,-1)可以将[xxx]转为[[xxx]]这种,就可以用了 27 temp[i] = classifier2.predict(np.array( testData[[‘Pclass‘, ‘Sex‘, ‘Embarked‘, ‘family‘]].ix[i].dropna()).reshape(1,-1)) 28 else: 29 temp[i] = classifier.predict(np.array(testData[[‘Sex‘, ‘Embarked‘, ‘family‘, ‘Age‘, ‘Pclass‘]].ix[i]).reshape(1,-1)) 30 passengers[‘Survived‘] = temp 31 # 结算准确率 32 acc = 1 - float(sum(abs(answer[‘Survived‘] - passengers[‘Survived‘]))) / len(passengers) 33 print acc 34 # 输出文件 35 passengers.to_csv(‘result.csv‘,encoding=‘utf-8‘,index=False)
时间: 2024-10-09 06:52:14