20151007kaggle Titanic心得
Titanic是kaggle上一个练手的比赛,kaggle平台提供一部分人的特征,以及是否遇难,目的是预测另一部分人是否遇难。目前抽工作之余,断断续续弄了点,成绩为0.79426。
在这个比赛过程中,接触并了解了一些数据挖掘比赛的基本流程,现记录一下。
1. 分析数据
- 因为数据量比较小,train有800多条数据,test有400多条数据,因此这里用了execl的数据透视表分析。
- 同时python提供pandas库,可以很好的分析数据。
2. 缺失值填充
关于Age,Fare,Embarked三个字段有缺失,官方给了个利用中位数或者众数的做法,同样的我们也可以利用随机森林等机器学习模型来填补缺失值。当然这里我采用的官方的做法,效果不错。
##利用众数填充Embarked缺失值
prodata.Embarked[ prodata.Embarked.isnull() ] = prodata.Embarked.dropna().mode().values
##利用中位数填充Age缺失值
median_age = prodata['Age'].dropna().median()
prodata.loc[ (prodata.Age.isnull()), 'Age'] = median_age
##根据Pclass将人分成3组,然后利用每组的中位数填充Fare缺失值
median_fare = numpy.zeros(3)
for f in range(0,3):
median_fare[f] = prodata[prodata.Pclass == f+1 ]['Fare'].dropna().median()
for f in range(0,3):
prodata.loc[ (prodata.Fare.isnull()) & (prodata.Pclass == f+1 ), 'Fare'] = median_fare[f]
3. 数据处理
3.1 转换为虚拟变量
数据中常常有无法比较大小的值,比如Embarked代表去哪个地方,这个时候如果要使用lr这类的模型,我们需要将Embarked变为虚拟变量,也是哑变量。
举个例子:Embarked这里取得3种值,假设为A、B、C。这里我们就可以用2个新特征标识Embarked,分别是Embarked_A、Embarked_B。
Embarked = “A” => Embarked_A = 1 Embarked_B = 0
Embarked = “B” => Embarked_A = 0 Embarked_B = 1
Embarked = “C” => Embarked_A = 0 Embarked_B = 0
这里不能再添加一个新的特征Embarked_C,原因是如果在添加一个特征会使得特征完全共线性,导致模型无法估计。具体详细见虚拟变量陷阱。
##将Embarked转换为哑变量
dummies_df = pandas.get_dummies(prodata.Embarked)
dummies_df = dummies_df.rename(columns=lambda x:'Embarked_'+str(x))
prodata = pandas.concat([prodata,dummies_df.iloc[:,:-1]],axis=1)
3.2 归一化
归一化的方法有很多,比如线性函数归一化,Z-score标准化。后者要求原始数据分布为正态分布。
##标准化归一化Age
prodata['Age_Scaled'] = preprocessing.StandardScaler().fit_transform(prodata.Age)
3.3 离散化(分区间)
将数值类的数据划分成几个区间,这里采用的分位数划分pandas.qcut。
##将Age分成6个区间,然后变化成区间id
Age_bin = pandas.qcut(prodata.Age, 6)
prodata['Age_bin_id'] = pandas.factorize(Age_bin)[0]+1
3.4 数据平滑
因为Fare这一列有一些为0的数据,因此对等于0的部分,稍微做一些平滑处理。
##平滑处理Fare为0的数据
prodata['Fare'][numpy.where(prodata['Fare']==0)[0]] = prodata['Fare'][prodata.Fare.nonzero()[0] ].min() / 100
4. 提炼高级特征
- 参照了别人的博客,从Name里面提炼了一些Mr,Mrs等特征,然后转换成哑变量。
- 对一些特征进行加减乘除,在下一步降维,以及特征筛选的时候使用。
5. 降维以及特征筛选
5.1 PCA降维
参照博客,对lr使用了PCA降维,但是效果并不好。
X = prodata.values[:, 1::]
y = prodata.values[:, 0]
variance_pct = .99
pca = PCA(n_components=variance_pct)
X_transformed = pca.fit_transform(X,y)
pcaDataFrame = pandas.DataFrame(X_transformed)
5.2 特征筛选
针对如此多的特征,这里可以根据随机森林在训练之后产生的一个特征重要性来筛选特征。
forest = forest.fit( train_data[0::,1::], train_data[0::,0] )
feature_importance = forest.feature_importances_
feature_importance = 100.0 * (feature_importance / feature_importance.max())
fi_threshold = 10
important_idx = numpy.where(feature_importance > fi_threshold)[0]
important_features = prodata[''][important_idx]
print "\n", important_features.shape[0], "Important features(>", \
fi_threshold, "% of max importance)...\n"#, \
important_features
sorted_idx = numpy.argsort(feature_importance[important_idx])[::-1]
get the figure about important features
pos = numpy.arange(sorted_idx.shape[0]) + .5
plt.subplot(1, 2, 2)
plt.title('Feature Importance')
plt.barh(pos, feature_importance[important_idx][sorted_idx[::-1]], \
color='r',align='center')
plt.yticks(pos, important_features[sorted_idx[::-1]])
plt.xlabel('Relative Importance')
plt.draw()
plt.show()
train_df = train_df.iloc[:, important_idx].iloc[:, sorted_idx].values
test_df = test_df.iloc[:,important_idx
6. 交叉验证
sklearn自带有cross_validation,可以进行交叉验证。具体的cross_validation用法参考:Cross-validation: evaluating estimator performance。
cross_validation.cross_val_score(lr,train_data[0::,1::],train_data[0::,0],cv=5,scoring='precision')
7. 参考资料:
- 【原】关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化: http://www.cnblogs.com/chaosimple/p/4153167.html
- kaggle数据挖掘竞赛初步:
http://www.cnblogs.com/north-north/p/4353365.html
http://www.cnblogs.com/north-north/p/4354775.html
http://www.cnblogs.com/north-north/p/4358084.html
http://www.cnblogs.com/north-north/p/4360121.html - Kaggle系列——Titanic 80%+精确度纪录:http://blog.csdn.net/yobobobo/article/details/48194021
- wiki 哑变量:https://en.m.wikipedia.org/wiki/Dummy_variable_%28statistics%29
- PCA:http://sebastianraschka.com/Articles/2014_pca_step_by_step.html
- scikit-learn中PCA的使用方法: http://blog.csdn.net/u012162613/article/details/42192293
- 干货:结合Scikit-learn介绍几种常用的特征选择方法:http://dataunion.org/14072.html?utm_source=tuicool
- Cross-validation: evaluating estimator performance:http://scikit-learn.org/stable/modules/cross_validation.html
20151007kaggle Titanic心得的更多相关文章
- kaggle Titanic心得
Titanic是kaggle上一个练手的比赛,kaggle平台提供一部分人的特征,以及是否遇难,目的是预测另一部分人是否遇难.目前抽工作之余,断断续续弄了点,成绩为0.79426.在这个比赛过程中,接 ...
- kaggle入门项目:Titanic存亡预测(二)数据处理
原kaggle比赛地址:https://www.kaggle.com/c/titanic 原kernel地址:A Data Science Framework: To Achieve 99% Accu ...
- kaggle入门项目:Titanic存亡预测 (一)比赛简介
自从入了数据挖掘的坑,就在不停的看视频刷书,但是总觉得实在太过抽象,在结束了coursera上Andrew Ng 教授的机器学习课程还有刷完一整本集体智慧编程后更加迷茫了,所以需要一个实践项目来扎实之 ...
- 我的MYSQL学习心得(一) 简单语法
我的MYSQL学习心得(一) 简单语法 我的MYSQL学习心得(二) 数据类型宽度 我的MYSQL学习心得(三) 查看字段长度 我的MYSQL学习心得(四) 数据类型 我的MYSQL学习心得(五) 运 ...
- NoSql数据库使用半年后在设计上面的一些心得
NoSql数据库这个概念听闻许久了,也陆续看到很多公司和产品都在使用,优缺点似乎都被分析的清清楚楚.但我心里一直存有一个疑惑,它的出现究竟是为了解决什么问题? 这个疑惑非常大,为此我看了很多分析文章, ...
- 我的MYSQL学习心得(二) 数据类型宽度
我的MYSQL学习心得(二) 数据类型宽度 我的MYSQL学习心得(一) 简单语法 我的MYSQL学习心得(三) 查看字段长度 我的MYSQL学习心得(四) 数据类型 我的MYSQL学习心得(五) 运 ...
- 我的MYSQL学习心得(三) 查看字段长度
我的MYSQL学习心得(三) 查看字段长度 我的MYSQL学习心得(一) 简单语法 我的MYSQL学习心得(二) 数据类型宽度 我的MYSQL学习心得(四) 数据类型 我的MYSQL学习心得(五) 运 ...
- 我的MYSQL学习心得(四) 数据类型
我的MYSQL学习心得(四) 数据类型 我的MYSQL学习心得(一) 简单语法 我的MYSQL学习心得(二) 数据类型宽度 我的MYSQL学习心得(三) 查看字段长度 我的MYSQL学习心得(五) 运 ...
- 我的MYSQL学习心得(五) 运算符
我的MYSQL学习心得(五) 运算符 我的MYSQL学习心得(一) 简单语法 我的MYSQL学习心得(二) 数据类型宽度 我的MYSQL学习心得(三) 查看字段长度 我的MYSQL学习心得(四) 数据 ...
随机推荐
- 《c程序设计语言》读书笔记--反转字符串
#include "stdio.h" #define Num 100 void reverse(char words[]) { int i, j, c, n=0; while(wo ...
- centos6.5 中文
之前在网上查了不少资料,很多网友在网上都说,在shell命令下输入: # vi /etc/sysconfig/i18n 然后修改LANG="en_US.UTF-8" ...
- html5 audio音频播放全解析
序 html5开启了一个新时代,因为它让浏览器本身变得不那么被动,audio api就是一个典型的列子,在html5还没确定之前,如果想要在网页上听音乐看视频唯一的办法就是用flash意思是当你没有给 ...
- [POJ1050]To the Max(最大子矩阵,DP)
题目链接:http://poj.org/problem?id=1050 发现这个题没有写过题解,现在补上吧,思路挺经典的. 思路就是枚举所有的连续的连续的行,比如1 2 3 4 12 23 34 45 ...
- Toad
1. Toad 规矩: toad 不会违反, 限制, 扩大 你当前用户的权限, toad 不会影响你定义的关于instance的内容. 2. toad 可以执行大部分在 sql*plus 中执行的命令 ...
- JAVA设计模式之【抽象工厂模式】
1.产品接口,电视和空调 public interface Television // 电视接口 { public void play(); } public interface AirConditi ...
- UVa 10878 Decode the tape
题目很简单,代码也很短.第一遍做的时候,我居然二乎乎的把input里面的小框框忽略掉了,所以WA了一次. 每一行代表一个二进制的ASCII码,'o'代表1,空格代表0,中间的小黑点忽略. 我直接把一行 ...
- HDU 2159 FATE【二维完全背包】
题意:xhd玩游戏,还需要n个经验值升级,还留有m的忍耐度,但是他最多打s只怪,给出k个怪的经验值a[i],以及消耗的忍耐度b[i],问xhd能不能升级-- 因为有两个限定,忍耐度,和最多打s只怪(即 ...
- svn备份脚 本
一直用这套脚本备份,脚本主体虽不是原创,但是从网上得到后因为不能运行也进行了些修改,前两天看到有人问关于SVN备份的问题,今天又把脚本整理了一下,解决了不能循环备份多个配置库的问题.希望对大家有所帮助 ...
- 基于Html5的爱情主题网站–表白神器(第二版)
第二版在第一版的基础上增加了一个动态3D的白云效果背景,鼠标悬浮在页面上云朵会向屏幕Z轴方向运动,在第一人称视角看来向着云朵方向前进的,由此形成一个伪3D效果.有点绕,直接看demo就能理解了.3D白 ...