目录 0 前言 1 简介 2 数据准备 2.1 导入数据 2.2 检查空值 2.3 正则化 Normalization 2.4 更改数据维度 Reshape 2.5 标签编码 2.6 分割交叉验证集 3 CNN 3.1 定义网络模型 3.2 设置优化器和退火器 optimizer and annealer 3.3 数据增强 4 评估模型 4.1 训练和交叉验证曲线 4.2 混淆矩阵 Confusion matrix 5 生成结果 0 前言 比赛网址:https://www.kaggle.com/…

date:2016-09-13 今天开始注册了kaggle,从digit recognizer开始学习, 由于是第一个案例对于整个流程目前我还不够了解,首先了解大神是怎么运行怎么构思,然后模仿.这样的学习流程可能更加有效,目前看到排名靠前的是用TensorFlow.ps:TensorFlow是可以直接安linux环境下面,但是目前不能在windows环境里面运行(伤心一万点). TensorFlow模块用的是NN(神经网络),既然现在接触到可以用神经网络的例子我再也不好意思再逃避学习神经网络下面…

train.csv 和 test.csv 包含 1~9 的手写数字的灰度图片.每幅图片都是 28 个像素的高度和宽度,共 28*28=784 个像素点,每个像素值都在 0~255 之间. train.csv 包含 785 列,因为第 1 列是手写数字的真实值,后面的 784 列都是像素值.除第一行外,有 42000 条数据. test.csv 除了不包含 label 列,其它跟 train.csv 一样.除第一行外,有 28000 条数据. 先来看看 train.csv 里的灰度图片是什么样子.…

一.前言 kaggle上有传统的手写数字识别mnist的赛题,通过分类算法,将图片数据进行识别.mnist数据集里面,包含了42000张手写数字0到9的图片,每张图片为28*28=784的像素,所以整个数据集的大小为(42000,784),加上标签值的一列. 二.模型选择 通过简单的数据观察,发现这些数据都是初始的像素数据,还没经过标准化.所以对其做标准化处理后,我们就可以进入到模型选择的步骤了. 整个数据集dataset的数据量不算小,shape为(42000,784),为了节省时间,我们可以…

Digit Recognizer 手写体数字识别  MNIST数据集 本赛 train 42000样例 test 28000样例,原始MNIST是 train 60000 test 10000 我分别用 Logistic Regression/ 784-200-200-10的Sparse AutoEncoder/Convolution AutoEncoder刷了下 ===============方法一. One-Vs-All 的Logistic Regression===============…

Kaggle入门 1:竞赛 我们将学习如何为Kaggle竞赛生成一个提交答案(submisson).Kaggle是一个你通过完成算法和全世界机器学习从业者进行竞赛的网站.如果你的算法精度是给出数据集中最高的,你将赢得比赛.Kaggle也是一个实践你机器学习技能的非常有趣的方式.Kaggle网站有几种不同类型的比赛.其中的预测一个就是预测在泰坦尼克号沉没的时候哪个乘客会成为幸存者. 在这个任务和下一个任务我们将学习如何提交我们的答案.我们的数据是csv格式.你可以在这里下载数据开始比赛.每一行重现…

Kaggle入门--使用scikit-learn解决DigitRecognition问题 @author: wepon @blog: http://blog.csdn.net/u012162613 1.scikit-learn简单介绍 scikit-learn是一个基于NumPy.SciPy.Matplotlib的开源机器学习工具包.採用Python语言编写.主要涵盖分类. 回归和聚类等算法,比如knn.SVM.逻辑回归.朴素贝叶斯.随机森林.k-means等等诸多算法,官网上代码和文档 都非常…

自从入了数据挖掘的坑,就在不停的看视频刷书,但是总觉得实在太过抽象,在结束了coursera上Andrew Ng 教授的机器学习课程还有刷完一整本集体智慧编程后更加迷茫了,所以需要一个实践项目来扎实之前所学的知识.于是就参考kaggle上的starter项目Titanic,并选取了kernel中的一篇较为祥尽的指南,从头到尾实现了一遍.因为kaggle入门赛相关方面的参考和指导非常少,因此写博给需要学习的同学做个小参考,也记录下数据挖掘的学习历程.新手上路,如果博文有误或缺失,还希望各位大神指正…

题目链接:Kiggle:Digit Recognizer Each image is 28 pixels in height and 28 pixels in width, for a total of 784 pixels in total. 给的是28像素的高和宽,所以总共有784像素,在处理的过程中,先用PCA进行降维,对数据进行主要的特征分量:然后通过KNN(K-邻近算法)进行对测试数据的预测分类. 1.对于PCA算法:主成分分析,是通过线性变质将原始数据转换程一组各维度无关的表示,可以…

kaggle入门之如何使用 - CSDN博客 http://blog.csdn.net/mdjxy63/article/details/78221955 kaggle比赛之路(一) -- 新手注册账号并fork一个notebook - CSDN博客 http://blog.csdn.net/memoryjdch/article/details/75670308 XX-Net 使用教程(Across the Great Wall) - ChangeZhou - 博客园 https://www.cn…