目录 简介 泰坦尼特号乘客数据 使用pandas对数据进行分析 引入依赖包 读取和分析数据 图形化表示和矩阵转换 简介 1912年4月15日,号称永不沉没的泰坦尼克号因为和冰山相撞沉没了.因为没有足够的救援设备,2224个乘客中有1502个乘客不幸遇难.事故已经发生了,但是我们可以从泰坦尼克号中的历史数据中发现一些数据规律吗?今天本文将会带领大家灵活的使用pandas来进行数据分析. 泰坦尼特号乘客数据 我们从kaggle官网中下载了部分泰坦尼特号的乘客数据,主要包含下面几个字段: 变量名 含义…

Kaggle初体验之泰坦尼特生存预测 学习完了决策树的ID3.C4.5.CART算法,找一个试手的地方,Kaggle的练习赛泰坦尼特很不错,记录下 流程     首先注册一个账号,然后在顶部菜单栏Competitions里面搜索Titanic,找到Titanic练习赛,练习赛就用用于帮助新手入门的,在比赛的页面有很多的入门推荐,很值得去一看. 获取数据集 探索数据集 清洗数据集 特征选择 训练数据集 预测数据集 提交结果文件 获取数据集     数据集在比赛面板菜单栏的Data里面,有三个数据集…

文章目录 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!QQ群:101677771 一.Pandas的使用 1.Pandas介绍 2.Pandas基本操作 Series的操作 创建DataFrame 常见列操作 常见行操作 DateFrame的基本操作 时间操作 3.Pandas进行数据…

5.2 基本功能 (1)重新索引 - 方法reindex 方法reindex是pandas对象地一个重要方法,其作用是:创建一个新对象,它地数据符合新地索引. 如,对下面的Series数据按新索引进行重排: 根据新索引重排后的结果如下,当某个索引值不存在,就会在原来的基础上引入缺失值NaN: 利用reindex的method选项,实现插值处理.尤其对于时间序列这样的有序数据,会经常用到该选项. 如,使用 ffill 实现 前向值 填充: 利用DataFrame,reindex修改(行)索引和列.…

  昨天晚上,笔者有幸参加了一场面试,有一个环节就是现场编程!题目如下:   示例数据如下,求每名学生(ID)对应的成绩(score)最高的那门科目(class)与ID,用Python实现: 这个题目看上去很简单,其实,并不简单.即要求输出形式如下:   当然,我们一开始能先到的是利用Pandas中的groupby,按ID做groupby,按score取最大值,可是之后的过程就难办了,是将得到的结果与原表做join,还是再想其他办法?   怎么办?答案就是Pandas中groupby的官方文档说…

转载自 https://blog.csdn.net/lijinlon/article/details/81517699 Data analysis by Python 入门 1. 重复数据处理 在DataFrame中主要运用duplicated方法和drop_duplicates方法: duplicated方法返回的是一个布尔型的Series,用来只是各行是否重复,如果重复则为True,否则为False. drop_duplicates直接返回已经删除了重复行的DataFrame. 默认drop…

pandas库,含有使数据清洗和分析工作变得更快更简单的数据结构和操作工具.pandas是基于NumPy数组构建. pandas常结合数值计算工具NumPy和SciPy.分析库statsmodels和scikitlearn,和可视化库matplotlib等工具一同使用. 5.1 pandas数据结构介绍 pandas的主要数据结构:Series和DataFrame (1)Series Series是一种类似于一维数组的对象,由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)…

Pandas之:Pandas高级教程以铁达尼号真实数据为例 目录 简介 读写文件 DF的选择 选择列数据 选择行数据 同时选择行和列 使用plots作图 使用现有的列创建新的列 进行统计 DF重组 简介 今天我们会讲解一下Pandas的高级教程,包括读写文件.选取子集和图形表示等. 读写文件 数据处理的一个关键步骤就是读取文件进行分析,然后将分析处理结果再次写入文件. Pandas支持多种文件格式的读取和写入: In [108]: pd.read_ read_clipboard() read_e…

目录 简介 NaN的例子 整数类型的缺失值 Datetimes 类型的缺失值 None 和 np.nan 的转换 缺失值的计算 使用fillna填充NaN数据 使用dropna删除包含NA的数据 插值interpolation 使用replace替换值 简介 在数据处理中,Pandas会将无法解析的数据或者缺失的数据使用NaN来表示.虽然所有的数据都有了相应的表示,但是NaN很明显是无法进行数学运算的. 本文将会讲解Pandas对于NaN数据的处理方法. NaN的例子 上面讲到了缺失的数据会被表…

自2005年开始,python在金融行业中的应用越来越多,这主要得益于越来越成熟的函数库(NumPy和pandas)以及大量经验丰富的程序员.许多机构发现python不仅非常适合成为交互式的分析环境,也非常适合开发文件的系统,所需的时间也比Java或C++少得多.Python还是一种非常好的粘合层,可以非常轻松为C或C++编写的库构建Python接口. 金融分析领域的内容博大精深.在数据规整化方面所花费的精力常常会比解决核心建模和研究问题所花费的时间多得多. 在本章中,术语截面(cross-se…