Python for Data Analysis 学习心得(三) - 文件读写和数据预处理
一、Pandas文件读写
pandas很核心的一个功能就是数据读取、导入,pandas支援大部分主流的数据储存格式,并在导入的时候可以做筛选、预处理。在读取数据时的选项有超过50个参数,可见pandas对于各式各样的数据都能有非常好的应对能力。下面先介绍基本的读取指令。
前面两个read_csv和read_table是用的比较多的两种。下面为实际操作的范例。
当然大部分的时候数据导入不会这么顺利,因为源数据里可能会有多种的分离方式,里面还会夹杂一些脏数据,所以pandas附上了一些选项来帮助导入的数据可以更整洁,像是上面就是用了sep选项将逗号“,”设定为分隔符号。pandas还可以自定索引、列名称等,这边就不逐个介绍,因为我在用的时候也不常去用这些功能,真的需要再查就可以了。下面列了一些比较常用的导入选项。也是需要的时候再查看就行。
当文件数据量很大的时候,我们有时候不想每次都将所有的数据显示出来,可以用下面的指令只显示前面5个和后面5个。
或是在读取的时候只读取前面几个,节省导入时间
Pandas文件导出
除了读取数据,pandas也可以将整理好的数据导出,指令为 to_csv
本书还提到了几种格式的数据导入导出,例如JSON、HTML、HDF5、EXCEL、SQL,我个人觉得看看就好,知道可以用pandas导入,等要用的时候再细看就好。
二、数据清洗
Pandas另外一个强大的功能就是对数据进行清洗和准备分析数据。在传统数据分析上面这个部分往往是最消耗时间的,因为许多行业的原始数据多多少少都会有些脏数据、缺失数据,如果没及时发现会影响整个分析的结果,而pandas提供的数据清洗工具都是由实际需求和问题转化而来的,基本上可以因应大部分数据清洗、准备遇到的问题。
1、缺失值
当表中数据缺失时,会用NaN来表示,对于缺失数据的操作,如下表所示,可以使用isnull来查是否有缺失,fillna将缺失值填入指定数据,dropna会丢弃含有NaN的行。
对于缺失数据的处理方式一般有三种,1、抛弃行 2、抛弃列 3、填充。dropna就是抛弃行的方式,但大部分的情况下,我们会希望我们的数据是完整、数量多的,所以填充是比较常见的处理方式,下面的指令就是将所有的缺失数据以“0”表示,取代NaN
也可以对每一列填上不同的填充数字,如下图,将1的列填上0.5,2的列填上0
另外一个常用的就是填入平均数,因为对于某些数据,例如商品价格,如果填入0可能对分析结果会有比较大的影像,而填入平均数则可以将缺失数据的影响降低。
2、重复数据
跟缺失数据一样,重复数据的处理指令也是有查看重复数据duplicated(),丢弃重复数据drop_duplicates(),也是有许多选项可以设定的。
3、数据映射
如果想要将两个表的数据合并,首先要先找到对应值,然后用map的方法join过去,下面范例由于其中一个表的对应值混有大写,所以要先对对应值进行处理(小写化),再投映过去,不然电脑会认为两边的对应值不同,造成部分数据投映不过去。当然,也可以投映过去后发现是哪些数据没有弄到,再查看原因解决也行。
4、数据替换
有些表会用其他元素取代NaN代表缺失数据,但这些预设的填充值可能会影响分析结果,所以需要先把这些数据替换成其他的数据,可以使用replace,下面就是将原本-999的数替换成NaN。
或是可以用字典的方式进行替换,下图是将-999替换为NaN,-1000替换成0
也可以对行列名称进行替换,这边用rename
5、排序和采样
在训练机器的时候,我们不希望将所有的数据都用来做训练,所以必须要做采样,代码为下,n为采样数。
但是随机采样有可能采集到的数比较偏,不能代表整体,对此,我们必须先做分层,并在每层按比例采取样本,训练出的结果会比较符合群体。pandas提供了cut这个功能来对样本进行分层,分层最重要的是以哪个维度作为分层的依据,下面的代码依照年龄作为分层的依据。
6、检测和过滤异常
用describe()可以将数据做简单的统计展示,如下
然后可以输入一些条件指令来检查是否有符合条件的数据,如下图是检查是否有绝对值大于3的数
Python for Data Analysis 学习心得(三) - 文件读写和数据预处理的更多相关文章
- Python for Data Analysis 学习心得(一) - numpy介绍
一.简介 Python for Data Analysis这本书的特点是将numpy和pandas这两个工具介绍的很详细,这两个工具是使用Python做数据分析非常重要的一环,numpy主要是做矩阵的 ...
- Python for Data Analysis 学习心得(二) - pandas介绍
一.pandas介绍 本篇程序上篇内容,在numpy下面继续介绍pandas,本书的作者是pandas的作者之一.pandas是非常好用的数据预处理工具,pandas下面有两个数据结构,分别为Seri ...
- Python for Data Analysis 学习心得(四) - 数据清洗、接合
一.文字处理 之前在练习爬虫时,常常爬了一堆乱七八糟的字符下来,当时就有找网络上一些清洗数据的方式,这边pandas也有提供一些,可以参考使用看看.下面为两个比较常见的指令,往往会搭配使用. spli ...
- 数据分析---《Python for Data Analysis》学习笔记【03】
<Python for Data Analysis>一书由Wes Mckinney所著,中文译名是<利用Python进行数据分析>.这里记录一下学习过程,其中有些方法和书中不同 ...
- 数据分析---《Python for Data Analysis》学习笔记【02】
<Python for Data Analysis>一书由Wes Mckinney所著,中文译名是<利用Python进行数据分析>.这里记录一下学习过程,其中有些方法和书中不同 ...
- 数据分析---《Python for Data Analysis》学习笔记【04】
<Python for Data Analysis>一书由Wes Mckinney所著,中文译名是<利用Python进行数据分析>.这里记录一下学习过程,其中有些方法和书中不同 ...
- 数据分析---《Python for Data Analysis》学习笔记【01】
<Python for Data Analysis>一书由Wes Mckinney所著,中文译名是<利用Python进行数据分析>.这里记录一下学习过程,其中有些方法和书中不同 ...
- 学习笔记之Python for Data Analysis
Python for Data Analysis, 2nd Edition https://www.safaribooksonline.com/library/view/python-for-data ...
- 《python for data analysis》第五章,pandas的基本使用
<利用python进行数据分析>一书的第五章源码与读书笔记 直接上代码 # -*- coding:utf-8 -*-# <python for data analysis>第五 ...
随机推荐
- Eclipsed的SVN插件不能识别之前工作空间的项目
今天用Eclipse的SVN插件,由于之前项目是用"tortoisesvn"进行checkout的,并且已经在工作空间中使用.后来用来Ecplise的SVN插件,可是发现右键Tea ...
- 2019-2-11-WPF-获取应用的所有窗口
title author date CreateTime categories WPF 获取应用的所有窗口 lindexi 2019-02-11 08:55:31 +0800 2019-02-11 0 ...
- Project Euler Problem 18-Maximum path sum I & 67-Maximum path sum II
基础的动态规划...数塔取数问题. 状态转移方程: dp[i][j] = num[i][j] + max(dp[i+1][j],dp[i+1][j+1]);
- phpstorm鼠标显示问题
https://segmentfault.com/q/1010000004319802 使用phpstorm,不知道碰到了什么键,鼠标变成了一个字符那么宽的灰色色块,原来是一根很细的竖线,怎么弄?没法 ...
- python 多线程,tthread模块比较底层,而threading模块是对thread做了一些包装,multithreading
Python多线程详解 2016/05/10 · 基础知识 · 1 评论· 多线程 分享到:20 本文作者: 伯乐在线 - 王海波 .未经作者许可,禁止转载!欢迎加入伯乐在线 专栏作者. 1.多线程的 ...
- HTML静态网页--表单验证和事件
1.表单验证<form></form> (1).非空验证(去空格) (2).对比验证(跟一个值对比) (3).范围验证(根据一个范围进行判断) (4).固定格式验证:电话号码, ...
- TortoiseSVN各种状态
黄色感叹号(有冲突): --这是有冲突了,冲突就是说你对某个文件进行了修改,别人也对这个文件进行了修改,别人抢在你提交之前先提交了,这时你再提交就会被提示发生冲突,而不允许你提交,防止你的提交覆盖了别 ...
- java NIO之HelloWorld
Java NIO(New IO)是从Java 1.4版本开始引入的一个新的IO API,可以替代标准的Java IO API,以便提高传输速度.但实际上,在最新的JDK中旧的I/0包已经使用NIO重新 ...
- js将单个反斜杠转化为斜杠的问题
var two="https://192.255.255.255:3215/2019/2/26/16/13/b2e8929483c66cefddbe1e49a007e3f8-47358FC3 ...
- H3C 多路径网络中环路产生过程(1)