一、Pandas文件读写

pandas很核心的一个功能就是数据读取、导入,pandas支援大部分主流的数据储存格式,并在导入的时候可以做筛选、预处理。在读取数据时的选项有超过50个参数,可见pandas对于各式各样的数据都能有非常好的应对能力。下面先介绍基本的读取指令。

前面两个read_csv和read_table是用的比较多的两种。下面为实际操作的范例。

当然大部分的时候数据导入不会这么顺利,因为源数据里可能会有多种的分离方式,里面还会夹杂一些脏数据,所以pandas附上了一些选项来帮助导入的数据可以更整洁,像是上面就是用了sep选项将逗号“,”设定为分隔符号。pandas还可以自定索引、列名称等,这边就不逐个介绍,因为我在用的时候也不常去用这些功能,真的需要再查就可以了。下面列了一些比较常用的导入选项。也是需要的时候再查看就行。

当文件数据量很大的时候,我们有时候不想每次都将所有的数据显示出来,可以用下面的指令只显示前面5个和后面5个。

或是在读取的时候只读取前面几个,节省导入时间

Pandas文件导出

除了读取数据,pandas也可以将整理好的数据导出,指令为 to_csv

本书还提到了几种格式的数据导入导出,例如JSON、HTML、HDF5、EXCEL、SQL,我个人觉得看看就好,知道可以用pandas导入,等要用的时候再细看就好。

二、数据清洗

Pandas另外一个强大的功能就是对数据进行清洗和准备分析数据。在传统数据分析上面这个部分往往是最消耗时间的,因为许多行业的原始数据多多少少都会有些脏数据、缺失数据,如果没及时发现会影响整个分析的结果,而pandas提供的数据清洗工具都是由实际需求和问题转化而来的,基本上可以因应大部分数据清洗、准备遇到的问题。

1、缺失值

当表中数据缺失时,会用NaN来表示,对于缺失数据的操作,如下表所示,可以使用isnull来查是否有缺失,fillna将缺失值填入指定数据,dropna会丢弃含有NaN的行。

对于缺失数据的处理方式一般有三种,1、抛弃行  2、抛弃列  3、填充。dropna就是抛弃行的方式,但大部分的情况下,我们会希望我们的数据是完整、数量多的,所以填充是比较常见的处理方式,下面的指令就是将所有的缺失数据以“0”表示,取代NaN

也可以对每一列填上不同的填充数字,如下图,将1的列填上0.5,2的列填上0

另外一个常用的就是填入平均数,因为对于某些数据,例如商品价格,如果填入0可能对分析结果会有比较大的影像,而填入平均数则可以将缺失数据的影响降低。

2、重复数据

跟缺失数据一样,重复数据的处理指令也是有查看重复数据duplicated(),丢弃重复数据drop_duplicates(),也是有许多选项可以设定的。

3、数据映射

如果想要将两个表的数据合并,首先要先找到对应值,然后用map的方法join过去,下面范例由于其中一个表的对应值混有大写,所以要先对对应值进行处理(小写化),再投映过去,不然电脑会认为两边的对应值不同,造成部分数据投映不过去。当然,也可以投映过去后发现是哪些数据没有弄到,再查看原因解决也行。

4、数据替换

有些表会用其他元素取代NaN代表缺失数据,但这些预设的填充值可能会影响分析结果,所以需要先把这些数据替换成其他的数据,可以使用replace,下面就是将原本-999的数替换成NaN。

或是可以用字典的方式进行替换,下图是将-999替换为NaN,-1000替换成0

也可以对行列名称进行替换,这边用rename

5、排序和采样

在训练机器的时候,我们不希望将所有的数据都用来做训练,所以必须要做采样,代码为下,n为采样数。

但是随机采样有可能采集到的数比较偏,不能代表整体,对此,我们必须先做分层,并在每层按比例采取样本,训练出的结果会比较符合群体。pandas提供了cut这个功能来对样本进行分层,分层最重要的是以哪个维度作为分层的依据,下面的代码依照年龄作为分层的依据。

6、检测和过滤异常

用describe()可以将数据做简单的统计展示,如下

然后可以输入一些条件指令来检查是否有符合条件的数据,如下图是检查是否有绝对值大于3的数

Python for Data Analysis 学习心得(三) - 文件读写和数据预处理的更多相关文章

  1. Python for Data Analysis 学习心得(一) - numpy介绍

    一.简介 Python for Data Analysis这本书的特点是将numpy和pandas这两个工具介绍的很详细,这两个工具是使用Python做数据分析非常重要的一环,numpy主要是做矩阵的 ...

  2. Python for Data Analysis 学习心得(二) - pandas介绍

    一.pandas介绍 本篇程序上篇内容,在numpy下面继续介绍pandas,本书的作者是pandas的作者之一.pandas是非常好用的数据预处理工具,pandas下面有两个数据结构,分别为Seri ...

  3. Python for Data Analysis 学习心得(四) - 数据清洗、接合

    一.文字处理 之前在练习爬虫时,常常爬了一堆乱七八糟的字符下来,当时就有找网络上一些清洗数据的方式,这边pandas也有提供一些,可以参考使用看看.下面为两个比较常见的指令,往往会搭配使用. spli ...

  4. 数据分析---《Python for Data Analysis》学习笔记【03】

    <Python for Data Analysis>一书由Wes Mckinney所著,中文译名是<利用Python进行数据分析>.这里记录一下学习过程,其中有些方法和书中不同 ...

  5. 数据分析---《Python for Data Analysis》学习笔记【02】

    <Python for Data Analysis>一书由Wes Mckinney所著,中文译名是<利用Python进行数据分析>.这里记录一下学习过程,其中有些方法和书中不同 ...

  6. 数据分析---《Python for Data Analysis》学习笔记【04】

    <Python for Data Analysis>一书由Wes Mckinney所著,中文译名是<利用Python进行数据分析>.这里记录一下学习过程,其中有些方法和书中不同 ...

  7. 数据分析---《Python for Data Analysis》学习笔记【01】

    <Python for Data Analysis>一书由Wes Mckinney所著,中文译名是<利用Python进行数据分析>.这里记录一下学习过程,其中有些方法和书中不同 ...

  8. 学习笔记之Python for Data Analysis

    Python for Data Analysis, 2nd Edition https://www.safaribooksonline.com/library/view/python-for-data ...

  9. 《python for data analysis》第五章,pandas的基本使用

    <利用python进行数据分析>一书的第五章源码与读书笔记 直接上代码 # -*- coding:utf-8 -*-# <python for data analysis>第五 ...

随机推荐

  1. Eclipsed的SVN插件不能识别之前工作空间的项目

    今天用Eclipse的SVN插件,由于之前项目是用"tortoisesvn"进行checkout的,并且已经在工作空间中使用.后来用来Ecplise的SVN插件,可是发现右键Tea ...

  2. 2019-2-11-WPF-获取应用的所有窗口

    title author date CreateTime categories WPF 获取应用的所有窗口 lindexi 2019-02-11 08:55:31 +0800 2019-02-11 0 ...

  3. Project Euler Problem 18-Maximum path sum I & 67-Maximum path sum II

    基础的动态规划...数塔取数问题. 状态转移方程: dp[i][j] = num[i][j] + max(dp[i+1][j],dp[i+1][j+1]);

  4. phpstorm鼠标显示问题

    https://segmentfault.com/q/1010000004319802 使用phpstorm,不知道碰到了什么键,鼠标变成了一个字符那么宽的灰色色块,原来是一根很细的竖线,怎么弄?没法 ...

  5. python 多线程,tthread模块比较底层,而threading模块是对thread做了一些包装,multithreading

    Python多线程详解 2016/05/10 · 基础知识 · 1 评论· 多线程 分享到:20 本文作者: 伯乐在线 - 王海波 .未经作者许可,禁止转载!欢迎加入伯乐在线 专栏作者. 1.多线程的 ...

  6. HTML静态网页--表单验证和事件

    1.表单验证<form></form> (1).非空验证(去空格) (2).对比验证(跟一个值对比) (3).范围验证(根据一个范围进行判断) (4).固定格式验证:电话号码, ...

  7. TortoiseSVN各种状态

    黄色感叹号(有冲突): --这是有冲突了,冲突就是说你对某个文件进行了修改,别人也对这个文件进行了修改,别人抢在你提交之前先提交了,这时你再提交就会被提示发生冲突,而不允许你提交,防止你的提交覆盖了别 ...

  8. java NIO之HelloWorld

    Java NIO(New IO)是从Java 1.4版本开始引入的一个新的IO API,可以替代标准的Java IO API,以便提高传输速度.但实际上,在最新的JDK中旧的I/0包已经使用NIO重新 ...

  9. js将单个反斜杠转化为斜杠的问题

    var two="https://192.255.255.255:3215/2019/2/26/16/13/b2e8929483c66cefddbe1e49a007e3f8-47358FC3 ...

  10. H3C 多路径网络中环路产生过程(1)