Pandas常用方法手册
关键缩写和包导入
在这个速查手册中,我们使用如下缩写:
df:任意的Pandas DataFrame对象
同时我们需要做如下的引入:
import pandas as pd
导入数据
pd.read_csv(filename) | 从CSV文件导入数据 |
---|---|
pd.read_table(filename) | 从限定分隔符的文本文件导入数据 |
pd.read_excel(filename) | 从Excel文件导入数据 |
pd.read_sql(query, connection_object) | 从SQL表/库导入数据 |
pd.read_json(json_string) | 从JSON格式的字符串导入数据 |
pd.read_html(url) | 解析URL、字符串或者HTML文件,抽取其中的tables表格 |
pd.read_clipboard() | 从你的粘贴板获取内容,并传给read_table() |
pd.DataFrame(dict) | 从字典对象导入数据,Key是列名,Value是数据 |
导出数据
df.to_csv(filename) | 导出数据到CSV文件 |
---|---|
df.to_excel(filename) | 导出数据到Excel文件 |
df.to_sql(table_name, connection_object) | 导出数据到SQL表 |
df.to_json(filename) | 以Json格式导出数据到文本文件 |
创建测试对象
pd.DataFrame(np.random.rand(20,5)) | 创建20行5列的随机数组成的DataFrame对象 |
---|---|
pd.Series(my_list) | 从可迭代对象my_list创建一个Series对象 |
df.index = pd.date_range('1900/1/30', periods=df.shape[0]) | 增加一个日期索引 |
查看、检查数据
df.head(n) | 查看DataFrame对象的前n行 |
---|---|
df.tail(n) | 查看DataFrame对象的最后n行 |
df.shape() | 查看行数和列数 |
http:// df.info() | 查看索引、数据类型和内存信息 |
df.describe() | 查看数值型列的汇总统计 |
s.value_counts(dropna=False) | 查看Series对象的唯一值和计数 |
df.apply(pd.Series.value_counts) | 查看DataFrame对象中每一列的唯一值和计数 |
数据选取
df[col] | 根据列名,并以Series的形式返回列 |
---|---|
df[[col1, col2]] | 以DataFrame形式返回多列 |
s.iloc[0] | 按位置选取数据 |
s.loc['index_one'] | 按索引选取数据 |
df.iloc[0,:] | 返回第一行 |
df.iloc[0,0] | 返回第一列的第一个元素 |
数据清理
df.columns = ['a','b','c'] | 重命名列名 |
---|---|
pd.isnull() | 检查DataFrame对象中的空值,并返回一个Boolean数组 |
pd.notnull() | 检查DataFrame对象中的非空值,并返回一个Boolean数组 |
df.dropna() | 删除所有包含空值的行 |
df.dropna(axis=1) | 删除所有包含空值的列 |
df.dropna(axis=1,thresh=n) | 删除所有小于n个非空值的行 |
df.fillna(x) | 用x替换DataFrame对象中所有的空值 |
s.astype(float) | 将Series中的数据类型更改为float类型 |
s.replace(1,'one') | 用‘one’代替所有等于1的值 |
s.replace([1,3],['one','three']) | 用'one'代替1,用'three'代替3 |
df.rename(columns=lambda x: x + 1) | 批量更改列名 |
df.rename(columns={'old_name': 'new_ name'}) | 选择性更改列名 |
df.set_index('column_one') | 更改索引列 |
df.rename(index=lambda x: x + 1) | 批量重命名索引 |
数据透视表
df.groupby(col1).agg(np.mean) | 返回按列col1分组的所有列的均值 |
---|---|
data.apply(np.mean) | 对DataFrame中的每一列应用函数np.mean |
data.apply(np.max,axis=1) | 对DataFrame中的每一行应用函数np.max |
数据合并
df1.append(df2): | 将df2中的行添加到df1的尾部 |
---|---|
df.concat([df1, df2],axis=1) | 将df2中的列添加到df1的尾部 |
df1.join(df2,on=col1,how='inner') | 对df1的列和df2的列执行SQL形式的join |
数据统计
df.describe() | 查看数据值列的汇总统计 |
---|---|
df.mean() | 返回所有列的均值 |
df.corr() | 返回列与列之间的相关系数 |
df.count() | 返回每一列中的非空值的个数 |
df.max() | 返回每一列的最大值 |
df.min() | 返回每一列的最小值 |
df.median() | 返回每一列的中位数 |
df.std() | 返回每一列的标准差 |
Pandas常用方法手册的更多相关文章
- Pandas 学习手册中文第二版·翻译完成
原文:Learning pandas 协议:CC BY-NC-SA 4.0 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远. 在线阅读 ApacheCN 面试求职交流群 72418 ...
- Pandas常用方法
数据处理很多需要用到pandas,有两个基本类型:Series表示一维数据,DataFrame表示多维.以下是一些常用方法的整理: pandas.Series 创建 Series pandas.Ser ...
- pandas 常用方法使用示例
from pandas import DataFrame import numpy as np import pandas as pd t={ , , np.nan, , np.nan, ], &qu ...
- pandas使用手册
工欲善其事必先利其器,在使用Python做数据挖掘和数据分析时,一大必不可少的利器就是Pandas库了.pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的,其纳入了大量库 ...
- pandas常用方法总结
In [49]: frame2 Out[49]: year state pop debt one 2000 Ohio 1.5 NaN two 2001 Ohio 1.7 NaN three 2002 ...
- Python 基础教程 —— Pandas 库常用方法实例说明
目录 1. 常用方法 pandas.Series 2. pandas.DataFrame ([data],[index]) 根据行建立数据 3. pandas.DataFrame ({dic}) ...
- Python数据分析之Pandas读写外部数据文件
1 引言 数据分析.数据挖掘.可视化是Python的众多强项之一,但无论是这几项中的哪一项都必须以数据作为基础,数据通常都存储在外部文件中,例如txt.csv.excel.数据库.本篇中,我们来捋一捋 ...
- 量化投资与Python之pandas
pandas:数据分析 pandas是一个强大的Python数据分析的工具包.pandas是基于NumPy构建的. pandas的主要功能具备对其功能的数据结构DataFrame.Series集成时间 ...
- numpy 与 pandas
numpy: import numpy as np np.array([1,2,3]) 创建数组 np.arange(10).reshape(2,5) 类似于range(起始,终止,步长),可以加re ...
随机推荐
- Java Annotation详解(二): 反射和Annotation
前面一篇文<Java Annotation详解(一): 理解和使用Annotation>中,我们或许会觉得,Annotation注释其实并没有多大的作用,除了几个内建的Annotation ...
- Vue打包后放到服务器出现Loading chunk {n} failed 错误
导航栏点击切换时 会出现Loading chunk {n} failed ,刷新之后便不会出现.而且n在最新的build的文件中,n没有存在 偶然一次发现,项目更新迭代开发时上传测试环境后就会出现, ...
- HDU 6621"K-th Closest Distance"(二分+主席树)
传送门 •题意 有 $m$ 次询问,每次询问求 $n$ 个数中, $[L,R]$ 区间距 $p$ 第 $k$ 近的数与 $p$ 差值的绝对值: •题解 二分答案,假设当前二分的答案为 $x$,那么如何 ...
- springboot中使用spring-session实现共享会话到redis(二)
上篇文章介绍了springboot中集成spring-session实现了将session分布式存到redis中.这篇在深入介绍一些spring-session的细节. 1.session超时: 在t ...
- 【t081】序列长度(贪心做法)
Time Limit: 1 second Memory Limit: 128 MB [问题描述] 有一个整数序列,我们不知道她的长度是多少(即序列中整数的个数),但我们知道在某些区间中至少有多少个整数 ...
- 2019-1-29-UWP-IRandomAccessStream-与-Stream-互转
title author date CreateTime categories UWP IRandomAccessStream 与 Stream 互转 lindexi 2019-01-29 16:33 ...
- ansible核心模块playbook介绍
ansible的playbook采用yaml语法,它简单地实现了json格式的事件描述.yaml之于json就像markdown之于html一样,极度简化了json的书写.在学习ansible pla ...
- 默认 Servlet
什么是 DefaultSevelet DefaultSevelet 是处理静态资源的 Sevelet. 在什么位置声明它? 它在 $CATALINA_HOME/conf/web.xml 中被全局声明. ...
- Java面向对象程序设计第14章3-8和第15章6
Java面向对象程序设计第14章3-8和第15章6 3.完成下面方法中的代码,要求建立一个缓冲区,将字节输入流中的内容转为字符串. import java.io.*; public class tes ...
- java中List 和 Set 的区别
a. 特性 两个接口都是继承自Collection,是常用来存放数据项的集合,主要区别如下: ① List和Set之间很重要的一个区别是是否允许重复元素的存在,在List中允许插入重复的元 ...