import pandas as pd
import numpy as np

pandas 有两个主要的数据结构:Series 和 DataFrame;
Series 是一个一维数组对象 ,它包含一组索引和一组数据,可以把它理解为一组带索引的数组。
DataFrame 是一个表格型的数据结构。它提供有序的列和不同类型的列值。

df:Pandas DataFrame对象
s: Pandas Series对象

数据导入:

  pd.read_csv(filename):从csv文件中导入数据;
  pd.read_table(filename):从限定分隔符的文本文件导入数据;
  pd.read_excel(filename):从Excel文件导入数据;
  pd.read_sql(query,connection_object):从SQL表/库中导入数据;
  pd.read_json(json_string):从JSON格式的字符串导入数据;
  pd.read_html(url):解析URLL,字符串或者HTML文件;
  pd.read_clipboard():从粘贴板获取内容;
  pd.DataFrame(dict):从字典对象导入数据;

数据导出:

  df.to_csv(filename):导出数据到CSV文件;
  df.excel(filename):导出数据到EXCEl文件;
  df.to_sql(table_nname,connection_object):导出数据到SQL表;
  df.json(filename):以json格式导出数据到文本文件;

创建对象:

  pd.DataFrame(np.random.rand(20,5)):创建20行5列的随即数组成的DataFrame对象;
  pd.Series(my_list):从可迭代对象my_list创建一个Series对象;
  df.index = pd.date_range('1900/1/30',periods=df.shape[0]):增加一个日期索引;

  index和reindex联合使用很有用处,index可作为索引并且元素乱排序之后,所以跟着元素保持不变,因此,当重排元素时,只需要对index进行才重排即可:reindex。

数据查看:

  df.info():查看索引、数据类型和内存信息;
  df.tail():查看DataFrame对象的最后n行;
  df.shape():查看行数和列数;
  df.head():查看DataFrame对象的前n行;
  df.describe():查看数值型列的汇总统计;
  s.value_counts(dropna=False):查看Series对象的唯一值和计数;
  df.apply(pd.Seices.value_counts):查看DataFrame对象中每一列的唯一值和计数;

数据选取:

  df[col]:根据列名,并以Series的形式返回列;
  df[[col1, col2]]:以DataFrame形式返回多列;
  s.iloc[0]:按位置选取数据;
  s.loc['index_one']:按索引选取数据;
  df.iloc[0,:]:返回第一行;

数据清洗:

  df.columns = ['a','b','c']:重命名列名

  pd.isnull():检查DataFrame对象中的空值,并返回一个Boolean数组;

  pd.notnull():检查DataFrame对象中的非空值,并返回一个Boolean数组
  df.dropna():删除所有包含空值的行;

  df.fillna(x):用x替换DataFrame对象中所有的空值;

  s.astype(float):将Series中的数据类型更改为float类型;

  s.replace(1,'one'):用‘one’代替所有等于1的值
  df.rename(columns=lambda x: x + 1):批量更改列名;

  df.set_index('column_one'):更改索引列;

数据处理:

  df[df[col] > 0.5]:选择col列的值大于0.5的行;
  df.sort_values(col1):按照列col1排序数据,默认升序排列;
  df.groupby(col):返回一个按列col进行分组的Groupby对象;

  df.groupby(col1).agg(np.mean):返回按列col1分组的所有列的均值;

  df.pivot_table(index=col1, values=[col2,col3], aggfunc=max):创建一个按列col1进行分组,并计算col2和col3的最大值的数据透视表;

  data.apply(np.mean):对DataFrame中的每一列应用函数np.mean

数据合并:

  df1.append(df2):将df2中的行添加到df1的尾部
  df.concat([df1, df2],axis=1):将df2中的列添加到df1的尾部
  df1.join(df2,on=col1,how='inner'):对df1的列和df2的列执行SQL形式的join

数据统计:

  df.describe():查看数据值列的汇总统计;

  df.mean():返回所有列的均值

  df.corr():返回列与列之间的相关系数;

  df.count():返回每一列中的非空值的个数;

  df.max():返回每一列的最大值

  df.min():返回每一列的最小值;

  df.median():返回每一列的中位数;

  df.std():返回每一列的标准

Pandas支持的数据类型:

  int 整型
  float 浮点型
  bool 布尔类型
  object 字符串类型
  category 种类
  datetime 时间类型

其他:

  df.astypes: 数据格式转换
  df.value_counts:相同数值的个数统计
  df.hist(): 画直方图
  df.get_dummies: one-hot编码,将类型格式的属性转换成矩阵型的属性。比如:三种颜色RGB,红色编码为[1 0 0];

后面会继续更新

Pandas里面常用的一些数据分析函数总结的更多相关文章

  1. pandas学习(常用数学统计方法总结、读取或保存数据、缺省值和异常值处理)

    pandas学习(常用数学统计方法总结.读取或保存数据.缺省值和异常值处理) 目录 常用数学统计方法总结 读取或保存数据 缺省值和异常值处理 常用数学统计方法总结 count 计算非NA值的数量 de ...

  2. python重要的第三方库pandas模块常用函数解析之DataFrame

    pandas模块常用函数解析之DataFrame 关注公众号"轻松学编程"了解更多. 以下命令都是在浏览器中输入. cmd命令窗口输入:jupyter notebook 打开浏览器 ...

  3. pandas模块常用函数解析之Series(详解)

    pandas模块常用函数解析之Series 关注公众号"轻松学编程"了解更多. 以下命令都是在浏览器中输入. cmd命令窗口输入:jupyter notebook 打开浏览器输入网 ...

  4. C#-正则,常用几种数据解析-端午快乐

    在等待几个小时就是端午节了,这里预祝各位节日快乐. 这里分享的是几个在C#中常用的正则解析数据写法,其实就是Regex类,至于正则的匹配格式,请仔细阅读正则的api文档,此处不具体说明,谢谢. 开始吧 ...

  5. pandas学习(四)--数据的归一化

    欢迎加入python学习交流群 667279387 Pandas学习(一)–数据的导入 pandas学习(二)–双色球数据分析 pandas学习(三)–NAB球员薪资分析 pandas学习(四)–数据 ...

  6. Pandas学习(一)——数据的导入

    欢迎加入python学习交流群 667279387 学习笔记汇总 Pandas学习(一)–数据的导入 pandas学习(二)–双色球数据分析 pandas学习(三)–NAB球员薪资分析 pandas学 ...

  7. Pandas中查看列中数据的种类及个数

    Pandas中查看列中数据的种类及个数 读取数据 import pandas as pd import numpy as np filepath = 'your_file_path.csv' data ...

  8. 利用 pandas库读取excel表格数据

    利用 pandas库读取excel表格数据 初入IT行业,愿与大家一起学习,共同进步,有问题请指出!! 还在为数据读取而头疼呢,请看下方简洁介绍: 数据来源为国家统计局网站下载: 具体方法 代码: i ...

  9. pandas中常用的操作一

    pandas中常用的功能: 1.显示所有的列的信息,999表示显示最大的列为999 pd.options.display.max_columns=999 2.读取excel时设置使用到列的名称,和列的 ...

随机推荐

  1. 130道ASP.NET面试题(一)

    1 .简述 private,protected,public,internal修饰符的访问权限 答: private : 私有成员, 在类的内部才可以访问. protected : 保护成员,该类内部 ...

  2. Spring Security登录验证流程源码解析

    一.登录认证基于过滤器链 Spring Security的登录验证流程核心就是过滤器链.当一个请求到达时按照过滤器链的顺序依次进行处理,通过所有过滤器链的验证,就可以访问API接口了. SpringS ...

  3. 领扣(LeetCode)交替位二进制数 个人题解

    给定一个正整数,检查他是否为交替位二进制数:换句话说,就是他的二进制数相邻的两个位数永不相等. 示例 1: 输入: 5 输出: True 解释: 5的二进制数是: 101 示例 2: 输入: 7 输出 ...

  4. 使用不同的C++支持库的模块混合开发时,引发异常展开不正常,抛异常竟引出一个SIGSEGV

    如果你使用gcc对一部分模块进行了GNUMake的编译,这些编译出动态库使用在Gradle编译框架下的项目.那么就有可能出现题目中的情况,使用不同的C++支持库的模块混合开发时,引发异常展开不正常. ...

  5. SpringBoot系列之i18n集成教程

    目录 1.环境搭建 2.resource bundle资源配置 3.LocaleResolver类 4.I18n配置类 5.Thymeleaf集成 SpringBoot系统之i18n国际化语言集成教程 ...

  6. DNS简单配置

    ——主要执行的程序:/usr/sbin/named ——系统服务:named ——默认端口:53 ——运行时的虚拟根环境:/var/named/chroot ——主配置文件:/etc/named.co ...

  7. Ubuntu 16.04安装ROS Kinetic详细教程 | Tutorial to Install and Configure ROS Kinetic on Ubuntu 16.04

    本文首发于个人博客https://kezunlin.me/post/e2780b93/,欢迎阅读! Tutorial to Install and Configure ROS Kinetic on U ...

  8. 迁移桌面程序到MS Store(12)——WPF使用UWP InkToolbar和InkCanvas

    我们在<迁移桌面程序到MS Store(4)——桌面程序调用Win10 API>提到了对Win10 API的调用,但仍存在无法在WPF中使用UWP控件的问题,虽然都是XAML控件,但却是两 ...

  9. SCAU-1078 破密-数学的应用

        另外一种方法和该题的题目在这位大佬的博客里 SCAU 1078 破密 还可以参考 https://blog.csdn.net/sinat_34200786/article/details/78 ...

  10. python CGI编程---Apache服务安装(2)

    一.下载Apache 下载地址:https://www.apachehaus.com/cgi-bin/download.plx 我这里下载第一个,我电脑是window的64位. 下载完成后,解压到 我 ...