pandas 是一个基于 Numpy 构建, 强大的数据分析工具包

主要功能

  • 独特的数据结构 DataFrame, Series
  • 集成时间序列功能
  • 提供丰富的数学运算操作
  • 灵活处理缺失数据

Series 一维数组

Series 是一种类似于一维数组的对象, 由一组数据和一组与之相关的数据标签(索引)组成

创建方式

pd.Series([4, 7 ,5, -3])
pd.Series([4, 7 ,5, -3], index=['a', 'b', 'c', 'd'])
pd.Series({'a':1, 'b', 2})
pd.Series(0, index=['a', 'b', 'c', 'd']) # 获取值数组
sr = pd.Series([4, 7 ,5, -3])
sr.value # 获取索引数组
sr = pd.Series([4, 7 ,5, -3])
sr.index

Series 支持array的特性(下标)

  • 从 ndarry 创建 Series
  • 与标量直接运算
  • 两个 Series 运算
  • 索引
  • 切片
  • 通用函数 np.abs(sr)
  • 布尔值过滤 sr[sr>0]

Series 支持字典的特性(标签)

  • 从字典创建 Series Series(dict)
  • in 运算
  • 键索引

整数索引

如果索引是整数, 则根据下标取值时总是面向标签的.

此时可通过 loc方法(将索引解释为标签)和iloc方法(将索引解释为下标)

Series 数据计算

sr1 = pd.Series([12,23,34], index=['c', 'a', 'd'])
sr2 = pd.Series([11,20,10], index=['d', 'c', 'a'])
print(sr1 + sr2)
# 相关计算方法 add, sub, div, mul

pandas 在进行两个 Series 对象运算时, 会按索引进行对齐然后计算.

数据对齐

若两个 Series 对象的索引不完全相同, 则结果的索引是两个操作数索引的并集. 如果只有一个对象在某索引下有值, 则结果中该索引的值为NaN.

缺失数据处理办法

sr1.add(sr2, fill_value=0) 填充缺失的值
dropna() 过滤掉值为NaN的行
fillna() 填充缺失数据
isnull() 返回布尔数组, 缺失值对应为True
notnull() 返回buer数据, 缺失值对应为False # 过滤缺失数据
sr.dropna()
sr[data.notnull()]

DataFrame

DataFrame 是一个表格型的数据结构, 含有一组有序的列. 可以看做是 Series 组成的字典, 并且公用一个索引.

创建 DataFrame 的方法有很多种

# 手动创建
pd.DataFrame({'one':[1,2,3,4], 'two':[4,3,2,1]})
pd.DataFrame({'one':pd.Series([1,2,3], index=['a','b', 'c']), 'two':pd.Series([1,2,3,4], index=['a','b','c','d']) # 从csv文件读取与写入
df.read_csv('filename.csv')
df.to_csv()

常用属性

  • index 获取索引
  • T 转置
  • columns 获取列索引
  • values 获取值数组
  • describe() 获取快速统计

索引和切片

DataFrame 是一个二维数据类型, 所以有行索引列索引, 可以通过标签和位置两种方法进行索引和切片

  • loc 索引方法和 iloc 下标方法

    • 使用方法: 逗号隔开, 前面是行索引, 后面是列索引
    • 行/列索引部分可以是常规索引, 切片, 布尔值索引, 花式索引任意搭配

数据对齐与缺失数据

DataFrame 对象在运算时, 同样会进行数据对齐, 其行索引和列索引分别对齐

处理缺失数据的相关方法

  • dropna(axis=0, where='any', ...)
  • fillna()
  • isnull()
  • notnull()

pandas 常用方法

  • mean(axis=0, skipna=False) 对列(行)求平均值
  • sum(axis=1) 对列(行)求和
  • sort_index(axis, ..., ascending) 对列(行)索引排序
  • sort_values(by, axis, ascending) 按某一列(行)的值排序
  • apply(func, axis=0) 将自定义函数应用在各行或各列上, func可返回标量或Series
  • NumPy 的通用函数同样适用于pandas
  • applymap(func) 将函数应用在 DataFrame 各个元素上
  • map(func) 将函数应用在 Series 各个元素上

时间处理

pandas基于dateutil来处理时间对象

  • dateutil.parser.parse() dateutil 原生时间处理方法
  • pd.to_datetime() pandas 成组处理时间对象
  • data_range() 产生时间对象数组
    • start 开始时间
    • end 结束时间
    • periods 时间长度
    • freq 时间频率, 默认为'D', 可选为H(our), W(eek), B(usiness), S(emi-)M(onth), (min)T(es), S(econd), A(year)
时间序列

时间序列是以时间对象为索引的Series或DataFrame, datetime对象作为索引时是存储在DatetimeIndex对象中的.

时间序列的特色功能:

  • 传入"年"或"年月"作为切片方式
  • 传入日期范围作为切片方式
  • 丰富的函数支持: resample(), strftime(), ...

文件处理

  • read_csvread_table 函数

    • sep 制定分隔符, 可用正则表达式如'\s+'
    • header = None 指定文件无列名
    • name 指定列名
    • index_col 指定某列为索引
    • skip_row 指定跳过某些行
    • na_values 指定某些字符串表示缺失值
    • parse_dates 指定某些列是否被解析为日期, 类型为布尔值或列表
  • to_csv 函数

    • sep 指定文件函数
    • na_rep 指定缺失值转换的字符串, 默认为空字符串
    • header=False 不输出列名一行
    • index=False 不输出行索引一列
    • columns 指定输出的列, 传入列表

pandas 基础用法的更多相关文章

  1. pandas基础用法——索引

    # -*- coding: utf-8 -*- # Time : 2016/11/28 15:14 # Author : XiaoDeng # version : python3.5 # Softwa ...

  2. pandas基础用法

    首先生成一维数组 data = pd.Series([1,2,3,4,5,6,7,8,9])data运行结果 data.head()#默认取前五条,当然也可以加参数 data.tail()#默认取前五 ...

  3. Pandas基础用法-数据处理【全】-转

    完整资料:[数据挖掘入门介绍] (https://github.com/YouChouNoBB/data-mining-introduction) # coding=utf-8 # @author: ...

  4. PropertyGrid控件由浅入深(二):基础用法

    目录 PropertyGrid控件由浅入深(一):文章大纲 PropertyGrid控件由浅入深(二):基础用法 控件的外观构成 控件的外观构成如下图所示: PropertyGrid控件包含以下几个要 ...

  5. 利用Python进行数据分析(12) pandas基础: 数据合并

    pandas 提供了三种主要方法可以对数据进行合并: pandas.merge()方法:数据库风格的合并: pandas.concat()方法:轴向连接,即沿着一条轴将多个对象堆叠到一起: 实例方法c ...

  6. 利用Python进行数据分析(9) pandas基础: 汇总统计和计算

    pandas 对象拥有一些常用的数学和统计方法.   例如,sum() 方法,进行列小计:   sum() 方法传入 axis=1 指定为横向汇总,即行小计:   idxmax() 获取最大值对应的索 ...

  7. 利用Python进行数据分析(8) pandas基础: Series和DataFrame的基本操作

    一.reindex() 方法:重新索引 针对 Series   重新索引指的是根据index参数重新进行排序. 如果传入的索引值在数据里不存在,则不会报错,而是添加缺失值的新行. 不想用缺失值,可以用 ...

  8. 利用Python进行数据分析(7) pandas基础: Series和DataFrame的简单介绍

    一.pandas 是什么 pandas 是基于 NumPy 的一个 Python 数据分析包,主要目的是为了数据分析.它提供了大量高级的数据结构和对数据处理的方法. pandas 有两个主要的数据结构 ...

  9. logstash安装与基础用法

    若是搭建elk,建议先安装好elasticsearch 来自官网,版本为2.3 wget -c https://download.elastic.co/logstash/logstash/packag ...

随机推荐

  1. Confluence 6 为站点禁用匿名用户访问

    希望为你的站点禁用匿名用户的访问,取消选择 可以使用(can use)前面的选择框,然后选择 保存所有(Save All).这时候,用户应该禁止访问你的站点直达这些用户登录你的 Confluence ...

  2. 关于controller中调用多个service方法的问题

    一般service方法是有事务的,把所有操作封装在一个service方法中是比较安全的. 如果在controller中调用多个service方法,只有查询的情况下是可以这样的.

  3. 微信公众号开发之如何一键导出微信所有用户信息到Excel

    微信开发交流群:148540125 系列文章参考地址 极速开发微信公众号欢迎留言.转发.打赏 项目源码参考地址 点我点我--欢迎Start 极速开发微信公众号系列文章之如何一键导出微信所有用户信息到E ...

  4. 如何合理命名CSS文件——摘自网友

    有经验的网页制作者都明白,对于有多个栏目的大型网站而言,使用单一的CSS文件是不可能的.但CSS文件名如何命名对于新手来说是件容易出乱子的事.如何才能将CSS的命名做得井井有条? 坚持使用统一的CSS ...

  5. spring cloud图形化dashboard是如何实现指标的收集展示的

    spring cloud图形化dashboard是如何实现指标的收集展示的 1.dashboard图形化界面入口 http://localhost:10000/hystrix.stream 说明:端口 ...

  6. logistic 回归与线性回归的比较

    可以参考如下文章 https://blog.csdn.net/sinat_37965706/article/details/69204397 第一节中说了,logistic 回归和线性回归的区别是:线 ...

  7. sql语句:查询、排序、不区分大小写查询,及联合使用

    1.不排序时的查找语句: offset message  为表名,talker 为列名. 此语句的意思是:从message 表中查找 talker 等于wxid_0930479303212的数据,从第 ...

  8. windows server2008服务器下XAMPP集成环境配置apache的SSL证书:

    1.在腾讯与申请的免费SSL证书.按其要求配置,并提交申请,进行审核,审核通过,获得一年使用的SSL免费证书. 2.按下面的要求,进行SSL证书安装配置.本人在配置XAMPP下的apache时,无需复 ...

  9. 字符串 date 转标准 yyyyMMdd 格式

    学习转换成数字相加的思想 public static int ToDateInt(string dateStr)        {            if (string.IsNullOrEmpt ...

  10. iOS使用UIWebView遇到Error Domain=WebKitErrorDomain Code=101 “The operation couldn’t be completed. (WebKitErrorDomain error 101

    现在在接触iOS开发,今天在调试一个界面加载web页面的问题,发现死活无法加载,浏览器里能正常打开,加上相应代码之后得到了错误信息为: 2013-04-18 15:05:06.446 Client_D ...