第二节 pandas 基础知识
pandas 两种数据结构 Series和DataFrame
一 Series 一种类似与一维数组的对象
- values:一组数据(ndarray类型)
- index:相关的数据索引标签
1.1 series的创建
Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False) data:列表/numpy一维数据/dic.
index:显示索引,格式为:[]
dtype:数据的类型
name:Series的唯一标识
copy:是否产生副本
两种创建方式:
()由列表或numpy数组创建
()由字典创建:不能在使用index.但是依然存在默认索引
方式一:由列表或numpy数组创建
#使用列表创建Series
Series(data=[1,2,3,4,5])
其中0,1,2,3,4是默认索引.
#使用numpy创建数组
arr=np.random.randint(50,100,size=(10,))
s2=Series(data=arr,index=['a','b','c','d','e','f','g','h','i','j'],name='s2') #index指定显示索引
s2
方式二:由字典创建
dic = {
'math':100,
'English':99
}
s = Series(data=dic)
s
注意:
使用字典创建Series,key作为显示索引,value作为数据
1.2 Series的索引和切片
1.2.1 索引
可以使用中括号取单个索引(此时返回的是元素类型),或者中括号里一个列表取多个索引(此时返回的是一个Series类型)。
(1) 显式索引:
- 使用index中的元素作为索引值
- 使用s.loc[](推荐):注意,loc中括号中放置的一定是显示索引
注意,此时是闭区间
(2) 隐式索引:
- 使用整数作为索引值
- 使用.iloc[](推荐):iloc中的中括号中必须放置隐式索引
注意,此时是半开区间
s.math #属性索引,不推荐使用 s[0] #直接索引 s['math'] #直接的显式索引 s.loc['math'] #显式索引 s.iloc[0:2] #隐式索引
1.2.1 切片:隐式索引切片和显示索引切片
显示索引切片:index和loc
隐式索引切片:整数索引值和iloc
1.3 Series的基本概念
可以把Series看成一个定长的有序字典,向Series增加一行:相当于给字典增加一组键值对。
s.shape ---> (2,) s.values ---> array([100, 99], dtype=int64) s.index ----> Index(['math', 'English'], dtype='object') s.head(1) ----> 取第一条数据 s.tail(1) ----> 取最后一条数据
***去重
s = Series([1,1,2,2,3,3,4,5,6,6,6,7,8,8,0]) s.unique() #去重函数
1.3 Series的运算
(1) + - * / (2) add() sub() mul() div() : s1.add(s2,fill_value=0)
s1.add(s2) #s1+s2
注意:
Series之间的运算在运算中自动对齐不同索引的数据,如果索引不对应,则补NaN.
1.4 索引不能完全对齐的加法运算详解
s1 = Series([1,2,3,4,5],index=['a','b','c','d','e'])
s2 = Series([1,2,3,4,5],index=['a','b','c','f','e'])
s3 = s1+s2 #数据清洗
s3
其中未对齐的数据,用NaN填充,这些数据属于无效数据.此时我们可以使用pd.isnull(),pd.notnull(),或s.isnull(),notnull()函数检测缺失数据.
s3.isnull() #检查数据是否为空值.
#要求去除错误数据 #第一步:获取数据的bool值一维数组 s3.notnull() #如果数据为空,返回false,不为空为True #第二步:使用获取的bool数组过滤数据,留下true的数据 s3[s3.notnull()]
二 DataFrame
DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引,也有列索引。
- 行索引:index
- 列索引:columns
- 值:values
2.1 DataFrame的创建
最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称,以字典的值(一个数组)作为每一列。
此外,DataFrame会自动加上每一行的索引。
使用字典创建的DataFrame后,则columns参数将不可被使用。
同Series一样,若传入的列与字典的键不匹配,则相应的值为NaN。
2.1.1 使用ndarray创建DataFrame
DataFrame(data=np.random.randint(0,100,size=(3,3)),index=['a','b','c'],columns=['A','B','C'])
2.1.2 使用字典创建
dic = {
'name':['tom','jay','bobo'],
'salary':[10000,5000,6000]
}
DataFrame(data=dic,index=['one','two','three'])
2.1.3 属性
DataFrame属性:values、columns、index、shape
2.2 DataFrame的索引
(1) 对列进行索引 - 通过类似字典的方式 df['q']
- 通过属性的方式 df.q
可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引,且name属性也已经设置好了,
就是相应的列名。
(2) 对行进行索引
- 使用.loc[]加index来进行行索引
- 使用.iloc[]加整数来进行行索引
同样返回一个Series,index为原来的columns。
(3) 对元素索引的方法
- 使用列索引
- 使用行索引(iloc[3,1] or loc['C','q']) 行索引在前,列索引在后
#创建数据
dic = {
'张三':[150,150,150,300],
'李四':[0,0,0,0]
}
df = DataFrame(data=dic,index=['语文','数学','英语','理综'])
df
(1)对行索引
df['张三'] df.李四 #修改列索引
df.columns = ['zhangsan','lisi'] #获取前两列
df[['lisi','zhangsan']]
(2)对行索引
df.loc['数学'] df.iloc[1] df.loc[['语文','英语']]
(3)对元素索引
df.loc['理综','zhangsan'] #使用','隔开,格式:[行,列]
2.3 DataFrame的切片
【注意】 直接用中括号时: 索引表示的是列索引
切片表示的是行切片
df[0:2] #切行 df.iloc[:,0:2] #切列
2.4 DataFrame的运算
(1) DataFrame之间的运算 同Series一样: - 在运算中自动对齐不同索引的数据
- 如果索引不对应,则补NaN
#假设张三期中考试数学被发现作弊,要记为0分,如何实现?
df.iloc[1,0] = 0
#李四因为举报张三作弊立功,期中考试所有科目加100分,如何实现?
df['lisi'] = df['lisi'] + 100
df
df = df + 10 #所有元素+10
df
三 处理丢失数据
有两种丢失数据:
- None
- np.nan(NaN)
#导包
import pandas as pd
from pandas import Series
from pandas import DataFrame
import numpy as np
3.1 None,np.nan
None是Python自带的,其类型为python object。因此,None不能参与到任何计算中。
np.nan是浮点类型,能参与到计算中。但计算的结果总是NaN。
#查看None的数据类型
type(None)
查看np.nan(NaN)类型
type(np.nan)
3.2 pandas中的None与NaN
1) pandas中None与np.nan都视作np.nan
np.random.seed(2)
df = DataFrame(data=np.random.randint(0,100,size=(7,6)))
df
#将某些数组元素赋值为nan
df.iloc[1,2] = None
df.iloc[2,1] = np.nan
df.iloc[3,4] = None
df
2) pandas处理空值操作
isnull()
notnull()
dropna(): 过滤丢失数据
fillna(): 填充丢失数据
df.isnull()
#自己书写bool一维数组
b = [True,False,False,False,True,True,True]
df.loc[b] #去除有NaN的行数据
使用方法获取bool数组
df.isnull().any(axis=0) #每一行只要有True ,则为True df.isnull().all(axis=0) #每一行全部为True ,则为True 固定搭配:# notnull() ===> all() isnull() ==> any()
condition = df.notnull().all(axis=1)
condition
df.loc[condition]
3) 数据清洗函数
(1)df.dropna() 可以选择过滤的是行还是列(默认为行):axis中0表示行,1表示的列
(2)df.drop(labels=3,axis=1) #去除第3行数据 df.dropna(axis=0) #在drop系列的函数中 axis=0 行 1列
(3)df.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None) value:填充的数据,可以是某一个值,也可以是字典;
method:填充的方法,{'backfill', 'bfill', 'pad', 'ffill', None};
axis : {0 or 'index', 1 or 'columns'};
limit:填充的次数,int, default None
第二节 pandas 基础知识的更多相关文章
- RxJava2实战--第二章 RxJava基础知识
第二章 RxJava基础知识 1. Observable 1.1 RxJava的使用三步骤 创建Observable 创建Observer 使用subscribe()进行订阅 Observable.j ...
- Pandas基础知识图谱
所有内容整理自<利用Python进行数据分析>,使用MindMaster Pro 7.3制作,emmx格式,源文件已经上传Github,需要的同学转左上角自行下载或者右击保存图片.该图谱只 ...
- android内部培训视频_第二节 布局基础
第二节:布局入门 一.线性布局 需要掌握的属性: 1.orientation:排列方式 vertical:垂直 Horizontal:水平 2.weight:水平布局的权重 3.gravity:子控件 ...
- (转)JAVA AJAX教程第二章-JAVASCRIPT基础知识
开篇:JAVASCRIPT是AJAX技术中不可或缺的一部分,所以想学好AJAX以及现在流行的AJAX框架,学好JAVASCRIPT是最重要的.这章我给大家整理了一些JAVASCRIPT的基础知识.常用 ...
- 第二节 Python基础之变量,运算符,if语句,while和for循环语句
我们在上一节中,我们发现当我们用字符串进行一些功能处理的时候,我们都是把整个字符串写下来的,比如"jasonhy".startwith("j"),如果我们在程序 ...
- Pandas基础知识(二)
Pandas的索引对象 index的对象是不可以修改的如执行index[1] = 'f',会报错"Index does not support mutable operations" ...
- Pandas基础知识(一)
Pandas的主要结构有DataFrame和Series. 生成一个Series对象. 关于部分Series的索引操作. Series也可以通过字典生成. DataFrame是一个表格型的数据,它既有 ...
- 第二章 Java基础知识(下)
2.1.分支结构(if.switch) 2.1.1.if语句 格式一: if (关系表达式) { 语句体; } 流程一: ①首先计算关系表达式的值 ②如果关系表达式的值为true就执行语句体 ③如果关 ...
- 第二章 Java基础知识(上)
2.1.注释 单行注释 // 注释内容 多行注释 /* 注释内容 */ 文档注释 /**注释内容 */ 2.2.关键字 定义:在Java语言中被赋予特殊含义的小写单词 分类: 2.3.标识符 定义:标 ...
随机推荐
- C++版 - HDUoj 2010 3阶的水仙花数 - 牛客网
版权声明: 本文为博主Bravo Yeung(知乎UserName同名)的原创文章,欲转载请先私信获博主允许,转载时请附上网址 http://blog.csdn.net/lzuacm. C++版 - ...
- 2016年,总结篇 续 如何从 JQ 转到 VueJS 开发(一)
接着 2016 年的总结,我们来看看 2016年 国内最火且没有之一的前端MVVM 框架 VueJs 虽然 到写文章的这个时间点,VueJs已经发布了 2.1.x 了, 但是对于很多 Vuejs 的初 ...
- jxa快速入门,Javascript已加入AppleScript全家桶
因为工作环境基本是以跨平台为主,所以纯mac本地化的AppleScript一直关注是不够的,前几天找资料发现AppleScript也在迅速的进步着,目前已经对Javascript做了比较好的支持--- ...
- 前端笔记之JavaScript(十一)event&BOM&鼠标/盒子位置&拖拽/滚轮
一.事件对象event 1.1 preventdefault()和returnValue阻止默认事件 通知浏览器不要执行与事件关联的默认动作. preventdefault() 支持Chrome等高 ...
- 适配器模式 adapter 结构型 设计模式(九)
现实世界中的适配器模型 先来看下来几个图片,截图自淘宝 上图为港版的插头与港版的插座 上图为插座适配器卖家的描述图 上图为适配后的结果 现实世界中适配器模式 角色分类 这就是适配器模式在电 ...
- Perl获取主机名、用户、组、网络信息
获取主机名.用户.组.网络信息相关函数 首先是获取主机名的方式,Perl提供了Sys::Hostname模块,可以查询当前的主机名: use Sys::Hostname; print hostname ...
- 第38章 刷新令牌 - Identity Server 4 中文文档(v1.0.0)
第38章 刷新令牌 由于访问令牌的生命周期有限,因此刷新令牌允许在没有用户交互的情况下请求新的访问令牌. 以下流程支持刷新令牌:授权代码,混合和资源所有者密码凭据流.需要明确授权客户端通过设置Allo ...
- rand函数
srand()用来初始化随机数种子,rand()用来产生随机数 srand(time()); while(t--){ printf("-> %d %d\n",rand(),r ...
- MySQL 笔记整理(5) --深入浅出索引(下)
笔记记录自林晓斌(丁奇)老师的<MySQL实战45讲> 5) --深入浅出索引(下) 这次的笔记从一个简单的查询开始: 建表语句是这样的 mysql> create table T ...
- [Go] golang连接查询mysql
package main import ( "database/sql" _ "github.com/go-sql-driver/mysql" "lo ...