from pandas import DataFrame
import numpy as np
import pandas as pd t={
"age": [, , np.nan, , np.nan, ],
"city": ["BeiJing", "ShangHai", "GuangZhou", "ShenZhen", 'BeiJing', "ShangHai"],
"sex": [None, "male", "female", "male", np.nan, "unknown"],
"birth": ["2000-02-10", "1988-10-17", None, "1978-08-08", np.nan, "1988-10-17"],
"score":[,,,,,],
"naem":['sdf','aa','bb','tt','ere','tt'],
"name":['sdf 11','aa 22','bb 33','tt 44','ere 55','tt 66']
} df =DataFrame(t)
cc=df.isnull().sum() #每列none的个数,不是count(),count()求出来的值不对呦
print(df[df.age.notnull()]) # isnull()
df.dropna() #删除none所在行
df1=df['score']
df1.index=['a','b','c','d','e','f'] # 为series定义新的索引
df1.name='aiyou'
print(df1[df1<]) # 对 series 进行过滤
print(df1[['a','c']]) # 获取两个元素
print((df1[:])) # 对series切片
print((df1+)) # series 给每个元素加2
print(df1.to_frame()) #series 变成 dataframe
print(df1['a']) # 可以将series当做dict使用,series的index就是dict的key
print(df.loc[[,],['age']]) # 查询指定的行和列
# 访问行用loc 或 iloc
print(df[(df.age>)&(df.age<)])
print(df[(df.age>)&(df.age<)][['age']])# 查询特定的行和列
print(df.count()) # 非空的个数
print(df.sum()) # 非空的个数
del df['naem'] #删除一列
print(df.pop('naem')) # 删除一列,返回值是删除的这列,原来的df发生了变化
print(df.drop('age',axis=))# 删除一列,返回值是后的结果,原来的df没发生变化
print(df[['age','score']])
# print(s6+s7) s6和s7是两个series,s6中不存在g索引,s7中不存在e索引,所以数据运算会产生两个缺失值NaN
clonedf=df.assign(age_add_one = df["age"] + ) #在克隆df的同时再加上一列 如果想要保证原有的 DataFrame 不改变的话,我们可以通过 assign 方法来创建新的一列
print(clonedf) df['age_code']= np.where(df["age"] >, , ) # 根据某列的值,产生新的一列
df['age']=np.where(df['age']<df['score'],df['score'],df['age'])
print(type(df[['age']])) # DataFram
print(type(df['age'])) # Series
print(df.shape)
print(df.head()) # 查看前两行数据
print(df.tail())
print(df['age'].value_counts()) # 获取某列中每个值出现的次数
print(df.sort_index(ascending=False)) # 按索引排序
print(df.sort_values(by=['age','age_code'])) #按值排序
print(df['age'].idxmax()) #获取最大值的索引
print(df['age'].idxmin()) # 获取最小值的索引
'''
map 是 Series 中特有的方法,通过它可以对 Series 中的每个元素实现转换
apply 方法既支持 Series,也支持 DataFrame,在对 Series 操作时会作用到每个值上,在对 DataFrame 操作时会作用到整行或整列(通过 axis 参数控制)。
applymap 方法针对于 DataFrame,它作用于 DataFrame 中的每个元素,它对 DataFrame 的效果类似于 apply 对 Series 的效果
'''
df['age'] = df['age'].combine_first(df['score']) # 利用另一列的值填补此列的None
print(df.rename(index={: "tom", : "bob"})) #修改索引
print(df.rename(columns={"age": "Age", "city": "City", "sex": "Sex"})) #修改列名
print(df["age"].astype(float)) # 转换数据类型
print(pd.to_numeric(df.age, errors="ignore")) # errors='raise',这意味着强转失败后直接抛出异常,设置 errors='coerce' 可以在强转失败时将有问题的元素赋值为 pd.NaT(对于datetime和timedelta)或 np.nan(数字)。设置 errors='ignore' 可以在强转失败时返回原有的数据
print(df.age.nlargest()) # 获取最大的n个值或最小值的n个值,我们可以使用 nlargest 和 nsmallest 方法来完成,这比先进行排序,再使用 head(n) 方法快得多
df["birth"] = pd.to_datetime(df.birth) # 把数据类型转成时间
print(df.city.str.upper()) # print(df.city.str.len()) user_info.city.str.replace(" ", "_") str 方法的使用
print(df.name.str.split(' ').str.get()) # 对字段进行分割
df[['name1','name2']]=df.name.str.split(' ', expand=True) # 根据一列生成两列
print(df[df.city.str.contains("Zh")]) # 是否包含某个关键字
print(df.dropna(axis=, how="any", subset=["city", "sex"])) # thresh=,会在一行/列中至少有 个非空值时将其保留。
df.age.fillna()
print(df.replace({"age": , "birth": pd.Timestamp("1978-08-08")}, np.nan)) # 将age列为40的替换成nan,将birth列为1978--08的替换成nan
print(df.city.replace(r'\s+', np.nan, regex=True))

窗口函数:
df2.rolling(window=2, on="date", min_periods=1).sum() #计算每两条记录的和
df2.expanding(min_periods=1)["turnover"].sum() #累加和的计算,turnover为列名
df2.rolling(window=2, min_periods=1)["turnover"].agg([np.sum, np.mean]) #同时计算出多个统计值用agg

转换时区:

ts=pd.date_range("2018-6-26 07:00:00", periods=8)
print(ts)
ts_utc = ts.tz_localize('UTC')
print(ts_utc)
ts_ea=ts_utc.tz_convert('US/Eastern')
print(ts_ea)
 

pandas 常用方法使用示例的更多相关文章

  1. C#/WPF/WinForm/.NET程序代码实现软件程序开机自动启动的两种常用方法的示例与源码下载带详细注释-源码代码-注册表方式-启动目录快捷方式

    C#/WPF/WinForm/.NET程序代码实现软件程序开机自动启动的两种常用方法的示例与源码下载带详细注释-源码代码-注册表方式-启动目录快捷方式 C#实现自动启动的方法-两种方法 源码下载地址: ...

  2. Spring JDBC常用方法详细示例

    Spring JDBC使用简单,代码简洁明了,非常适合快速开发的小型项目.下面对开发中常用的增删改查等方法逐一示例说明使用方法 1 环境准备 启动MySQL, 创建一个名为test的数据库 创建Mav ...

  3. numpy&pandas补充常用示例

    Numpy [数组切片] In [115]: a = np.arange(12).reshape((3,4)) In [116]: a Out[116]: array([[ 0, 1, 2, 3], ...

  4. Pandas常用方法

    数据处理很多需要用到pandas,有两个基本类型:Series表示一维数据,DataFrame表示多维.以下是一些常用方法的整理: pandas.Series 创建 Series pandas.Ser ...

  5. Date和Calendar时间操作常用方法及示例

    package test; import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date; /** ...

  6. Mockito常用方法及示例

    Mockit是一个开源mock框架,官网:http://mockito.org/,源码:https://github.com/mockito/mockito 要使用Mockit,首先需要在我们工程中引 ...

  7. python大数据初探--pandas,numpy代码示例

    import pandas as pd import numpy as np dates = pd.date_range(',periods=6) dates import pandas as pd ...

  8. Pandas常用方法手册

    关键缩写和包导入 在这个速查手册中,我们使用如下缩写: df:任意的Pandas DataFrame对象 同时我们需要做如下的引入: import pandas as pd 导入数据 pd.read_ ...

  9. pandas常用方法总结

    In [49]: frame2 Out[49]: year state pop debt one 2000 Ohio 1.5 NaN two 2001 Ohio 1.7 NaN three 2002 ...

随机推荐

  1. SQL IN 子查询返回多对值

    我们常用的IN 操作是这样的: select * from tab twhere t.col1 in ('value1''value2');12但是如果是多个列的取值来自同一个子查询呢? 我们是不是要 ...

  2. STL源码剖析——序列式容器#4 Stack & Queue

    Stack stack是一种先进后出(First In Last Out,FILO)的数据结构,它只有一个出口,元素的新增.删除.最顶端访问都在该出口进行,没有其他位置和方法可以存取stack的元素. ...

  3. 【华为敏捷/DevOps实践】7. 敏捷,DevOps,傻傻不分清楚【华为云技术分享】

    文:姚冬(华为云DevCloud首席技术布道师,资深DevOps与精益/敏捷专家,金融解决方案技术Leader,中国DevOpsDays社区核心组织者) 前言 敏捷是什么?DevOps是什么?两者有什 ...

  4. aop 打印请求信息

    项目中使用 AOP 打印请求信息,打印响应信息.package com.example.aspect; import com.alibaba.fastjson.JSON;import com.goog ...

  5. C#下IOC/依赖注入框架Grace介绍

    对依赖注入或控制反转不了解的童鞋请先自行学习一下这一设计,这里直接介绍项目和实现步骤. Grace是一个开源.轻巧.易用同时特性丰富.性能优秀的依赖注入容器框架.从这篇IOC容器评测文章找到的Grac ...

  6. js调用浏览器下载

    $scope.Download = function (url) { var save_link = document.createElementNS("http://www.w3.org/ ...

  7. 2-python元组和列表

    目录 元组 列表 1.元组 - 元素有序排列 - 一个元组中的元素不需要具有相同的类型 - 元素不可增添.修改和删除 1.1.创建元组 # 创建元组 tup1 = (1,2,3,4) tup2 = t ...

  8. Linux 软链接和硬链接简介

    在Linux系统中,将文件分为两个部分:用户数据和元数据. 元数据(inode) 元数据即文件的索引节点(inode),用来记录文件的权限(r.w.x).文件的所有者和属组.文件的大小.文件的状态改变 ...

  9. java基本结构

    前言 Java文件的运行过程: 1,javac.exe:编译器 2,java.exe:解释器 微软shell下运行实例: C:\Users\Administrator>cd D:\文档\JAVA ...

  10. Oracle数据库之四大语言

    一.数据定义语言: 1.用于改变数据库结构,包括创建.更改和删除数据库对象: 2.命令: create table :创建 alter table 修改 drop table 删除表 truncate ...