pandas的map方法使用 import pandas as pd import numpy as np data = pd.DataFrame(np.random.randint(0, 10, (4, 3)), columns=list('bde'), index=range(4)) print(data) def mapfun(a): return str(a) + 'xxxxxxxxxxx' result=data['d'].map(mapfun) print(result) d1 =…

过滤不为空的数据 df[df['PLANR']==''] 获取某列某行数据(某个单元格数据) df['MNG02'][0] 根据判断条件筛选数据 df[df['DAT00'] < temp_time] 获取整列数据集合 tmp_df.get('DAT00').unique() 从原来的dataFrame中提取需要的列 组成新的dataFrame dataFrame[['col1','col2','col3']] dataFrame进行分组 dataFrame.groupby(['col1','c…

Pandas提供了duplicated.Index.duplicated.drop_duplicates函数来标记及删除重复记录 duplicated函数用于标记Series中的值.DataFrame中的记录行是否是重复,重复为True,不重复为False pandas.DataFrame.duplicated(self, subset=None, keep='first', inplace='True') pandas.Series.duplicated(self, keep='first')…

Pandas提供了duplicated.Index.duplicated.drop_duplicates函数来标记及删除重复记录 duplicated函数用于标记Series中的值.DataFrame中的记录行是否是重复,重复为True,不重复为False pandas.DataFrame.duplicated(self, subset=None, keep='first') pandas.Series.duplicated(self, keep='first') 其中参数解释如下: subse…

pip install pandas pip install xlrd 大量记录的时候,用EXCEL排序处理比较费劲,EXCEL程序动不动就无响应了,用pands完美解决. # We will use data structures and data analysis tools provided in Pandas library import pandas as pd # Import retail sales data from an Excel Workbook into a data…

对numpy中的array进行了了解,array方法的取值arr_2d[0:2, 0:2] pandas 1,read_CSV方法 2,head方法 3,loc方法,取值前开后开, 4,replace方法 5,astype 6,行列取值 7,iloc方法,按维度取值,先取行,再取列 8,value_counts 9,drop方法,axis ,0为行,1为列 10,inplace方法 原地修改 11,bool取值…

1.DataFrame 按照列和按照行进行索引数据 按照列索引 df[’column_name’] 按照行索引 df.loc[’row_key’] 或 df.iloc[index] 2.先行后列索引单元格数据/先列后行索引单元格数据 df.loc[’row_key’][’column_name’] #先行后列 df[’column_name’][’row_key’] #先列后行 3.df 删除和新增列/行 df.drop[’ch’] #drop 掉了一个行,但是要加 inplace=true 是…

pandas数据清洗:http://www.it165.net/pro/html/201405/14269.html data=pd.Series([1,2,3,4]) data.replace([1,3], np.nan)#一次替换多个,可以传入一个由待替换值组成的列表以及一个替换值: #传入的参数也可以是字典: data.replace({4: np.nan, 2: 111}) 贴吧爬取得数据,vehicle字段需要处理一下,即把vehicle字段的某些值做下替换: import panda…

1.sys:1: DtypeWarning: Columns (0,1) have mixed types. Specify dtype option on import or 解决办法:PANDAS默认使所占用空间最小的类型来储存数据.df = pd.read_csv('XXX.csv', low_memory=False) 2.comparing dtype [float64] array with a scalar of type [bool] in Pandas DataFrame 符号…

#!/usr/bin/python import pandas as pd df = pd.read_excel('c:\data\zichan.xlsx') df_sn = pd.read_excel('c:\data\SN.xlsx') sn_series = pd.Series(df_sn['SN'].values) print(sn_series.size) new_df = df[~df['SN'].isin(sn_series)] new_df.to_excel('c:\data\o…

import pandas as pd path = r'F:\数据分析专用\数据分析与机器学习\food_info.csv' with open(path, 'r') as f: data = pd.read_csv(f) print(type(data)) print(data.dtypes) print(help(pd.read_csv)) 文件操作 print(data.head(3)) print(data.tail(3)) print(data.columns) 查看数据 data.…

Cookbook 1.更新内容 2.关于安装 3.Pandas使用注意事项 4.包环境 5.10分钟Pandas初识 6.教程 7.Cookbook 8.数据结构简介 9.基本功能 10.使用文本数据 11.选项和设置 12.索引和选择数据 13.多变指标和高级索引 14.计算工具 15.处理缺失的数据 16.分组依据:化整为零策略 17.合并,连接和联合 18.重塑和数据透视 19.时间序列及日期功能 20.时间增量 21.分类数据 22.数据可视化 23.数据样式 24.IO工具(Text,…

1. np.percentile(train_list["wnum1"], [10, 90, 95, 99])  计算一个多维数组的任意百分比分位数,此处的百分位是从小到大排列 2.fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(20, 6)) 定义画图的画布 - 在画图时,要注意首先定义画图的画布:fig = plt.figure( )  - 然后定义子图ax ,使用 ax= fig.add_subplot( 行,列,位置标)  - 当上述…

从数据看select出数据后如何转换为dataframe df = DataFrame(cur.fetchall()) 如何更改列名,选取列,进行groupby操作 df.columns = ['member_id', 'poi', 'num'] df = df[['member_id','num']] grouped = df.groupby('member_id') df = grouped.aggregate(lambda x: sorted(list(x),reverse=True))…

未完 for examples: example 1: # Code based on Python 3.x # _*_ coding: utf-8 _*_ # __Author: "LEMON" import pandas as pd d = pd.date_range(', periods=7) aList = list(range(1,8)) df = pd.DataFrame(aList, index=d, columns=[' ']) df.index.name = 'val…

Pycharm 鼠标移动到函数上,CTRL+Q可以快速查看文档,CTR+P可以看基本的参数. apply(),applymap()和map() apply()和applymap()是DataFrame的函数,map()是Series的函数. apply()的操作对象是DataFrame的一行或者一列数据,applymap()是DataFrame的每一个元素.map()也是Series中的每一个元素. apply()对dataframe的内容进行批量处理, 这样要比循环来得快.如df.apply(…

请原谅没有一次写完,本文是自己学习过程中的记录,完善pandas的学习知识,对于现有网上资料的缺少和利用python进行数据分析这本书部分知识的过时,只好以记录的形势来写这篇文章.最如果后续工作定下来有时间一定完善pandas库的学习,请见谅!                     by LQJ 2015-10-25 前言: 首先推荐一个比较好的Python pandas DataFrame学习网址 网址: http://www.cnblogs.com/chaosimple/p/4153083…

使用pandas进行数据清洗 本文转载自:蓝鲸的网站分析笔记 原文链接:使用python进行数据清洗 目录: 数据表中的重复值 duplicated() drop_duplicated() 数据表中的空值/缺失值 isnull()&notnull() dropna() fillna() 数据间的空格 查看数据中的空格 去除数据中的空格 大小写转换 数据中的异常和极端值 replace() 更改数据格式 astype() to_datetime() 数据分组 cut() 数据分列 split()…

pandas应用之分组因子暴露和分位数分析 首先感谢原书作者Mes McKinney和batteryhp网友的博文, 俺在此基础上继续探索python的神奇功能. 用A股的实际数据, 以书里的代码为蓝本, 做一些实证探索. 发现不少问题 pandas版本升级之后, 函数调用的方式必须相应地改变. 比如 pd.rolling_mean 升级为Series.rolling().mean()等等 tushare的数据与yahoo财经的数据格式上的差异, 需要规整化, 等等 至少会有两篇后续的博文详细记…

一个机器学习竞赛中,题目大意如下,本文主要记录数据处理过程,为了模型训练,第一步需要将中文数据集处理为数值类别数据集保存. 基于大数据的运营商投诉与故障关联分析 目标:原始数据集是含大量中文的xls格式的表格,目标处理为数值类别的csv表格. 原始数据集部分切片,如下格式: 目标数据集为,处理成对应的数值类别格式,如下: 解决思路:(处理中文需要注意编码) 总体分两步,1.提取每一列的值(含中文),作为key关键字,value为自增的整数,构造字典.利用了字典的key唯一的特性. 2.根据上一部…

Python中的pandas模块进行数据分析. 接下来pandas介绍中将学习到如下8块内容:1.数据结构简介:DataFrame和Series2.数据索引index3.利用pandas查询数据4.利用pandas的DataFrames进行统计分析5.利用pandas实现SQL操作6.利用pandas进行缺失值的处理7.利用pandas实现Excel的数据透视表功能8.多层索引的使用 一.数据结构介绍 在pandas中有两类非常重要的数据结构,即序列Series和数据框DataFrame.Ser…

原文链接:http://www.cnblogs.com/chaosimple/p/4153083.html 关于pandas的入门介绍,比较全,也比较实在,特此记录~ 还有关于某同学的pandas学习笔记,也是极好的 链接:https://segmentfault.com/a/1190000004183902 分为一.二两篇,需要多多学习. Pandas的类SQL操作功能: http://www.cnblogs.com/en-heng/p/5630849.html Pandas的数据分析常用操作…

在没有使用python之前,觉得matlab的绘图功能还算可以~但现在发现python的绘图包真的好强大,绘制出的图像非常专业漂亮,但具体使用还有待学习,这里记录学习过程中遇到的python绘图包,以备之后使用 [为了安装python包,可以使用python管理工具pip,使用方法:pip install python-package-name] 1. matplotlib matplotlib官方教程 该python绘图包与matlab的绘图功能类似 2. seaborn seaborn官方教…

一.pandas模块是基于Numpy模块的,pandas的主要数据结构是Series和DadaFrame,下面引入这样的约定: from pandas import Series,DataFrame import pandas as pd 二.主要数据结构对象 1.Series是一种类似一维数组的对象,由一组数据(各种numpy数据类型)与其相对应的数据标签组成(即索引)组成.可以通过其values和index属性来获取其数组表示形式和索引对象: >>> from pandas impo…

DataFrame是Pandas中的一个表结构的数据结构,包括三部分信息,表头(列的名称),表的内容(二维矩阵),索引(每行一个唯一的标记). 一.DataFrame的创建 有多种方式可以创建DataFrame,下面举例介绍. 例1: 通过list创建 >>> import pandas as pd >>> df = pd.DataFrame([[1,2,3],[4,5,6]]) >>> df 0 1 2 0 1 2 3 1 4 5 6 [2 rows…

第1节 pandas 回顾 第2节 读写文本格式的数据 第3节 使用 HTML 和 Web API 第4节 使用数据库 第5节 合并数据集 第6节 重塑和轴向旋转 第7节 数据转换 第8节 字符串操作 第9节 绘图和可视化 pandas 回顾 一.实验简介 学习数据分析的课程,需要同学们掌握好 Python 的语言基础,和对 Numpy 与 Matplotlib 等基本库有一些了解.同学们可以参考学习实验楼的 Python 语言基础教程与 Python 科学计算的课程. pandas 是后面我们…

官方文档链接http://pandas.pydata.org/pandas-docs/stable/dsintro.html 数据结构介绍 我们将以一个快速的.非全面的pandas的基础数据结构概述来开始.应用在所有对象的数据类型.索引和轴标签/对齐等的基础操作.首先我们需要向你的命名空间引入numpy和pandas. In [1]: import numpy as np In [2]: import pandas as pd 有个宗旨需要牢记:数据对齐是内在的.标签和数据间的链接不会被轻易改变…

今天遇到了一个问题,很是奇怪,自己也想了一个另类的方法将其解决了,现在将详细过程经过记录如下: 我在处理完一个dataframe之后,需要将其写回到数据库.这个dataframe比较大,共有53列,72609行,使用下述代码尝试将其写入mysql数据库. pd.io.sql.to_sql(df,'xxx',zh_con,flavor='mysql',if_exists='append',index=False) 然后就报错了,错误如下: Traceback (most recent call l…

pandas是一个用于进行python科学计算的常用库,包含高级的数据结构和精巧的工具,使得在Python中处理数据非常快速和简单.pandas建造在NumPy之上,它使得以NumPy为中心的应用很容易使用. pandas为数据提供了一些解决方案: 支持自动或明确的数据对齐的带有标签轴的数据结构.这可以防止由数据不对齐引起的常见错误,并可以处理不同来源的不同索引数据. 整合的时间序列功能. 以相同的数据结构来处理时间序列和非时间序列. 支持传递元数据(坐标轴标签)的算术运算和缩减. 灵活处理丢失…

一.常用链接: 1.Python官网:https://www.python.org/ 2.各种库的whl离线安装包:http://www.lfd.uci.edu/~gohlke/pythonlibs/#scikit-learn 3.数据分析常用库的离线安装包(pip+wheels)(百度云):http://pan.baidu.com/s/1dEMXbfN 密码:bbs2 二.常用库 1.NumPy NumPy是高性能科学计算和数据分析的基础包.部分功能如下: ndarray, 具有矢量算术运算和…