一.Pandas 和 Series 的 describe() 方法 1)功能 功能:对数据中每一列数进行统计分析:(以“列”为单位进行统计分析) 默认只先对“number”的列进行统计分析: 一列数据全是“number” count:一列的元素个数: mean:一列数据的平均值: std:一列数据的均方差:(方差的算术平方根,反映一个数据集的离散程度:越大,数据间的差异越大,数据集中数据的离散程度越高:越小,数据间的大小差异越小,数据集中的数据离散程度越低) min:一列数据中的最小值: max

对于数据样本的标签,如果我们事先不知道这个样本有多少类别,那么可以对数据集的类别列进行统计,这时我们用pandas的Categorical方法就非常快的实现. 1.说明: 你的数据最好是一个series,之后,pd.Categorical(series),得到分类的对象,使用categories或者codes进行查看 2.操作: pd.Categorical( list ).codes 这样就可以直接得到原始数据的对应的序号列表,通过这样的处理可以将类别信息转化成数值信息 ,这样就可以应用到模型

统计方法 pandas 对象有一些统计方法.它们大部分都属于约简和汇总统计,用于从 Series 中提取单个值,或从 DataFrame 的行或列中提取一个 Series. 比如 DataFrame.mean(axis=0,skipna=True) 方法,当数据集中存在 NA 值时,这些值会被简单跳过,除非整个切片(行或列)全是 NA,如果不想这样,则可以通过 skipna=False 来禁用此功能: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

一.基本使用方法 # pandas引入约定 import pandas as pd from pandas import Series,DataFrame import numpy as np import matplotlib.pyplot as plt # pandas数据结构 # pandas数据结构介绍 # Series:一种类似于一维数组的对象,它是由一组数据(各种numpy数据类型) # 以及一组与之相关的数据标签(即索引)组成,仅由一组数据即可产生简单的series # DataF

今天遇到了一个问题,很是奇怪,自己也想了一个另类的方法将其解决了,现在将详细过程经过记录如下: 我在处理完一个dataframe之后,需要将其写回到数据库.这个dataframe比较大,共有53列,72609行,使用下述代码尝试将其写入mysql数据库. pd.io.sql.to_sql(df,'xxx',zh_con,flavor='mysql',if_exists='append',index=False) 然后就报错了,错误如下: Traceback (most recent call l

本篇重点讲解windows系统下 Python3.5中第三方excel操作库-openpyxl: 其实Python第三方库有很多可以操作Excel,如:xlrd,xlwt,xlwings甚至注明的数据分析模块Pandas也提供pandas.read_excel.pandas.DataFrame.to_excel功能. 那么openpyxl的库有哪些优缺点呢: 优势: 1.openpyxl提供对pandas的dataframe对象完美支持: 2.openpyxl支持后台静默打开excel文件: 3

pandas的qcut可以把一组数字按大小区间进行分区,比如 data = pd.Series([0,8,1,5,3,7,2,6,10,4,9]) 比如我要把这组数据分成两部分,一半大的,一半小的,如果是小的数,值就变成'small number',大的数,值就变成'large number': print(pd.qcut(data,[0,0.5,1],labels=['small number','large number'])) 0 small numbers 1 large numbers

当你读取到DataFrame的数据时,想去定位某一个数据项,可以使用loc方法进行查找,之后你可以赋值给他. import pandas as pd df = pd.read_csv('file_name.csv') df.loc[index, columns_name] = 'new_word'

相当于添加一行记录,这个方法也是比较管用的: # 测试pandas.append方法 def use_pd_append(): df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB')) df2 = pd.DataFrame([[5, 6], [7, 8]], columns=list('AB')) print(df) print(df2) # 一定要给出一个名字,这样才能存储,不在原有的dataFrame上操作 d = df.append(d

使用Schema类的describesSObjects方法获取描述sObject结果.使用此方法可以通过sObject类型名称描述一个或者多个sObject描述信息. //sObject types to describe String[] types = new String[]{'Account','Merchandise__c'}; //Make the describe call Schema. DescribeSobjectResult[] results = Schema.Descr

这几天在用 Python3 研究一个爬虫,最后一个需求是把爬下来的20+个csv文件整合到一个excel表里的不同sheets. 初版的核心代码如下: while year <= 2018: csvPath = sys.path[0] + '/result/%d.csv' % year excelPath = sys.path[0] + '/result.xlsx' csvReader = pandas.read_csv(csvPath, encoding='utf_8_sig') excelW

Series对象的常用属性和方法 loc[ ]和iloc[ ]格式示例表 Pandas提供的数据整理方法 Pandas分组对象的属性和方法 date_range函数的常用freq参数表

楔子 使用pandas做数据处理的第一步就是读取数据,数据源可以来自于各种地方,csv文件便是其中之一.而读取csv文件,pandas也提供了非常强力的支持,参数有四五十个.这些参数中,有的很容易被忽略,但是在实际工作中却用处很大.比如: 文件读取时设置某些列为时间类型 导入文件, 含有重复列 过滤某些列 每次迭代指定的行数 值替换 pandas在读取csv文件是通过read_csv这个函数读取的,下面就来看看这个函数都支持哪些不同的参数,看看它们都生得一副什么模样,是三头六臂,还是烈焰红唇.

Numpy 的基本能力之一是快速对每个元素进行运算 Pandas 继承了Numpy的功能,也实现了一些高效技巧. 对于1元运算,(函数,三角函数)保留索引和列标签 对于2元运算,(加法,乘法),Pandas 会自动对齐索引进行计算. 通用函数:保留索引 对ser对象或 df对象使用Numpy通用函数,生成的结果是另一个保留索引的Pandas对象. 通用函数: 索引对齐 当Series 或 DataFram对象进行二元计算,会对齐俩个对象的索引 当处理不完整的额数据时,这一点非常方便 Series

 使用格式:DataFrame.describe(percentile_width=None, percentiles=None, include=None, exclude=None)  作用:生成各种汇总统计信息,不包括代表非数字值的特殊值. 参数: 1.percentile_width:Float类型,不推荐使用 percentile_width参数将会在将来的版本中被移除,并使用percentiles替代.如果不设置percentile_width,宽度默认为50,相当于上限为75,下限

在此我用的concat作用是加入新的记录,存储数据来用过的,不知道数据量大时候,效率会怎样 # 使用pandas来保存数据 df1 = pd.DataFrame([poem], columns=['poetry_content']) df = pd.concat([df, df1], sort=True, ignore_index=True) 注意:要有ignore_index=True,要不然你的DataFrame的索引一直都会是零!

数据合并时可以使用merge方法,对两个dataFrame根据某一个series合并,这个方法非常好用,只要找到了合并的标准,新的数据就可以重构出来. 1.命令: pd.merge() on:列名,join用来对齐的那一列的名字,用到这个参数的时候一定要保证左表和右表用来对齐的那一列都有相同的列名. left_on:左表对齐的列,可以是列名,也可以是和dataframe同样长度的arrays. right_on:右表对齐的列,可以是列名,也可以是和dataframe同样长度的arrays. le

就是将一个值替换为另一个值,以前我用的是赋值方式,这里应该效率会高. 1.说明: 语法:replace(self, to_replace=None, value=None, inplace=False, limit=None, regex=False, method='pad', axis=None) 2.使用: 直接映射法 字典映射法 https://jingyan.baidu.com/article/454316ab4d0e64f7a6c03a41.html 这里讲的很清楚了,可以看看

其实每一篇博客我都要用很多琐碎的时间片段来学完写完,每次一点点,用到了就学一点,学一点就记录一点,要用上好几天甚至一两个礼拜才感觉某一小类的知识结构学的差不多了. Pandas 是基于 NumPy 的一个开源 Python 库,它被广泛用于快速分析数据,以及数据清洗和准备等工作.它的名字来源是由“ Panel data”(面板数据,一个计量经济学名词)两个单词拼成的.简单地说,你可以把 Pandas 看作是 Python 版的 Excel. 一.  数据结构介绍 在pandas中有两类非常重要的