Pandas 的使用
1. 访问df结构中某条记录使用loc或者iloc属性。loc是按照index或者columns的具体值,iloc是按照其序值。访问类似于ndarray的访问,用序列分别表示一维和二维的位置。
例如:missing_data.loc['MasVnrType'] 访问index为'MasVnrType'的行(如果有多行,才需要两对中括号,里面的中括号表示index列表
missing_data.loc['MasVnrType', 'Total'] 用来访问index为'MasVnrType',columns为'Total'的数据
missing_data.loc[['MasVnrType', 'MasVnrArea'], ['Total']] 访问index为'MasVnrType', 'MasVnrArea', columns为'Total'的数据
missing_data.iloc[[1]] 表示index序值为1的记录(0-indexed)
In [1]: df = DataFrame(randn(5,2),index=range(0,10,2),columns=list('AB')) In [2]: df
Out[2]:
A B
1.068932 -0.794307
-0.470056 1.192211
-0.284561 0.756029
1.037563 -0.267820
-0.538478 -0.800654 In [5]: df.iloc[[2]]
Out[5]:
A B
-0.284561 0.756029 In [6]: df.loc[[2]]
Out[6]:
A B
-0.470056 1.192211
示例代码
2. 对数据变量进行标准正态化分布类 sklearn.preprocessing.StandardScaler http://sklearn.lzjqsdd.com/modules/preprocessing.html
3. Pandas 中的空值用 None 表示
4. 两个逻辑值序列求交或者并用 & 符号或者 | 符号
5. NaN 参与数值运算的结果仍然为 NaN
6. 如果需要在 IPython Notebook 中显示作图,需要加上 %matplotlib inline
7. 将属性值作为列名进行行列转换
1. MultiIndex 对象
构建有两种方式,一种是通过 index 元组的方式,一种是通过多维列表交叉组合的方式。
2. 在通过 Series 的 unstack 方法将某一级标签转换到 columns 上。
level 参数指定转换的标签级,-1表示最里面一级。
8. 如何改变 index 或 columns 的顺序
1. 一种方式是通过 reindex_axis 函数
2. 另外一种方式是通过重新赋值来改变
test_df = test_df[train_df.columns]
改变 index 顺序:test_df = test_df.loc[index]
9. 将带有 multi-level index 的 DataFrame 对象的 index 转换为对应的 columns 插入到原本的 DataFrame 中。
pd.DataFrame.reset_index() 函数可以完成上述功能
也可以时使用 MultiIndex 对象的 to_frame() 函数直接将 MultiIndex 转换为 DataFrame。
Pandas 的使用的更多相关文章
- pandas基础-Python3
未完 for examples: example 1: # Code based on Python 3.x # _*_ coding: utf-8 _*_ # __Author: "LEM ...
- 10 Minutes to pandas
摘要 一.创建对象 二.查看数据 三.选择和设置 四.缺失值处理 五.相关操作 六.聚合 七.重排(Reshaping) 八.时间序列 九.Categorical类型 十.画图 十一 ...
- 利用Python进行数据分析(15) pandas基础: 字符串操作
字符串对象方法 split()方法拆分字符串: strip()方法去掉空白符和换行符: split()结合strip()使用: "+"符号可以将多个字符串连接起来: join( ...
- 利用Python进行数据分析(10) pandas基础: 处理缺失数据
数据不完整在数据分析的过程中很常见. pandas使用浮点值NaN表示浮点和非浮点数组里的缺失数据. pandas使用isnull()和notnull()函数来判断缺失情况. 对于缺失数据一般处理 ...
- 利用Python进行数据分析(12) pandas基础: 数据合并
pandas 提供了三种主要方法可以对数据进行合并: pandas.merge()方法:数据库风格的合并: pandas.concat()方法:轴向连接,即沿着一条轴将多个对象堆叠到一起: 实例方法c ...
- 利用Python进行数据分析(9) pandas基础: 汇总统计和计算
pandas 对象拥有一些常用的数学和统计方法. 例如,sum() 方法,进行列小计: sum() 方法传入 axis=1 指定为横向汇总,即行小计: idxmax() 获取最大值对应的索 ...
- 利用Python进行数据分析(8) pandas基础: Series和DataFrame的基本操作
一.reindex() 方法:重新索引 针对 Series 重新索引指的是根据index参数重新进行排序. 如果传入的索引值在数据里不存在,则不会报错,而是添加缺失值的新行. 不想用缺失值,可以用 ...
- 利用Python进行数据分析(7) pandas基础: Series和DataFrame的简单介绍
一.pandas 是什么 pandas 是基于 NumPy 的一个 Python 数据分析包,主要目的是为了数据分析.它提供了大量高级的数据结构和对数据处理的方法. pandas 有两个主要的数据结构 ...
- pandas.DataFrame对行和列求和及添加新行和列
导入模块: from pandas import DataFrame import pandas as pd import numpy as np 生成DataFrame数据 df = DataFra ...
- pandas.DataFrame排除特定行
使用Python进行数据分析时,经常要使用到的一个数据结构就是pandas的DataFrame 如果我们想要像Excel的筛选那样,只要其中的一行或某几行,可以使用isin()方法,将需要的行的值以列 ...
随机推荐
- sql语句的安全性考虑
sql语句的应该考虑哪些安全性呢? 1.防止sql注入,对特殊字符进行转义(addslashes),或者使用已经编译好的sql语句进行变量的绑定: 2.当sql运行出现错误的时候,不要把数据库返回的错 ...
- LInux中ThreadInfo中的preempt_count字段
最近看各种上下文,发现和ThreadInfo中的preemption字段密切,于是便调查了下. 看下Linux源码中的注释: /* * We put the hardirq and softirq c ...
- OCR技术浅探 : 文字定位和文本切割(2)
文字定位 经过前面的特征提取,我们已经较好地提取了图像的文本特征,下面进行文字定位. 主要过程分两步: 1.邻近搜索,目的是圈出单行文字: 2.文本切割,目的是将单行文本切割为单字. 邻近搜索 我们可 ...
- sql之密码保存
HashBytes (Transact-SQL) 其他版本 返回其输入的 MD2.MD4.MD5.SHA 或 SHA1 哈希值. Transact-SQL 语法约定 语法 Has ...
- IDOC 实例测试
这份文档主要是自己学习IDOC的一些练习过程及心得,可能讲的不全面,但应该可以帮助大家了解IDOC的一些工作方式. IDOC或者说是ALE,事实上,是SAP用于分布和集成数据的一种方式.所以,我个人就 ...
- R语言之多重共线性的判别以及解决方法
多重共线性(Multicollinearity)是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确. 1.可以计算X矩阵的秩qr(X)$rank,如果 ...
- Linux系统——Raid磁盘阵列
Raid磁盘阵列 作用:解决磁盘速度.安全问题 Raid原理 Raid0 写入速度极快,有几块硬盘,写入速度就近似几倍,但是安全性极差,只要一块盘坏了,所有盘的数据全部坏掉,最少两块硬盘组合 性价比最 ...
- Sqlserver生成带数据的脚本
右键数据库—>任务—>生成脚本 下一步 选择要导出数据库,下一步 编写数据脚本选择True,下一步 选择要导出的表,下一步 最后点击完成即可.
- java jdom 解析CDATA内容
package com; import java.io.IOException; import java.io.StringReader; import java.util.List; import ...
- PKU 1226 Substrings(字符串匹配+暴搜KMP模板)
原题大意:原题链接 给出n个字符串,找出一个最长的串s,使s或者s的反转字符串(只要其中一个符合就行)同时满足是这n个串的子串. 对于样例,第一组ABCD BCDFF BRCD最长的串就是CD; ...