pandas有两种自己独有的基本数据结构Series和DataFrame

Series

  1. 数据结构
  2. data    100 300 500
  3. index    0   1   2
  4. 或者
  5. index data
  6. 0      100
  7. 1      300
  8. 2      500
  1. 创建series对象
  3. In [1]: import numpy as np
  4. In [2]: from pandas import Series,DataFrame
  5. In [3]: import pandas as pd
  7. 传递list创建对象，默认创建整数索引
  8. In [4]: s1 = Series([1,3,6,-1,2,8])
  9. In [5]: s1
  10. Out[5]:
  11. 0    1
  12. 1    3
  13. 2    6
  14. 3   -1
  15. 4    2
  16. 5    8
  17. dtype: int64
  19. 传入列表自定义索引创建对象
  20. In [9]: s2 = Series([1,3,6,-1,2,8],index = ["a","c","d","e","b","g"])
  21. In [10]: s2
  22. Out[10]:
  23. a    1
  24. c    3
  25. d    6
  26. e   -1
  27. b    2
  28. g    8
  29. dtype: int64
  31. 传入字典创建对象
  32. In [11]: SD = {"python":100,"java":101,"scala":102}
  33. In [12]: s3 = Series(SD)
  34. In [14]: s3
  35. Out[14]:
  36. java      101
  37. python    100
  38. scala     102
  39. dtype: int64
  41. //显示数据值【values】和索引【index】
  42. In [6]: s1.values
  43. Out[6]: array([ 1,  3,  6, -1,  2,  8])
  44. In [7]: s1.index
  45. Out[7]: RangeIndex(start=0, stop=6, step=1)
  47. In [17]: s1
  48. Out[17]:
  49. 0    1
  50. 1    3
  51. 2    6
  52. 3   -1
  53. 4    2
  54. 5    8
  55. dtype: int64
  57. 自定义索引名字
  58. In [18]: s1.index = ["p1","p2","p3","p4","p5","p6"]
  59. In [19]: s1
  60. Out[19]:
  61. p1    1
  62. p2    3
  63. p3    6
  64. p4   -1
  65. p5    2
  66. p6    8
  67. dtype: int64
  69. 根据索引查看值和修改值
  70. In [20]: s1['p1']
  71. Out[20]: 1
  72. In [21]: s1['p1']=100
  73. In [22]: s1
  74. Out[22]:
  75. p1    100
  76. p2      3
  77. p3      6
  78. p4     -1
  79. p5      2
  80. p6      8
  81. dtype: int64
  83. 判断值是否为空
  84. In [29]: pd.isnull(s1)
  85. Out[29]:
  86. p1    False
  87. p2    False
  88. p3    False
  89. p4    False
  90. p5    False
  91. p6    False
  92. dtype: bool
  94. In [30]: pd.notnull(s1)
  95. Out[30]:
  96. p1    True
  97. p2    True
  98. p3    True
  99. p4    True
  100. p5    True
  101. p6    True
  102. dtype: bool
  104. 运算
  105. In [31]: s2
  106. Out[31]:
  107. a    1
  108. c    3
  109. d    6
  110. e   -1
  111. b    2
  112. g    8
  113. dtype: int64
  114. In [32]: s2[s2>5]
  115. Out[32]:
  116. d    6
  117. g    8
  118. dtype: int64
  120. In [33]: s2*10
  121. Out[33]:
  122. a    10
  123. c    30
  124. d    60
  125. e   -10
  126. b    20
  127. g    80
  128. dtype: int64

DataFrame

DataFrame几要素：index、columns、values等

  1. 通过传递一个list对象来创建一个Series，pandas会默认创建整形索引
  2. In [34]: s = pd.Series([1,3,5,np.nan,6,8])
  3. In [35]: s
  4. Out[35]:
  5. 0    1.0
  6. 1    3.0
  7. 2    5.0
  8. 3    NaN
  9. 4    6.0
  10. 5    8.0
  11. dtype: float64
  13. 通过传递一个numpy array,时间索引以及列标签创建DataFrame
  14. In [48]: dates = pd.date_range("20170101",periods = 6)
  16. In [49]: df = pd.DataFrame(np.random.randn(6,4),index=dates,columns=list("ABCD"))
  18. In [50]: df
  19. Out[50]:
  20.                    A         B         C         D
  21. 2017-01-01  0.198724  1.455237 -1.165803 -0.474382
  22. 2017-01-02  0.622154 -0.280253 -0.492515  0.002470
  23. 2017-01-03  1.764839 -1.734531 -0.195002  0.128216
  24. 2017-01-04 -0.520130  1.372930 -2.240510  0.362139
  25. 2017-01-05  1.530835  0.406480 -1.714226 -0.289591
  26. 2017-01-06  0.675166  0.210024 -0.773319 -1.410746
  27. In [51]: dates
  28. Out[51]:
  29. DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
  30.                '2017-01-05', '2017-01-06'],
  31.               dtype='datetime64[ns]', freq='D')
  33. d1=DataFrame(np.arange(12).reshape((3,4)),index=['a','b','c'],columns=['a1','a2','a3','a4'])    
  35. 比较常用的有导入等长列表、字典、numpy数组、数据文件等
  36. In [61]: data = {'name':['zxx','lxx','gxx','hxx'],'age':[12,13,14,15],'addr':['JX','JS','BJ','SH']}
  37. 字典数据转换为DataFrame，并指定索引
  38. In [62]: d2 = DataFrame(data)
  39. In [63]: d2
  40. Out[63]:
  41.   addr  age name
  42. 0   JX   12  zxx
  43. 1   JS   13  lxx
  44. 2   BJ   14  gxx
  45. 3   SH   15  hxx
  47. In [64]: d3 = DataFrame(data,columns=['name','age','addr'],index=['a','b','c','d'])
  48. In [65]: d3
  49. Out[65]:
  50.   name  age addr
  51. a  zxx   12   JX
  52. b  lxx   13   JS
  53. c  gxx   14   BJ
  54. d  hxx   15   SH
  56. df.dtypes 查看不同列的数据类型
  57. df.Tab键  自动识别所有属性及自定义列
  58. df.head(2) 查看前两行
  59. df.tail(2) 查看尾部两行
  60. df.index 查看索引值
  61. df.columns 查看列名
  62. df.values 查看底层numpy数据
  64. In [56]: df.head(2)
  65. Out[56]:
  66.                    A         B         C         D
  67. 2017-01-01  0.198724  1.455237 -1.165803 -0.474382
  68. 2017-01-02  0.622154 -0.280253 -0.492515  0.002470
  70. In [57]: df.tail(2)
  71. Out[57]:
  72.                    A         B         C         D
  73. 2017-01-05  1.530835  0.406480 -1.714226 -0.289591
  74. 2017-01-06  0.675166  0.210024 -0.773319 -1.410746
  76. In [58]: df.index
  77. Out[58]:
  78. DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
  79.                '2017-01-05', '2017-01-06'],
  80.               dtype='datetime64[ns]', freq='D')
  82. In [59]: df.columns
  83. Out[59]: Index([u'A', u'B', u'C', u'D'], dtype='object')
  85. In [60]: df.values
  86. Out[60]:
  87. array([[ 0.19872446,  1.45523672, -1.16580285, -0.47438238],
  88.        [ 0.62215406, -0.28025262, -0.49251531,  0.00247041],
  89.        [ 1.76483913, -1.73453082, -0.19500168,  0.12821624],
  90.        [-0.52013049,  1.37292972, -2.24051045,  0.36213914],
  91.        [ 1.53083459,  0.40647992, -1.71422601, -0.28959076],
  92.        [ 0.67516588,  0.2100239 , -0.77331882, -1.41074624]])

获取数据

  1. In [71]: d3=DataFrame(data,columns=['name','age','addr'],index=['a','b','c','d'])
  3. In [72]: d3
  4. Out[72]:
  5.        name  age     addr
  6. a  zhanghua   40   jianxi
  7. b   liuting   45   pudong
  8. c    gaofei   50  beijing
  9. d    hedong   46     xian
  11. 选择列
  12. In [78]: d3[['name','age']]
  13. Out[78]:
  14.        name  age
  15. a  zhanghua   40
  16. b   liuting   45
  17. c    gaofei   50
  18. d    hedong   46
  20. 选择行
  21. In [84]: d3['a':'c']
  22. Out[84]:
  23.        name  age     addr
  24. a  zhanghua   40   jianxi
  25. b   liuting   45   pudong
  26. c    gaofei   50  beijing
  28. 选择行（利用位置索引）
  29. In [87]: d3[1:3]
  30. Out[87]:
  31.       name  age     addr
  32. b  liuting   45   pudong
  33. c   gaofei   50  beijing
  35. 使用过滤条件
  36. In [90]: d3[d3['age']>40]
  37. Out[90]:
  38.       name  age     addr
  39. b  liuting   45   pudong
  40. c   gaofei   50  beijing
  41. d   hedong   46     xian
  43. obj.ix[indexs,[columns]]可以根据列或索引同时进行过滤
  44. In [91]: d3.ix[['a','c'],['name','age']]
  45. Out[91]:
  46.        name  age
  47. a  zhanghua   40
  48. c    gaofei   50
  50. In [93]: d3.ix['a':'c',['name','age']]
  51. Out[93]:
  52.        name  age
  53. a  zhanghua   40
  54. b   liuting   45
  55. c    gaofei   50
  57. In [94]: d3.ix[0:3,['name','age']]
  58. Out[94]:
  59.        name  age
  60. a  zhanghua   40
  61. b   liuting   45
  62. c    gaofei   50

修改数据

  1. In [95]: data={'name':['zhanghua','liuting','gaofei','hedong'],'age':[40,45,50,46],'addr':['jianxi','pudong','beijing','xian']}
  3. In [96]: d3=DataFrame(data,columns=['name','age','addr'],index=['a','b','c','d'])
  5. 删除行
  6. In [97]: d3.drop('d',axis=0)
  7. Out[97]:
  8.        name  age     addr
  9. a  zhanghua   40   jianxi
  10. b   liuting   45   pudong
  11. c    gaofei   50  beijing
  13. 删除列
  14. In [99]: d3.drop('age',axis=1)
  15. Out[99]:
  16.        name     addr
  17. a  zhanghua   jianxi
  18. b   liuting   pudong
  19. c    gaofei  beijing
  20. d    hedong     xian
  22. 添加一行，注意需要ignore_index=True
  23. In [103]: d4 = d3.append({'name':'wxx','age':38,'addr':'HN'},ignore_index=True)
  25. In [104]: d4
  26. Out[104]:
  27.        name  age     addr
  28. 0  zhanghua   40   jianxi
  29. 1   liuting   45   pudong
  30. 2    gaofei   50  beijing
  31. 3    hedong   46     xian
  32. 4       wxx   38       HN
  34. In [105]: d4.ix['4','age']=100
  36. In [106]: d4
  37. Out[106]:
  38.        name    age     addr
  39. 0  zhanghua   40.0   jianxi
  40. 1   liuting   45.0   pudong
  41. 2    gaofei   50.0  beijing
  42. 3    hedong   46.0     xian
  43. 4       wxx   38.0       HN
  44. 4       NaN  100.0      NaN
  46. 修改索引
  47. In [111]: d3.index=['a','b','c','d'] 
  49. In [112]: d3
  50. Out[112]:
  51.        name  age     addr
  52. a  zhanghua   40   jianxi
  53. b   liuting   45   pudong
  54. c    gaofei   50  beijing
  55. d    hedong   46     xian

汇总统计

  1. 常用统计方法
  2. count	统计非NA的数量
  3. describe	统计列的汇总信息
  4. min、max	计算最小值和最大值
  5. sum	求总和
  6. mean	求平均数
  7. var	样本的方差
  8. std	样本的标准差
  10. 导入和保存数据
  11. 读取csv文件/或者逗号分隔的txt文件
  12. pd.read_csv('wu.csv')
  13. 读取HDFS数据
  14. pd.read_hdf('wu.h5',df)
  15. 写入为csv文件
  16. df.to_csv('wu.csv')
  17. 写入HDF5存储
  18. df.to_hdf('wu.h5','df')
  20. In [15]: inputfile = '/home/hadoop/wujiadong/wu1_stud_score.txt'
  21. In [16]: data = pd.read_csv(inputfile)
  22. In [40]: df = DataFrame(data)
  23. In [41]: df.head(3)
  24. Out[41]:
  25.     stud_code  sub_code sub_name  sub_tech  sub_score   stat_date
  26. 0  2015101000     10101     数学分析       NaN         90  0000-00-00
  27. 1  2015101000     10102     高等代数       NaN         88  0000-00-00
  28. 2  2015101000     10103     大学物理       NaN         67  0000-00-00
  30. In [42]: df.count()
  31. Out[42]:
  32. stud_code    121
  33. sub_code     121
  34. sub_name     121
  35. sub_tech       0
  36. sub_score    121
  37. stat_date    121
  38. dtype: int64
  40. In [43]: df['sub_score'].describe()
  41. Out[43]:
  42. count    121.000000
  43. mean      78.561983
  44. std       12.338215
  45. min       48.000000
  46. 25%       69.000000
  47. 50%       80.000000
  48. 75%       89.000000
  49. max       98.000000
  50. Name: sub_score, dtype: float64
  52. 求学生成绩标准差
  53. In [44]: df['sub_score'].std()
  54. Out[44]: 12.338214729032906

应用函数和映射

  1. In [45]: d1 = DataFrame(np.arange(12).reshape((3,4)),index=['a','b','c'],columns=['a1','a2','a3','a4'])
  3. In [46]: d1
  4. Out[46]:
  5.    a1  a2  a3  a4
  6. a   0   1   2   3
  7. b   4   5   6   7
  8. c   8   9  10  11
  10. 处理每个元素
  11. In [47]: d1.applymap(lambda x:x+2)
  12. Out[47]:
  13.    a1  a2  a3  a4
  14. a   2   3   4   5
  15. b   6   7   8   9
  16. c  10  11  12  13
  18. 处理行数据
  19. In [54]: d1.ix[1].map(lambda x:x+2)
  20. Out[54]:
  21. a1    6
  22. a2    7
  23. a3    8
  24. a4    9
  25. Name: b, dtype: int64
  27. 列级处理
  28. In [62]: d1.apply(lambda x:x.max()-x.min(),axis=0)
  29. Out[62]:
  30. a1    8
  31. a2    8
  32. a3    8
  33. a4    8
  34. dtype: int64

参考资料

1）10 Minutes to pandas：

http://pandas.pydata.org/pandas-docs/stable/10min.html

2）十分钟搞定pandas：

http://www.cnblogs.com/chaosimple/p/4153083.html

3）Pandas使用：

https://github.com/qiwsir/StarterLearningPython/blob/master/311.md

4）python cookbook：

http://pandas.pydata.org/pandas-docs/stable/cookbook.html#cookbook

Pandas学习1的更多相关文章

  1. 用scikit-learn和pandas学习线性回归

    对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了. 1. 获取数据,定义问题 没有数据,当然没法研究机器学习 ...

  2. Pandas 学习笔记

    Pandas 学习笔记 pandas 由两部份组成,分别是 Series 和 DataFrame. Series 可以理解为"一维数组.列表.字典" DataFrame 可以理解为 ...

  3. Python pandas学习总结

    本来打算学习pandas模块,并写一个博客记录一下自己的学习,但是不知道怎么了,最近好像有点急功近利,就想把别人的东西复制过来,当心沉下来,自己自觉地将原本写满的pandas学习笔记删除了,这次打算写 ...

  4. pandas学习(数据分组与分组运算、离散化处理、数据合并)

    pandas学习(数据分组与分组运算.离散化处理.数据合并) 目录 数据分组与分组运算 离散化处理 数据合并 数据分组与分组运算 GroupBy技术:实现数据的分组,和分组运算,作用类似于数据透视表 ...

  5. pandas学习(创建多层索引、数据重塑与轴向旋转)

    pandas学习(创建多层索引.数据重塑与轴向旋转) 目录 创建多层索引 数据重塑与轴向旋转 创建多层索引 隐式构造 Series 最常见的方法是给DataFrame构造函数的index参数传递两个或 ...

  6. pandas学习(常用数学统计方法总结、读取或保存数据、缺省值和异常值处理)

    pandas学习(常用数学统计方法总结.读取或保存数据.缺省值和异常值处理) 目录 常用数学统计方法总结 读取或保存数据 缺省值和异常值处理 常用数学统计方法总结 count 计算非NA值的数量 de ...

  7. pandas学习（创建数据，基本操作）

    pandas学习(一) Pandas基本数据结构 Series类型数据 Dataframe类型 基本操作 Pandas基本数据结构 两种常用数据结构: Series 一维数组,与Numpy中的一维ar ...

  8. pandas 学习总结

    pandas  学习总结 作者:csj 更新时间:2018.04.02 shenzhen email:59888745@qq.com home: http://www.cnblogs.com/csj0 ...

  9. 用 scikit-learn 和 pandas 学习线性回归

      用 scikit-learn 和 pandas 学习线性回归¶ from https://www.cnblogs.com/pinard/p/6016029.html 就算是简单的算法,也需要跑通整 ...

  10. pandas学习系列（一）：时间序列

    最近参加了天池的一个机场航空人流量预测大赛,需要用时间序列来预测,因此开始使用python的pandas库 发现pandas库功能的确很强大,因此在这记录我的pandas学习之路. # -*- cod ...

随机推荐

  1. 记录一次gitlab->github企业版的迁移

    cd到你想要存放新的工程的文件夹内, 1.使用git clone --mirror命令制作旧git的镜像 $ git clone --mirror git@git.aaaa.com:mario/my- ...

  2. 策略(strategy)模式

    Head First一书中对于策略(strategy)模式的正式定义是:策略模式定义了算法族,分别封装起来,让他们之间可以相互替换,此模式让算法的变化独立于使用算法的客户. 为了介绍这个算法,书中讲了 ...

  3. python在处理CSV文件时，字符串和列表写入的区别

    概述 Python在处理CSV文件时,如果writerow的对象是<type 'unicode'>字符串时,写入到CSV文件时将会出现一个字符占一个单元格的情况: 但是将字符串转换为列表类 ...

  4. python发送GET或POST请求以便干一些趣事

    适合级别:入门,中级 关键字   :python, http, GET, POST, 安全, 模拟, 浏览器, 验证码,图片识别, google 1 此文不是关于黑客或安全话题的! 2 使用脚本程序发 ...

  5. python一两行代码完成的骚操作

    分享一个前几天晚上粉丝问的问题,觉得很实用的一个问题,用python读取Excel并保存字典,如何做? 下面是该同学问题截图和代码 ​ 代码截图是下面这样的 ​ 不知道大家第一眼看了这个代码,什么感受 ...

  6. IIS7.5 错误代码0x8007007e HTTP 错误 500.19

    目录 问题案例 解决问题 参考资料 问题案例 今天在win2008+IIS7.5的环境中部署WCF服务后,一直出现无法打开的页面.具体错误信息如下: HTTP 错误 500.19 - Internal ...

  7. C++ 类的两种定义方式

    类内定义 class Teacher { private: string _name; int _age; public: Teacher() { printf("create techer ...

  8. JS通过身份证号获取生日、年龄、性别

    <script> function IdCard(UUserCard,num){ if(num==1){ //获取出生日期 birth=UUserCard.substring(6, 10) ...

  9. SpringMVC的其他功能使用

    一.SpringMVC支持在控制器的业务方法中写入参数作为传递过来的变量 @Controller @RequestMapping(value="/kaiye") public cl ...

  10. Oracle优化-SQL_TRACE

    思维导图 Oracle优化10-SQL_TRACE解读 Oracle优化11-10046事件 概述 当我们想了解一条SQL或者是PL/SQL包的运行情况时,特别是当他们的性能非常差时,比如有的时候看起 ...