重要的数据形式时间序列

datetime以毫秒形式存储日期和时间

  1. now = datetime.now()
  2. now
  4. datetime.datetime(2018, 12, 18, 14, 18, 27, 693445)
  6. #now是一个时间对象
  7. now.year,now.month,now.day
  8. (2018, 12, 18)
  10. delta = datetime(2011,1,7)-datetime(2008,6,24,8,15)
  11. delta
  13. datetime.timedelta(days=926, seconds=56700)
  15. delta.days
  16. 926
  18. timedelta表示时间差，默认差值是天数
  19. start = datetime(2011,7,7)
  20. start + timedelta(12)
  22. datetime.datetime(2011, 7, 19, 0, 0)
  24. start - 2*timedelta(12)
  25. datetime.datetime(2011, 6, 13, 0, 0)

字符串和datetime的相互转化

  1. stamp = datetime(2011, 1, 3)
  2. str(stamp)
  4. '2011-01-03 00:00:00'
  6. # strftime将时间变为字符串
  7. stamp.strftime('%Y-%m-%d')
  9. '2011-01-03'
  11. # strptime将字符串转回去
  12. value = '2011-01-03'
  13. datetime.strptime(value,'%Y-%m-%d')
  15. datetime.datetime(2011, 1, 3, 0, 0)
  17. datestrs = ['7/6/2011','8/6/2011']
  18. [datetime.strptime(x,'%m/%d/%Y') for x in datestrs]
  20. [datetime.datetime(2011, 7, 6, 0, 0), datetime.datetime(2011, 8, 6, 0, 0)]

每次定义格式是很麻烦的事情，尤其是对于一些常见的日期格式，在这个情况下，你可以用dateutil这个的第三方包parser.parse方法

这个包几乎可以解析人类能够理解的日期表示形式

  1. from dateutil.parser import parse
  2. parse('2011-01-03')
  4. datetime.datetime(2011, 1, 3, 0, 0)
  6. parse('Jan 31,1997 10:45 PM')
  8. datetime.datetime(2018, 1, 31, 22, 45)
  10. # 国际通用的格式中，日通常出现在月的前面，传入dayfirst=True即可解决这个问题
  11. parse('6/12/2011',dayfirst=True)
  13. datetime.datetime(2011, 12, 6, 0, 0)
  15. # to_datetime方法可以解析很多种不同的日期表示形式
  16. datestrs
  17. ['7/6/2011', '8/6/2011']
  19. pd.to_datetime(datestrs)
  20. DatetimeIndex(['2011-07-06', '2011-08-06'], dtype='datetime64[ns]', freq=None)
  22. # 它还可以处理缺失值(None,空字符串),NaT是时间戳中的缺失值
  23. idx = pd.to_datetime(datestrs+[None])
  24. idx
  26. DatetimeIndex(['2011-07-06', '2011-08-06', 'NaT'], dtype='datetime64[ns]', freq=None)
  28. pd.isnull(idx)
  29. array([False, False,  True])

时间序列基础

  1. from datetime import datetime
  3. # pandas 最基本的时间序列类型就是以时间戳为索引
  4. dates =[datetime(2011,1,2),datetime(2011,1,5),datetime(2011,1,7),
  5.        datetime(2011,1,8),datetime(2011,1,10),datetime(2011,1,12)]
  6. ts = pd.Series([1,2,3,4,5,6],index=dates)
  7. ts
  9. 2011-01-02    1
  10. 2011-01-05    2
  11. 2011-01-07    3
  12. 2011-01-08    4
  13. 2011-01-10    5
  14. 2011-01-12    6
  15. dtype: int64
  17. ts + ts[::2]
  19. 2011-01-02     2.0
  20. 2011-01-05     NaN
  21. 2011-01-07     6.0
  22. 2011-01-08     NaN
  23. 2011-01-10    10.0
  24. 2011-01-12     NaN
  25. dtype: float64

时间的索引、选取、子集构造

  1. # 对于较长的时间序列，只需传入'年'或'年月'即可轻松选取数据的切片
  2. import numpy as np
  3. #periods这个参数的意思，我测试的意思是，你有多少数据，他会让日期随着增加多少。和前面的randn的随机数量对应
  4. longer_ts = pd.Series(np.random.randn(1000),index=pd.date_range('1/1/2000',periods=1000))
  5. longer_ts
  7. 2000-01-01    1.134719
  8. 2000-01-02    0.135780
  9. 2000-01-03    0.678652
  10. 2000-01-04   -0.751968
  11. 2000-01-05    0.429753
  12. 2000-01-06    1.107126
  13. 2000-01-07   -0.235910
  14. 2000-01-08    1.119085
  15. 2000-01-09   -0.150530
  16. 2000-01-10    0.831567
  17. 2000-01-11    0.525492
  18. 2000-01-12    1.369756
  19. 2000-01-13   -1.353343
  20. 2000-01-14    0.748277
  21. 2000-01-15    0.292153
  22. 2000-01-16   -0.782864
  23. 2000-01-17    1.698936
  24. 2000-01-18   -1.355965
  25. 2000-01-19   -0.562581
  26. 2000-01-20   -1.333895
  27. 2000-01-21   -0.679781
  28. 2000-01-22    0.568681
  29. 2000-01-23   -0.440312
  30. 2000-01-24    0.045437
  31. 2000-01-25    1.589143
  32. 2000-01-26    0.284029
  33. 2000-01-27    0.597105
  34. 2000-01-28    0.585111
  35. 2000-01-29   -1.011877
  36. 2000-01-30    1.594290
  37.                 ...
  38. 2002-08-28   -0.052543
  39. 2002-08-29    1.233685
  40. 2002-08-30    0.522945
  41. 2002-08-31    1.145214
  42. 2002-09-01    0.434717
  43. 2002-09-02    0.346381
  44. 2002-09-03   -0.286138
  45. 2002-09-04    0.300973
  46. 2002-09-05    0.220466
  47. 2002-09-06    0.991901
  48. 2002-09-07   -0.194287
  49. 2002-09-08    0.498222
  50. 2002-09-09   -0.760105
  51. 2002-09-10   -0.230607
  52. 2002-09-11    0.464191
  53. 2002-09-12   -0.707616
  54. 2002-09-13   -0.309575
  55. 2002-09-14    2.273895
  56. 2002-09-15   -0.640137
  57. 2002-09-16   -0.416139
  58. 2002-09-17    0.898827
  59. 2002-09-18    0.316116
  60. 2002-09-19   -0.067657
  61. 2002-09-20   -1.296407
  62. 2002-09-21    1.228108
  63. 2002-09-22    0.227808
  64. 2002-09-23   -0.550351
  65. 2002-09-24   -0.378321
  66. 2002-09-25   -0.170426
  67. 2002-09-26   -0.397266
  68. Freq: D, Length: 1000, dtype: float64
  70. # 直接输入年份，可以取出这一年的
  71. longer_ts['2001']
  73. 2001-01-01    0.698442
  74. 2001-01-02    1.289272
  75. 2001-01-03   -0.644030
  76. 2001-01-04    2.075233
  77. 2001-01-05   -0.815118
  78. 2001-01-06   -0.693868
  79. 2001-01-07    0.599281
  80. 2001-01-08    0.443403
  81. 2001-01-09    1.877780
  82. 2001-01-10   -0.764040
  83. 2001-01-11    0.451113
  84. 2001-01-12   -1.426837
  85. 2001-01-13    1.005724
  86. 2001-01-14   -1.965532
  87. 2001-01-15    0.052981
  88. 2001-01-16   -0.367127
  89. 2001-01-17    2.841093
  90. 2001-01-18    0.451022
  91. 2001-01-19   -0.826358
  92. 2001-01-20    0.241916
  93. 2001-01-21    2.213636
  94. 2001-01-22   -0.870844
  95. 2001-01-23   -0.626682
  96. 2001-01-24   -1.516729
  97. 2001-01-25    0.045325
  98. 2001-01-26   -1.106228
  99. 2001-01-27    0.681209
  100. 2001-01-28    1.833933
  101. 2001-01-29   -1.502188
  102. 2001-01-30   -1.162823
  103.                 ...
  104. 2001-12-02    0.903314
  105. 2001-12-03    1.338822
  106. 2001-12-04    1.326302
  107. 2001-12-05    0.964913
  108. 2001-12-06   -0.165172
  109. 2001-12-07   -0.690804
  110. 2001-12-08    0.381124
  111. 2001-12-09    2.526006
  112. 2001-12-10   -1.127983
  113. 2001-12-11   -1.162128
  114. 2001-12-12    0.461497
  115. 2001-12-13   -0.830332
  116. 2001-12-14    0.379069
  117. 2001-12-15   -0.800934
  118. 2001-12-16    1.524858
  119. 2001-12-17    0.749656
  120. 2001-12-18    0.922253
  121. 2001-12-19   -1.220435
  122. 2001-12-20    0.513252
  123. 2001-12-21    2.233032
  124. 2001-12-22    0.151856
  125. 2001-12-23   -0.481607
  126. 2001-12-24    0.737862
  127. 2001-12-25   -0.637651
  128. 2001-12-26    0.163501
  129. 2001-12-27   -0.720798
  130. 2001-12-28    0.029192
  131. 2001-12-29   -0.773972
  132. 2001-12-30   -2.377855
  133. 2001-12-31    0.086702
  134. Freq: D, Length: 365, dtype: float64
  136. longer_ts['2001-07']
  138. 2001-07-01   -0.868169
  139. 2001-07-02    1.109987
  140. 2001-07-03   -0.889585
  141. 2001-07-04   -0.568596
  142. 2001-07-05    0.749743
  143. 2001-07-06    0.019171
  144. 2001-07-07   -0.348141
  145. 2001-07-08   -0.222702
  146. 2001-07-09    0.294682
  147. 2001-07-10   -1.780858
  148. 2001-07-11    1.166257
  149. 2001-07-12   -0.167143
  150. 2001-07-13   -0.424275
  151. 2001-07-14    1.393253
  152. 2001-07-15   -1.485840
  153. 2001-07-16    0.980488
  154. 2001-07-17    1.018981
  155. 2001-07-18    0.907556
  156. 2001-07-19    0.105748
  157. 2001-07-20   -0.201183
  158. 2001-07-21    0.867441
  159. 2001-07-22   -0.951957
  160. 2001-07-23   -0.716637
  161. 2001-07-24   -0.995653
  162. 2001-07-25    0.439383
  163. 2001-07-26   -0.927410
  164. 2001-07-27   -1.997120
  165. 2001-07-28   -1.022692
  166. 2001-07-29    0.179568
  167. 2001-07-30    0.586362
  168. 2001-07-31    0.057300
  169. Freq: D, dtype: float64
  171. ts
  172. 2011-01-02    1
  173. 2011-01-05    2
  174. 2011-01-07    3
  175. 2011-01-08    4
  176. 2011-01-10    5
  177. 2011-01-12    6
  178. dtype: int64
  180. # 切片取数
  181. ts[datetime(2011,1,7):]
  183. 2011-01-07    3
  184. 2011-01-08    4
  185. 2011-01-10    5
  186. 2011-01-12    6
  187. dtype: int64
  189. ts['01/09/2011':'01/11/2011']
  191. 2011-01-10    5
  192. dtype: int64
  194. dates = pd.date_range('1/1/2000',periods=100,freq='W-WED')
  195. dates
  197. DatetimeIndex(['2000-01-05', '2000-01-12', '2000-01-19', '2000-01-26',
  198.                '2000-02-02', '2000-02-09', '2000-02-16', '2000-02-23',
  199.                '2000-03-01', '2000-03-08', '2000-03-15', '2000-03-22',
  200.                '2000-03-29', '2000-04-05', '2000-04-12', '2000-04-19',
  201.                '2000-04-26', '2000-05-03', '2000-05-10', '2000-05-17',
  202.                '2000-05-24', '2000-05-31', '2000-06-07', '2000-06-14',
  203.                '2000-06-21', '2000-06-28', '2000-07-05', '2000-07-12',
  204.                '2000-07-19', '2000-07-26', '2000-08-02', '2000-08-09',
  205.                '2000-08-16', '2000-08-23', '2000-08-30', '2000-09-06',
  206.                '2000-09-13', '2000-09-20', '2000-09-27', '2000-10-04',
  207.                '2000-10-11', '2000-10-18', '2000-10-25', '2000-11-01',
  208.                '2000-11-08', '2000-11-15', '2000-11-22', '2000-11-29',
  209.                '2000-12-06', '2000-12-13', '2000-12-20', '2000-12-27',
  210.                '2001-01-03', '2001-01-10', '2001-01-17', '2001-01-24',
  211.                '2001-01-31', '2001-02-07', '2001-02-14', '2001-02-21',
  212.                '2001-02-28', '2001-03-07', '2001-03-14', '2001-03-21',
  213.                '2001-03-28', '2001-04-04', '2001-04-11', '2001-04-18',
  214.                '2001-04-25', '2001-05-02', '2001-05-09', '2001-05-16',
  215.                '2001-05-23', '2001-05-30', '2001-06-06', '2001-06-13',
  216.                '2001-06-20', '2001-06-27', '2001-07-04', '2001-07-11',
  217.                '2001-07-18', '2001-07-25', '2001-08-01', '2001-08-08',
  218.                '2001-08-15', '2001-08-22', '2001-08-29', '2001-09-05',
  219.                '2001-09-12', '2001-09-19', '2001-09-26', '2001-10-03',
  220.                '2001-10-10', '2001-10-17', '2001-10-24', '2001-10-31',
  221.                '2001-11-07', '2001-11-14', '2001-11-21', '2001-11-28'],
  222.               dtype='datetime64[ns]', freq='W-WED')
  224. long_df = pd.DataFrame(np.random.randn(100,4),index=dates,columns=['Colorado','Texas','New York','Ohio'])
  225. long_df.loc['2001-05']
  227.               Colorado	   Texas	 New York	  Ohio
  228. 2001-05-02	-1.380726	-0.411279	0.153217	1.494666
  229. 2001-05-09	2.554090	1.930090	-0.181046	0.866642
  230. 2001-05-16	1.068669	1.494460	-1.386345	0.839434
  231. 2001-05-23	0.988561	-1.986414	0.681924	0.939525
  232. 2001-05-30	0.349177	1.213020	0.432394	-0.223059

带有重复索引的时间序列

  1. dates = pd.DatetimeIndex(['1/1/2000','1/2/2000','1/2/2000','1/3/2000'])
  2. dyp_tus = pd.Series([1,2,3,4],index=dates)
  3. dyp_tus
  5. 2000-01-01    1
  6. 2000-01-02    2
  7. 2000-01-02    3
  8. 2000-01-03    4
  9. dtype: int64
  11. # 判断出来不是唯一，有重复时间，但是具体哪一行不好判断
  12. dyp_tus.index.is_unique
  13. False
  15. # 分组可以查看出是哪一行不是唯一索引
  16. grouped = dyp_tus.groupby(level=0)
  17. grouped.count()
  19. 2000-01-01    1
  20. 2000-01-02    2
  21. 2000-01-03    1
  22. dtype: int64

pandas中的时间序列基础的更多相关文章

  1. Python数据分析 之时间序列基础

    1. 时间序列基础 import numpy as np import pandas as pd np.random.seed(12345) import matplotlib.pyplot as p ...

  2. （数据科学学习手札99）掌握pandas中的时序数据分组运算

    本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 我们在使用pandas分析处理时间序列数据 ...

  3. Spark与Pandas中DataFrame对比

      Pandas Spark 工作方式 单机single machine tool,没有并行机制parallelism不支持Hadoop,处理大量数据有瓶颈 分布式并行计算框架,内建并行机制paral ...

  4. Spark与Pandas中DataFrame对比（详细）

      Pandas Spark 工作方式 单机single machine tool,没有并行机制parallelism不支持Hadoop,处理大量数据有瓶颈 分布式并行计算框架,内建并行机制paral ...

  5. （数据科学学习手札69）详解pandas中的map、apply、applymap、groupby、agg

    *从本篇开始所有文章的数据和代码都已上传至我的github仓库:https://github.com/CNFeffery/DataScienceStudyNotes 一.简介 pandas提供了很多方 ...

  6. pandas中的axis参数（看其他人的博客中产生的疑问点，用自己的话解析出来）

    axis有两个值:axis=0或者axis=1 看到很多资料都不太理解,把我个人理解说一下: 下面这张图,在很多资料中都看到了,我只能说先死记住 axis=0,代表跨行(注意看这张图的axis=0的箭 ...

  7. Python学习教程：Pandas中第二好用的函数

    从网上看到一篇好的文章是关于如何学习python数据分析的迫不及待想要分享给大家,大家也可以点链接看原博客.希望对大家的学习有帮助. 本次的Python学习教程是关于Python数据分析实战基础相关内 ...

  8. 小白学 Python 数据分析（6）：Pandas （五）基础操作（2）数据选择

    人生苦短,我用 Python 前文传送门: 小白学 Python 数据分析(1):数据分析基础 小白学 Python 数据分析(2):Pandas (一)概述 小白学 Python 数据分析(3):P ...

  9. （数据科学学习手札97）掌握pandas中的transform

    本文示例文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 开门见山,在pandas中,transform是 ...

随机推荐

  1. select、poll、epoll之间的区别总结[转载]

    转载:https://www.cnblogs.com/Anker/p/3265058.html select,poll,epoll都是IO多路复用的机制.I/O多路复用就通过一种机制,可以监视多个描述 ...

  2. Windows10中使用Anaconda安装keras-gpu版本（遇到的坑）

    1.使用conda install tensorflow-gpu 2.使用pip install keras 这里使用pip安装而不是使用conda,原因是使用conda安装会默认安装cpu版本的te ...

  3. Tree Traversals Again

    An inorder binary tree traversal can be implemented in a non-recursive way with a stack. For example ...

  4. JeeCMS v7 SSRF导致任意文件写入

    前言: 学习大佬的思路. from先知社区:https://xz.aliyun.com/t/4809 00X1: 是/ueditor/getRemoteImage.jspx 接口 通过构造upfile ...

  5. Linux基础之常用命令整理（一）

    Linux 操作系统的安装 如今比较流线的linux操作系统 Centos Redhat  Fedora Ubuntu, 安装操作系统的提前是要有操作系统的镜像文件(.iso文件)并且必须为系统指定一 ...

  6. 对象名 'dbo.__MigrationHistory' 无效 错误解决

    // 在数据库上下文的构造方法里 public GewPeAppContext() : base(ConnectionStrings.GewPeAppConnectionString) { // 添加 ...

  7. 刘志梅201771010115.《面向对象程序设计（java）》第十五周学习总结

    实验十五  GUI编程练习与应用程序部署 实验时间 2018-12-6 1.实验目的与要求 (1)一个JAR文件既可以包含类文件,也可以包含诸如图像和声音这些其他类型的文件. 创建一个新的JAR文件应 ...

  8. 在MyEclipse使用Git新建分支，并上传分支---图文教程

    1.选中项目,右键--->Team--->Switch To--->New Branch: 2.在弹出的窗口中,填写新建的分支名称,如下图 3.当前分支就会变成新建分支“test” ...

  9. 洛谷题解 CF807A 【Is it rated?】

    同步题解 题目 好吧,来说说思路: 1.先读入啦~(≧▽≦)/~啦啦啦 2.判断a[i]赛前赛后是否同分数,如果分数不同,则输出,return 0 . 3.如果同分数,则判断a[i]赛前(或赛后)是否 ...

  10. mysql集群搭建--韩国庆

    按照我给大家提供的步骤,一步一步来,你就能配好mysql集群环境 什么是mycat 简单的说,MyCAT就是: •一个彻底开源的,面向企业应用开发的“大数据库集群” •支持事务.ACID.可以替代My ...