1. import numpy as np
    2. import pandas as pd
    3. import matplotlib.pyplot as plt
    4. ---------------numpy-----------------------
    5. arr = np.array([1,2,3], dtype=np.float64)
    6. np.zeros((3,6))  np.empty((2,3,2)) np.arange(15)
    7. arr.dtype arr.ndim arr.shape
    8. arr.astype(np.int32) #np.float64 np.string_ np.unicode_
    9. arr * arr arr - arr 1/arr
    10. arr= np.arange(32).reshape((8,4))
    11. arr[1:3, : ]  #正常切片
    12. arr[[1,2,3]]  #花式索引
    13. arr.T   arr.transpose((...))   arr.swapaxes(...) #转置
    14. arr.dot #矩阵内积
    15. np.sqrt(arr)   np.exp(arr)    randn(8)#正态分布值   np.maximum(x,y)
    16. np.where(cond, xarr, yarr)  #当cond为真,取xarr,否则取yarr
    17. arr.mean()  arr.mean(axis=1)   #算术平均数
    18. arr.sum()   arr.std()  arr.var()   #和、标准差、方差
    19. arr.min()   arr.max()   #最小值、最大值
    20. arr.argmin()   arr.argmax()    #最小索引、最大索引
    21. arr.cumsum()    arr.cumprod()   #所有元素的累计和、累计积
    22. arr.all()   arr.any()   # 检查数组中是否全为真、部分为真
    23. arr.sort()   arr.sort(1)   #排序、1轴向上排序
    24. arr.unique()   #去重
    25. np.in1d(arr1, arr2)  #arr1的值是否在arr2中
    26. np.load() np.loadtxt() np.save() np.savez() #读取、保存文件
    27. np.concatenate([arr, arr], axis=1)  #连接两个arr,按行的方向
    28. ---------------pandas-----------------------
    29. ser = Series()     ser = Series([...], index=[...])  #一维数组, 字典可以直接转化为series
    30. ser.values    ser.index    ser.reindex([...], fill_value=0)  #数组的值、数组的索引、重新定义索引
    31. ser.isnull()   pd.isnull(ser)   pd.notnull(ser)   #检测缺失数据
    32. ser.name=       ser.index.name=    #ser本身的名字、ser索引的名字
    33. ser.drop('x') #丢弃索引x对应的值
    34. ser +ser  #算术运算
    35. ser.sort_index()   ser.order()     #按索引排序、按值排序
    36. df = DataFrame(data, columns=[...], index=[...]) #表结构的数据结构,既有行索引又有列索引
    37. df.ix['x']  #索引为x的值    对于series,直接使用ser['x']
    38. del df['ly']  #用del删除第ly列
    39. df.T    #转置
    40. df.index.name df.columns.name df.values
    41. df.drop([...])
    42. df + df   df1.add(df2, fill_vaule=0) #算术运算
    43. df -ser   #df与ser的算术运算
    44. f=lambda x: x.max()-x.min()   df.apply(f)
    45. df.sort_index(axis=1, ascending=False)   #按行索引排序
    46. df.sort_index(by=['a','b'])   #按a、b列索引排序
    47. ser.rank()   df.rank(axis=1)  #排序,增设一个排名值
    48. df.sum()   df.sum(axis=1)   #按列、按行求和
    49. df.mean(axis=1, skipna=False)   #求各行的平均值,考虑na的存在
    50. df.idxmax()   #返回最大值的索引
    51. df.cumsum()   #累计求和
    52. df.describe()  ser.describe()   #返回count mean std min max等值
    53. ser.unique()  #去重
    54. ser.value_counts()   df.value_counts()  #返回一个series,其索引为唯一值,值为频率
    55. ser.isin(['x', 'y'])  #判断ser的值是否为x,y,得到布尔值
    56. ser.dropna() ser.isnull() ser.notnull() ser.fillna(0)  #处理缺失数据,df相同
    57. df.unstack()   #行列索引和值互换  df.unstack().stack()
    58. df.swaplevel('key1','key2')   #接受两个级别编号或名称,并互换
    59. df.sortlevel(1) #根据级别1进行排序,df的行、列索引可以有两级
    60. df.set_index(['c','d'], drop=False)    #将c、d两列转换为行,因drop为false,在列中仍保留c,d
    61. read_csv   read_table   read_fwf    #读取文件分隔符为逗号、分隔符为制表符('\t')、无分隔符(固定列宽)
    62. pd.read_csv('...', nrows=5) #读取文件前5行
    63. pd.read_csv('...', chunksize=1000) #按块读取,避免过大的文件占用内存
    64. pd.load() #pd也有load方法,用来读取二进制文件
    65. pd.ExcelFile('...xls').parse('Sheet1')  # 读取excel文件中的sheet1
    66. df.to_csv('...csv', sep='|', index=False, header=False) #将数据写入csv文件,以|为分隔符,默认以,为分隔符, 禁用列、行的标签
    67. pd.merge(df1, df2, on='key', suffixes=('_left', '_right')) #合并两个数据集,类似数据库的inner join, 以二者共有的key列作为键,suffixes将两个key分别命名为key_left、key_right
    68. pd.merge(df1, df2, left_on='lkey', right_on='rkey') #合并,类似数据库的inner join, 但二者没有同样的列名,分别指出,作为合并的参照
    69. pd.merge(df1, df2, how='outer') #合并,但是是outer join;how='left'是笛卡尔积,how='inner'是...;还可以对多个键进行合并
    70. df1.join(df2, on='key', how='outer')  #也是合并
    71. pd.concat([ser1, ser2, ser3], axis=1) #连接三个序列,按行的方向
    72. ser1.combine_first(ser2)   df1.combine_first(df2) #把2合并到1上,并对齐
    73. df.stack() df.unstack()  #列旋转为行、行旋转为列
    74. df.pivot()
    75. df.duplicated()   df.drop_duplicates() #判断是否为重复数据、删除重复数据
    76. df[''].map(lambda x: abs(x)) #将函数映射到df的指定列
    77. ser.replace(-999, np.nan) #将-999全部替换为nan
    78. df.rename(index={}, columns={}, inplace=True) #修改索引,inplace为真表示就地修改数据集
    79. pd.cut(ser, bins)  #根据面元bin判断ser的各个数据属于哪一个区段,有labels、levels属性
    80. df[(np.abs(df)>3).any(1)] #输出含有“超过3或-3的值”的行
    81. permutation  take    #用来进行随机重排序
    82. pd.get_dummies(df['key'], prefix='key')  #给df的所有列索引加前缀key
    83. df[...].str.contains()  df[...].str.findall(pattern, flags=re.IGNORECASE)  df[...].str.match(pattern, flags=...)    df[...].str.get()  #矢量化的字符串函数
    84. ----绘图
    85. ser.plot() df.plot() #pandas的绘图工具,有参数label, ax, style, alpha, kind, logy, use_index, rot, xticks, xlim, grid等,详见page257
    86. kind='kde' #密度图
    87. kind='bar' kind='barh' #垂直柱状图、水平柱状图,stacked=True为堆积图
    88. ser.hist(bins=50) #直方图
    89. plt.scatter(x,y) #绘制x,y组成的散点图
    90. pd.scatter_matrix(df, diagonal='kde', color='k', alpha='0.3')  #将df各列分别组合绘制散点图
    91. ----聚合分组
    92. groupby() 默认在axis=0轴上分组,也可以在1组上分组;可以用for进行分组迭代
    93. df.groupby(df['key1']) #根据key1对df进行分组
    94. df['key2'].groupby(df['key1'])  #根据key1对key2列进行分组
    95. df['key3'].groupby(df['key1'], df['key2'])  #先根据key1、再根据key2对key3列进行分组
    96. df['key2'].groupby(df['key1']).size() #size()返回一个含有分组大小的series
    97. df.groupby(df['key1'])['data1']  等价于 df['data1'].groupby(df['key1'])
    98. df.groupby(df['key1'])[['data1']]  等价于  df[['data1']].groupby(df['key1'])
    99. df.groupby(mapping, axis=1)  ser(mapping) #定义mapping字典,根据字典的分组来进行分组
    100. df.groupby(len) #通过函数来进行分组,如根据len函数
    101. df.groupby(level='...', axis=1)  #根据索引级别来分组
    102. df.groupby([], as_index=False)   #禁用索引,返回无索引形式的数据
    103. df.groupby(...).agg(['mean', 'std'])   #一次使用多个聚合函数时,用agg方法
    104. df.groupby(...).transform(np.mean)   #transform()可以将其内的函数用于各个分组
    105. df.groupby().apply()  #apply方法会将待处理的对象拆分成多个片段,然后对各片段调用传入的函数,最后尝试将各片段组合到一起
    106. ----透视交叉
    107. df.pivot_table(['',''], rows=['',''], cols='', margins=True)  #margins为真时会加一列all
    108. pd.crosstab(df.col1, df.col2, margins=True) #margins作用同上
    109. ---------------matplotlib---------------
    110. fig=plt.figure() #图像所在的基对象
    111. ax=fig.add_subplot(2,2,1)  #2*2的图像,当前选中第1个
    112. fig, axes = plt.subplots(nrows, nclos, sharex, sharey)  #创建图像,指定行、列、共享x轴刻度、共享y轴刻度
    113. plt.subplots_adjust(left=None, bottom=None, right=None, top=None, wspace=None, hspace=None)
    114. #调整subplot之间的距离,wspace、hspace用来控制宽度、高度百分比
    115. ax.plot(x, y, linestyle='--', color='g')   #依据x,y坐标画图,设置线型、颜色
    116. ax.set_xticks([...]) ax.set_xticklabels([...]) #设置x轴刻度
    117. ax.set_xlabel('...') #设置x轴名称
    118. ax.set_title('....') #设置图名
    119. ax.legend(loc='best') #设置图例, loc指定将图例放在合适的位置
    120. ax.text(x,y, 'hello', family='monospace', fontsize=10) #将注释hello放在x,y处,字体大小为10
    121. ax.add_patch() #在图中添加块
    122. plt.savefig('...png', dpi=400, bbox_inches='tight') #保存图片,dpi为分辨率,bbox=tight表示将裁减空白部分
    123. ------------------------------------------
    124. from mpl_toolkits.basemap import Basemap
    125. import matplotlib.pyplot as plt
    126. #可以用来绘制地图
    127. -----------------时间序列--------------------------
    128. pd.to_datetime(datestrs)    #将字符串型日期解析为日期格式
    129. pd.date_range('1/1/2000', periods=1000)    #生成时间序列
    130. ts.resample('D', how='mean')   #采样,将时间序列转换成以每天为固定频率的, 并计算均值;how='ohlc'是股票四个指数;
    131. #重采样会聚合,即将短频率(日)变成长频率(月),对应的值叠加;
    132. #升采样会插值,即将长频率变为短频率,中间产生新值
    133. ts.shift(2, freq='D')   ts.shift(-2, freq='D') #后移、前移2天
    134. now+Day() now+MonthEnd()
    135. import pytz   pytz.timezone('US/Eastern')   #时区操作,需要安装pytz
    136. pd.Period('2010', freq='A-DEC')   #period表示时间区间,叫做时期
    137. pd.PeriodIndex    #时期索引
    138. ts.to_period('M')   #时间转换为时期
    139. pd.rolling_mean(...)    pd.rolling_std(...)   #移动窗口函数-平均值、标准差

numpy pandas matplotlib的更多相关文章

  1. python 数据分析工具之 numpy pandas matplotlib

    作为一个网络技术人员,机器学习是一种很有必要学习的技术,在这个数据爆炸的时代更是如此. python做数据分析,最常用以下几个库 numpy pandas matplotlib 一.Numpy库 为了 ...

  2. 第一章:AI人工智能 の 数据预处理编程实战 Numpy, Pandas, Matplotlib, Scikit-Learn

    本课主题 数据中 Independent 变量和 Dependent 变量 Python 数据预处理的三大神器:Numpy.Pandas.Matplotlib Scikit-Learn 的机器学习实战 ...

  3. 常用统计分析python包开源学习代码 numpy pandas matplotlib

    常用统计分析python包开源学习代码 numpy pandas matplotlib 待办 https://github.com/zmzhouXJTU/Python-Data-Analysis

  4. Python模块简介及安装 [numpy,pandas,matplotlib,scipy,statsmodels,Gensim,sklearn,keras]

    https://pan.baidu.com/s/1bpVv3Ef  67bd          模块安装文件下载地址 pip install "numpy-1.12.0b+mkl-cp35- ...

  5. numpy, pandas, matplotlib等常用库的学习手册

    pandas介绍: 待续 参考资料: 中文:https://www.cnblogs.com/skying555/p/5914391.html 英文:http://www.datadependence. ...

  6. Numpy, Pandas, Matplotlib, Scipy 初步

    Numpy: 计算基础,  以类似于matlab的矩阵计算为基础.  底层以C实现, 速度快. Pandas: 以numpy为基础, 扩充了很多统计工具. 重点是数据统计分析. Matplotlib: ...

  7. numpy+pandas+matplotlib+tushare股票分析

    一.数据导入 安装tushare模块包 pip install tushare http://tushare.org/ tushare是一个财经数据接口包 import numpy as np imp ...

  8. python 安装anaconda, numpy, pandas, matplotlib 等

    如果没安装anaconda,则这样安装这些库: pip install numpy pip install pandas pip install matplotlib sudo apt-get ins ...

  9. 11-2 numpy/pandas/matplotlib模块

    目录 numpy模块 一维数组 二维数组 列表list和numpy的区别 获取多维数组的行和列 多维数组的索引 高级功能 多维数组的合并 通过函数方法创建多维数组 矩阵的运算 求最大值最小值 nump ...

随机推荐

  1. 2018 Multi-University Training Contest 8 Solution

    A - Character Encoding 题意:用m个$0-n-1$的数去构成k,求方案数 思路:当没有0-n-1这个条件是答案为C(k+m-1, m-1),减去有大于的关于n的情况,当有i个n时 ...

  2. ubuntu16.04安装tensorflow官方教程与机器学习资料【学习笔记】

    tensorflow官网有官方的安装教程:https://www.tensorflow.org/install/install_linux google的机器学习官方快速入门教程:https://de ...

  3. HDU 4370 0 or 1(转化为最短路)题解

    思路:虽然是最短路专题里的,但也很难想到是最短路,如果能通过这些关系想到图论可能会有些思路.我们把X数组看做邻接矩阵,那么三个条件就转化为了:1.1的出度为1:2.n的入度为1:3.2~n-1的出度等 ...

  4. SSL/TLS协议概览

    SSL/TLS协议是什么 计算机网络的OSI七层模型和TCP/IP四层模型想必大家都知道.其中SSL/TLS是一种介与于传输层(比如TCP/IP)和应用层(比如HTTP)的协议.它通过"握手 ...

  5. 视觉SLAM漫谈 (三): 研究点介绍

    1. 前言 读者朋友们大家好!(很久很久)之前,我们为大家介绍了SLAM的基本概念和方法.相信大家对SLAM,应该有了基本的认识.在忙完一堆写论文.博士开题的事情之后,我准备回来继续填坑:为大家介绍S ...

  6. HDU 1698 Just a Hook(线段树:区间更新)

    http://acm.hdu.edu.cn/showproblem.php?pid=1698 题意:给出1~n的数,每个数初始为1,每次改变[a,b]的值,最后求1~n的值之和. 思路: 区间更新题目 ...

  7. postgresql中终止正在执行的SQL语句

    在Linux系统中可以使用kill [pid]的方式强制删除进程,但对于修改数据表的语句来说,这样可能导致postgresql进入recovery mode,这样会导致锁表. Postgresql的运 ...

  8. 【Python】远离 Python 最差实践,避免挖坑

    原文链接:http://blog.guoyb.com/2016/12/03/bad-py-style/ 最近在看一些陈年老系统,其中有一些不好的代码习惯遗留下来的坑:加上最近自己也写了一段烂代码导致服 ...

  9. zentaoPHP框架是做什么的(整理)

    zentaoPHP框架是做什么的(整理) 一.总结 一句话总结:应该是主要用作项目管理的(暂时没用过) 项目管理 看了下面的两篇资料,感觉没啥特色 看了文件目录结构,感觉就是一个标准的mvc框架 看了 ...

  10. Binding.RelativeSource 属性

    Binding.RelativeSource 属性说明: 通过指定绑定源相对于绑定目标的位置,获取或设置绑定源. 此属性通常用于将对象的某个属性绑定到该对象的另一个属性,或用于在样式或模板中定义绑定. ...