Pandas 记录

过滤不为空的数据

df[df['PLANR']=='']

获取某列某行数据（某个单元格数据）

df['MNG02'][0]

根据判断条件筛选数据

df[df['DAT00'] < temp_time]

获取整列数据集合

tmp_df.get('DAT00').unique()

从原来的dataFrame中提取需要的列 组成新的dataFrame

dataFrame[['col1','col2','col3']]

dataFrame进行分组

dataFrame.groupby(['col1','col2','col3']).sum()

重置索引

df.reset_index()

创建新DataFrame
新建一个字典，key作为列名
data = {'Name': ['mark', 'jack', 'james', 'kobe', 'alias'], 'Age': [13, 13, 14, 15, 16],
        'Sex': ['F', 'F', 'M', 'M', 'M'],
        'Job': ['wait', 'eat', 'computor', 'drink', 'sleep']}
pd.DataFrame(data)

df['columnName'] 类型Serials
df[['columnName']] 类型DataFrame
df.shape  (行数，列数)

添加新列
1.df['columnName'] = value
2.df.insert(columnIndex, 'columnName', 'value')

设置索引
df.set_index('columnName')

根据索引获取需要的行数据(没有索引获取不到)
df.loc['indexName'] type:Serials
df.loc[['indexName1','indexName2','indexName3']]  type:DataFrame

根据行数获取需要的行数据
df.iloc['rowNumber'] type:Serials
df.iloc[['rowNumber1','rowNumber2','rowNumber3']] type:DataFrame

获取指定的行数和列数
df.iloc[:3, :4]  选取前3行和前4列
df.iloc[:, [4,6]]  选取两列的所有的行
df.iloc[[100, 200], [7, 15]]  选取不连续的行和列
df.loc[:, ['columnName1', 'columnName2']]  loc实现同上功能

获取df中指定的数据值
df.iloc['rowNumber','colNumber']
df.loc['indexName','columnName']

根据列名从原始数据集中抽取需要的数据，结果集（行数不变，列数减少）
df[['columnName1','columnName2','columnName3']]  

根据bool值进行数据提取,条件必须是bool类型数组，并且数组的大小与行数一致
df[[True,True,False]]   :获取前2行
df[df['Age'] == 12]  :获取Age为12的行数据
df[(df['Age'] == 12) & (df['Name'] = 'jack')]  :根据多个条件获取数据，括号必须，因为&运算符高于逻辑运算符

根据指定列进行排序
df.sort_values('columnName', ascending=False)  ascending=False 降序  默认升序

数据去重
df.drop_duplicates(subset='columnName') subset:指定根据某列中的数据去重，默认采用全部数据列
"""

"""
Serials操作
ss = df['columnName']  获取df中某一列，返回Serials

获取第几个值
ss.iloc['int']  
ss['int']

获取多个值
ss.iloc[['int1','int2','int3']]
ss[['int1','int2','int3']]

loc只接收行索引标签(没有索引获取不到数据)
ss.loc['indexName']

修改列名
df.rename(columns={'oldColumnName':'newColumnName'})
df.columns = ['newColumnName1', 'newColumnName2', 'newColumnName3']

分组、聚合的多种方式
df.groupby(['columnName1','columnName2','columnName3']).sum()
df.groupby(['columnName1','columnName2']).agg({'columnName3':['f1','f2'],'columnName4:[f3,f4]'})  :通过2个字段进行分组后，指定columnName3和columnName4进行2种不同聚合函数的计算
df.groupby(['columnName1'])['columnName2','columnName3'].agg(['f1','f2']) 通过一个字段进行分组，指定2个字段进行指定的聚合函数计算

unstack('indexNumber')  行转列  参数  索引的level  比如 第一列索引输入0，第二列索引输入1，若只有2个索引，输入了2，异常，必须是索引列
unstack('indexName')

stack('indexNumber') 列转行
stack('indexName')  列转行

pandas合并
数据直接合并,没有任何删减
pd1.concat(pd2)

4. concat, join, 和merge的区别
concat ：
Pandas函数
可以垂直和水平地连接两个或多个pandas对象(唯一一个可以垂直合并的函数，append内部采用的也是concat函数)
只用索引对齐
索引出现重复值时会报错
默认是外连接（也可以设为内连接）
join ：
DataFrame方法
只能水平连接两个或多个pandas对象
对齐是靠被调用的DataFrame的列索引或行索引和另一个对象的行索引（不能
是列索引）
通过笛卡尔积处理重复的索引值
默认是左连接（也可以设为内连接、外连接和右连接）
merge ：
DataFrame方法
只能水平连接两个DataFrame对象
对齐是靠被调用的DataFrame的列或行索引和另一个DataFrame的列或行索引
通过笛卡尔积处理重复的索引值
默认是内连接（也可以设为左连接、外连接、右连接）

pandas从数据库获取数据后，会将数据加载到内存，，差不多1g内存100w行数据
pandas到处数据至csv、hdf5，100w行/200M

------------------------------------------------------------------------------------
vaex
vaex的hdf5坑：vaex只支持自身保持的hdf5格式，所以需要使用vaex的hdf5功能，步骤如下：
1.先利用pandas获取需要的dataFrame
2.使用v1=vaex.from_pandas(dataFrame) 将dataFrame转换成vaex支持的dataFrame
3.将获取的数据集导出成vaex本身支持的hdf5  v1.export_hdf5('store.h5')
以上步骤就已经有了vaex本身支持的hdf5文件了，可以大胆的使用vaex来进行快速的数据分析了
加载
df = vaex.open('store.h5')  vaex的操作基本都是毫秒级
df的过滤操作
cl_order[(cl_order.ITEM == '1160XW717') & (cl_order.CLOSE_TIME < np.datetime64(datetime(2019,10,2))) & (cl_order.CLOSE_TIME>=np.datetime64(datetime(2019,10,1)))]
vaex如果数据量大，那么在进行groupby的时候，几乎就不会动了

datetime64[ns]转datetime  需要先转到datetime64[s]       np.datetime64(x,'s').item().hour   x为datetime64[ns]对象，item()后为datetime对象