pandas初识 1.生成DataFrame型的数据 import pandas as pd import numpy as np dates = pd.date_range('20130101',periods=10) #以20130101往下走10个 df = pd.DataFrame(np.random.randn(10,7),index=dates,columns=list('ABCDEFG')) #注意10,7参数怎么来的 df.to_csv('E:\data.csv') #将数据表写…

1. 如何实现把一个属性(列)拆分成多列,产生pivot,形成向量信息,计算相关性? 例: class_ timestamp count 0 10 2019-01-20 13:23:00 1 1 10 2019-01-20 13:24:00 2 2 10 2019-01-20 13:25:00 2 3 10 2019-01-20 13:26:00 1 4 10 2019-01-20 13:27:00 2 转为: class_ 1 2 3 4 10timestamp 2019-01-20 13:2…

Pandas 和 sqlalchemy 配合实现分页查询 Mysql 并获取总条数 @api.route('/show', methods=["POST"]) def api_show(): # 分页查询并获取总数 offset = request.json.get('offset', 0) limit = request.json.get('limit', 10) sql = "select SQL_CALC_FOUND_ROWS * from bidata.gen_adi…

Python Pandas 空值 pandas 判断指定列是否(全部)为NaN(空值) import pandas as pd import numpy as np df = pd.DataFrame({"a": ["aa", np.NAN, np.NAN], "b": [3, np.NAN, 2]}) 判断某列是否有NaN >>> df.a.isnull().any() True 判断是否全部为 NAN >>>…

基本内容 Series: Series 是有一组数据(numpy的数据类型 numpy.ndarray)以及一组数据标签(即索引)组成,可以看成一个一个定长的有序字典(索引值到数据值的一个映射) obj = Series([4, 7, -5, 3]) print(type(obj)) print(type(obj.values)) obj.values <class 'pandas.core.series.Series'><class 'numpy.ndarray'> array(…

基本统计 pivot_table(数据透视表 ): 使用appfunc, 按不同index分类统计各特征values的值 df.pivot_table(index="Pclass", values="Survived", aggfunc=np.mean) 注: index: Pclass 字段对应的值进行分类 values:str or list,分类统计的特征,为字符串(一个特征)或者数组(多个特征) aggfunc:统计特征的回调函数 返回值: <clas…

pandas用浮点值Nan表示浮点和非浮点数组中的缺失数据.它只是一个便于被检测的标记而已. >>> string_data = Series(['aardvark','artichoke',np.nan,'avocado']) >>> string_data 0 aardvark 1 artichoke 2 NaN 3 avocado dtype: object >>> string_data.isnull() 0 False 1 False 2 T…

import pandas as pd import numpy as np import matplotlib.pyplot as plt stock_data = pd.read_csv('000078.csv',encoding='gbk') stock_data = stock_data[['日期','股票代码','收盘价','成交量']] stock_data.sort_values('日期',inplace=True) stock_data['五日均线'] = stock_data[…

Pandas 在一张图中绘制多条线 import pandas as pd import numpy as npimport matplotlib.pyplot as plt df = pd.DataFrame({ 'color': ['red','red','red','blue','blue','blue'], 'x': [0,1,2,3,4,5],'y': [0,1,2,9,16,25] }) 实现 fig, ax = plt.subplots() for key, group in df…

在许多应用中,数据可能分散在许多文件或数据库中,存储的形式也不利于分析.本部分关注可以聚合.合并.重塑数据的方法. 1.层次化索引 层次化索引(hierarchical indexing)是pandas的一项重要功能,它使你能在一个轴上拥有多个(两个以上)索引级别.抽象点说,它使你能以低纬度形式处理高纬度数据.我们来看一个简单的栗子:创建一个Series,并用一个由列表或数组组成的列表作为索引: data = pd.Series(np.random.randn(9), index=[['a',…