一.行多层索引 1.隐式创建 在构造函数中给index.colunms等多个数组实现(datafarme与series都可以) df的多级索引创建方法类似: 2.显式创建pd.MultiIndex 其中.from_arrays为类似上面的参数,推荐使用简单的from_product函数(会自动进行交叉): 二.列多层索引 列多层索引同理:  三.多层索引操作与切片 1.Series多层索引 使用中括号和loc效果完全一样: 切片,只切第一级索引,与之前一致,需要指定某些指定行时,可以通过iloc

1.创建数据帧 import pandas as pd df = pd.DataFrame([[1, 'A', '3%' ], [2, 'B']], index=['row_0', 'row_1'], columns=['col_0', 'col_1', 'col_2']) 2.获取形状信息 shape = df.shape 2.1 获取行数 rows = shape[0] 或 rows = len(df.index) 2.2 获取列数 cols = df.shape[1] 或 cols = l

多级索引:在一个轴上有多个(两个以上)的索引,能够以低维度形式来表示高维度的数据.单级索引是Index对象,多级索引是MultiIndex对象. 一.创建多级索引 方法一:隐式创建,即给DataFrame的index或columns参数传递两个或更多的数组. df1 = pd.DataFrame(np.random.randint(80, 120, size=(2, 4)), index= ['girl', 'boy'], columns=[['English', 'English', 'Chi

1 两个Dataframe相加时,一定要注意索引是否对应再相加,利用这个特点有时可以先用set_index()将某些列置为索引列,再进行相加. import pandas as pd df1 = pd.DataFrame({'a':np.arange(1,5,1), 'b':np.arange(3,15,3)}, index=[2,3,4,5]) df2 = pd.DataFrame({'c':[2,3,4,5], 'd':[6,7,8,9]}) print(df1) print(df2) #

清除oralce 缓存:alter system flush buffer_cache; 环境:oracle 10g . 400万条数据,频率5分钟一条 1.应用场景:  找出所有站点的最新一条数据.sql语句如下: —————————————————————————————————————————————————— with aa as( select t1.EQP_ID ,max(MEASURE_TIME) maxtm from PLU_WATER_DATA t1 where t1.MEAS

修改分区表主键时报错: 在行: 2 上开始执行命令时出错 -alter table KC23 modify AAZ210 VARCHAR2(50)错误报告 -SQL 错误: ORA-14061: 不能更改索引分区列的数据类型或长度14061. 00000 -  "data type or length of an index partitioning column may not be changed"*Cause:    User issued ALTER TABLE stateme

导入模块 import pandas as pd 创建dataframe data = {'name': ['Jason', 'Molly', 'Tina', 'Jake', 'Amy'], 'year': [2012, 2012, 2013, 2014, 2014], 'reports': [4, 24, 31, 2, 3]} df = pd.DataFrame(data, index = ['Cochice', 'Pima', 'Santa Cruz', 'Maricopa', 'Yuma'

在对Series对象和DataFrame对象进行索引的时候要明确这么一个概念:是使用下标进行索引,还是使用关键字进行索引.比如list进行索引的时候使用的是下标,而dict索引的时候使用的是关键字. 使用下标索引的时候下标总是从0开始的,而且索引值总是数字.而使用关键字进行索引,关键字是key里面的值,既可以是数字,也可以是字符串等. Series对象介绍: Series对象是由索引index和值values组成的,一个index对应一个value.其中index是pandas中的Index对象

DataFrame df = ...StructType schema = df.schema().add(DataTypes.createStructField("id", DataTypes.LongType, false)); 使用RDD的zipWithIndex得到索引,作为ID值:JavaRDD<Row> rdd = df .javaRDD() // 转为JavaRDD .zipWithIndex() // 添加索引,结果为JavaPairRDD<Row,

包含列解析所谓的包含列就是包含在非聚集索引中,并且不是索引列中的列.或者说的更通俗一点就是:把一些底层数据表的数据列包含在非聚集索引的索引页中,而这些数据列又不是索引列,那么这些列就是包含列.同时,这些包含列并不会对索引中的条目有影响.好吧,为了使得问题稍微清楚一点,我用个简单的图示说明一下: 我们可以用下面的语句在创建索引的时候加入包含列,代码如下: 双击代码全选 1 2 3 CREATE NONCLUSTERED INDEX FK_ProductID_ ModifiedDate ON Sal

新建一个 dataFrame : val conf = new SparkConf().setAppName("TTyb").setMaster("local") val sc = new SparkContext(conf) val spark: SQLContext = new SQLContext(sc) import org.apache.spark.sql.functions.explode import org.apache.spark.sql.func

背景:dataFrame的数据,想对某一个列做逻辑处理,生成新的列,或覆盖原有列的值   下面例子中的df均为pandas.DataFrame()的数据   1.增加新列,或更改某列的值 df["列名"]=值   如果值为固定的一个值,则dataFrame中该列所有值均为这个数据   2.处理某列 df["列名"]=df.apply(lambda x:方法名(x,入参2),axis=1)   说明: 1.方法名为单独的方法名,可以处理传入的x数据 2.x为每一行的数

1. 准备数据 import pandas as pd from io import StringIO csv_txt = '''"date","player1","player2","score1","score2" "2017-06-05","张继科","林思远",3,2 "2017-06-06","丁宁"

一.表的统计信息 表的统计信息用于描述表的详细信息,包括记录数(num_rows).表块的数量(blocks).平均行长度(avg_row_len)等典型维度.这些维度可以通过数据字典表DBA_TABLES.DBA_TAB_PARTITIONS和DBA_TAB_SUBPARTITIONS来分别查看表.分区表的分区和分区表的子分区的统计信息. 二.索引的统计信息 索引的统计信息描述了索引的详细信息,它包含了索引的层级(blevel).叶子块数量(leaf_blocks).聚簇因子(clusteri

本来是一项很简单的任务...但很容易忘记搞混..所以还是记录一下 方法一: df['col'].value_counts() 方法二: groups = df.groupby('col') groups.size() # 这里很容易就用上counts所以错误... 对index进行更改: df2.index = df2.index.map(f) # f为函数 按值排序 基本语法:by='name' 指定按该行/列来排序: 默认ascending=True,升序排序: >>> df3 =

MySQL索引的索引长度问题   MySQL的每个单表中所创建的索引长度是有限制的,且对不同存储引擎下的表有不同的限制. 在MyISAM表中,创建组合索引时,创建的索引长度不能超过1000,注意这里索引的长度的计算是根据表字段设定的长度来标量的,例如:create table test(id int,name1 varchar(300),name2 varchar(300),name3 varchar(500))charset=latin1 engine=myisam;create index

#假设data是一个DataFrame对象,如果要把它的第二列转换为List print(data.iloc[:,1].to_list())

1.python中数据框求每列的最大值和最小值 df.min() df.max()

x<-data.frame(apple=c(1,4,2,3),pear=c(4,8,5,2)) x # apple pear # 1 1 4 # 2 4 8 # 3 2 5 # 4 3 2 x$banana<-c(9,5,6,2) x # apple pear banana # 1 1 4 9 # 2 4 8 5 # 3 2 5 6 # 4 3 2 2

一.实验文档准备 1.安装 tushare pip install tushare 2.启动ipython C:\Users\Administrator>ipython Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] Type 'copyright', 'credits' or 'license' for more information IPython 7.0.1 -- An enhanced

一.pandas简单介绍 1.pandas是一个强大的Python数据分析的工具包.2.pandas是基于NumPy构建的.3.pandas的主要功能 --具备对其功能的数据结构DataFrame.Series --集成时间序列功能 --提供丰富的数学运算和操作 --灵活处理缺失数据4.安装方法:pip install pandas5.引用方法:import pandas as pd 二.Series Series是一种类似于一位数组的对象,由一组数据和一组与之相关的数据标签(索引)组成.创建方