dates=pd.date_range(',periods=6) #创建固定频度的时间序列 df=pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD')) #创建6*4的随机数,索引,列名称. df2=pd.DataFrame({'),'B':pd.Series(1)})#字典创建Dataframe,假如字典的数据长度不同,以最长的数据为准. df2.dtypes #查看各行的数据格式 df2.head() df2.t…

对一个DF r1  r2  r3 c1 c2 c3 选行:  df['r1']  df['r2':'r2']  #包含r2  df[df['c1']>5] #按条件选 选列:  df['c1']  df[['c2','c3']]  df['c4']=5  #新列 任意区域:  df.ix[df.c1>5,['c2','c3']] 排序:  df.sort_index(by=['r2','r3'],ascending=False) 运算:  df<5  #得到bool型矩阵  df[df&…

Pandas基本介绍——DataFrame入门学习 前篇文章中,小生初步介绍pandas库中的Series结构的创建与运算,今天小生继续“死磕自己”为大家介绍pandas库的另一种最为常见的数据结构DataFrame. DataFrame是二维标记的数据结构(三维结构请看Panel,后面为大家介绍),你可以把它看成一张电子表格或者SQL关系库中的表格.DataFrame是pandas库中最为常见的一种数据结构,正如Series一样,它也有很多不同的创建方法: Dict of 1D ndarray…

线性.逻辑回归.input_fn()建立简单两个特征列数据,用特证列API建立特征列.特征列传入LinearClassifier建立逻辑回归分类器,fit().evaluate()函数,get_variable_names()得到所有模型变量名称.可以使用自定义优化函数,tf.train.FtrlOptimizer(),可以任意改动传到LinearClassifier. 随机森林.包含多个决策树分类器及回归算法.处理不平衡分类资料集,极大平衡误差.Kaggle数据科学竞赛,延伸版XGBoost.…

DataSet:面向对象的,从JVM进行构建,或从其它格式进行转化 DataFrame:面向SQL查询,从多种数据源进行构建,或从其它格式进行转化 RDD DataSet DataFrame互转 1.RDD -> Dataset val ds = rdd.toDS() 2.RDD -> DataFrame val df = spark.read.json(rdd) 3.Dataset -> RDD val rdd = ds.rdd 4.Dataset -> DataFrame va…

1. df=DataFrame([{‘A’:’11’,’B’:’12’},{‘A’:’111’,’B’:’121’},{‘A’:’1111’,’B’:’1211’}]) print df.columns.size#列数 2 print df.iloc[:,0].size#行数 3 print df.ix[[0]].index.values[0]#索引值 0 print df.ix[[0]].values[0][0]#第一行第一列的值 11 print df.ix[[1]].values[0][1…

1.属性方式,可以用于列,不能用于行 2.可以用整数切片选择行,但不能用单个整数索引(当索引不是整数时) 3.直接索引可以使用列.列集合,但不能用索引名索引行 用iloc取行,得到的series: df.iloc[1] <Series, len() = 28> 4.和Series一样,可以使用索引切片 对于列,切片是不行的(看来对于DF而言,还是有“行有序,列无序”的意思) 5.ix很灵活,不能的:两部分必须有内容,至少有: 列集合可以用切片方式,包括数字和名称 6.索引切片或者ix指定都可以…

1 简介 DataFrame是Python中Pandas库中的一种数据结构,它类似excel,是一种二维表. 或许说它可能有点像matlab的矩阵,但是matlab的矩阵只能放数值型值(当然matlab也可以用cell存放多类型数据),DataFrame的单元格可以存放数值.字符串等,这和excel表很像. 同时DataFrame可以设置列名columns与行名index,可以通过像matlab一样通过位置获取数据也可以通过列名和行名定位,具体方法在后面细说. 2 创建DataFrame 首先声…

2 DataFrame a:通过传入一个等长的列表构成DataFrame 自动加上索引 data={'state':['ohio','ohio','ohio','Nevada','Nevada'], ,,,,], 'pop':[1.5,1.7,3.6,2.1,2.9]} frame=DataFrame(data) b:指定顺序序列(之前是按照默认排序) DataFrame(data,columns=['year','state','pop']) c:传入数据的时候列不存在 那么就是NAN d:从…

1.不同长度的列表合并成DataFrame. 法1: ntest=['a','b'] ltest=[[1,2],[4,5,6]] 先变成等长的列表:(a:1),(a:2),(b:4),(b:5),(b:6) 再转化成DataFrame. data=[(k,v) for k,l in zip(ntest,ltest) for v in l] p=pd.DataFrame(data) 结果如下: 法2:用concat函数将几个DataFrame合并成一个:(加axis=1是按列合并,加axis=0是…