一.介绍 数据帧(DataFrame)是二维数据结构,即数据以行和列的表格方式排列. 可以看作是Series的二维拓展,但是df有行列索引:index.column 推荐参考:https://www.jianshu.com/p/c534e83d2f4b 二.快速入门 1.打开csv 发现报错,原因是路径中\User的\u和转义符号冲突了,我们使用字符串中的知识,添加r开头表示不转义即可: 它包含的是行列索引和值values,value对应的就是二维的ndarray了 2.创建df 1.通过字典来…

…

上一节我们已经对 Dataframe 的概念做了一个简单的介绍, 这一节将具体看下它的一些基本用法: 首先, 准备一个 excel 文件, 大致内容如下, 并保存成 .csv 格式. 然后, 在 jupyter notebook 里执行如下代码: #引入 pandas 模型 import pandas as pd # 读取 csv 文件 df = pd.read_csv('weather_data.csv') # 打印 df 在 jupyter notebook 里的表现形式大概如下:就这么简单…

实时计算介绍 Spark Streaming, 其实就是一种Spark提供的, 对于大数据, 进行实时计算的一种框架. 它的底层, 其实, 也是基于我们之前讲解的Spark Core的. 基本的计算模型, 还是基于内存的大数据实时计算模型. 而且, 它的底层的组件或者叫做概念, 其实还是最核心的RDD.     针对实时计算的特点, 在RDD之上, 进行了一层封装, 叫做DStream. 其实, 学过了Spark SQL之后, 你理解这种封装就容易了. 之前学习Spark SQL是不是也是发现,…

本文主要介绍Spark的一些基本算子,PySpark及Spark SQL 的使用方法. 虽然我从2014年就开始接触Spark,但几年来一直没有真正地学以致用,时间一久便忘了如何使用,直到在工作中用到才再次捡起来.遂再整理一番,留作备忘. Apache Spark - Unified Engine for large-scale data analytics 支持的语言有:Python, SQL, Scala, Java, R. 因为Spark采用Scala开发,因此Scala接口是原生的.全面…

一 概念 Pandas是一个开源的Python数据分析库.Pandas把结构化数据分为了三类: Series,1维序列,可视作为没有column名的.只有一个column的DataFrame: DataFrame,同Spark SQL中的DataFrame一样,其概念来自于R语言,为多column并schema化的2维结构化数据,可视作为Series的容器(container): Panel,为3维的结构化数据,可视作为DataFrame的容器: 二 创建DataFrame # 标准创建 df2…

1,创建Series 1.1,通过iterable创建Series Series接收参数是Iterable,不能是Iterator pd.Series(Iterable) 可以多加一个index参数,index可以接收Iterator或者Iterable: >>> pd.Series(('a', 'b'), index=iter(range(2))) 0 a 1 b dtype: object 1.2,通过字典创建Series key是索引: >>> pd.Series…

"二维数组"Dataframe:是一个表格型的数据结构,包含一组有序的列,其列的值类型可以是数值.字符串.布尔值等. Dataframe中的数据以一个或多个二维块存放,不是列表.字典或一维数组结构. 1. Dataframe的数据结构 # Dataframe 数据结构 # Dataframe是一个表格型的数据结构,“带有标签的二维数组”. # Dataframe带有index(行标签)和columns(列标签) data = {'name':['Jack','Tom','Mary'],…

原文链接:http://www.jianshu.com/p/c0181667daa0 RDD.DataFrame和DataSet是容易产生混淆的概念,必须对其相互之间对比,才可以知道其中异同. RDD和DataFrame RDD-DataFrame 上图直观地体现了DataFrame和RDD的区别.左侧的RDD[Person]虽然以Person为类型参数,但Spark框架本身不了解Person类的内部结构.而右侧的DataFrame却提供了详细的结构信息,使得Spark SQL可以清楚地知道该数…

RDD 优点: 编译时类型安全编译时就能检查出类型错误 面向对象的编程风格直接通过类名点的方式来操作数据 缺点: 序列化和反序列化的性能开销无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化. GC的性能开销频繁的创建和销毁对象, 势必会增加GC import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} object Run { def main(a…