Spark高速上手之交互式分析

1.1  Spark交互式分析

执行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供

了简单方式去识别API。相同也有一个强大的工具去交互式地分析数据。

两种语言有这种交换能力，各自是Scala 和 Python。以下将演示怎样使用Python来分析数据文件。

进入Spark安装主文件夹，输入以下的命令。python命令行模式将会启动。

./bin/pyspark

Spark的主要抽象是一个称之为弹性分布式数据集（Resilient Distributed Dataset，RDD）。RDD可以从Hadoop输入格式（InputFormat。比方HDFS文件），或者通过转换其他RDDs。这里。我们将上传Spark主文件夹下的README文件上传到Hadoop的文件系统/user/app(app是我的linuxusername)文件夹下。详细的命令例如以下：

hdfs dfs –mkdir–p /user/app
hdfs dfs –putREADME.md /usr/app

使用Python创建一个新的弹性分布式数据集，定义例如以下。

>>>textFile = sc.textFile("README.md")

RDD有actions,。它可以返回值以及转换transformations，也可以返回指向新的RDD的指针。以下就是几个RDD的action操作。

>>>textFile.count() # 返回这个RDD的数据项个数
126

>>>textFile.first() # 返回这个RDD的第一项数据
u'# ApacheSpark'

如今让我们使用一个转换（transformation）。我们将使用filter转换返回一个新的RDD，伴随着文件里的数据项的子集。

>>>linesWithSpark=textFile.filter(lambdaline:"Spark"inline)

我们可以链式化转换和动作:

>>> textFile.filter(lambda line:"Spark"inline).count()# How many linescontain "Spark"?

15

RDD动作和转换可以被用作更为复杂的计算，看以下的样例。

>>> textFile.map(lambdaline: len(line.split())).reduce(lambda a, b: aif (a > b)elseb)
15

这个參数的第一项映射一行的数据到一个integer值，创建一个新的RDD。

reduce在RDD上被调用。用于找到一个最大的行数。map和reduce的參数是Python匿名函数lambdas。与此同一时候，你也可以传入不论什么你想要的顶级Python函数。

不如，以下就是传入的一个Python函数。

>>> defmax(a, b):
...     if a > b:
...         return a
...     else:
...         return b
...

>>>textFile.map(lambda line: len(line.split())).reduce(max)
15