Spark环境的搭建与运行
Spark本地安装与配置
- 下载spark后解压,并cd到解压目录下
- 运行实例程序测试是否一切正常
./bin/run-example org.apache.spark.examples.SparkPi
- 在本地模式下设定要使用的线程数目
local[N]
master=local[2] ./bin/run-example org.apache.spark.examples.SparkPi
Spark集群
- Spark集群由两类程序构成:一个驱动程序和多个执行程序。
- 本地模式中,所有的处理都是运行在一个JVM内的。
- 如果要在一个Spark单机集群上运行示例代码,只要传入猪截点的IP和PROT端口号
master=spark://IP:PORT ./bin/run-example org.apache.spark.examples.SparkPi
Spark 编程模型
- SparkContext 和 Spark Shell
SparkContext类和SparkConf类
- 创建一个四线程的SparkContext类
val conf = new SparkConf()
.setAppName("Text Spark APP")
.setMaster("local[4]")
val sc = new SparkContext(conf)
or
val sc = new SparkContext("local[4]", "Test Spark App")
Spark shell
- 进入程序主目录下,运行如下代码启动 Spark shell (Scala语言的shell)
./bin/spark shell
- 启动spark shell 之后会自动初始化一个SparkContext对象。
- 进入主目录下,运行如下代码启动Python shell。
./bin/pyspark
- python下的SparkContext对象可以通过Python变量sc来调用。
弹性分布式数据集
1.创建RDD
- 从现有的集合创建RDD
val collection = List("a", "b", "c", "d", "e")
val rddFromCollection = sc.parallelize(collection)
- 也可以从本地文件中创建RDD
val rddFromTextFile = sc.textFile("license")
2.Spark操作
- Spark编程模式下,所有的操作都被分为转换(transformation)和执行(action)。
- 最常见的转换操作就是map,该操作对一个RDD的每一条记录都执行某个函数,从而将输入映射称为新的输出。
- 实例
- 对于之前创建的一个由若干String构成的RDD对象,通过map将每一个字符串转换为一个整数,返回一个由若干Int组成RDD对象。
val intsFromStringsRDD = rddFromTextFile.map(line => line.size)
- 执行count返回RDD中的记录数目。
intsFromStringsRDD.cout
- 如果要计算每行字符串的平均长度,可以先sum计算所有记录的总长,再除以总的记录数目。
val sumOfRecords = intsFromStringsRDD.sum
val numRecords = intsFromStringsRDD.count
val aveLengthOfRecord = sumOfRecords / numRecords
or
val aveLengthOfRecordChained =rddFromTextFile.map(line => line.size).sum/rddFromTextFile.count
- Spark中转换操作是延后的。在RDD上调用一个转换操作并不会立即触发相应的计算。相反,这些转换会链接起来,并只有在执行操作时才会被高效的计算。
- 实例
- 下面的代码不会触发实际的操作
val transformedRDD = rddFromTextFile.map(line => line.size).filter(size =>size>10).map(size =>size*2)
- 调用如下执行操作,计算将会被触发
val computation = transformedRDD.sum
3.RDD缓存策略
- 将RDD缓存在集群的内存中。
rddFromTextFile.cache
- 首次缓存会花费一些时间,下一次访问就会很快,数据可以直接从内存中读取,从而减少I/O操作。
3.广播变量和累加变量
- 两类特殊变量:广播变量和累加变量
+广播变量为只读变量,创建广播变量如下
val broadcastAList = sc.broadcast(List("a", "b", "c", "d", "e"))
- 广播变量可以被非驱动程序的节点访问
sc.parallelize(List("1", "2", "3")).map(x =>broadcastAList.value ++ x).collect
Spark Scala 编程入门
- 对于Scala程序而言,需要创建两个文件:Scala代码文件以及项目的构建配置文件。
- 项目将使用SBT(Scala Build Tool)来构建。
- 实例
- SBT配置文件如下。各行代码之间的空行是必须的!
name := "scala-spark-app"
\空行
version := "1.0"
\空行
scalaVersion := "2.10.4"
\空行
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"
- 导入所需要的Spark类
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
- 初始化所需要的SparkContext对象,并通过textFile函数来访问CSV数据文件
def main(args: Array[String]){
val sc = new SparkContext("local[2]", "First Spark App")
val data = sc.textFile("data/UserPerchaseHistory.csv")
.map(line => line.split(",")
.map(purchaseRecord => (perchaseRecord(0), purchaseRecord(1),perchaseRecord(2)))
- RDD中每条记录都是由(user, product, price)构成,对商店计算如下指标:购买总次数,客户总个数,总收入。
val numPurchases = data.count()
val uniqueUsers = data.map{ case(user, product, price) => user}.distinct().count()
val totalRevenue = data.map{ case(user, product, price) => price.toDouble}.sum()
val productsByPopularity = data
.map{case(user, product, price) => (product, 1)}
.reduceByKey(_ + _)
.collect()
.sortBy(-_._2)
val mostPopular = productsByPopularity(0)
- 结果打印
println(Total purchases:"+ numPurchases)
...
}
}
Spark Python 编程入门
from pyspark import SparkContext
sc = SparkContext("local[2]", "First Spark App")
# spark读取本地文件
t = sc.textFile("file:///home/users/douzhi/t.txt")
#spark读取hdfs文件
t = sc.textFile("hdfs:///path/...")
print t.first()
Spark环境的搭建与运行的更多相关文章
- spark本地环境的搭建到运行第一个spark程序
搭建spark本地环境 搭建Java环境 (1)到官网下载JDK 官网链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8- ...
- 分布式平台Spark环境的搭建
1.安装Spark之前需要先安装Java,Scala及Python(个人喜欢用pyspark,当然你也可以用原生的Scala) 首先安装Java jdk: 我们可以在Oracle的官网下载Java S ...
- 在Linux(Debian)环境下搭建并运行GPU
首先通过以下命令查看是否GPU驱动成功: 注意:需要在bash终端输入 import tensorflow as tf hello = tf.constant('Hello, TensorFlow!' ...
- 分布式计算框架-Spark(spark环境搭建、生态环境、运行架构)
Spark涉及的几个概念:RDD:Resilient Distributed Dataset(弹性分布数据集).DAG:Direct Acyclic Graph(有向无环图).SparkContext ...
- Hive On Spark环境搭建
Spark源码编译与环境搭建 Note that you must have a version of Spark which does not include the Hive jars; Spar ...
- 在Ubuntu14.04 64bit上搭建单机Spark环境,IDE为Intelli IDEA
在Ubuntu14.04 64bit上搭建单机Spark环境,IDE为Intelli IDEA 一. 环境 Ubuntu14.04 64位 JDK 1.8.0_73 scala-2.10. ...
- 在Ubuntu里搭建spark环境
注意:1.搭建环境:Ubuntu64位,Linux(也有Windows的,我还没空试) 2.一般的配置jdk.Scala等的路径环境是在/etc/profile里配置的,我自己搭建的时候发 ...
- Spark On Yarn搭建及各运行模式说明
之前记录Yarn:Hadoop2.0之YARN组件,这次使用Docker搭建Spark On Yarn 一.各运行模式 1.单机模式 该模式被称为Local[N]模式,是用单机的多个线程来模拟Spa ...
- Spark学习进度-Spark环境搭建&Spark shell
Spark环境搭建 下载包 所需Spark包:我选择的是2.2.0的对应Hadoop2.7版本的,下载地址:https://archive.apache.org/dist/spark/spark-2. ...
随机推荐
- uva 10369
数组开小了 还RE了一遍....... 最小生成树 按费用从小到大排... #include <iostream> #include <algorithm> #inc ...
- [Ruby on Rails系列]5、专题:Talk About SaSS
This is my presentation in the Rails lecture of Hosei University. I will introduce SaSS by 5 example ...
- [itint5]环形最大连续子段和
http://www.itint5.com/oj/#9 一开始有了个n*n的算法,就是把原来的数组*2,由环形的展开成数组.然后调用n次最大子段和的方法.超时. 后来看到个O(n)的算法,就是如果不跨 ...
- 面试大总结:Java搞定面试中的链表题目总结
package LinkedListSummary; import java.util.HashMap; import java.util.Stack; /** * http://blog.csdn. ...
- Android 自定义对话框使用静态Handler传递参数
JsdMainDialog.java package com.jsd.demo; import android.app.Activity; import android.content.Context ...
- eclipse myeclipse zend studio 中去掉双引号中的斜体
去windows/preferences 菜单里,选Web/JSP Files/Editor/Syntax Coloring 在右边选Attribute Values ,把Italic的钩去掉就好了.
- Android 内核初识(1)下载源码需求与教程
官方文档: http://source.android.com/source/requirements.html Requirements The Android build is routinel ...
- echarts-noDataLoadingOption问题
目前echarts暂时不支持noDataLoadingOption外挂,所以我为此diy了一个无数据展示文字. 但是echarts很奇怪,它是判断serises==[]空数组才会自动出现echarts ...
- I.MX6 android 禁止低电量自动关机
/************************************************************************ * I.MX6 android 禁止低电量自动关机 ...
- I.MX6 Android USB Touch eGTouchA.ini文件存放
/******************************************************************** * I.MX6 Android USB Touch eGTo ...