/** * Created by root on 9/6/15. */ import org.apache.spark.SparkContext import org.apache.spark.SparkConf object HelloSpark { def main(args: Array[String]) { val logFile = "/home/slh/data/README.txt" // Should be some file on your system val co…

进行如下设置,解决报错信息. val conf = new SparkConf().setAppName("helloSpark").setMaster("spark://master:7077").set("spark.executor.memory", "2g")val sc = new SparkContext(conf)sc.addJar("/home/spark/IdeaProjects/FirstApp/…

一.Scala概述 scala是一门多范式编程语言,集成了面向对象编程和函数式编程等多种特性.scala运行在虚拟机上,并兼容现有的Java程序.Scala源代码被编译成java字节码,所以运行在JVM上,并可以调用现有的Java类库. 二.第一个Scala程序 Scala语句末尾的分号可写可不写 HelloSpark.scala object HelloSpark{ def main(args:Array[String]):Unit = { println("Hello Spark!"…

本課主題 什么是 Spark 的天堂之门 Spark 天堂之门到底在那里 Spark 天堂之门源码鉴赏 引言 我说的 Spark 天堂之门就是SparkContext,这篇文章会从 SparkContext 创建3大核心对象 TaskSchedulerImpl.DAGScheduler 和 SchedulerBackend 开始到注册给 Master 这个过程中的源码鉴赏,SparkContext 是整个 Spark 程序通往集群的唯一通道,它是程序起点,也是程序终点,所以我把它称之为天堂之门,…

本课主题 什么是 Spark 的天堂之门 Spark 天堂之门到底在那里 Spark 天堂之门源码鉴赏 引言 Spark 天堂之门就是SparkContext,这篇文章会从 SparkContext 创建3大核心对象 TaskSchedulerImpl.DAGScheduler 和 SchedulerBackend 开始到注册给 Master 这个过程中的源码鉴赏,SparkContext 是整个 Spark 程序通往集群的唯一通道,它是程序起点,也是程序终点,所以把它称之为天堂之门,看过 Sp…

1.开发环境准备 scala IDE for Eclipse:版本(4.6.1) 官网下载:http://scala-ide.org/download/sdk.html 百度云盘下载:链接:http://pan.baidu.com/s/1c2NAZdA 密码:au8t scala-2.11.8.msi : 官网下载:http://www.scala-lang.org/download/2.11.8.html 百度云盘下载:链接:http://pan.baidu.com/s/1dEFlmcL 密码…

一.首先配置ssh无秘钥登陆, 先使用这条命令:ssh-keygen,然后敲三下回车: 然后使用cd .ssh进入 .ssh这个隐藏文件夹: 再创建一个文件夹authorized_keys,使用命令touch authorized_keys: 然后使用cat id_rsa.pub > authorized_keys 即可: 最后使用 chmod 600 authorized_keys修改权限就完成了. 二.创建spark项目 idea创建spark项目的过程这里就略过了,具体可以看这里https…

Scala的变量声明 在Scala创建变量的时候,必须使用val或者var val,变量值不可修改,一旦分配不能重新指向别的值 var,分配后,可重新指向类型相同的值 举例 val lines = sc.textFile("helloSpark.txt") lines = sc.textFile("helloSpark2.txt") 是错的 var lines2 = sc.textFile("helloSpark.txt") lines2 = s…

1.创建scala maven项目 选择骨架的时候为org.scala-tools.archetypes:scala-aechetype-simple 1.2 2.导入包,进入spark官网Documentation选择第二个-选择自己的spark版本-选择programming guides-选择第二个-查看spark版本对应的依赖的版本 将pom中的内容为: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs…

在linux调试C/C++的代码需要通过gdb,调试java代码呢?那就需要用到jdb工具了.关于jdb的用法在网上大家都可以找到相应的文章,但是对scala进行调试的就比较少了.其实调试的大致流程都是一样的,只是需要注意一些细节的地方就可以了.下面就来简单说明一下.在这里关于scala和jdk的配置问题就不再详述了,下面进入正题吧. 首先放上调试用的scala代码hello.scala object hello { def main(args: Array[String]): Unit = {…