Java进行spark计算
首先在Linux环境安装spark:
可以从如下地址下载最新版本的spark:
https://spark.apache.org/downloads.html
这个下载下来后是个tgz的压缩包,解压后spark环境就安装好了
或者从github上下载:
#git clone git://github.com/apache/spark.git
安装好后,进入到spark的根目录,就可以通过spark提供的一些脚本命令行来用spark进行计算了,一个例子
./bin/spark-submit examples/src/main/python/pi.py 10
这个例子是,可以给脚本命令传入python脚本参数来计算,当然也可以传入Java的jar包参数来计算,即如何计算是通过传入python脚本或者Java类来定义的,
python脚本用spark提供的python api编写,入口是main函数
java类用spark提供的java api来编写,入口也是main函数,要将java类及其依赖的jar包打成jar
下面主要说下在IntelliJ idea中用Java在本地进行spark计算(单线程)
首先需要在pom文件中引入如下两个依赖:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0</version>
</dependency> <dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.2.0</version>
</dependency>
Java测试类如下:
功能:分别计算testfile.txt文件中包含字符a和b的行数
package com.sogou.baike; import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SparkSession; /**
* Hello world!
*
*/
public class SimpleApp {
public static void main( String[] args ) {
System.setProperty("hadoop.home.dir", "D:\\software\\hadoop-home\\");
String logFile = "D:\\testfile.txt";
SparkSession spark = SparkSession.builder().master("local").appName("Simple Application").getOrCreate();
Dataset<String> logData = spark.read().textFile(logFile).cache();
long numAs = logData.filter(s->s.contains("a")).count();
long numBs = logData.filter(s->s.contains("b")).count();
System.out.println("a: " + numAs + ", b: " + numBs);
spark.stop();
}
}
上面是我已经完全配置好的代码,我最开始运行的过程中遇到了四个错误
第一个错误:
idea不支持java8的新特性lambda表达式
解决办法:参考我的另外一篇博客:
http://blog.csdn.net/u011734144/article/details/77867697
第二个错误:
Could not locate executable null\bin\winutils.exe in the Hadoop binaries
解决办法:
到如下地址下载winutils.exe文件, http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
并保存到如下路径(自行保存路径):
D:\\software\\hadoop-home\\
然后在代码中加上这行:
System.setProperty("hadoop.home.dir", "D:\\software\\hadoop-home\\");
这是配置winutils.exe文件的路径,但是要把winutils.exe文件放到上述目录下的bin/目录中
第三个错误:(这个错误是没有配置spark的集群地址)
org.apache.spark.SparkException: A master URL must be set in your configuration
解决办法:
可以通过修改idea的配置来解决,实际就是添加jvm的参数配置:
点击idea的Edit Configuration, 在VM options中输入
-Dspark.master=local
也可以通过修改这行代码:
SparkSession spark = SparkSession.builder().master("local").appName("Simple Application").getOrCreate();
上面是修改后的,即加上master("local") 就不会报这个错误了,这个表示spark计算访问的是本地spark,而不是远程spark集群
第四个错误:
Exception in thread "main" java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.
at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:217)
at org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:199)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:332)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:432)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2509)
at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:909)
at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:901)
at scala.Option.getOrElse(Option.scala:121)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:901)
at com.sogou.baike.SimpleApp.main(SimpleApp.java:14)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)
这个说的是项目需要的堆空间太小,所以需要配置java 虚拟机的参数
解决办法:如上,在VM options中添加配置初始堆和最大堆的大小:
-Xms1024m -Xmx1024m
所以最终的java虚拟机的参数内容为:
-Dspark.master=local -Xms1024m -Xmx1024m
上面这种方式的spark计算是在本地执行的,是单线程的
我们其实可以将上述java代码打包成jar包,然后用上面安装好的spark的命令./bin/spark-shell 来执行spark计算,并且可以用该命令将计算提交到集群上计算,加快速度
注意spark命令要运行必须配置JAVA_HOME为java8
Java进行spark计算的更多相关文章
- 在IntelliJ IDEA中创建和运行java/scala/spark程序
本文将分两部分来介绍如何在IntelliJ IDEA中运行Java/Scala/Spark程序: 基本概念介绍 在IntelliJ IDEA中创建和运行java/scala/spark程序 基本概念介 ...
- 【Java】Float计算不准确
大家可能都遇到过,float在计算某些值时,会有不准确的情况. 比如如下情况: > 计算不准确 package com.nicchagil.study.java.demo.No10float计算 ...
- java+hadoop+spark+hbase+scala+kafka+zookeeper配置环境变量记录备忘
java+hadoop+spark+hbase+scala 在/etc/profile 下面加上如下环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_102 expor ...
- Spark计算模型
[TOC] Spark计算模型 Spark程序模型 一个经典的示例模型 SparkContext中的textFile函数从HDFS读取日志文件,输出变量file var file = sc.textF ...
- spark计算两个DataFrame的差集、交集、合集
spark 计算两个dataframe 的差集.交集.合集,只选择某一列来对比比较好.新建两个 dataframe : import org.apache.spark.{SparkConf, Spar ...
- 【原创 Hadoop&Spark 动手实践 7】Spark 计算引擎剖析与动手实践
[原创 Hadoop&Spark 动手实践 7]Spark计算引擎剖析与动手实践 目标: 1. 理解Spark计算引擎的理论知识 2. 动手实践更深入的理解Spark计算引擎的细节 3. 通过 ...
- 【Spark深入学习 -13】Spark计算引擎剖析
----本节内容------- 1.遗留问题解答 2.Spark核心概念 2.1 RDD及RDD操作 2.2 Transformation和Action 2.3 Spark程序架构 2.4 Spark ...
- Java闰年的计算,Calendar的用法
Java闰年的计算,Calendar的用法 代码如下: package com.aaa.zuoye; import java.text.ParseException; import java.util ...
- Java基础-时间复杂度计算方式
Java基础-时间复杂度计算方式 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 时间复杂度通常是衡量算法的优劣的,衡量算法的时间严格来讲是很难衡量的,由于不同的机器性能不用环境 ...
随机推荐
- SpringMVC 原理和流程
请求到来时,第一个接受这个请求的前端控制器叫DispatcherServlet(这个需要在web.xml中配置),后端控制器叫Controller. 简化版流程: 1.spring mvc将所有的请求 ...
- P4 PI库安装
repo:Github PI P4Runtime - a control plane framework and tools for the P4 programming language 这个是P4 ...
- The Road to Ryu: Hi Ryu
参考: ryu入门教程 ryu ryu/ryu Structure -ryu/ryu app base cmd contrib controller lib ofproto services test ...
- OpenDayLight Helium安装
参照:OpenDaylight的Helium(氦)版本安装 下载链接地址为 http://www.opendaylight.org/software/downloads/helium 安装: unzi ...
- install ros-indigo-map-msgs
CMake Warning at /opt/ros/indigo/share/catkin/cmake/catkinConfig.cmake: (find_package): Could not fi ...
- [POI2012]ROZ-Fibonacci Representation (数学)
大意:给定n, 求至少要多少个斐波那契数相加减后能得到n (可以重复, 重复的算多次) 假设$dp(x)$为$x$的最小划分, 有$dp(x)=dp(x-F_k)+1$, 其中$F_k$为最接近$x ...
- JAVA中的>>和>>>号以及<<号的作用
public static void main(String[] args) { //右移2位,输出结果为2.二进制1000右移2位变为0010 System.out.println(8>> ...
- SPOJ COMPANYS Two Famous Companies 最小生成树,二分,思路 难度:2
http://www.spoj.com/problems/COMPANYS/en/ 题目要求恰好有k条0类边的最小生成树 每次给0类边的权值加或减某个值delta,直到最小生成树上恰好有k条边为0,此 ...
- prototype原型模式
/** * 原型模式 Prototype * 用原型实例指定创建对象的种类,并通过拷贝这些原型创建新的对象 */ 需求: public class Resume { /** * 要求:一个简历类,必须 ...
- 201621123005《Java程序设计》实验总结
201621123005<Java程序设计>第七次实验总结 1. 本周学习总结 1.1 思维导图:Java图形界面总结 2.书面作业 1. GUI中的事件处理 1.1 写出事件处理模型中最 ...