学习Spark——那些让你精疲力尽的坑
这一个月我都干了些什么……
工作上，还是一如既往的写bug并不亦乐乎的修bug。学习上，最近看了一些非专业书籍，时常在公众号（JackieZheng）上写点小感悟，我刚稍稍瞄了下，最近五篇居然都跟技术无关，看来我与本行业已经是渐行渐远了。
所以，趁着这篇博客，重拾自己，认清自己，要时刻谨记我是一名码农。不过，摸着良心说，最近的技术方面也是有所感悟和积累的，比如如何写好设计文档，如何使用延时队列，如何使用防刷技术等等。当然了，今天我们还是沿着“学习Spark”这条路继续走下去。
上篇主要介绍了在Mac下如何下载安装Hadoop、Scala和Spark并成功启动环境。文章结尾庆幸没有遇到大坑，事实证明不是没有遇到，只是时间还没到，这篇就介绍下自己遇到的各种坑。我不知道各位是否遇到过并能轻松解决，反正我是被这些小问题搞得精疲力尽，故在此总结以备忘。
1.1 Scala与Intellij集成报错
在Scala安装成功后，准备到Intellij上写Scala代码，发现Scala都配好了（关于如何配置，网上资料很多），结果运行Scala程序时报错。
错误：Error:scalac: Multiple 'scala-library*.jar' files (scala-library.jar, scala-library.jar, scala-library.jar) in Scala compiler classpath in Scala SDK scala-sdk-2.12.2
解决方法：在OverStackflow上找到了思路。在Intellij中打开project structure，删除已有的Scala的路径（我的Scala是安装在/usr/local/Cellar/scala/2.12.2路径下的）,重新添加/usr/local/Cellar/scala/2.12.2/idea/lib目录即可。
改动前
改动后
###1.2 Scala语法Intellij不认
在Intellij中写了一个Scala的HelloWorld，代码如下
/**
* Created by jackie on 17/5/7.
*/
package com.jackie.scala.s510
object HelloWorld {
def main(args: Array[String]): Unit = {
println("hello world")
println(increaseAnother(5));
println(Array(1,2,3,4).map{(x:Int)=>x+1}.mkString(","));
println(Array(1,2,3,4) map{(x:Int)=>x+1} mkString(","));
println(Array(1,2,3,4) map{(x:Int)=>x+1} mkString(","));
// test object
var person = new Person()
person.name_=("john") // name_=()对应java中的setter方法
println("Person name:" + person.name)
person.name = "Jackie"
println("Person name:" + person.name)
var mp = new MyPerson()
mp.name_("alihaha")
println("MyPerson name:" + person.name)
var pwp = new PersonWithParam("Jackie", 18)
println("PersonWithParam:" + pwp.toString())
}
def increaseAnother(x: Int): Int = x + 1
}
运行的时候，报错mkString无法识别。
错误：mkString can't be resolved
解决方法：需要交代下我各个环境的版本参数，Intellij-14.0， jdk-8， scala-2.12.2。但是在Intellij中能选择的Scala最高版本只有2.11，所有后来将Intellij升级到2017.1版本，这时候还报错Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException，然后在Intellij中打开project structure，将scala由2.12.2换成2.11.7，问题解决。
1.3 Spark与Intellij集成的问题
Spark环境都安装好了，所以想在Intellij中运行Spark程序，但是在添加了Spark的相关依赖后，发现无法编译通过。
错误：Exception NoSuchMethodError: com.google.common.collect.MapMaker.keyEquivalence
解决方法：实现声明，之前在maven中一直引用的都是spark-core2.10，这时候报错，我定位问题出在Guava上，然后找到所有间接依赖了Guava的jar，都exclude，问题还是没有解决。期间添加了Spark的很多依赖，试了都不行，最后试了下Spark-core2.11，问题解决（有的时候版本的兼容性真的很坑）。
1.4 hadoop上传本地文件到HDFS
如果想将本地文件上传到HDFS，使用hadoop fs -put localDir hdfsDir，前提是保证hadoop启动。
错误：
jackie@jackies-MacBook-Pro:~|⇒ hadoop fs -put ~/Documents/doc/README.md /
17/05/13 10:56:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/13 10:56:40 WARN ipc.Client: Failed to connect to server: localhost/127.0.0.1:8020: try once and fail.
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:681)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:777)
at org.apache.hadoop.ipc.Client$Connection.access$3500(Client.java:409)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1542)
at org.apache.hadoop.ipc.Client.call(Client.java:1373)
at org.apache.hadoop.ipc.Client.call(Client.java:1337)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:227)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116)
at com.sun.proxy.$Proxy10.getFileInfo(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:787)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:398)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:163)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:155)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:335)
at com.sun.proxy.$Proxy11.getFileInfo(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1700)
at org.apache.hadoop.hdfs.DistributedFileSystem$27.doCall(DistributedFileSystem.java:1436)
at org.apache.hadoop.hdfs.DistributedFileSystem$27.doCall(DistributedFileSystem.java:1433)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1433)
at org.apache.hadoop.fs.Globber.getFileStatus(Globber.java:64)
at org.apache.hadoop.fs.Globber.doGlob(Globber.java:282)
at org.apache.hadoop.fs.Globber.glob(Globber.java:148)
at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:1685)
at org.apache.hadoop.fs.shell.PathData.expandAsGlob(PathData.java:326)
at org.apache.hadoop.fs.shell.CommandWithDestination.getRemoteDestination(CommandWithDestination.java:195)
at org.apache.hadoop.fs.shell.CopyCommands$Put.processOptions(CopyCommands.java:256)
at org.apache.hadoop.fs.shell.Command.run(Command.java:164)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:315)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:90)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:378)
put: Call From jackies-macbook-pro.local/192.168.73.56 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
解决方法：进入hadoop安装目录（我的是/usr/local/Cellar/hadoop）进入sbin下执行./start-all.sh启动hadoop服务。
1.5 Spark启动
上篇在配置Spark时没有配置spark-defaults.conf文件，所以在Spark安装目录下（我的是/usr/local/Spark）启动./start-all.sh出错。
错误：
spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
17/05/13 13:42:49 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/13 13:42:51 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.73.56:7077
org.apache.spark.SparkException: Exception thrown in awaitResult
at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:77)
at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:75)
at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:36)
at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59)
at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59)
at scala.PartialFunction$OrElse.apply(PartialFunction.scala:167)
at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:83)
at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:88)
at org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:96)
at org.apache.spark.deploy.client.StandaloneAppClient$ClientEndpoint$$anonfun$tryRegisterAllMasters$1$$anon$1.run(StandaloneAppClient.scala:106)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.IOException: Failed to connect to /192.168.73.56:7077
解决方法：将Spark安装目录下的conf中的spark-defaults.conf.template拷贝一份出来，重命名为spark-defaults.conf，按照https://sanwen8.cn/p/3bac5Bj.html配置好，再启动Spark，发现还是报错
https://sanwen8.cn/p/3bac5Bj.html Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
17/05/13 14:19:12 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/13 14:19:15 ERROR SparkContext: Error initializing SparkContext.
java.net.ConnectException: Call From jackies-MacBook-Pro.local/192.168.73.56 to 192.168.73.56:8021 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
于是按照StackOverflow，将spark-defaults.conf中的spark.eventLog.enabled由true改为false，之后再启动成功。
注意：这里我反复配置了localhost和自己的ip，来回切换，最终证明只要在/etc/hosts中配置好ip对应映射的名称，可以直接用名称即可，不用写ip，而且要保持hadoop中的配置文件和spark中的配置文件要一致，否则针对会精疲力尽。
1.6 将运算任务交给Spark运行的报错
运行下面的一个Demo程序
package com.jackie.scala.s513;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;
import java.util.Arrays;
import java.util.Iterator;
import java.util.List;
import java.util.regex.Pattern;
/**
* Created by jackie on 17/5/13.
*/
public class Simple
{
private static final Pattern SPACE = Pattern.compile(" ");
public static void main(String[] args) throws Exception {
//创建一个RDD对象
SparkConf conf=new SparkConf().setAppName("Simple").setMaster("local");
//创建spark上下文对象，是数据的入口
JavaSparkContext spark=new JavaSparkContext(conf);
//获取数据源
JavaRDD<String> lines = spark.textFile("hdfs://jackie:8020/");
/**
* 对于从数据源得到的DStream，用户可以在其基础上进行各种操作，
* 对于当前时间窗口内从数据源得到的数据首先进行分割，
* 然后利用Map和ReduceByKey方法进行计算，当然最后还有使用print()方法输出结果；
*/
JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
@Override
public Iterator<String> call(String s) {
return Arrays.asList(SPACE.split(s)).iterator();
}
});
//使用RDD的map和reduce方法进行计算
JavaPairRDD<String, Integer> ones = words.mapToPair(
new PairFunction<String, String, Integer>() {
@Override
public Tuple2<String, Integer> call(String s) {
return new Tuple2<String, Integer>(s, 1);
}
});
JavaPairRDD<String, Integer> counts = ones.reduceByKey(
new Function2<Integer, Integer, Integer>() {
@Override
public Integer call(Integer i1, Integer i2) {
return i1 + i2;
}
});
List<Tuple2<String, Integer>> output = counts.collect();
for (Tuple2<?,?> tuple : output) {
//输出计算结果
System.out.println(tuple._1() + ": " + tuple._2());
}
spark.stop();
}
}
这个程序需要读取HDFS上根目录下的README.md文件，但是在此之前我执行了"hadoop namenode -format"（注意，这个操作引起了后面的一系列问题）。所以就准备重新使用hadoop fs -put localDir hdfsDir上传README.md，结果这时候报错
错误：
hadoop fs -put /Users/jackie/Documents/doc/README.md /
17/05/13 15:47:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/13 15:47:16 WARN hdfs.DataStreamer: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /README.md._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1733)
at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.chooseTargetForNewBlock(FSDirWriteFileOp.java:265)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2496)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:828)
后来发现是datanode没有启动，然后开始找datanode没有启动的原因，在这里http://www.aboutyun.com/thread-7931-1-1.html
文中解释：当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode，那么datanode中保存（即配置文件中dfs.data.dir在本地系统的路径）的current/VERSION文件只是你第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。
解决方法：采取的做法是根据执行hadoop namenode –format得到成功的提示。
这时候再执行jps命令，我们就可以看到datanode了
类似的，同样是在执行hadoop fs -put /Users/jackie/Documents/doc/README.md /是报错如下
hadoop fs -put /Users/jackie/Documents/doc/README.md /
17/05/15 09:51:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/15 09:51:05 WARN ipc.Client: Failed to connect to server: jackie/192.168.73.56:8020: try once and fail.
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:681)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:777)
at org.apache.hadoop.ipc.Client$Connection.access$3500(Client.java:409)
一开始以为是ip的配置问题，但是反复修改无果，后来发现使用jps时，没有启动namenode，于是在网上找http://blog.csdn.net/bychjzh/article/details/7830508
于是在/usr/local/Cellar/hadoop/hdfs下删除原来在core-site.xml中配置的tmp目录，然后新建了hadoop_tmp目录，并在core-site.xml中修改成
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
并执行hadoop namenode –format，最后在使用start-all.sh启动所有的服务，执行上传文件成功
如果您觉得阅读本文对您有帮助，请点一下“推荐”按钮，您的“推荐”将是我最大的写作动力！如果您想持续关注我的文章，请扫描二维码，关注JackieZheng的微信公众号，我会将我的文章推送给您，并和您一起分享我日常阅读过的优质文章。
学习Spark——那些让你精疲力尽的坑的更多相关文章
- 小白学习Spark系列四：RDD踩坑总结（scala+spark2.1 sql常用方法）
初次尝试用 Spark+scala 完成项目的重构,由于两者之前都没接触过,所以边学边用的过程大多艰难.首先面临的是如何快速上手,然后是代码调优.性能调优.本章主要记录自己在项目中遇到的问题以及解决方 ...
- 5分钟学习spark streaming之 轻松在浏览器运行和修改Word Counts
方案一:根据官方实例,下载预编译好的版本,执行以下步骤: nc -lk 9999 作为实时数据源 ./bin/run-example org.apache.spark.examples.sql.str ...
- 即将上线的Spark服务器面临的一系列填坑笔记
即将上线的Spark服务器面临的一系列填坑笔记 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 把kafka和flume倒腾玩了,以为可以轻松一段时间了,没想到使用CDH部署的spa ...
- 【学习笔记】OI玄学道—代码坑点
[学习笔记]\(OI\) 玄学道-代码坑点 [目录] [逻辑运算符的短路运算] [\(cmath\)里的贝塞尔函数] 一:[逻辑运算符的短路运算] [运算规则] && 和 || 属于逻 ...
- 小白学习Spark系列三：RDD常用方法总结
上一节简单介绍了Spark的基本原理以及如何调用spark进行打包一个独立应用,那么这节我们来学习下在spark中如何编程,同样先抛出以下几个问题. Spark支持的数据集,如何理解? Spark编程 ...
- 小白学习Spark系列一：Spark简介
由于最近在工作中刚接触到scala和Spark,并且作为python中毒者,爬行过程很是艰难,所以这一系列分为几个部分记录下学习<Spark快速大数据分析>的知识点以及自己在工程中遇到的小 ...
- 学习Spark——环境搭建（Mac版）
大数据情结 还记得上次跳槽期间,与很多猎头都有聊过,其中有一个猎头告诉我,整个IT跳槽都比较频繁,但是相对来说,做大数据的比较"懒"一些,不太愿意动.后来在一篇文中中也证实了这一观 ...
- js学习日记-隐式转换相关的坑及知识
隐式转换比较是js中绕不过去的坎,就算有几年经验的工程师也很有可能对这块知识不够熟悉.就算你知道使用===比较从而避免踩坑,但是团队其它成员不一定知道有这样或那样的坑,有后端语言经验的人常常会形成一个 ...
- word2vec学习 spark版
参考资料: http://ir.dlut.edu.cn/NewsShow.aspx?ID=291 http://www.douban.com/note/298095260/ http://machin ...
随机推荐
- App字体大小不随系统改变而改变
转载请注明出处:http://www.cnblogs.com/cnwutianhao/p/6713724.html 在 "设置" , "显示" , " ...
- 关于MYSQL存储中文问题
最近在学习MYSQL时遇到了不能存储中文的问题,在网上找了很多类似的方法,最后都失败了(失败原因:修改完my.cnf文件后mysql server重新启动失败),濒临崩溃的时候重装了下mysql(Ub ...
- git-ftp 用git管理ftp空间
ftp管理不能实现版本控制,而且多电脑工作时,同步很成问题. git-ftp可以完美的解决问题 下面是我的趟坑之路,本机的环境是win10,首先你的机器得装有git. git-ftp的地址https: ...
- Unity使用GL画线
脚本需挂在相机上,如果你的脚本,编辑器报错了,Matrix stack full depth reached,加上这个方法试试GL.LoadPixelMatrix(); using System.Co ...
- 学习MVC之租房网站（五）-权限、角色、用户管理
在上一篇<学习MVC之租房网站(四)-实现Service层并进行单元测试>中,记录了实现Service层并进行单元测试的过程,接下来该到"正题"-MVC了,也就是UI层 ...
- 一行code实现ADO.NET查询结果映射至实体对象。
AutoMapper是一个.NET的对象映射工具. 主要用途 领域对象与DTO之间的转换.数据库查询结果映射至实体对象. 这次我们说说 数据库查询结果映射至实体对象. 先贴一段代码: public S ...
- 二、AspNet Core添加EF的基本方法（简略版）：
_/\__ ---==/ \\ |. \|\ | ) \\\ \_/ | //|\\ / \\\/\\ 1.在Project.json的dependencies选项中添加以下引用: "Mic ...
- [Day03] 循环语句、list相关练习题
用户输入两个数,求平均值. 让用户一直输入数字,如果输入的是'0',终止程序打印所有数字之和. 让用户一直输入数字(只输入数字),如果没输入任何值,终止程序打印所有输入数字的平均值. 求出这个list ...
- VS2017使用 SQL Localdb问题两则
VS2017使用 SQL Localdb问题两则 来博客园不算短了,总是索取者.最近使用VS2017,遇到一些问题,在解决时总是找不到拿来就能用的解决方案,在多方寻找,自行探索下,总算圆满解决,在这 ...
- iOS开发tips-UINavigationBar的切换
概述 在iOS系统中,如果控制器是以push方式进行管理的话,那么事实上多个控制器是共享的同一个导航栏.当然iOS系统的设计无可厚非,但是国内的应用经常会遇到很多个性的设计,就比如说A push到 B ...