1. 下载解压安装包 tar -xvf spark-2.0.2-bin-hadoop2.6.tgz tar -xvf scala-2.11.8.tgz 2. 修改Spark配置文件 cd spark-2.0.2-bin-hadoop2.6/conf/ vim spark-env.sh export SCALA_HOME=/usr/local/src/scala-2.11.8 export JAVA_HOME=/usr/local/src/jdk1.8.0_221 export HADOOP_HO
一个很久之前写的Spark作业,当时运行在local模式下.最近又开始处理这方面数据了,就打包提交集群,结果频频空指针.最开始以为是程序中有null调用了,经过排除发现是继承App导致集群运行时候无法反射获取main方法. 这个问题不难,起始我们也知道提交作业时候不能继承App,源码也看过这一部分,容易被混淆是程序的错.错误如下: Exception in thread "main" org.apache.spark.SparkException: Job aborted due to