本文主要记录Spark 在 Eclipse中报 找不到主类的问题。在新建Spark工程，然后add external jars 选择 spark-assembly-1.4.0-hadoop2.6.0.jar 之后，项目工程会出现一个红色的小×，然后发现在 problems中报错：

Description Resource Path Location Type

More than one scala library found in the build path (E:/scalaIDE/eclipse/plugins/org.scala-lang.scala-library_2.12.2.v20170412-161608-VFINAL-21d12e9.jar, D:/spark/spark-1.4.0-bin-hadoop2.6/lib/spark-assembly-1.4.0-hadoop2.6.0.jar).At least one has an incompatible version. Please update the project build path so it contains only one compatible scala library. ScalaProject Unknown Scala Classpath Problem

这个错误主要是由于 本地的scala与spark所带的scala冲突导致的。所以我们首先需要将本地的scala删除，右键 scala library container，然后选择build path，remove from build path 即可。此时，可能会发现工程有一个黄色的感叹号。再右键 run as，scala application，结果发现problems中报错：

Description Resource Path Location Type

The version of scala library found in the build path of ScalaProject (2.10.4) is prior to the one provided by scala IDE (2.12.2). Setting a Scala Installation Choice to match. ScalaProject Unknown Scala Version Problem

这里是说，spark 所带的scala 版本与 scala IDE 所提供的版本不一致（spark 的scala 版本更老一些），所以我们需要工程右键，选择properties，然后选择 scala compiler，勾选 use project settings，选择合适的 scala 版本，因为我的spark 带的scala版本比较老，所以这里我选择 latest 2.10 bundle(dynamic)，选择apply，OK之后。一切就大功告成了。此时，可以写一个spark的的wordcount，发现就成功运行啦。

PS：这么一个小小的问题，折腾了我好几个小时，最主要原因就是我一直搜报错：找不到主类，这并没有解决我的问题。后来我去看problems，搜索英文的报错，一下子就找到解决的办法了。这说明以后程序出现问题还是尽量搜索英文吧，多去stackoverflow搜索提问，也许会使问题得到更快的解决。

Eclipse 配置运行Spark的更多相关文章

  1. 在Eclipse上运行Spark(Standalone,Yarn-Client)

    欢迎转载,且请注明出处,在文章页面明显位置给出原文连接. 原文链接:http://www.cnblogs.com/zdfjf/p/5175566.html 我们知道有eclipse的Hadoop插件, ...

  2. eclipse配置运行时变量

    说明:我这里是在执行测试方法是配置的环境变量 步骤: 选中测试方法 -> 右键 -> run as -> run configurations ->

  3. Eclipse配置“运行时依赖路径”

    Python项目 本地有项目A,项目B,项目A,依赖项目B,在eclipse中,将项目B的路径添加到项目A的PYTHONPATH中. Java项目Build path(略)

  4. 运行spark自带的例子出错及解决

    以往都是用java运行spark的没问题,今天用scala在eclipse上运行spark的代码倒是出现了错误 ,记录 首先是当我把相关的包导入好后,Run,报错: Exception in thre ...

  5. openfire：Openfire源代码在eclipse中的运行配置 + 与spark结合进行二次开发

    1.下载源代码:http://www.igniterealtime.org/downloads/source.jsp 2.把源代码解压出的openfire_src文件夹放至eclipse workpl ...

  6. eclipse运行spark程序时日志颜色为黑色的解决办法

    自从开始学习spark计算框架以来,我们老师教的是local模式下用eclipse运行spark程序,然后我在运行spark程序时,发现控制台的日志颜色总是显示为黑色,哇,作为程序猿总有一种强迫症,发 ...

  7. eclipse配置tomcat，让java web项目运行起来！

    做项目,搞开发.开发环境配置时第一步.只有环境搭好了,以后的事情才能顺利进行! 这不需求来了,负一屏项目有新功能需要添加,临时接手,要进行服务器前端开发.这个项目是以前后台java人员进行开发的.都是 ...

  8. Eclipse配置Tomcat并运行

    这篇文章介绍Eclipse配置tomcat.我们假设已经安装好JDK并且配置好了JDK的环境变量.然后我们需要下载并安装Eclipse和tomcat:Eclipse:http://www.eclips ...

  9. Spark Tachyon实战应用（配置启动环境、运行spark和运行mapreduce）

    Tachyon实战应用 配置及启动环境 修改spark-env.sh 启动HDFS 启动Tachyon Tachyon上运行Spark 添加core-site.xml 启动Spark集群 读取文件并保 ...

随机推荐

  1. [已解决]import pymssql ImportError: libsybdb.so.5

    在python3.6的环境下安装pymssql安装包,运行程序时报错:import pymssql ImportError: libsybdb.so.5 在网上搜索了一大圈很多都是讲文件存在但是没有添 ...

  2. 错误:'dict' object is not callable

    在晚上学习别人的代码,偶然爆出错误:'dict' object is not callable 找了半天没发现错误.后来还想上文已经有变量名为dict. 因此dict在下面程序中被认为是一个变量不是内 ...

  3. python中的slice用法

    同事在网上做题碰到的 >>> items = [0,1,2,3,4,5,6,7,8,9] >>> a = _____(2,4) >>> items ...

  4. 基于input子系统的sensor驱动调试（二）

    继上一篇:http://www.cnblogs.com/linhaostudy/p/8303628.html#_label1_1 一.驱动流程解析: 1.模块加载: static struct of_ ...

  5. java实现 比较两个文本相似度-- java 中文版 simHash 实现 ,

    比较两个文本的相似度 这里采用 simHash 算法 ; 分词是 基于 http://hanlp.linrunsoft.com/ 的开源 中文分词包 来实现分词 ; 实现效果图: 直接上源码: htt ...

  6. 手机termux上安装msfconsole

    大家可能因为手机没有root而不能通过deploy安装kali 我们使用termux来安装渗透工具 1.下载并安装Termux,更新软件源并升级软件包 apt update apt upgrade a ...

  7. 记一次python的一些参数

    isdigit把字符串转化为整数 用法 if xx.isdigit(): xx=int(xx) index创建一个小原组,用法print(a.index(b),b)从0开始

  8. 【批处理学习笔记】第二十九课：ASCII码

    前面的例子中,我们已经使用过一次ASCII码了,也就是那个笑脸.ASCII码是图形化的符号,可以用来点缀我们的批处理的.    在cmd窗口中我们可以通过任意一个字符的ASCII码来输入该字符,比如C ...

  9. [51nod1709]复杂度分析

    给出一棵n个点的树(以1号点为根),定义dep[i]为点i到根路径上点的个数.众所周知,树上最近公共祖先问题可以用倍增算法解决.现在我们需要算出这个算法精确的复杂度.我们定义计算点i和点j最近公共组先 ...

  10. 51Nod 1046 A^B Mod C(日常复习快速幂)

    1046 A^B Mod C 基准时间限制:1 秒 空间限制:131072 KB 分值: 0 难度:基础题 给出3个正整数A B C,求A^B Mod C. 例如,3 5 8,3^5 Mod 8 = ...