IDEA开发Spark的漫漫摸索(一)
系统:Win10
01 安装IDEA
IDEA版本:IntelliJ IDEA 2017.2.1 64位
使用的学生授权下载的ultimate版本,此处不赘叙安装过程。
02安装编译环境
Spark可以通过Maven和SBT两种方式进行编译,再通过make-distribution.sh脚本生成部署包。考虑到更适用于java语言,选择Maven进行编译。Maven方式编译需要Maven工具,且需要在联网状态下载依赖包。
先在Apache官网下载相应的Maven压缩包,我下载的是apche-maven-3.5.0-bin.zip,在想要安装的位置将压缩包解压。压缩包里面有一个READ.ME文档,我没按那个操作来,直接百度的安装教程来的。
虽然说是安装教程,但实际上只是将整个文件夹放在想放的位置,再配置一下环境变量。
需要配置的环境变量有两个。
新加一个环境变量,命名为M2_HOME,值就是解压的文件夹路径,比如我的是D:\Program Files\apache-maven-3.5.0。
找到另外一个环境变量Path,在后面加上一个值 %M2_HOME%\bin;
关于环境变量,需要提出注意的:一个是不要把之前的值删掉了,我第一次自己配环境就把前面的值删掉了,结果很麻烦才弄好。再就是,win7和win10的显示有所不同,win7的要注意值后面的;千万不能掉,win10每个值的单独的,后面不用加;。
在环境变量配置结束后,要来测试一下环境是否配置成功。测试的方法就是通过cmd调出命令提示符窗口,输入mvn -v 查看。
得到如图结果则说明Maven安装成功。
使用命令mvn help:system 会下载相应的包到本地仓库。
随后将下载好的Maven配置到IDEA中,File→Setting→Build,Execution,Deployment→Build Tools→Maven,点击Maven home directory选择刚才安装的Maven。
03 配置JDK
jdk版本:jdk1.8.0_31
这是在安装IDEA中创建的第一个项目。先前已经安装过JDK,但是此处IDEA不能自动识别,‘’Project SDK‘’后显示“no SDK”。所以,在此处选择手动加入。点击右上角的"New..."来查找JDK所在的位置,然后将整个JDK的包加入,就可以了。
可能由于版本或者其他的原因,有的时候不会在创建项目的时候就要求必须配置JDK。在这种情况下, 我们可以选择File——>Project Structure进行配置设置界面。
Platform Setteings/SDKs 中间那栏显示的是已经配置好的JDK,如果想要加入新的JDK,就点击中间栏上方的“+”来添加。
也可以在Project Settings/Project 处,找到Project SDK,点击“New...”来实现JDK的添加。
04 安装Scala插件
先点击Install JetBrains plugins,接着在插件的搜索栏里输入“scala”,出现搜索结果,选择scala,点击“Install”进行安装。(图中我已经提前完成安装,所以没有Installa按钮)
IDEA开发Spark的漫漫摸索(一)的更多相关文章
- IDEA开发Spark的漫漫摸索(二)
1 新建Maven项目 特别提醒,Maven项目中有GropId和ArtifactId.GroupId是项目组织唯一的标识符,实际对应JAVA的包的结构,是main目录里java的目录结构.一般Gru ...
- 使用scala开发spark入门总结
使用scala开发spark入门总结 一.spark简单介绍 关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍.推荐简单介绍连接:http://blog.jobbole.c ...
- 利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可 以阅读网络教程A Scala Tutorial for Ja ...
- IDEA搭建scala开发环境开发spark应用程序
通过IDEA搭建scala开发环境开发spark应用程序 一.idea社区版安装scala插件 因为idea默认不支持scala开发环境,所以当需要使用idea搭建scala开发环境时,首先需要安 ...
- windows下Idea结合maven开发spark和本地调试
本人的开发环境: 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2 在开发和搭环境时必须注意版本兼容的问题 ...
- 使用IDEA开发SPARK提交remote cluster执行
开发环境 操作系统:windows 开发工具:IntelliJ IDEA 14.1.1 需要安装scala插件 编译环境:jdk 1.7 scala 2.10.4 使用IDEA开发spark应用 ...
- FusionInsight大数据开发---Spark应用开发
Spark应用开发 要求: 了解Spark基本原理 搭建Spark开发环境 开发Spark应用程序 调试运行Spark应用程序 YARN资源调度,可以和Hadoop集群无缝对接 Spark适用场景大多 ...
- 【机器学习之一】python开发spark环境搭建
环境 spark-1.6 python3.5 一.python开发spark原理使用python api编写pyspark代码提交运行时,为了不破坏spark原有的运行架构,会将写好的代码首先在pyt ...
- Spark&Hive:如何使用scala开发spark访问hive作业,如何使用yarn resourcemanager。
背景: 接到任务,需要在一个一天数据量在460亿条记录的hive表中,筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度: 解析规则譬如: 需要解析host: api.m ...
随机推荐
- Java微信开发_Exception_01_The type org.xmlpull.v1.XmlPullParser cannot be resolved. It is indirectly referenced from required .class files
一.源码: package com.souvc.weixin.util; import java.io.InputStream; import java.io.Writer; import java. ...
- poj-1442 Black Box(Treap)
题目链接: Black Box 题意: 给一个序列,m个询问,每个询问是求前x个数中的第i小是多少; 思路: Treap的入门题目;Treap能实现STL的set实现不了的功能,如名次树(rank t ...
- Android DOM解析XML方法及优化
在Android应用开发中,我们常常要在应用启动后从服务器下载一些配置文件,这些配置文件包含一些项目中可能用到的资源,这些文件很多情况下是XML文件,这时就要将XML下载到文件中保存,之后再解析XML ...
- informix 把数据从一个表倒到另外一个表中
drop table zrjReinUnClaimTmpT; create table zrjReinUnClaimTmpT ( mainid SERIAL not null, RepayNo var ...
- bzoj 4771: 七彩树 树链的并+可持久化线段树
题目大意: 给定一颗树,询问树中某个点x的子树中与其距离不超过d的所有点中本质不同的颜色数 强制在线 题解: 一下午终于把这道题叉掉了. 写了三个算法,前两个都是错的,后一个是%的网上大爷们的题解. ...
- bzoj 3514: GERALD07加强版 lct+可持久化线段树
题目大意: N个点M条边的无向图,询问保留图中编号在[l,r]的边的时候图中的联通块个数. 题解: 这道题考试的时候没想出来 于是便爆炸了 结果今天下午拿出昨天准备的题表准备做题的时候 题表里就有这题 ...
- poj 3469 Dual Core CPU——最小割
题目:http://poj.org/problem?id=3469 最小割裸题. 那个限制就是在 i.j 之间连双向边. 根据本题能引出网络流中二元关系的种种. 别忘了写 if ( x==n+1 ) ...
- POJ2785(upper_bound)
#include"cstdio" #include"algorithm" using namespace std; ; int A[MAXN],B[MAXN], ...
- js中this
首先声明,我是小白,以下只是自己的简单理解. 先看下面的代码: (function () { console.log(this); })(); 毫无疑虑,输出的是window. 在看下面代码: (fu ...
- oracle中创建sequence指定起始值
oracle中创建sequence指定起始值 DECLARE V_Area_Id NUMBER; BEGIN SELECT MAX(T.Area_Id)+10 INTO V_Area_Id FROM ...