系统:Win10

01 安装IDEA

IDEA版本:IntelliJ IDEA 2017.2.1 64位

使用的学生授权下载的ultimate版本,此处不赘叙安装过程。

02安装编译环境

Spark可以通过Maven和SBT两种方式进行编译,再通过make-distribution.sh脚本生成部署包。考虑到更适用于java语言,选择Maven进行编译。Maven方式编译需要Maven工具,且需要在联网状态下载依赖包。

先在Apache官网下载相应的Maven压缩包,我下载的是apche-maven-3.5.0-bin.zip,在想要安装的位置将压缩包解压。压缩包里面有一个READ.ME文档,我没按那个操作来,直接百度的安装教程来的。

虽然说是安装教程,但实际上只是将整个文件夹放在想放的位置,再配置一下环境变量。

需要配置的环境变量有两个。

新加一个环境变量,命名为M2_HOME,值就是解压的文件夹路径,比如我的是D:\Program Files\apache-maven-3.5.0。

找到另外一个环境变量Path,在后面加上一个值 %M2_HOME%\bin;

关于环境变量,需要提出注意的:一个是不要把之前的值删掉了,我第一次自己配环境就把前面的值删掉了,结果很麻烦才弄好。再就是,win7和win10的显示有所不同,win7的要注意值后面的千万不能掉,win10每个值的单独的,后面不用加;。

在环境变量配置结束后,要来测试一下环境是否配置成功。测试的方法就是通过cmd调出命令提示符窗口,输入mvn -v 查看。

得到如图结果则说明Maven安装成功。

使用命令mvn help:system 会下载相应的包到本地仓库。

随后将下载好的Maven配置到IDEA中,File→Setting→Build,Execution,Deployment→Build Tools→Maven,点击Maven home directory选择刚才安装的Maven。

03 配置JDK

jdk版本:jdk1.8.0_31

这是在安装IDEA中创建的第一个项目。先前已经安装过JDK,但是此处IDEA不能自动识别,‘’Project SDK‘’后显示“no SDK”。所以,在此处选择手动加入。点击右上角的"New..."来查找JDK所在的位置,然后将整个JDK的包加入,就可以了。

可能由于版本或者其他的原因,有的时候不会在创建项目的时候就要求必须配置JDK。在这种情况下, 我们可以选择File——>Project Structure进行配置设置界面。

Platform Setteings/SDKs 中间那栏显示的是已经配置好的JDK,如果想要加入新的JDK,就点击中间栏上方的“+”来添加。

也可以在Project Settings/Project 处,找到Project  SDK,点击“New...”来实现JDK的添加。

04 安装Scala插件

 IDEA默认情况下没有安装Scala插件,需要手动进行安装。选择File→Settings→Plugins,出现如下界面:

先点击Install JetBrains plugins,接着在插件的搜索栏里输入“scala”,出现搜索结果,选择scala,点击“Install”进行安装。(图中我已经提前完成安装,所以没有Installa按钮)

IDEA开发Spark的漫漫摸索(一)的更多相关文章

  1. IDEA开发Spark的漫漫摸索(二)

    1 新建Maven项目 特别提醒,Maven项目中有GropId和ArtifactId.GroupId是项目组织唯一的标识符,实际对应JAVA的包的结构,是main目录里java的目录结构.一般Gru ...

  2. 使用scala开发spark入门总结

    使用scala开发spark入门总结 一.spark简单介绍 关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍.推荐简单介绍连接:http://blog.jobbole.c ...

  3. 利用Scala语言开发Spark应用程序

    Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可 以阅读网络教程A Scala Tutorial for Ja ...

  4. IDEA搭建scala开发环境开发spark应用程序

    通过IDEA搭建scala开发环境开发spark应用程序   一.idea社区版安装scala插件 因为idea默认不支持scala开发环境,所以当需要使用idea搭建scala开发环境时,首先需要安 ...

  5. windows下Idea结合maven开发spark和本地调试

    本人的开发环境: 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2     在开发和搭环境时必须注意版本兼容的问题 ...

  6. 使用IDEA开发SPARK提交remote cluster执行

    开发环境 操作系统:windows 开发工具:IntelliJ IDEA  14.1.1 需要安装scala插件 编译环境:jdk 1.7   scala 2.10.4 使用IDEA开发spark应用 ...

  7. FusionInsight大数据开发---Spark应用开发

    Spark应用开发 要求: 了解Spark基本原理 搭建Spark开发环境 开发Spark应用程序 调试运行Spark应用程序 YARN资源调度,可以和Hadoop集群无缝对接 Spark适用场景大多 ...

  8. 【机器学习之一】python开发spark环境搭建

    环境 spark-1.6 python3.5 一.python开发spark原理使用python api编写pyspark代码提交运行时,为了不破坏spark原有的运行架构,会将写好的代码首先在pyt ...

  9. Spark&Hive:如何使用scala开发spark访问hive作业,如何使用yarn resourcemanager。

    背景: 接到任务,需要在一个一天数据量在460亿条记录的hive表中,筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度: 解析规则譬如: 需要解析host: api.m ...

随机推荐

  1. Java企业微信开发_08_素材管理之下载微信临时素材到本地服务器

    一.本节要点 1.获取临时素材接口 请求方式:GET(HTTPS) 请求地址:https://qyapi.weixin.qq.com/cgi-bin/media/get?access_token=AC ...

  2. Android多点触控技术

    1 简介 Android多点触控在本质上需要LCD驱动和程序本身设计上支持,目前市面上HTC.Motorola和Samsung等知名厂商只要使用电容屏触控原理的手机均可以支持多点触控Multitouc ...

  3. js中eval详解

    先来说eval的用法,内容比较简单,熟悉的可以跳过   eval函数接收一个参数s,如果s不是字符串,则直接返回s.否则执行s语句.如果s语句执行结果是一个值,则返回此值,否则返回undefined. ...

  4. Linux编程之错误代码

    头文件/usr/include/asm-generic/errno-base.h定义错误码: #ifndef _ASM_GENERIC_ERRNO_BASE_H #define _ASM_GENERI ...

  5. BZOJ1033:[ZJOI2008]杀蚂蚁

    我对模拟的理解:https://www.cnblogs.com/AKMer/p/9064018.html 题目传送门:https://www.lydsy.com/JudgeOnline/problem ...

  6. java代码Math.sqrt

    总结:这个判断小数的题目,当时全只2有一个人想出了结果.老师很开心.我很桑心~~~~ 我没想到要取膜,我只想到了除以等于0就够了.至于中间的“取膜”,我没凑齐来,还是不够灵活 package com. ...

  7. Mac系统的launchd、守护进程daemon(2013笔记整理)

    1. launchd Mac系统下通用的进程管理器,是Mac系统下非常重要的一个进程,一般来说该进程不允许直接以命令行的形式调用.只能通过其控制管理界面,launchctl来进行控制. launchd ...

  8. mahout 实现canopy

    环境: mahout-0.8 hadoop-1.1.2 ubuntu-12.04 理论这里就不说了,直接上实例: 下面举一个例子. 数据准备: canopy.dat文件,COPY到HDFS上,文件内容 ...

  9. 文件格式——gff格式

    Gff文件格式 gff格式是Sanger研究所定义,是一种简单的.方便的对于DNA.RNA以及蛋白质序列的特征进行描述的一种数据格式,已经成为序列注释的通用格式,比如基因组的基因预测,许多软件都支持输 ...

  10. Asp.net Core 使用 EntityFrameworkCore 1.1

    前言 相比大家也在开发中是非常喜欢用ORM的.今天就来介绍一下EntityFrameworkCore的使用方法. 自从EF Core升级到1.1之后,确实变化挺大的.如果没试过真的不知道坑是挺多的.今 ...