近期开始研究学习spark,开发环境有多种,由于习惯使用STS的maven项目,但是按照许多资料的方法尝试以后并没有成功,也可能是我环境问题:也可以是用scala中自带的eclipse,但是不太习惯,听说支持也不太好,好多问题:咨询一些人后说,IDEA对scala的支持比较好.所以尝试使用IDEA来构建Spark开发环境: 1.  安装JDK 2.  安装IDEA最新版,目前是IDEA 14,社区免费版就可以: 3.  安装scala插件,运行IDEA,初次运行,可以直接再弹出的tab框中选择“…

配置Hadoop1.2.1+eclipse(Juno版)开发环境,并运行WordCount程序 一.   需求部分 在ubuntu上用Eclipse IDE进行hadoop相关的开发,需要在Eclipse上安装hadoop的开发插件.最新释放出的hadoop包含源码的包,以 hadoop-1.X为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个合适hadoop的eclipse插件.下面将详细介绍插件的编译安装过程,以及在Eclipse上配置hadoop开发插…

1.首先现在idea,官网:https://www.jetbrains.com/idea/ 2.安装jdk1.8,scala2.11 3.下载idea后,需要在idea中安装scala的插件,安装的方式如下: File--->settings--->Plugins--->输入scala(下图是我已经安装好了) 3.配置spark依赖包 下载spark相关的包spark-2.1.1-bin-hadoop2.7.tgz 并将spark相关的jars依赖包添加到项目的library中,具体操作…

如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境,并基于scala编写简单的spark中wordcount实例. 1.准备工作 首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA,本文中使用的是win7系统,环境配置如下: jdk1.7.0_15 scala2.10.4 scala官网下载地址:http://www.scala-lang.org/download/ 如果是windows请下载msi安装包. 这两个可以在官网上下载jdk和s…

1. Win7下利用Intellij IDEA构建Spark开发环境 前提:Intellij IDEA Community 免费版下载(最新版14.0.1),Scala插件下载(最新版scala-intellij-bin-1.1.2.zip) 1> 安装Intellij IDEA Scala运行环境 http://blog.csdn.net/asongoficeandfire/article/details/26412493 Note:  a. 新建Scala Project后,会出现相应的树形…

Spark的开发环境,可以基于IDEA+Scala插件,最终将打包得到的jar文件放入Linux服务器上的Spark上运行 如果是Python的小伙伴,可以在Windows上部署spark+hadoop+pycharm开发环境进行本地开发和调测,最后将py文件放入Linux服务器上的Spark运行 #### 先挖坑,后填坑 ####…

Spark高可用集群搭建 在所有节点上下载或上传spark文件,解压缩安装,建立软连接 配置所有节点spark安装目录下的spark-evn.sh文件 配置slaves 配置spark-default.conf 配置所有节点的环境变量 spark-evn.sh [root@node01 conf]# mv spark-env.sh.template spark-env.sh [root@node01 conf]# vi spark-env.sh 加入 export JAVA_HOME=/usr/…

Vagrant 是一个简单易用的部署工具,用英文说应该是 Orchestration Tool .它能帮助开发人员迅速的构建一个开发环境,帮助测试人员构建测试环境, Vagrant 基于 Ruby 开发,使用开源 VirtualBox 作为虚拟化支持,可以轻松的跨平台部署. 通俗的来说, 就是在本地部署一个和 Linux 虚拟机上的同步文件夹, 这样所有的操作都方便了许多   准备工作 下载 VirtualBox 虚拟器 : https://www.virtualbox.org/ 下载安装 Va…

构建XamarinForms开发环境 所谓Xamarin.Forms的开发环境,就是指在基本硬件和数字软件的基础上,为支持系统软件和应用软件的工程化开发和维护而使用的一组软件,简称SDE.对于任何的程序来说,要实现开发,就需要需要构建开发环境,Xamarin.Forms应用开发也不例外.本章将讲解如何构建Xamarin.Forms应用程序所需的开发环境. Xamarin介绍 Xamarin是一个移动应用开发平台,它提供了跨平台开发能力.开发人员透过Xamarin开发工具与程序语言,可以开发出iO…

使用Aptana构建Python开发环境 下载Aptana: http://www.aptana.com/products/studio3/download http://www.newasp.net/soft/73541.html#downloads   如何安装与使用Aptana: http://www.tuicool.com/articles/ryYvYr http://www.jb51.net/article/87665.htm     构建Python开发环境一. 安装Aptana A…