说起大数据开发,必然就会提到Spark,在这片博文中,我们就介绍一下Spark的安装和配置. 这是Centos7开发环境系列的第三篇,本篇的安装会基于之前的配置进行,有需要的请回复搭建centos7的开发环境1-系统安装及Python配置.搭建centos7的开发环境2-单机版Hadoop2.7.3配置. 安装Spark 这里说明一下各种软件的版本号: open-JDK: 1.8.0 Hadoop: 2.7.3 scala: 2.11.8 Spark: 2.1.0 scala 下载 sacla2…

最近公司准备升级spark环境,主要原因是生产环境的spark和hadoop版本都比较低,但是具体升级到何种版本还不确定,需要做进一步的测试分析.这个任务对于大数据开发环境配置有要求,这里记录一下配置过程,但是对于为什么要做这些配置还不是很了解,算是知其然不知其所以然,深入了解再写篇博文分析. JDK配置 按照上一篇博文的配置,我发现centos7的 JDK已经安装好了,可以通过下面的代码进行检查,如下图,显示的1.8.0_121的openJDK [kejun@localhost ~]$ jav…

在公司开发部干活的好处是可以再分配一台高性能的PC,有了新的工作电脑,原来分配的笔记本电脑就可以安装linux系统做开发了,主要有两方面的开发计划,一个是计划中要参与爬虫系统的开发,第二个是大数据环境的安装和测试. 选择centos 既然选择了要做linux开发了,选择哪个系统版本就成立一个问题.以前学OS系统时候,用过ubuntu,GUI感觉和用老版本的windows比较像(后来ubuntu12的GUI惊艳了我),和windows环境的差异感比较小. 最后决定是centos,最重要的原因是公司…

一步一步,从零搭建Go语言开发环境. 安装Go语言及搭建Go语言开发环境 下载 下载地址 Go官网下载地址:https://golang.org/dl/ Go官方镜像站(推荐):https://golang.google.cn/dl/ 版本的选择 Windows平台和Mac平台推荐下载可执行文件版,Linux平台下载压缩文件版. 安装 Windows安装 此安装实例以 64位Win10系统安装 Go1.11.5可执行文件版本为例. 将上一步选好的安装包下载到本地. 双击下载好的文件 Linux下…

一步一步,从零搭建Go语言开发环境. 安装Go语言及搭建Go语言开发环境 下载 下载地址 Go官网下载地址:https://golang.org/dl/ Go官方镜像站(推荐):https://golang.google.cn/dl/ 版本的选择 Windows平台和Mac平台推荐下载可执行文件版,Linux平台下载压缩文件版. 安装 Windows安装 此安装实例以 64位Win10系统安装 Go1.11.5可执行文件版本为例. 将上一步选好的安装包下载到本地. 双击下载好的文件一直Next…

从零开始搭建Go语言开发环境 一步一步,从零搭建Go语言开发环境. 安装Go语言及搭建Go语言开发环境 下载 下载地址 Go官网下载地址:https://golang.org/dl/ Go官方镜像站(推荐):https://golang.google.cn/dl/ 版本的选择 Windows平台和Mac平台推荐下载可执行文件版,Linux平台下载压缩文件版. 安装 Windows安装 此安装实例以 64位Win10系统安装 Go1.11.5可执行文件版本为例. 将上一步选好的安装包下载到本地.…

1.前言 本文章旨在讲解grunt入门,以及讲解grunt最常用的几个插件的使用. 2.安装node.js Grunt和所有grunt插件都是基于nodejs来运行的,如果你的电脑上没有nodejs,就去安装吧.安装nodejs非常简单,完全傻瓜式.下一步下一步下一步.的安装方式,这里不再赘述.去 https://nodejs.org/ 上,点击页面中那个绿色.大大的“install”按钮即可.我这儿在百度云盘存放一个,需要的点击下载 安装了nodejs之后,可以在你的控制台中输入“node -…

Windows下搭建Spark+Hadoop开发环境需要一些工具支持. 只需要确保您的电脑已装好Java环境,那么就可以开始了. 一. 准备工作 1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装) 下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/ 下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录. 2. 下载支持插件 下载地址:…

​[声明] 欢迎转载,但请保留文章原始出处→_→ 生命壹号:http://www.cnblogs.com/smyhvae/ 文章来源:http://www.cnblogs.com/smyhvae/p/4013535.html [正文] [开发环境] 物理机版本:Win 7旗舰版(32位) Java SDK版本:jdk1.8.0_20(32位) Android SDK版本:Android 4.4(API 20) IntelliJ IDEA版本:IntelliJ IDEA 13.1 一.Intell…

为了开发linux驱动方便些,我们一般将linux作为Android的开发环境,那么就需要搭建Android的开发环境,下面是一些搭建Android底层时的心得: (1)安装JDK:除了普遍使用的下载压缩安装配置PATH 方法外,Ubuntu linux还提供了更简单的方法: #vim/etc/apt/sources.list后添加deb http://old-releases.ubuntu.com/ubuntu/ hardy multiverse源 # apt-get update # apt…