1. 环境准备: JDK1.8 hive 2.3.4 hadoop 2.7.3 hbase 1.3.3 scala 2.11.12 mysql5.7 2. 下载spark2.0.0 cd /home/worksapce/software wget https://archive.apache.org/dist/spark/spark-2.0.0/spark-2.0.0-bin-hadoop2.7.tgz -bin-hadoop2..tgz -bin-hadoop2. spark- 3. 配置系统

1. 官网下载 wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.7.tgz 2. 解压 tar -zxvf spark-2.0.1-bin-hadoop2.7.tgz ln -s spark-2.0.1-bin-hadoop2.7 spark2 3. 环境变量 vi /etc/profile #Spark 2.0.1export SPARK_HOME=/usr/local/spark2export PATH=$P

前言 已完成安装Apache Hive,具体安装步骤请参照,Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作 补充说明 Hive中metastore(元数据存储)的三种方式: 内嵌Derby方式Local方式Remote方式 [一].内嵌Derby方式 这个是Hive默认的启动模式,一般用于单元测试,这种存储方式有一个缺点:在同一时间只能有一个进程连接使用数据库.配置文件 hive-site.xml 中jdbc URL.驱动.用户名.密码等的配置信息执行初始化命令:s

Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html Apache Hadoop集群离线安装部署(三)——Hbase安装:http://www.cnblogs.com/po

注:之前本人写了一篇SparkR的安装部署文章:SparkR安装部署及数据分析实例,当时SparkR项目还没正式入主Spark,需要自己下载SparkR安装包,但现在spark已经支持R接口,so更新了这篇文章. 1.Hadoop安装 参考: http://www.linuxidc.com/Linux/2015-11/124800.htm http://blog.csdn.net/sa14023053/article/details/51952534 yarn-site.xml <propert

导语 Spark2.0于2016-07-27正式发布,伴随着更简单.更快速.更智慧的新特性,spark 已经逐步替代 hadoop 在大数据中的地位,成为大数据处理的主流标准.本文主要以代码和绘图的方式结合,对运行架构.RDD 的实现.spark 作业原理.Sort-Based Shuffle 的存储原理. Standalone 模式 HA 机制进行解析. 1.运行架构 Spark支持多种运行模式.单机部署下,既可以用本地(Local)模式运行,也可以使用伪分布式模式来运行:当以分布式集群部署的

一.安装装备 下载安装包: vmware workstations pro 12 三台centos7.1 mini 虚拟机 网络配置NAT网络如下: 二.创建hadoop用户和hadoop用户组 1. groupadd hadoop 2. useradd hadoop 3. 给hadoop用户设置密码 在root用户下:passwd hadoop设置新密码 三.关闭防火墙和selinux 1. yum install -y firewalld 2. systemctl stop firewall

一.Scala安装 因为spark的版本原因,所以Scala我用的2.11.7. 下载目录http://www.scala-lang.org/download/ 拷贝到要安装的地址,我的地址是/usr/local 解压tar zxvf scala-2.11.7.tgz 修改gedit /etc/profile. export SCALA_HOME=/usr/local/scala-2.11.7export PATH=/usr/local/scala-2.11.7/bin:$PATH 然后测试 s

不多说,直接上干货! 我这里,采取的是ubuntu 16.04系统,当然大家也可以在CentOS6.5里,这些都是小事 CentOS 6.5的安装详解 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建(单节点)(Ubuntu系统) 大数据搭建各个子项目时配置文件技巧(适合CentOS和Ubuntu系统)(博主推荐) 新建用户组.用户.用户密码.删除用户组.用户(适合CentOS.Ubuntu系统) VMware里Ubuntu-16.

hive on spark真的很折腾人啊!!!!!!! 一.软件准备阶段 maven3.3.9 spark2.0.0 hive2.3.3 hadoop2.7.6 二.下载源码spark2.0.0,编译 下载地址:http://archive.apache.org/dist/spark/spark-2.0.0/ 编译: ./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-pr

为了将Hadoop和Spark的安装简单化,今日写下此帖. 首先,要看手头有多少机器,要安装伪分布式的Hadoop+Spark还是完全分布式的,这里分别记录. 1. 伪分布式安装 伪分布式的Hadoop是将NameNode,SecondaryNameNode,DataNode等都放在一台机器上执行,Spark同理,一般用于开发环境. 1.1 准备工作 系统准备:一台Ubuntu16.04机器,最好能够联网 准备好四个安装包:jdk-8u111-linux-x64.tar.gz,scala-2.1

前言 hadoop是分布式系统,运行在linux之上,配置起来相对复杂.对于hadoop1,很多同学就因为不能搭建正确的运行环境,导致学习兴趣锐减.不过,我有免费的学习视频下载,请点击这里. hadoop2出来后,解决了hadoop1的几个固有缺陷,比如单点故障.资源利用率低.支持作业类型少等问题,结构发生了很大变化,是hadoop未来使用的一个趋势.当然,配置也更加复杂,网上也没有一篇详细的教程来知道大家可以轻轻松松搭建起这个环境的.我应该算是第一个吧. hadoop2体系结构 要想理解本节内

前言 hadoop是分布式系统,运行在linux之上,配置起来相对复杂.对于hadoop1,很多同学就因为不能搭建正确的运行环境,导致学习兴趣锐减.不过,我有免费的学习视频下载,请点击这里. hadoop2出来后,解决了hadoop1的几个固有缺陷,比如单点故障.资源利用率低.支持作业类型少等问题,结构发生了很大变化,是hadoop未来使用的一个趋势.当然,配置也更加复杂,网上也没有一篇详细的教程来知道大家可以轻轻松松搭建起这个环境的.我应该算是第一个吧. hadoop2体系结构 要想理解本节内

Spark2.0编译 1 前言 Spark2.0正式版于今天正式发布,本文基于CDH5.0.2的Spark编译. 2 编译步骤 #2.1 下载源码 wget https://github.com/apache/spark/archive/v2.0.0.tar.gz #2.2 解压配置 基于CDH5.0.2配置pom文件,添加 <profile> <id>cdh5.0.2</id> <properties> <hadoop.version>2.3.

下载hadoop http://hadoop.apache.org/releases.html --> http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz 安装hadoop,配置HADOOP_HOME, 把${HADOOP_HOME}/bin放到path 下载spark http://spark.apache.org/downloads.html --> https:

内存计算平台spark在今年6月份的时候正式发布了spark2.0,相比上一版本的spark1.6版本,在内存优化,数据组织,流计算等方面都做出了较大的改变,同时更加注重基于DataFrame数据组织的MLlib,更加注重机器学习整个过程的管道化. 当然,作为使用者,特别是需要运用到线上的系统,大部分厂家还是会继续选择已经稳定的spark1.6版本,并且在spark2.0逐渐成熟之后才会开始考虑系统组件的升级.作为开发者,还是有必要先行一步,去了解spark2.0的一些特性和使用,及思考/借鉴一

前言 本文主要通过对hadoop2.2.0集群配置的过程加以梳理,所有的步骤都是通过自己实际测试.文档的结构也是根据自己的实际情况而定,同时也会加入自己在实际过程遇到的问题.搭建环境过程不重要,重要点在于搭建过程中遇到的问题,解决问题的过程. 可能自己遇到的问题在一些由经验的老者手上都不是问题,但是这些问题着实让自己耽误了很长时间,最后问题解决也是费了太大心血.也通过这篇文档,表现出来,算是总结,为后者提供意见. Hadoop2.2.0体系结构 要想理解本节内容,首先需要了解hadoop1的体系

Hive默认使用MapReduce作为执行引擎,即Hive on mr,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很多.默认情况下,Hive on Spark 在YARN模式下支持Spark. 因为本人在之前搭建的集群中,部署的环境为:hadoop2.7.3 hive2.3.4 scala2.12.8 kafka2

第一步:安装spark 将官网下载好的spark-2.0.0-bin-hadoop2.6.tgz上传到/usr/spark目录下.这里需注意的是spark和hadoop有对应版本关系 [root@spark1 spark]# chmod u+x spark-2.0.0-bin-hadoop2.6.tgz [root@spark1 spark]# tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz [root@spark1 spark]# mv spark-2.0.0-

目录 前言 升级spark到2.0 将geotrellis最新版部署到spark2.0(CDH) 总结 一.前言        事情总是变化这么快,前面刚写了一篇博客介绍如何将geotrellis移植导CDH中(见geotrellis使用(二十四)将Geotrellis移植到CDH中必须要填的若干个坑),刚各种折腾几天,就又跑不起来了,查找一番,发现是由于将geotrellis升级到最新版造成的,所以不得不赶紧再救火.原来是最新版以及以后的版本geotrellis都不再支持spark2.0以下版

本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb 这个月又快过完了,最近也比较忙,没时间写文章,今天挤点时间把zabbix3.0安装与配置的文章写下来. 其实zabbix3.0的安装很简单,但是由于个人比较懒,所以一直不喜欢使用源码方式进行安装,而且管理的服务器多了,源码安装也感觉不方便,所以现在大部分安装软件我都会首先选择yum或者apt-get方式进行. 本篇文章,我也不多介绍zabbix3.0安装的详细步骤了,只列出centos