一.修改hosts文件 在主节点,就是第一台主机的命令行下; vim /etc/hosts 我的是三台云主机: 在原文件的基础上加上; ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2 其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和iip3为从节点. 二.ssh互信(免密码登录) 注意我这里配置的是root用户,所以以下的家目录是/root 如果你配置的是用户是xxxx,那么…

一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0  jdk1.8.0_161. spark-2.4.0-bin-hadoop2.6.这里的环境不一定需要和我一样,基本版本差不多都ok的,但注意这里spark要和hadoop版本相对应.所需安装包和压缩包自行下载即可. 因为这里是配置spark的教程,首先必须要配置Hadoop,配置Hadoop的教程在Hadoop2.0伪分布式平台环境搭建.配置Java以及安装VMware Tools就自行百度解决哈,这里就不写了(…

1.选取三台服务器(CentOS系统64位) 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些操作是得用root用户操作.如果是用root用户操作的话就不存在以上问题. 我是用root用户操作的. 2.修改hosts文件 修改三台服务器的hosts文件. vi /etc/hosts 在原文件的基础最后面加上: 114.55.246.88 Master 114.55.…

本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoop用户 使用root账户创建hadoop用户,为了在实验环境下便于操作,赋予hadoop用户sudo权限.具体操作代码如下: useradd hadoop # 添加hadoop用户 passwd hadoop # 设置密码 visudo hadoop ALL=(root)NOPASSWD:ALL 二…

一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar.gz 二,开始安装: 1,安装hadoop,以及jdk环境! 若没有安装hadoop,可参考文章:hadoop伪分布式环境搭建 2,将下载的hive压缩包解压到指定的目录.这里我的安装目录是 /opt/hive,压缩包的目录在-/下载/文件夹下 suod tar -zxvf -/下载/apache-…

Hadoop2.7.5+Hbase1.4.0完全分布式一.在介绍完全分布式之前先给初学者推荐两本书:<Hbase权威指南>偏理论<Hbase实战>实战多一些 二.在安装完全分布式之前应该对他们的概念有个简单的认知:1.Hadoop擅长存储任意的.半结构化的,甚至是结构化的数据,几乎是现在所有数据库的一种补充.2.Hbase是hadoop数据库,hbase并不是一个列式存储数据库,他是利用的磁盘上的列存储格式.3.列存储数据库是以"列"为单位的聚合数据库,然后按顺…

hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建(4)SPARK 安装 一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文:http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 二.文件准备 spark-2.…

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool…

  Hadoop-2.4.1完全分布式环境搭建   Hadoop-2.4.1完全分布式环境搭建 一.配置步骤如下: 主机环境搭建,这里是使用了5台虚拟机,在ubuntu 13系统上进行搭建hadoop环境. 创建hadoop用户组以及hadoop用户,并给hadoop用户分配权限. 免密码登陆,为5台主机进行免密码登陆配置. 安装hadoop以及jdk,并配置环境变量. Hadoop分布式环境参数配置. 二.主机环境搭建: 在虚拟机上安装5台虚拟主机并分别安装好hadoop系统,然后分别完成以下…

今天我们来完成hadoop2.x的完全分布式环境搭建,话说学习本来是一件很快乐的事情,可是一到了搭环境就怎么都让人快乐不起来啊,搭环境的时间比学习的时间还多.都是泪.话不多说,走起. 1 准备工作 开工之前先说一下我们的机器环境: 一共是4台主机,主机1,2,3都是从master克隆过来的: 主机名 IP 用户 hadoopmaster 192.168.131.128 hadoop hadoopslaver1 192.168.131.130 hadoop hadoopslaver2 192.16…