Hadoop配置安装手册
本次Hadoop集群安装一共使用四个节点,各节点IP如下:
Master |
172.22.120.191 |
Slave1 |
172.22.120.192 |
Slave2 |
172.22.120.193 |
Slave3 |
172.22.120.193 |
系统版本CentOS 6.2L
JDK版本:1.7
Hadoop版本:1.1.2
完成四个节点系统安装后,开始安装hadoop:
1. 配置hosts文件
2. 配置SSH免密码登录
3. 安装JDK
4. 下载并解压hadoop
5. 配置namenode,修改site文件
6. 配置hadoop-env.sh文件
7. 配置masters和Slaves文件
8. 向各节点复制hadoop
9. 格式化namenode
10. 启动hadoop
11. Jps检测是否启动成功
12. 通过网站查看集群情况
1 配置hosts文件
Hadoop会使用多个端口,开始配置前最好开放相应端口或者关闭防火墙
CentOS命令为:
chkconfig iptables off
service iptables stop
为了方便操作,我们直接配置hosts文件,以后可以直接使用master,slave来代替IP
2 配置SSH免密码登录
因为hadoop需要用master节点管理其它节点,需要将master的public key发送给其他节点,使用SSH可以减少很多操作。
返回hadoop账号,创建hadoop用户的密钥:
生成密钥后,将public key更名为authorized_keys文件,并测试是否可以免密码登录:
输入命令: ssh master,检测是否需要密码,第一次会提示是否保存密钥,输入yes即可,在其他三个节点中执行相同的操作。
最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。
如果成功,则可以直接使用 ssh slave 连接其他节点。
3 安装JDK
先查看自带jdk,这里是openJDK,我们需要卸载然后重新安装JDK
查看openJDK依赖包,依次卸载
将jdk文件复制到master节点 /usr/local 目录下并解压。
修改 /etc/profile 文件,添加Jdk目录
输入 source /etc/profile 使配置生效
最后查看java版本
尽量保持各节点jdk版本和路径一直,方便后续安装
4 下载并解压hadoop
修改 /etc/profile文件,添加hadoop路径
最后使 profile文件生效,输入 source /etc/profile
5 配置namenode,修改site文件
6 配置hadoop-env.sh文件
7 配置masters和Slaves文件
8 向各节点复制hadoop
对其他节点执行相同操作,将Hadoop文件发送到节点
9 格式化namenode
在第一次启动时格式化namenode,多次格式化可能会使namenode和datanodeID不一致
10 启动hadoop
11 Jps检测是否启动成功
12 通过网站查看集群情况
Hadoop配置安装手册的更多相关文章
- Ubuntu下Hadoop快速安装手册
http://www.linuxidc.com/Linux/2012-02/53106.htm 一.环境 Ubuntu 10.10+jdk1.6 二.下载&安装程序 1.1 Apache Ha ...
- hadoop 配置安装
1. 下载hadoop 压缩包, 拷贝到 /usr/hadoop目录下 tar -zxvf hadoop-2.7.1.tar.gz, 比如: 127.0.0.1 localhost 19 ...
- Hadoop单机版安装,配置,运行
Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...
- hadoop的安装和配置(三)完全分布式模式
博主会用三篇文章为大家详细说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 完全分布式模式: 前面已经说了本地模式和伪分布模式,这两种在hadoop的应用中并不用于实际,因为几乎没人会 ...
- hadoop的安装和配置(二)伪分布模式
博主会用三篇文章为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 伪分布式模式: 这篇为大家带来hadoop的伪分布模式: 从最简单的方面来说,伪分布模式就是在本地模式上修 ...
- hadoop的安装和配置(一)本地模式
博主会用三篇文章来为大家详细的说明hadoop的三种模式: 本地模式 伪分布模式 完全分布模式 本地模式: 思路走向 |--------------------| | ①:配置Java环境 | | ...
- Hadoop配置第2节-JDK的安装
Hadoop配置-JDK的安装 总体目标:完成zookeeper+Hadoop+Hbase 整合平台搭建 进度:1:集群网络属性配置2:集群免密码登陆配置3:JDK的安装4:Zookeeper的安 ...
- Hadoop HDFS安装、环境配置
hadoop安装 进入Xftp将hadoop-2.7.3.tar.gz 复制到自己的虚拟机系统下的放软件的地方,我的是/soft/software 在虚拟机系统装软件文件里,进行解压缩并重命名 进入p ...
- 在虚拟机上配置安装hadoop集群
原本以为有大神已经总结的很清楚了,就不自己在写了, 但是在自己安装的过程中还是出现了一些问题, 所以打算以自己的方式重新总结一下. 参考https://blog.csdn.net/hliq539 ...
随机推荐
- Superpixel Based RGB-D Image Segmentation Using Markov Random Field——阅读笔记
1.基本信息 题目:使用马尔科夫场实现基于超像素的RGB-D图像分割: 作者所属:Ferdowsi University of Mashhad(Iron) 发表:2015 International ...
- [Notes] Learn Python2.7 From Python Tutorial
I have planed to learn Python for many times. I have started to learn Python for many times . Howeve ...
- Luogu题目集合[6/未完待续]
1. P1327数列排序 题目描述 给定一个数列{an},这个数列满足ai≠aj(i≠j),现在要求你把这个数列从小到大排序,每次允许你交换其中任意一对数,请问最少需要几次交换? 输入输出格式 输入格 ...
- 第五章项目:QuickHit
需求概述: 根据输入速率和正确率将玩家分为不同级别,级别越高,一次显示的字符数越多,玩家正确输入一次的得分也越高.如果玩家在规定时间内完成规定次数的输入,正确率达到规定要求,则玩家升级(为了简单起见, ...
- JVM再了解了解
转自 http://www.cnblogs.com/Coda/p/4331432.html 相信大家已经了解到Java具有跨平台的特性,可以“一次编译,到处运行”,在Windows下编写的程序,无需任 ...
- 万能的 SQL编程
简介:T-SQL语句创建库.创建表和听.和添加约束等.T-SQL是数据库结构化查询语言,常见的增加.删出.修改.查询.创建库和创建表的语句,还支持定义变量.输出语句.逻辑控制语句(IF.CASE.WH ...
- MySQL 基础语句的练习
-- *** ①.对数据库的操作 *** -- -- 查看所有的数据库 SHOW DATABASES; -- 创建数据库 CREATE DATABASE day1026 DEFAULT CHARACT ...
- chrome插件编写之新版hello world
编写chrome插件之前,需要熟悉一下相应的chrome插件开发环境.从编写hello world开始,参考阅读官方的教程,是一个不错的选择.这里主要是基于chrome的官方教程,稍稍做了一些修改和扩 ...
- Centos6.5 设置nfs
安装 rpcbind 和 nfs-utils yum install rpcbind yum install nfs-utils 设置共享目录 [root@bogon ~]# vim /etc/exp ...
- 兼容利器之X-UA-Compatible
文档兼容模式 不同浏览器之间经常产生各种奇异的现象,为了解决这些问题,使用以下方法,发现很多问题自动消失不见了 <meta http-equiv="X-UA-Compatible&qu ...