Hadoop多节点Cluster
Hadoop多节点集群规划
服务起名称 | 内网IP | HDFS | YARN |
master | 192.168.1.155 | NameNode | ResourceManager |
slave1 | 192.168.1.116 | DataNode | NodeManager |
slave2 | 192.168.1.117 | DataNode | NodeManager |
slave3 | 192.168.1.118 | DataNode | NodeManager |
1. Slave1机器配置
1.1 以单机Hadoop镜像为模板克隆出一个虚拟机, 修改固定IP及MAC地址(修改/etc/sysconfig/network-scripts/ifcfg-ens33)
DEVICE="ens33"
HWADDR="00:0C:29:30:BB:7E"
Type="Ethernet"
BOOTPROTO="static"
IPADDR=192.168.1.156
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
ONBOOT="yes"
1.2 修改机器名为Slave1(/etc/hostname)
1.3 修改机器名及ip映射(/etc/hosts),同时将127.0.0.1映射到slave1
192.168.1.155 master
192.168.1.156 slave1
192.168.1.157 slave2
192.168.1.157 slave3
1.4 编辑/usr/local/hadoop/etc/hadoop/core-site.xml,设置fs.defaultFS值为hdfs://master:9000
1.5 编辑.../..../yarn-site.xml,添加额外的3个property(nodemanager->resourcemanager, application-master->resourcemanager, client->resourcemanager)
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8050</value>
</property>
1.6 编辑mapred-site.xml,添加
<property>
<name>mapred.job.tracker</name>
<value>master:54331</value>
</property>
1.7 编辑hdfs-site.xml, slave1为datanode,所以设置data dir
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
2. Slave2机器配置
2.1 以Slave1机器为模板,复制出新的VM,然后修改固定IP及MAC
DEVICE="ens33"
HWADDR="00:0C:29:51:C4:45"
Type="Ethernet"
BOOTPROTO="static"
PADDR=192.168.1.157
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
ONBOOT="yes"
2.2 修改机器名为Slave2(/etc/hostname)
2.3 修改/etc/hosts,将127.0.0.1映射到slave2
3. Slave3机器配置
3.1 以Slave1机器为模板,复制出新的VM,然后修改固定IP及MAC
DEVICE="ens33"
HWADDR="00:0C:29:BE:C6:0C"
Type="Ethernet"
BOOTPROTO="static"
IPADDR=192.168.1.158
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
ONBOOT="yes"
3.2 修改机器名为Slave3(/etc/hostname)
3.3 修改/etc/hosts,将127.0.0.1映射到slave3
4. Master机器配置
4.1 设置hdfs-site.xml, Master为NameNode, 指定name dir
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
4.4 设置yarn-site.xml
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8050</value>
</property>
4.3 编辑masters(/usr/local/hadoop/etc/hadoop/masters), 内容为master
4.4 编辑slaves(/usr/local/hadoop/etc/hadoop/slaves,内容为
slave1
slave2
slave3
4.5 ssh到3台slaves机器,创建datanode目录/usr/local/hadoop/hadoop_data/hdfs/datanode
4.6 master机器上创建namenode目录/usr/local/hadoop/hadoop_data/hdfs/namenode
4.7 格式化NameNode HDFS目录(hdfs namenode -format), 注意:首次格式化时使用
4.8 启动多节点Hadoop Cluster
start-dfs.sh
start-yarn.sh
4.9 查看ResourceManager Web界面(http://master:8088)及NameNode Web界面(http://master:50070)
4.10 关闭多节点Hadoop Cluster
stop-dfs.sh
stop-yarn.sh
其他:删除多余内网ip命令ip addr del 192.168.1.105/24 dev ens33
Hadoop多节点Cluster的更多相关文章
- Hadoop添加节点datanode(生产环境)
Hadoop添加节点datanode 博客分类: hadoop HadoopSSHJDKXML工作 1.部署hadoop 和普通的datanode一样.安装jdk,ssh 2.修改host ...
- 实验-hadoop新增节点
关于hadoop新增节点网上的说法都有些差别,自己来实践一把 1.建立一个namenode一个datanode的集群 master:192.168.126.130 slave1:192.168.126 ...
- Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)
Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid) java.io.IOException: All director ...
- 一、hadoop单节点安装测试
一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在h ...
- 当Hadoop 启动节点Datanode失败解决
Hadoop 启动节点Datanode失败解决 [日期:2014-11-01] 来源:Linux社区 作者:shuideyidi [字体:大 中 小] 当我动态添加一个Hadoop从节点的之后,出现 ...
- 【Hadoop】Hadoop DataNode节点超时时间设置
hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间 ...
- 【大数据系列】hadoop单节点安装官方文档翻译
Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms R ...
- Hadoop多节点集群安装配置
目录: 1.集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 环境配置 1.4 所需软件 2.SSH无密码验证配置 2.1 SSH基本原理和用法 2.2 配置Master无密码登录所有 ...
- 一步步教你Hadoop多节点集群安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesys ...
随机推荐
- eclipse 快捷键及使用技巧
一.程序的编译和运行的环境配置(一般不改) window -- Preferences -- Java 编译环境:Compiler 默认选中的就是最高版本. 运行环境:Installed JREs 默 ...
- js数组对象排序详解
一.js对象遍历输出的时候真的是按照顺序输出吗? 下边就来实践一下: var obj={'3':'ccc',name:'abc',age:23,school:'sdfds',class:'dfd',h ...
- 解析特殊格式的xml到map
由于项目特殊,需要解析的xml文档样式特别,所以自己写了一个解析特殊xml的方法 先提供xml样式 <?xml version="1.0" encoding="UT ...
- H5 坑
document.addEventListener("touchmove",function(e){e.preventDefault();},false); 防止滑动时整屏页面移动 ...
- Curious Cupid
There are K different languages in the world. Each person speaks one and only one language. There ar ...
- Spring Boot使用thymeleaf模板时报异常:template might not exist or might not be accessible by any of the configured Template Resolvers
错误如下: template might not exist or might not be accessible by any of the configured Template Resolver ...
- Retrofit网络框架入门使用
1.简单介绍 retrofit事实上就是对okhttp做了进一步一层封装优化. 我们仅仅须要通过简单的配置就能使用retrofit来进行网络请求了. Retrofit能够直接返回Bean对象,比如假设 ...
- PyQt5学习随笔01--计算一个目录里我们码的代码行数&&PyQt的多线程通信
今天突然想知道自学习Python以来我一共码了多少行代码了,于是写了一个简单的程序: __author__ = 'jiangzhiheng' # coding=utf-8 from PyQt5.QtC ...
- UVA 11021 - Tribles(概率递推)
UVA 11021 - Tribles 题目链接 题意:k个毛球,每一个毛球死后会产生i个毛球的概率为pi.问m天后,全部毛球都死亡的概率 思路:f[i]为一个毛球第i天死亡的概率.那么 f(i)=p ...
- ubuntu 关机命令
ubuntu 关机命令 关机命令 shutdown ubuntu的终端中默认的是当前用户的命令,只是普通用户,因此在终端器中可以使用sudo -sh 转换到管理员root用户下执行命令. 1)shut ...