Hadoop多节点Cluster
Hadoop多节点集群规划
服务起名称 | 内网IP | HDFS | YARN |
master | 192.168.1.155 | NameNode | ResourceManager |
slave1 | 192.168.1.116 | DataNode | NodeManager |
slave2 | 192.168.1.117 | DataNode | NodeManager |
slave3 | 192.168.1.118 | DataNode | NodeManager |
1. Slave1机器配置
1.1 以单机Hadoop镜像为模板克隆出一个虚拟机, 修改固定IP及MAC地址(修改/etc/sysconfig/network-scripts/ifcfg-ens33)
DEVICE="ens33"
HWADDR="00:0C:29:30:BB:7E"
Type="Ethernet"
BOOTPROTO="static"
IPADDR=192.168.1.156
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
ONBOOT="yes"
1.2 修改机器名为Slave1(/etc/hostname)
1.3 修改机器名及ip映射(/etc/hosts),同时将127.0.0.1映射到slave1
192.168.1.155 master
192.168.1.156 slave1
192.168.1.157 slave2
192.168.1.157 slave3
1.4 编辑/usr/local/hadoop/etc/hadoop/core-site.xml,设置fs.defaultFS值为hdfs://master:9000
1.5 编辑.../..../yarn-site.xml,添加额外的3个property(nodemanager->resourcemanager, application-master->resourcemanager, client->resourcemanager)
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8050</value>
</property>
1.6 编辑mapred-site.xml,添加
<property>
<name>mapred.job.tracker</name>
<value>master:54331</value>
</property>
1.7 编辑hdfs-site.xml, slave1为datanode,所以设置data dir
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
2. Slave2机器配置
2.1 以Slave1机器为模板,复制出新的VM,然后修改固定IP及MAC
DEVICE="ens33"
HWADDR="00:0C:29:51:C4:45"
Type="Ethernet"
BOOTPROTO="static"
PADDR=192.168.1.157
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
ONBOOT="yes"
2.2 修改机器名为Slave2(/etc/hostname)
2.3 修改/etc/hosts,将127.0.0.1映射到slave2
3. Slave3机器配置
3.1 以Slave1机器为模板,复制出新的VM,然后修改固定IP及MAC
DEVICE="ens33"
HWADDR="00:0C:29:BE:C6:0C"
Type="Ethernet"
BOOTPROTO="static"
IPADDR=192.168.1.158
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
ONBOOT="yes"
3.2 修改机器名为Slave3(/etc/hostname)
3.3 修改/etc/hosts,将127.0.0.1映射到slave3
4. Master机器配置
4.1 设置hdfs-site.xml, Master为NameNode, 指定name dir
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
4.4 设置yarn-site.xml
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8050</value>
</property>
4.3 编辑masters(/usr/local/hadoop/etc/hadoop/masters), 内容为master
4.4 编辑slaves(/usr/local/hadoop/etc/hadoop/slaves,内容为
slave1
slave2
slave3
4.5 ssh到3台slaves机器,创建datanode目录/usr/local/hadoop/hadoop_data/hdfs/datanode
4.6 master机器上创建namenode目录/usr/local/hadoop/hadoop_data/hdfs/namenode
4.7 格式化NameNode HDFS目录(hdfs namenode -format), 注意:首次格式化时使用
4.8 启动多节点Hadoop Cluster
start-dfs.sh
start-yarn.sh
4.9 查看ResourceManager Web界面(http://master:8088)及NameNode Web界面(http://master:50070)
4.10 关闭多节点Hadoop Cluster
stop-dfs.sh
stop-yarn.sh
其他:删除多余内网ip命令ip addr del 192.168.1.105/24 dev ens33
Hadoop多节点Cluster的更多相关文章
- Hadoop添加节点datanode(生产环境)
Hadoop添加节点datanode 博客分类: hadoop HadoopSSHJDKXML工作 1.部署hadoop 和普通的datanode一样.安装jdk,ssh 2.修改host ...
- 实验-hadoop新增节点
关于hadoop新增节点网上的说法都有些差别,自己来实践一把 1.建立一个namenode一个datanode的集群 master:192.168.126.130 slave1:192.168.126 ...
- Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)
Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid) java.io.IOException: All director ...
- 一、hadoop单节点安装测试
一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在h ...
- 当Hadoop 启动节点Datanode失败解决
Hadoop 启动节点Datanode失败解决 [日期:2014-11-01] 来源:Linux社区 作者:shuideyidi [字体:大 中 小] 当我动态添加一个Hadoop从节点的之后,出现 ...
- 【Hadoop】Hadoop DataNode节点超时时间设置
hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间 ...
- 【大数据系列】hadoop单节点安装官方文档翻译
Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms R ...
- Hadoop多节点集群安装配置
目录: 1.集群部署介绍 1.1 Hadoop简介 1.2 环境说明 1.3 环境配置 1.4 所需软件 2.SSH无密码验证配置 2.1 SSH基本原理和用法 2.2 配置Master无密码登录所有 ...
- 一步步教你Hadoop多节点集群安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesys ...
随机推荐
- 01派【北京大学ACM/ICPC竞赛训练暑期课】
01:派 总时间限制: 1000ms 内存限制: 65536kB 描述 我的生日要到了!根据习俗,我需要将一些派分给大家.我有N个不同口味.不同大小的派.有F个朋友会来参加我的派对,每个人会拿到一 ...
- scrapy——7 scrapy-redis分布式爬虫,用药助手实战,Boss直聘实战,阿布云代理设置
scrapy——7 什么是scrapy-redis 怎么安装scrapy-redis scrapy-redis常用配置文件 scrapy-redis键名介绍 实战-利用scrapy-redis分布式爬 ...
- bupt summer training for 16 #4 ——数论
https://vjudge.net/contest/173277#overview A.平方差公式后变为 n = (x + y)(x - y) 令 t = x - y ,变成 n = (t + 2x ...
- (39.2). Spring Boot Shiro权限管理【从零开始学Spring Boot】
(本节提供源代码,在最下面可以下载) (4). 集成Shiro 进行用户授权 在看此小节前,您可能需要先看: http://412887952-qq-com.iteye.com/blog/229973 ...
- [bzoj2467][中山市选2010]生成树_快速幂
生成树 bzoj-2467 中山市选2010 题目大意:题目链接 注释:略. 想法:首先,考虑生成树的性质.每两个点之间有且只有一条路径.我们将每个五边形的5条边分为外面的4条边和内部的一条边,在此简 ...
- [bzoj2802][Poi2012]Warehouse Store_贪心_堆
Warehouse Store bzoj-2802 Poi-2012 题目大意:一家商店的连续n天内,每一天会进货$a_i$个,有且只有一个客人回来买$b_i$个,问至多满足多少人. 注释:$1\le ...
- Spring MVC-表单(Form)标签-文件上传(File Upload)示例(转载实践)
以下内容翻译自:https://www.tutorialspoint.com/springmvc/springmvc_upload.htm 说明:示例基于Spring MVC 4.1.6. 以下示例显 ...
- Windows超级卸载工具Total Uninstaller,能完全卸载.NET Framework
https://github.com/tsasioglu/Total-Uninstaller
- SharePoint 2013:解决添加域名后每次都需要登录的问题
在SharePoint 2013中,当我们添加一个域名给SP后(添加域名的方法请参考此文:http://www.cnblogs.com/jianyus/archive/2013/08/10/32494 ...
- PHP5+标准函数库观察者之实现
PHP的观察者设计模式实现相对简单,可是PHP5+版本号中已经有标准库类库支持,我们仅仅需简单继承并实现就能够了. 观察者:实现标准接口类库SplSubject. 一个注冊方法:attach.一个取消 ...