hadoop集群完全分布式搭建
Hadoop环境搭建:完全分布式
集群规划:
ip hostname
192.168.204.154 master namenode resourcemanager datanode nodemanager
192.168.204.155 slave01 datanode nodemanager
192.168.204.156 slave02 datanode nodemanager
secondarynamenode是namenode的冷备份(不能代替namenode的工作,仅仅是拷贝namenode上的基础信息,帮助NameNode进行恢复)
安装配置完全分布式:
1.安装jdk
把master上的拷贝到slave01和slave02上
1)发送jdk安装包
scp -r jdk1.8.0_121 192.168.204.155:/home/hadoop/
scp -r jdk1.8.0_121 192.168.204.156:/home/hadoop/
2)发送配置文件
sudo scp /etc/profile 192.168.204.155:/etc
sudo scp /etc/profile 192.168.204.156:/etc
3)生效配置文件
source /etc/profile
source /etc/profile
2.配置主机名及映射文件
先改主机名
sudo vi /etc/sysconfig/network
需要改映射文件(将主机名和ip进行绑定)
三台机器均需要执行这个
vi /etc/hosts 末尾添加
3.配置免密码登录
主节点向从节点免密码登录
三个节点都要做
ssh-keygen
ssh-copy-id master/slave01/slave02
4.安装配置hadoop
hadoop-env.sh
core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoopdata</value> </property> |
hdfs-site.xml
<property> <name>dfs.replication</name> <value>2</value> </property> |
mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> |
yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> |
slaves文件
master slave01 slave02 |
向slave01、slave02远程发送hadoop安装文件
scp -r hadoop-2.7.1 slave01:/home/hadoop/
scp -r hadoop-2.7.1 slave02:/home/hadoop/
5.格式化集群
先把原来的删除临时文件目录(/tmp/hadoop-hadoop)
只需要在主节点上执行
hadoop namenode -format
6.在主节点启动
start-dfs.sh
start-yarn.sh
7.验证 jps
NameNode DataNode SecondaryNameNode ResourceManager NodeManager
8.停止
stop-all.sh
建议stop-dfs.sh stop-yarn.sh
*******跟踪日志:
tail -f hadoop-rxp233-namenode-rxp233.log
*******单个启动程序
hadoop-daemon.sh start namenode | DataNode | SecondaryNameNode
yarn-deamon.sh start resourcemanager | nodemanager
访问端口:
50070:hdfs的namenode的webui访问端口
ip:50070
8088:yarn的resourcemanager的webui的访问端口
ip:8088
****************将namenode和secondarynamenode分开配置:
1.在HADOOP_HOME/etc/hadoop目录下添加配置文件
masters(添加secondarynn的节点)
vi masters
slave01(secondarynamenode的节点) |
远程拷贝到其他节点:
scp masters slave01:/home/hadoop/hadoop-2.7.1/etc/hadoop/
scp masters slave02:/home/hadoop/hadoop-2.7.1/etc/hadoop/
2.修改hdfs-site.xml文件
1.>添加namenode的访问address
2.>添加secondarynamenode的访问address
<property> <name>dfs.namenode.http-address</name> <value>master:50070</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>slave01:50090</value> </property> |
scp hdfs-site.xml slave01:/home/hadoop/hadoop-2.7.1/etc/hadoop/
scp hdfs-site.xml slave02:/home/hadoop/hadoop-2.7.1/etc/hadoop/
https://www.linuxidc.com/Linux/2018-06/152795.htm
spark-on-yarn基本上按照这个教程就可以完成了
hadoop集群完全分布式搭建的更多相关文章
- hadoop集群为分布式搭建
1.准备Linux环境设置虚拟机网络 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改 ...
- 大数据系列(3)——Hadoop集群完全分布式坏境搭建
前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本 ...
- 使用Docker搭建Hadoop集群(伪分布式与完全分布式)
之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hado ...
- 大数据系列(1)——Hadoop集群坏境搭建配置
前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方 ...
- hadoop集群环境的搭建
hadoop集群环境的搭建 今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了. 集群信息如下: 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Had ...
- 3-3 Hadoop集群完全分布式配置部署
Hadoop集群完全分布式配置部署 下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作.为了方便,使用root用户. 1.准备工作 1.1 centOS6服务器3台 手动指 ...
- Hadoop集群(三) Hbase搭建
前面已经完成Zookeeper和HDFS的安装,本文会详细介绍Hbase的安装步骤.以及安装过程中遇到问题的汇总. 系列文章: Hadoop集群(一) Zookeeper搭建 Hadoop集群(二 ...
- Hadoop集群(二) HDFS搭建
HDFS只是Hadoop最基本的一个服务,很多其他服务,都是基于HDFS展开的.所以部署一个HDFS集群,是很核心的一个动作,也是大数据平台的开始. 安装Hadoop集群,首先需要有Zookeeper ...
- Hadoop集群完全分布式坏境搭建
前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本 ...
随机推荐
- MongoDB 用MongoTemplate查询指定时间范围的数据
mongoDB大于小于符号对应: > 大于 $gt< 小于 $lt>= 大于等于 $gte<= 小于等于 $lte 要查询同一个时间多个约束可能出现的error: org.sp ...
- Linux内存管理 (6)vmalloc
专题:Linux内存管理专题 关键词:vmalloc.页对齐.虚拟地址连续.物理不连续 至此,已经介绍了集中内核中内存分配函数,在开始简单做个对比总结Linux中常用内存分配函数的异同点,然后重点介绍 ...
- FineUIPro v5.1.0 发布了!
FineUIPro v5.1.0 已发布,这已经是自 2014 年以来的第 31 个版本,4 年来精雕细琢,只为你来! 上个大版本新增了响应式布局,而这个版本主要是BUG修正,此外还增加了树控件的级联 ...
- PHP(SentCMS)网站 “新手”捉虫记
我拖着疲惫的身躯,努力打开眼皮在写...... 昨晚弄到12点,我感觉应该弄好了. 故事开头是这样的:我呢朋友有个网站需要开发,我当时没时间就包给外面的公司了,由于外面公司维护费用比较贵. 那么网站维 ...
- 定时任务 cron命令
一名linux新手,因为项目需要现在在学习linux操作系统. 因项目需要做一个定时任务,每个小时访问某一个url一次,通过参考很多大神的博客学会了crontab命令的使用方法 crontab -u ...
- Qt中的QWebView
一.Webkit了解 Webkit是一个开源的浏览器引擎,chrome也使用了作为核心.Qt中对Webkit做了封装,主要有以下几个类: QWebView :最常用的类,作为一个窗体控件 QWeb ...
- 【刷题】若串 =’software’ ,其子串数目为:37
子串 子串是母串中的一部分,可以是母串本身,也可以是空字符串 设串中字符数为n,则其子串数目为:s=(1+n)*n/2+1 具体地: 长为0的子串:1 长为1的子串:8 长为2的子串:7 长为3的子串 ...
- python之路6-迭代器、生成器、装饰器
1.迭代器&生成器 列表生成式 现在有个需求,列表[1,2,3,4,5,6,7,,8,9],要求把列表里的每个值加1,如何实现? 方法一: list = [1,2,3,4,5,6,7,8,9] ...
- FastStone Capture激活码
用户名:c1ikm注册码:AXMQX-RMMMJ-DBHHF-WIHTV 或 AXOQS-RRMGS-ODAQO-APHUU
- ICPC中国南昌国家邀请赛和国际丝绸之路规划大赛预选赛 I J
I. Max answer 链接:https://nanti.jisuanke.com/t/38228 思路: 枚举最小值,单调栈确定最小值的边界,用线段树+前缀和维护最小值的左右区间 实现代码: # ...