hadoop的扩容
一、横向扩容(参见:https://www.cnblogs.com/yangy1/p/12362565.html)
现在在此基础上再添加一个节点
1、克隆一台主机hdp03(克隆hdp02)
修改ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=192.168.0.43
修改主机名及添加主机映射
vim /etc/hostname hdp03
vim /etc/hosts 192.168.0.43 hdp03
删除tmp下的目录文件
cd /opt/software/hadoop-2.7./tmp rm -rf *
2、配置主(有namenode服务的主机)
添加主机映射
vim /etc/hosts 192.168.0.32 hdp01
192.168.0.42 hdp02
192.168.0.43 hdp03 //添加新的映射
配置slaves
vim /opt/software/hadoop-2.7./etc/hadoop/slaves hdp01
hdp02
hdp03 //添加新的主机名
3、启动hdp03的datanode
hadoop-daemon.sh start datanode //启动datanode
因为克隆的hdp02,所以和hdp02的私钥一样,不需要重新生成,hdp01可以直接访问
4、访问50070端口
可以看到节点添加上去了,变成了3个。
二、纵向扩容
纵向扩容在hdp01上添加一块新的硬盘
1、在虚拟机目录点击右键——>设置——>添加——>硬盘
然后用默认的配置一直点击下一步添加成功
重启虚拟机
reboot
2、将硬盘分区并挂载
在/dev里可以看到新添加的硬盘sdb
cd /dev
分区
fdisk sdb m //查看帮助选项 n //添加分区 p //选择主分区 +10G //添加10G w //保存并退出
再次查看可以看到分区成功sdb1
挂载
先在根目录新建文件夹
cd /
mkdir sdb1 mount /dev/sdb1 /sdb1
mount的挂载重启后就失效,要想永久挂载需要修改配置
vim /etc/fstab /dev/sdb1 /sdb1 xfs defaults 0 0 //添加配置
3、修改hdfs-site.xml
cd /opt/software/hadoop-2.7./etc/hadoop vim hdfs-site.xml
启动
start-dfs.sh
访问50070端口
可以看到hdp01的容量由原来的9.99GB扩容到19.98GB
hadoop的扩容的更多相关文章
- Hadoop 动态扩容 增加节点
基础准备 在基础准备部分,主要是设置hadoop运行的系统环境 修改系统hostname(通过hostname和/etc/sysconfig/network进行修改) 修改hosts文件,将集群所有节 ...
- hadoop HDFS扩容
1.纵向扩容(添加硬盘) 1.1 添加硬盘 确定完成添加,运行 lsblk 查看硬盘使用情况 1.2 硬盘分区 fdisk /dev/sdb #对新硬盘sdb进行分区 m 帮助 n 添加一个分区 p ...
- hadoop(1)入门
hadoop入门(一) 一.概述 1.什么是hadoop hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架. hadoop框架最 ...
- 小记---------Hadoop读、写文件步骤,HDFS架构理解
Hadoop 是一个开源框架,可编写和运行分布式应用处理大规模数据 Hadoop框架的核心是HDFS 和 MapReduce HDFS是分布式文件系统(存储) MapReduce是分布式数据处理模型和 ...
- 容器服务如何在企业客户落地?Rancher 解决之道分享
Docker 的优势和趋势我想不必再赘述,那么对于非互联网公司的传统企业客户,以及我们大量的围绕企业客户做集成.交付解决方案的服务提供商,需要考虑的一个问题就是怎么样把容器技术以高质量.低成本.易维护 ...
- Hadoop之HDFS扩容方法
HDFS就是用来存取数据的,那么当数据太多的时候存不下,我们必需扩充硬盘容量,或者换个更大的硬盘. 由于它是分布式文件系统,有两种扩充HDFS集群容量的方法:横向扩容和纵向扩容 横向扩容 横向扩容就是 ...
- 【hbase0.96】基于hadoop搭建hbase的心得
hbase是基于hadoop的hdfs框架做的分布式表格存储系统,所谓表格系统就是在k/v系统的基础上,对value部分支持column family和column,并支持多版本读写. hbase的工 ...
- hadoop 性能调优与运维
hadoop 性能调优与运维 . 硬件选择 . 操作系统调优与jvm调优 . hadoop运维 硬件选择 1) hadoop运行环境 2) 原则一: 主节点可靠性要好于从节点 原则二:多路多核,高频 ...
- Hadoop学习笔记【Hadoop家族成员概述】
Hadoop家族成员概述 一.Hadoop简介 1.1 什么是Hadoop? Hadoop是一个分布式系统基础架构,由Apache基金会所开发,目前Yahoo!是其最重要的贡献者. Hadoop实现了 ...
随机推荐
- The Preliminary Contest for ICPC Asia Nanjing 2019 - D Robots(概率dp+拓扑排序)
这题概率dp + 拓扑排序可以写 改天补解释 #include <bits/stdc++.h> using namespace std; const int maxn=1e5+10; ve ...
- 【代码学习】PYHTON 元组
Python的元组与列表类似,不同之处在于元组的元素不能修改.也可进行分片 和 连接操作. 元组使用小括号,列表使用方括号. 一.访问元组 #coding=utf-8 Tuple = ('name', ...
- Shell编程WEB界面展示实践
操作系统:win7 虚拟机:Virtual box with Ubuntu13.10 WEB服务器: Nginx WEB服务器发布目录:/usr/local/nginx/html/c 测试文件:lis ...
- 创建DataTable与DataGridView进行绑定
private DataTable dt = new DataTable(); BindingSource bs = new BindingSource(); /// <summary> ...
- Python安装numpy,pandas慢,超时报错,下载不了的解决方法
由于python的默认源是国外的,所以下载的时候会很慢,甚至会出现超时下载失败,提供两个解决方法 1.设置pip的超时限制 打开cmd 输入pip --default-timeout=100 inst ...
- python浅谈编程规范和软件开发目录规范的重要性
前言 我们这些初学者,目前要做的就是遵守代码规范,这是最基本的,而且每个团队的规范可能还不一样,以后工作了,尽可能和团队保持一致,目前初学者就按照官方的要求即可 新人进入一个企业,不会接触到核心的架构 ...
- 解决:使用 swiper 自动轮播图片,当拖动过 swiper 内的内容时,导致不继续自动轮播
版本为1.3 当使用了 swiper 后: var mySwiper = new Swiper('.banner .swiper-container', { autoplay: 3000, loop: ...
- Pycharm 在 import requests 时报错
requests的安装我尝试了两种方法: 第一种:下载安装 https://github.com/requests/requests 然后解压到:(python的安装路径,这里使用的是默认路径) Ap ...
- [Write-up]-Trollcave: 1.2
关于 下载地址:点我 Flag:root/flag.txt 哔哩哔哩:视频 信息收集 不知道VM虚拟机怎么啦,导入镜像后,用Nmap扫了,发现不了主机.所以这次用了VBox. vboxnet0的IP为 ...
- 多数据库:SQLHelper
//=============================================================================== // This file is ba ...