hadoop的扩容
一、横向扩容(参见:https://www.cnblogs.com/yangy1/p/12362565.html)
现在在此基础上再添加一个节点
1、克隆一台主机hdp03(克隆hdp02)
修改ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=192.168.0.43
修改主机名及添加主机映射
vim /etc/hostname hdp03
vim /etc/hosts 192.168.0.43 hdp03
删除tmp下的目录文件
cd /opt/software/hadoop-2.7./tmp rm -rf *
2、配置主(有namenode服务的主机)
添加主机映射
vim /etc/hosts 192.168.0.32 hdp01
192.168.0.42 hdp02
192.168.0.43 hdp03 //添加新的映射
配置slaves
vim /opt/software/hadoop-2.7./etc/hadoop/slaves hdp01
hdp02
hdp03 //添加新的主机名
3、启动hdp03的datanode
hadoop-daemon.sh start datanode //启动datanode
因为克隆的hdp02,所以和hdp02的私钥一样,不需要重新生成,hdp01可以直接访问
4、访问50070端口
可以看到节点添加上去了,变成了3个。
二、纵向扩容
纵向扩容在hdp01上添加一块新的硬盘
1、在虚拟机目录点击右键——>设置——>添加——>硬盘
然后用默认的配置一直点击下一步添加成功
重启虚拟机
reboot
2、将硬盘分区并挂载
在/dev里可以看到新添加的硬盘sdb
cd /dev
分区
fdisk sdb m //查看帮助选项 n //添加分区 p //选择主分区 +10G //添加10G w //保存并退出
再次查看可以看到分区成功sdb1
挂载
先在根目录新建文件夹
cd /
mkdir sdb1 mount /dev/sdb1 /sdb1
mount的挂载重启后就失效,要想永久挂载需要修改配置
vim /etc/fstab /dev/sdb1 /sdb1 xfs defaults 0 0 //添加配置
3、修改hdfs-site.xml
cd /opt/software/hadoop-2.7./etc/hadoop vim hdfs-site.xml
启动
start-dfs.sh
访问50070端口
可以看到hdp01的容量由原来的9.99GB扩容到19.98GB
hadoop的扩容的更多相关文章
- Hadoop 动态扩容 增加节点
基础准备 在基础准备部分,主要是设置hadoop运行的系统环境 修改系统hostname(通过hostname和/etc/sysconfig/network进行修改) 修改hosts文件,将集群所有节 ...
- hadoop HDFS扩容
1.纵向扩容(添加硬盘) 1.1 添加硬盘 确定完成添加,运行 lsblk 查看硬盘使用情况 1.2 硬盘分区 fdisk /dev/sdb #对新硬盘sdb进行分区 m 帮助 n 添加一个分区 p ...
- hadoop(1)入门
hadoop入门(一) 一.概述 1.什么是hadoop hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架. hadoop框架最 ...
- 小记---------Hadoop读、写文件步骤,HDFS架构理解
Hadoop 是一个开源框架,可编写和运行分布式应用处理大规模数据 Hadoop框架的核心是HDFS 和 MapReduce HDFS是分布式文件系统(存储) MapReduce是分布式数据处理模型和 ...
- 容器服务如何在企业客户落地?Rancher 解决之道分享
Docker 的优势和趋势我想不必再赘述,那么对于非互联网公司的传统企业客户,以及我们大量的围绕企业客户做集成.交付解决方案的服务提供商,需要考虑的一个问题就是怎么样把容器技术以高质量.低成本.易维护 ...
- Hadoop之HDFS扩容方法
HDFS就是用来存取数据的,那么当数据太多的时候存不下,我们必需扩充硬盘容量,或者换个更大的硬盘. 由于它是分布式文件系统,有两种扩充HDFS集群容量的方法:横向扩容和纵向扩容 横向扩容 横向扩容就是 ...
- 【hbase0.96】基于hadoop搭建hbase的心得
hbase是基于hadoop的hdfs框架做的分布式表格存储系统,所谓表格系统就是在k/v系统的基础上,对value部分支持column family和column,并支持多版本读写. hbase的工 ...
- hadoop 性能调优与运维
hadoop 性能调优与运维 . 硬件选择 . 操作系统调优与jvm调优 . hadoop运维 硬件选择 1) hadoop运行环境 2) 原则一: 主节点可靠性要好于从节点 原则二:多路多核,高频 ...
- Hadoop学习笔记【Hadoop家族成员概述】
Hadoop家族成员概述 一.Hadoop简介 1.1 什么是Hadoop? Hadoop是一个分布式系统基础架构,由Apache基金会所开发,目前Yahoo!是其最重要的贡献者. Hadoop实现了 ...
随机推荐
- 探索 Python + HyperLPR 进行车牌识别
概要 HyperLRP是一个开源的.基于深度学习高性能中文车牌识别库,由北京智云视图科技有限公司开发,支持PHP.C/C++.Python语言,Windows/Mac/Linux/Android/IO ...
- java.sql.SQLException: The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more than one time.....
SpringBoot 2.1.4启动时报错 java.sql.SQLException: The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecogniz ...
- Spring Boot RestApi 测试教程 Mock 的使用
测试 Spring Boot Web 的时候,我们需要用到 MockMvc,即系统伪造一个 mvc 环境.本章主要编写一个基于 RESTful API 正删改查操作的测试用例.本章最终测试用例运行结果 ...
- 九、Appium-python-UI自动化之通过text定位
1.通过xpath定位text xpath路径为://android.widget.EditText[@text='请输入包含街道的完整地址'] 2.通过AndroidUIAutomator # 这个 ...
- 找到第N个字符
找到第N个字符 小黑黑上课的时候走神儿,鬼使神差的就想到了这么一个问题,假如: S1=a S2=ab S3=abc S4=abcd S26=abcdefghijklmnopqrstuvwxy ...
- Euler Sums系列(二)
\[\Large\sum_{n=0}^\infty \frac{H_{2n+1}}{(2n+1)^2}=\frac{21}{16}\zeta(3)\] \(\Large\mathbf{Proof:}\ ...
- C++11特性中的stoi、stod
本文摘录柳神笔记: 使⽤ stoi . stod 可以将字符串 string 转化为对应的 int 型. double 型变量,这在字符串处理的很 多问题中很有帮助-以下是示例代码和⾮法输⼊的处理 ...
- Numpy中rot90函数实现矩阵旋转
从NumPy的官方完整查到rot90函数语法格式如下: rot90(m, k=1, axes=(0, 1) m是要旋转的数组(矩阵),k是旋转的次数,默认旋转1次,那是顺时针还是逆时针呢?正数表示逆时 ...
- MySQL自动备份实战--xtrabackup备份
MySQL数据备份企业实战.制作shell脚本 功能1:使用xtrabackup以每周为一个备份周期做备份(数据库+二进制日志,备份至本地/data/backup).提示: 周一某个时间点做一次完全备 ...
- 06-常见的RAID技术
目录 06-常见的RAID技术 参考 RAID基本概念 RAID数据组织形式 RAID数据保护方式 RAID0 RAID1 RAID5 RAID6 混合RAID - RAID 10 06-常见的RAI ...