hadoop完全分布式部署
1.我们先看看一台节点的hdfs的信息:(已经安装了hadoop的虚拟机:安装hadoophttps://www.cnblogs.com/lyx666/p/12335360.html)
start-dfs 打开hdfs需要启动的服务
然后再浏览器输入http://虚拟机ip地址:50070
问下滑: 可以看到以下相关信息
可以看到集群总容量大概为10G,而该集群只有一台机器,所以集群容量=该机器容量,可以看看这台虚拟机的硬盘是不是10G.
df -h / #确实是10G
2.接下来就要扩容该集群的容量,将这台虚拟机克隆(克隆步骤省略)
3.克隆机需要先配置以下
把克隆的dfs文件夹清空
将该文件夹下的数据清空:rm -rf *
网络ip:
BOOTPROTO=static 原本为DHCP
ONBOOT=yes 原本为no
IPADDR=192.168.43.62 ip地址 在网段里就行
NETMASK=255.255.255.0 子网掩码
GATEWAY=192.168.43.1 网关 需要查看主机的ipv4地址配置
DNS1=8.8.8.8 谷歌的dns解析
改完后重启网络:systemctl restart network
修改主机名
我这里是已经修改好了的,你们原本应该是localhost的主机名,我修改成lyx-62
修改后记得重启这台虚拟机:reboot
配置ip和主机名映射 还需要加上被克隆的虚拟机的ip和主机映射 【注意:这里两台都要添加修改】
修改后记得重启这两台虚拟机:reboot
配置ssh免密通信
(lyx-62)ssh-keygen #创建密钥对#
(lyx-62)ssh-copy-id lyx-62 #将公钥复制到lyx-62 也就是本机
注意这里另一台也需要(lyx-61):ssh-copy-id lyx-62 这样两台就能免密通信
修改hdfs-site.xfs配置文件 副本数修改为3【注意两台机器都需要修改】
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
将克隆机主机名添加到slaves配置文件中 也就是加入到集群中 这里修改的是【被克隆的】slaves.xml文件
3.只启动被克隆的hdfs需要的服务
start-dfs.sh #可以看到lyx-62启动了datanode服务,说明它已经加入到这个集群了 所以它的硬盘也被加入到集群了
接下来我们在回过头来看看集群信息 可以发现硬盘容量增加了,说明lyx-62这台也被加入到集群了。
hadoop完全分布式部署的更多相关文章
- ubuntu下hadoop完全分布式部署
三台机器分别命名为: hadoop-master ip:192.168.0.25 hadoop-slave1 ip:192.168.0.26 hadoop-slave2 ip:192.168.0.27 ...
- Hadoop 完全分布式部署
完全分布式部署Hadoop 分析: 1)准备3台客户机(关闭防火墙.静态ip.主机名称) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)安装ssh 7)集群时间同步 7 ...
- Hadoop 完全分布式部署(三节点)
用来测试,我在VMware下用Centos7搭起一个三节点的Hadoop完全分布式集群.其中NameNode和DataNode在同一台机器上,如果有条件建议大家把NameNode单独放在一台机器上,因 ...
- Hadoop伪分布式部署
一.Hadoop组件依赖关系: 步骤 1)关闭防火墙和禁用SELinux 切换到root用户 关闭防火墙:service iptables stop Linux下开启/关闭防火墙的两种方法 1.永久性 ...
- ubuntu hadoop伪分布式部署
环境 ubuntu hadoop2.8.1 java1.8 1.配置java1.8 2.配置ssh免密登录 3.hadoop配置 环境变量 配置hadoop环境文件hadoop-env.sh core ...
- Hadoop+HBase分布式部署
test 版本选择
- Hadoop伪分布式模式部署
Hadoop的安装有三种执行模式: 单机模式(Local (Standalone) Mode):Hadoop的默认模式,0配置.Hadoop执行在一个Java进程中.使用本地文件系统.不使用HDFS, ...
- Hadoop 2.6.0分布式部署參考手冊
Hadoop 2.6.0分布式部署參考手冊 关于本參考手冊的word文档.能够到例如以下地址下载:http://download.csdn.net/detail/u012875880/8291493 ...
- Apache Hadoop 2.9.2 完全分布式部署
Apache Hadoop 2.9.2 完全分布式部署(HDFS) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.环境准备 1>.操作平台 [root@node101.y ...
随机推荐
- robotframework从列表中循环读取数据,传入关键字执行
场景预设:从列表内读取手机号,自动化执行微信加好友,直至选择完所有数据后,脚本停止执行 1.建一个备选数据表,表内列待添加的手机号数据 2.脚本的主要流程新加好友-输入手机号-添加好友-判断好友是否存 ...
- [校内训练19_09_02]C
题意 给出一棵N 个节点的树,树上的每个节点都有一个权值$a_i$. 有Q 次询问,每次在树上选中两个点u, v,考虑所有在简单路径u, v 上(包括u, v)的点构成的集合S. 求$\sum_{w∈ ...
- Integer梳理
Integer常量池 问题1 public class Main_1 { public static void main(String[] args) { Integer a = 1; Integer ...
- python之路:day2
本节内容 列表.元组操作 字符串操作 字典操作 集合操作 文件操作 字符编码与转码 1. 列表.元组操作 列表是我们最以后最常用的数据类型之一,通过列表可以对数据实现最方便的存储.修改等操作 定义列表 ...
- Shell常用命令之echo
echo 字符串的输出 选项 -n:不换行输出 -e:启用反斜杠转义符 -E:禁用反斜杠转义符 反斜杠转义符 \a:发出警告声 \b:删除前一个字符 \c:最后不加上换行符号 \f:换行但光标仍然停留 ...
- Leetcode 题目整理-1
1. Two Sum Given an array of integers, return indices of the two numbers such that they add up to a ...
- JVM 面试题汇总
JVM 面试题汇总 1.什么是 JVM?它有什么作用? 答:JVM 是 Java Virtual Machine(Java 虚拟机)的缩写,顾名思义它是一个虚拟计算机,也是 Java 程序能够实现跨平 ...
- IntelliJ IDEA 2020 的Debug功能也太好用了,真香!
写在前边 作为一个有点强迫症的程序员来说,所有的应用软件.开发工具都必须要升级到最高版本,否则就会很难受到坐立不安.日思夜想.茶饭不思.至于什么时候得的这种病我也记不清了,哈哈哈 IntelliJ I ...
- tmobst4an
(单选题)HTML代码: <table> <tr><td>Value 1</td><td></td></tr> &l ...
- vb.net datagridview 使用方法
目录: 1. 取得或者修改当前单元格的内容 2. 设定单元格只读 3. 不显示最下面的新行 4. 判断新增行 5. 行的用户删除操作的自定义 6. 行.列的隐藏和删除 7. 禁止列或者行 ...