WMware 中CentOS系统Hadoop 分布式环境搭建(一)——Hadoop安装环境准备
1.创建3台虚拟机并装好系统,这里使用64位CentOS.
2.Ping测试[确保两两能ping通]: [ping xxx.xxx.xxx.xxx]
3.安装SSH:[yum install ssh rsync]
4.按下图重命名主机、修改host文件:
master:
slave1:
slave2:
具体虚拟机的IP地址根据实际情况配置。
5.重启每台机器,检查ip和host配置是否正常,然后使用主机名来进行ping测试:
6.创建hadoop的用户和用户组[每台机器上执行]
sudo groupadd Hadoop
sudo useradd -s /bin/bash -d /home/hadooper -m hadooper -g hadoop -G root
passwd hadooper [密码设置成和用户名相同便于记忆]
7.SSH无验证双向登陆配置
如master上的执行截图:
上述操作生成一对密钥[ssh-keygen -t rsa -P ''],并将公钥保存至文件[cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys]
授权[chmod 600 ~/.ssh/authorized_keys]。
切换至root用户[su root]
取消被注释的公钥字段[vi /etc/ssh/sshd_config]:
文件打开后如下:
将红圈中的三行代码前面的#号去掉,如下:
保存并退出[按Esc后输入 :wq! 命令]
切换到root用户,重启一下SSHD服务:service sshd restart
至此SSH配置完毕,下面可以尝试自身无验证的SSH登陆(注意切换到hadooper用户):
可以看到无论是使用localhost还是IP或者主机名master都是可以无验证登陆的。首次登陆会提示主机无法识别,后面再次使用ssh登陆就不会有提示了(其实可以看到已经在/home/hadooper/.ssh/下生成了一个known_hosts文件)。
同样在slave1和slave2上做类似的配置和验证。
8.接下来开始配置不同主机间的无验证SSH登录:
将master的公钥文件复制到slave1节点的hadooper用户上:[scp ~/.ssh/id_rsa.pub hadooper@192.168.42.133:~/]
拷贝完成之后,去Slave1机上进行,公钥追加授权文件,并赋权限:
然后切换root用户,进行sshd配置,并重启ssh服务:
(即:切换用户、编辑sshd_config文件vi /etc/ssh/sshd_config 重启SSHD服务)
至此,salve1配置完毕,可以去master上无验证ssh登陆salve1了
在master上测试无验证SSH登陆slave1(注意切换到hadooper用户)
重复步骤8,完成master到slave2的无验证SSH登陆。
即:
在master上scp传送id_rsa.pub到132机器[scp ~/.ssh/id_rsa.pub hadooper@192.168.42.132:~/]
去Slave2机上进行,公钥追加授权文件,并赋权限
切换root用户,进行sshd配置,并重启ssh服务。
做完后验证一下master是否可以无验证SSH登陆slave2.
9.接下来反过来,让salve1和slave2可以无验证登陆master
需要分别将slave1的公钥和slave2的公钥scp传输到master,在master上导入,重启sshd服务即可。
去slave1,传输公钥文件到master的/home/hadooper/目录(即hadooper登陆后的~目录)
去master导入这个公钥:
(即在master上追加salve1的公钥到授权文件authorized_keys中,重启SSHD服务(注意使用root用户否则权限不足,囧))
测试一下,slave1可以无验证SSH登陆到master:(注意切换到hadooper用户)
验证成功,下面差最后一步,slave2到master的无验证SSH登陆。
由于已经将salve1的公钥id_rsa.pub文件放在了master的/home/hadooper/下面(即hadooper用户的~目录),接下来要把slave2的id_rsa.pub放到这个位置,所以先删掉slave1的这个文件(在master上,切换到hadooper用户,执行 rm /home/hadooper/id_rsa.pub 即可)
去slave2传输公钥到master,然后在master上执行导入操作并重启sshd服务即可。方法同步骤12。
10.最后做一次“总体验证”即可:
master上自身无验证SSH登陆、master到slave1、master到slave2:
slave1上自身无验证SSH登陆+slave1到master:
slave2上自身无验证SSH登陆+slave2到master:
至此,安装Hadoop框架的基础环境配置完毕,后面记录安装Hadoop过程。
WMware 中CentOS系统Hadoop 分布式环境搭建(一)——Hadoop安装环境准备的更多相关文章
- 攻城狮在路上(陆)-- hadoop分布式环境搭建(HA模式)
一.环境说明: 操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 ...
- Ubuntu16.04下伪分布式环境搭建之hadoop、jdk、Hbase、phoenix的安装与配置
一.准备工作 安装包链接: https://pan.baidu.com/s/1i6oNmOd 密码: i6nc 环境准备 修改hostname: $ sudo vi /etc/hostname why ...
- [大数据学习研究] 3. hadoop分布式环境搭建
1. Java安装与环境配置 Hadoop是基于Java的,所以首先需要安装配置好java环境.从官网下载JDK,我用的是1.8版本. 在Mac下可以在终端下使用scp命令远程拷贝到虚拟机linux中 ...
- Hadoop 分布式环境搭建
一.前期环境 安装概览 IP Host Name Software Node 192.168.23.128 ae01 JDK 1.7 NameNode, SecondaryNameNode, Data ...
- centos系统常用软件环境搭建
yum源制作grub常见问题:http://linux.chinaunix.net/techdoc/beginner/2008/01/04/975921.shtml 系统安装: 2 软件安装:yum ...
- Spark入门到精通--(第八节)环境搭建(Hadoop搭建)
上一节把Centos的集群免密码ssh登陆搭建完成,这一节主要讲一下Hadoop的环境搭建. Hadoop下载安装 下载官网的Hadoop 2.4.1的软件包.http://hadoop.apache ...
- Hadoop学习笔记(3)——分布式环境搭建
Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里, ...
- 【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下
因篇幅过长,故分为两节,上节主要说明hadoop运行环境和必须的基础软件,包括VMware虚拟机软件的说明安装.Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置.具体请参看: [ ...
- 【转】Hadoop HDFS分布式环境搭建
原文地址 http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统 ...
随机推荐
- winform devexpress 用法汇总
废话不多说先上图 1.封装分页控件 qrcodeOnPage1.SearchData(gridControl2, IDataPage, sWhere, "", "tb_o ...
- zsh 缺省输入设置
zsh 默认缺省方式和bash不兼容,终端输入指令带有* 并不能对所有以已经输入的部分作为开头的文件作处理,解决这个问题的方式是在.zshrc文件中加入 setopt no_match 即可
- Hadoop 搭建集群的步骤
1.安装jdk,配置环境变量 root@localhost java]# vi /etc/profile 在profile中添加如下内容: #set java environmentexport J ...
- 显示react配置
1. 由于react默认隐藏webpack配置需要手动显示. npm run eject //Are you sure you want to eject? This action is perman ...
- SVN配置(服务器端及客户端)
版本控制工具,在前几年一直用的SVN,从去年后半年开始本人开始使用GIT.为了避免后期再次使用SVN过程中出现生疏,在此将SVN服务端及客户端配置方式罗列出来. 本人使用的SVN版本为 服务端: Vi ...
- ISAPI筛选器及对ASP源文件的保护
ISAPI筛选器及对ASP源文件的保护 2009-04-21 01:45:57 标签:ISAPI 筛选器 ASP 源文件 保护 摘要:本文介绍了利用ISAPI筛选器保护ASP源文件的方法,并给出一个实 ...
- yii2下载
我发现yii2下载贼困难,不过折腾了很久终于搞下来了. 一,设置镜像 安装composer , 下载 composer.phar 添加中国镜像 composer config -g repo. ...
- QWaiteCondition思考3
QWaitConditioin::wait() 接收一个mutex作为参数,这个mutex应该被调用线程初始化为锁定状态.在线程进入休眠状态(waite)之前,mutex会被解锁.当线程被唤醒(Wak ...
- java Boolean和boolean的区别
Boolean b1=new Boolean("false"); Boolean b2=new Boolean("tRue"); Boolean b3=new ...
- Mechanism:Limited Direct Execution
虚拟化机制的几大挑战:1.性能.在实现虚拟化的同时不增加系统过多开销.2.控制.高效运行程序的同时对CPU保持控制(对资源的管理). Limited direct execution:直接在CPU中运 ...