hadoop完全分布式的安装
下载地址:
正式课各组件版本对照
安装CentOS7
为了节省资源,安装时选择最小化安装,后续需要的软件包按需安装
简便起见,安装时最好设置好网络
设置IPV4,禁用IPV6
点击Begin Installation,设置root密码和hadoop主账号
安装好之后关机,将整个虚拟机所在的目录(比如hadoop-master)复制两份:hadoop-slave1, hadoop-slave2
将三台虚拟机开机,vmware workstation提示是否复制或移动了虚拟机,选择【复制】
#关闭防火墙(root用户):
systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld

#分别修改三台主机名和IP地址(root用户):
[root@master ~]# hostnamectl set-hostname master (其他两台机器上这里是slave1和slave2)
[root@master ~]# hostnamectl status
Static hostname: master
Icon name: computer-vm
Chassis: vm
Machine ID: eeedf4adb2294e3c9ff14910b85233b7
Boot ID: 4510949614fe4d8fa164629cacef285a
Virtualization: vmware
Operating System: CentOS Linux 7 (Core)
CPE OS Name: cpe:/o:centos:centos:7
Kernel: Linux 3.10.0-862.el7.x86_64
Architecture: x86-64
vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="none"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="no"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="090924a5-2a39-48c7-8948-f4ed4f07e776"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.137.21" # slave1和slave2的IP分别修改为 22 ,23
PREFIX="24"
GATEWAY="192.168.137.1"
DNS1="10.0.0.1"
#修改/etc/hosts(root用户)
vi /etc/hosts
192.168.137.21 master master.will.com
192.168.137.22 slave1 slave1.will.com
192.168.137.23 slave2 slave2.will.com
#最后一列不是必要的
#SSH免密码登录(hdp用户)
分别在三台机器上用hdp用户登录,然后执行:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
也可以执行ssh-keygen,然后按3次回车
这样会在hdp用户的家目录下生成一个.ssh目录,在.ssh目录下生成一个id_rsa文件和id_rsa.pub文件
其中,id_rsa是私钥,权限应该是600。不要泄漏这个文件,也不要改动它的权限
id_rsa.pub是公钥,需要将公钥发给其他机器,其他机器就可以免密码登录这台机器了
在master上/home/hdp/.ssh目录中执行
cp id_rsa.pub authorized_keys
在slave1的/home/hdp/.ssh目录中执行
scp id_rsa.pub master:/home/hdp/.ssh/id_rsa.pub.slave1
在slave2的/home/hdp/.ssh目录中执行
scp id_rsa.pub master:/home/hdp/.ssh/id_rsa.pub.slave2
然后在master的/home/hdp/.ssh目录中执行
cat id_rsa.pub.slave1>> authorized_keys
cat id_rsa.pub.slave2>> authorized_keys
scp authorized_keys slave1:/home/hdp/.ssh/
scp authorized_keys slave2:/home/hdp/.ssh/
然后特别需要注意的就是要修改.ssh目录和authorized_keys文件的权限,
.ssh目录的权限一定是700,authorized_keys文件的权限一定是644,否则免密失败
#下载安装JDK
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择对应的版本和平台,这里选jdk-8u181-linux-x64.tar.gz
#下载和安装hadoop安装包
hadoop完全分布式的安装的更多相关文章
- hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏)
hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏) 网上的文章99%都是垃圾,我凭良心书写,确保幼儿园同学也能安装成功! 查看系统环境 1.查看 ...
- Hadoop全分布式模式安装
一.准备 1.准备至少三台linux服务器,并安装JDK 关闭防火墙如下 systemctl stop firewalld.service systemctl disable firewalld.se ...
- Hadoop完全分布式模式安装部署
在Linux上搭建Hadoop系列:1.Hadoop环境搭建流程图2.搭建Hadoop单机模式3.搭建Hadoop伪分布式模式4.搭建Hadoop完全分布式模式 注:此教程皆是以范例讲述的,当然你可以 ...
- 初学者值得拥有【Hadoop伪分布式模式安装部署】
目录 1.了解单机模式与伪分布模式有何区别 2.安装好单机模式的Hadoop 3.修改Hadoop配置文件---五个核心配置文件 (1)hadoop-env.sh 1.到hadoop目录中 2.修 ...
- Hadoop伪分布式模式安装
一.Hadoop介绍 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上:而且 ...
- hadoop伪分布式组件安装
一.版本建议 Centos V7.5 Java V1.8 Hadoop V2.7.6 Hive V2.3.3 Mysql V5.7 Spark V2.3 Scala V2.12.6 Flume V1. ...
- Hadoop伪分布式环境安装
一.环境准备 阿里云ECS(Centos7).已预装JDK8 Hadoop安装包 hadoop-2.7.7.tar.gz 二. 安装步骤 1.确认JDK环境的安装位置 命令 echo $JAVA_HO ...
- Hadoop 伪分布式上安装 Hive
下载地址:点此链接(P.S.下载带bin的安装包) 下载hive后放到虚拟机文件夹内,打开: -bin.tar.gz -C /home/software/ 修改并保存环境配置: gedit /etc/ ...
- Hadoop 伪分布式上安装 HBase
hbase下载:点此链接 (P.S.下载带bin的) 下载文件放入虚拟机文件夹,打开,放在自己指定的文件夹 -src.tar.gz -C /home/software/ 修改环境配置 gedit / ...
随机推荐
- 改变IIS的Framework版本
Changing the Framework version requires a restart of the W3SVC service. Alternatively, you can chang ...
- copy代码的时候,如何去掉代码前边的编号
从网页上拷贝下来的代码前面总有编号,如何去掉! 1.使用正则表达式:在editorplus(notepad++)里按ctrl+h,弹出框里勾选上“正则表达式(regular expression)”, ...
- Nuget 打包
https://github.com/NuGetPackageExplorer/NuGetPackageExplorer 下载地址 1 打包的dll 中没有依赖 最简单的情况,保证dll放到lib下, ...
- freerdp服务器共享屏幕,skype lync终端显示黑屏的原因分析
问题描述:freerdp支持远程桌面共享协议rdp,使用freerdp与skype终端进行远程桌面共享时.发送1080p 视频数据时 skype终端显示黑屏 经过分析,发现rdp协商参数大于一定值时, ...
- 微信web开发者工具、破解文件、开发文档和开发Demo下载
关注,QQ群,微信应用号社区 511389428 下载: Win: https://pan.baidu.com/s/1bHJGEa Mac: https://pan.baidu.com/s/1slhD ...
- Django model转字典的几种方法
平常的开发过程中不免遇到需要把model转成字典的需求,尤其是现在流行前后端分离架构,Json格式几乎成了前后端之间数据交换的标准,这种model转dict的需求就更多了,本文介绍几种日常使用的方法以 ...
- 利用VS(Visual Studio)自带的工具查看DLL文件的信息
装完VS后,就可以使用其自带的dumpbin命令来查看DLL文件的信息, 首先要打开VS的Developer Command Prompt命令窗口,打开不同版本的VS可能略有不同, 请参考:http: ...
- 精读JavaScript模式(二)
我在想知识点怎么去分类,原本计划一章节一篇,但这样会会显得长短不一.更主要的是看到哪写的哪更为随意.那么这一篇还是紧接第一篇进行知识梳理,上篇说到了更优化的for循环,现在继续聊聊其它的循环方式. 1 ...
- Vue下拉刷新组件
Examples examples Installation npm install vue-pull-to --save Use Setup <template> <div> ...
- TabControl控件在左侧绘制tabPage页面
效果图: