下载地址:

centos 7.5 下载地址
清华 http://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
华为 http://mirrors.huaweicloud.com/repository/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
搜狐 http://mirrors.sohu.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
阿里 http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
网易 http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso

正式课各组件版本对照

安装CentOS7

为了节省资源,安装时选择最小化安装,后续需要的软件包按需安装

简便起见,安装时最好设置好网络

设置IPV4,禁用IPV6

点击Begin Installation,设置root密码和hadoop主账号

安装好之后关机,将整个虚拟机所在的目录(比如hadoop-master)复制两份:hadoop-slave1, hadoop-slave2

将三台虚拟机开机,vmware workstation提示是否复制或移动了虚拟机,选择【复制】

#关闭防火墙(root用户)

systemctl status firewalld

systemctl stop firewalld

systemctl disable firewalld

#临时关闭内核防火墙
setenforce 0
#永久关闭内核防火墙
vi /etc/selinux/config
SELINUX=disabled

#分别修改三台主机名和IP地址(root用户)

[root@master ~]# hostnamectl set-hostname master (其他两台机器上这里是slave1和slave2)
[root@master ~]# hostnamectl status
   Static hostname: master
         Icon name: computer-vm
           Chassis: vm
        Machine ID: eeedf4adb2294e3c9ff14910b85233b7
           Boot ID: 4510949614fe4d8fa164629cacef285a
    Virtualization: vmware
  Operating System: CentOS Linux 7 (Core)
       CPE OS Name: cpe:/o:centos:centos:7
            Kernel: Linux 3.10.0-862.el7.x86_64
      Architecture: x86-64

vi /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="none"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="no"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="090924a5-2a39-48c7-8948-f4ed4f07e776"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.137.21"  # slave1和slave2的IP分别修改为 22 ,23
PREFIX="24"
GATEWAY="192.168.137.1"
DNS1="10.0.0.1"

#修改/etc/hosts(root用户)

vi /etc/hosts

192.168.137.21  master  master.will.com

192.168.137.22  slave1  slave1.will.com

192.168.137.23  slave2  slave2.will.com

#最后一列不是必要的

#SSH免密码登录(hdp用户)

分别在三台机器上用hdp用户登录,然后执行:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

也可以执行ssh-keygen,然后按3次回车

这样会在hdp用户的家目录下生成一个.ssh目录,在.ssh目录下生成一个id_rsa文件和id_rsa.pub文件

其中,id_rsa是私钥,权限应该是600。不要泄漏这个文件,也不要改动它的权限

id_rsa.pub是公钥,需要将公钥发给其他机器,其他机器就可以免密码登录这台机器了

在master上/home/hdp/.ssh目录中执行

cp id_rsa.pub authorized_keys

在slave1的/home/hdp/.ssh目录中执行

scp id_rsa.pub master:/home/hdp/.ssh/id_rsa.pub.slave1

在slave2的/home/hdp/.ssh目录中执行

scp id_rsa.pub master:/home/hdp/.ssh/id_rsa.pub.slave2

然后在master的/home/hdp/.ssh目录中执行

cat id_rsa.pub.slave1>> authorized_keys

cat id_rsa.pub.slave2>> authorized_keys

scp authorized_keys slave1:/home/hdp/.ssh/

scp authorized_keys slave2:/home/hdp/.ssh/

然后特别需要注意的就是要修改.ssh目录和authorized_keys文件的权限,

.ssh目录的权限一定是700,authorized_keys文件的权限一定是644,否则免密失败

#下载安装JDK

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

选择对应的版本和平台,这里选jdk-8u181-linux-x64.tar.gz

#下载和安装hadoop安装包

cd /opt
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz
tar zxvf hadoop-2.8.2.tar.gz
# 做一个软链接,以后就可以用/opt/hadoop来访问了:
ln -s hadoop-2.8.2/ hadoop

hadoop完全分布式的安装的更多相关文章

  1. hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏)

    hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏) 网上的文章99%都是垃圾,我凭良心书写,确保幼儿园同学也能安装成功! 查看系统环境    1.查看 ...

  2. Hadoop全分布式模式安装

    一.准备 1.准备至少三台linux服务器,并安装JDK 关闭防火墙如下 systemctl stop firewalld.service systemctl disable firewalld.se ...

  3. Hadoop完全分布式模式安装部署

    在Linux上搭建Hadoop系列:1.Hadoop环境搭建流程图2.搭建Hadoop单机模式3.搭建Hadoop伪分布式模式4.搭建Hadoop完全分布式模式 注:此教程皆是以范例讲述的,当然你可以 ...

  4. 初学者值得拥有【Hadoop伪分布式模式安装部署】

    目录 1.了解单机模式与伪分布模式有何区别 2.安装好单机模式的Hadoop 3.修改Hadoop配置文件---五个核心配置文件 (1)hadoop-env.sh 1.到hadoop目录中 ​ 2.修 ...

  5. Hadoop伪分布式模式安装

    一.Hadoop介绍 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上:而且 ...

  6. hadoop伪分布式组件安装

    一.版本建议 Centos V7.5 Java V1.8 Hadoop V2.7.6 Hive V2.3.3 Mysql V5.7 Spark V2.3 Scala V2.12.6 Flume V1. ...

  7. Hadoop伪分布式环境安装

    一.环境准备 阿里云ECS(Centos7).已预装JDK8 Hadoop安装包 hadoop-2.7.7.tar.gz 二. 安装步骤 1.确认JDK环境的安装位置 命令 echo $JAVA_HO ...

  8. Hadoop 伪分布式上安装 Hive

    下载地址:点此链接(P.S.下载带bin的安装包) 下载hive后放到虚拟机文件夹内,打开: -bin.tar.gz -C /home/software/ 修改并保存环境配置: gedit /etc/ ...

  9. Hadoop 伪分布式上安装 HBase

    hbase下载:点此链接  (P.S.下载带bin的) 下载文件放入虚拟机文件夹,打开,放在自己指定的文件夹 -src.tar.gz -C /home/software/ 修改环境配置 gedit / ...

随机推荐

  1. 改变IIS的Framework版本

    Changing the Framework version requires a restart of the W3SVC service. Alternatively, you can chang ...

  2. copy代码的时候,如何去掉代码前边的编号

    从网页上拷贝下来的代码前面总有编号,如何去掉! 1.使用正则表达式:在editorplus(notepad++)里按ctrl+h,弹出框里勾选上“正则表达式(regular expression)”, ...

  3. Nuget 打包

    https://github.com/NuGetPackageExplorer/NuGetPackageExplorer 下载地址 1 打包的dll 中没有依赖 最简单的情况,保证dll放到lib下, ...

  4. freerdp服务器共享屏幕,skype lync终端显示黑屏的原因分析

    问题描述:freerdp支持远程桌面共享协议rdp,使用freerdp与skype终端进行远程桌面共享时.发送1080p 视频数据时 skype终端显示黑屏 经过分析,发现rdp协商参数大于一定值时, ...

  5. 微信web开发者工具、破解文件、开发文档和开发Demo下载

    关注,QQ群,微信应用号社区 511389428 下载: Win: https://pan.baidu.com/s/1bHJGEa Mac: https://pan.baidu.com/s/1slhD ...

  6. Django model转字典的几种方法

    平常的开发过程中不免遇到需要把model转成字典的需求,尤其是现在流行前后端分离架构,Json格式几乎成了前后端之间数据交换的标准,这种model转dict的需求就更多了,本文介绍几种日常使用的方法以 ...

  7. 利用VS(Visual Studio)自带的工具查看DLL文件的信息

    装完VS后,就可以使用其自带的dumpbin命令来查看DLL文件的信息, 首先要打开VS的Developer Command Prompt命令窗口,打开不同版本的VS可能略有不同, 请参考:http: ...

  8. 精读JavaScript模式(二)

    我在想知识点怎么去分类,原本计划一章节一篇,但这样会会显得长短不一.更主要的是看到哪写的哪更为随意.那么这一篇还是紧接第一篇进行知识梳理,上篇说到了更优化的for循环,现在继续聊聊其它的循环方式. 1 ...

  9. Vue下拉刷新组件

    Examples examples Installation npm install vue-pull-to --save Use Setup <template> <div> ...

  10. TabControl控件在左侧绘制tabPage页面

    效果图: