hadoop完全分布式的安装
下载地址:
正式课各组件版本对照
安装CentOS7
为了节省资源,安装时选择最小化安装,后续需要的软件包按需安装
简便起见,安装时最好设置好网络
设置IPV4,禁用IPV6
点击Begin Installation,设置root密码和hadoop主账号
安装好之后关机,将整个虚拟机所在的目录(比如hadoop-master)复制两份:hadoop-slave1, hadoop-slave2
将三台虚拟机开机,vmware workstation提示是否复制或移动了虚拟机,选择【复制】
#关闭防火墙(root用户):
systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld

#分别修改三台主机名和IP地址(root用户):
[root@master ~]# hostnamectl set-hostname master (其他两台机器上这里是slave1和slave2)
[root@master ~]# hostnamectl status
Static hostname: master
Icon name: computer-vm
Chassis: vm
Machine ID: eeedf4adb2294e3c9ff14910b85233b7
Boot ID: 4510949614fe4d8fa164629cacef285a
Virtualization: vmware
Operating System: CentOS Linux 7 (Core)
CPE OS Name: cpe:/o:centos:centos:7
Kernel: Linux 3.10.0-862.el7.x86_64
Architecture: x86-64
vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="none"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="no"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="090924a5-2a39-48c7-8948-f4ed4f07e776"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.137.21" # slave1和slave2的IP分别修改为 22 ,23
PREFIX="24"
GATEWAY="192.168.137.1"
DNS1="10.0.0.1"
#修改/etc/hosts(root用户)
vi /etc/hosts
192.168.137.21 master master.will.com
192.168.137.22 slave1 slave1.will.com
192.168.137.23 slave2 slave2.will.com
#最后一列不是必要的
#SSH免密码登录(hdp用户)
分别在三台机器上用hdp用户登录,然后执行:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
也可以执行ssh-keygen,然后按3次回车
这样会在hdp用户的家目录下生成一个.ssh目录,在.ssh目录下生成一个id_rsa文件和id_rsa.pub文件
其中,id_rsa是私钥,权限应该是600。不要泄漏这个文件,也不要改动它的权限
id_rsa.pub是公钥,需要将公钥发给其他机器,其他机器就可以免密码登录这台机器了
在master上/home/hdp/.ssh目录中执行
cp id_rsa.pub authorized_keys
在slave1的/home/hdp/.ssh目录中执行
scp id_rsa.pub master:/home/hdp/.ssh/id_rsa.pub.slave1
在slave2的/home/hdp/.ssh目录中执行
scp id_rsa.pub master:/home/hdp/.ssh/id_rsa.pub.slave2
然后在master的/home/hdp/.ssh目录中执行
cat id_rsa.pub.slave1>> authorized_keys
cat id_rsa.pub.slave2>> authorized_keys
scp authorized_keys slave1:/home/hdp/.ssh/
scp authorized_keys slave2:/home/hdp/.ssh/
然后特别需要注意的就是要修改.ssh目录和authorized_keys文件的权限,
.ssh目录的权限一定是700,authorized_keys文件的权限一定是644,否则免密失败
#下载安装JDK
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择对应的版本和平台,这里选jdk-8u181-linux-x64.tar.gz
#下载和安装hadoop安装包
hadoop完全分布式的安装的更多相关文章
- hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏)
hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏) 网上的文章99%都是垃圾,我凭良心书写,确保幼儿园同学也能安装成功! 查看系统环境 1.查看 ...
- Hadoop全分布式模式安装
一.准备 1.准备至少三台linux服务器,并安装JDK 关闭防火墙如下 systemctl stop firewalld.service systemctl disable firewalld.se ...
- Hadoop完全分布式模式安装部署
在Linux上搭建Hadoop系列:1.Hadoop环境搭建流程图2.搭建Hadoop单机模式3.搭建Hadoop伪分布式模式4.搭建Hadoop完全分布式模式 注:此教程皆是以范例讲述的,当然你可以 ...
- 初学者值得拥有【Hadoop伪分布式模式安装部署】
目录 1.了解单机模式与伪分布模式有何区别 2.安装好单机模式的Hadoop 3.修改Hadoop配置文件---五个核心配置文件 (1)hadoop-env.sh 1.到hadoop目录中 2.修 ...
- Hadoop伪分布式模式安装
一.Hadoop介绍 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上:而且 ...
- hadoop伪分布式组件安装
一.版本建议 Centos V7.5 Java V1.8 Hadoop V2.7.6 Hive V2.3.3 Mysql V5.7 Spark V2.3 Scala V2.12.6 Flume V1. ...
- Hadoop伪分布式环境安装
一.环境准备 阿里云ECS(Centos7).已预装JDK8 Hadoop安装包 hadoop-2.7.7.tar.gz 二. 安装步骤 1.确认JDK环境的安装位置 命令 echo $JAVA_HO ...
- Hadoop 伪分布式上安装 Hive
下载地址:点此链接(P.S.下载带bin的安装包) 下载hive后放到虚拟机文件夹内,打开: -bin.tar.gz -C /home/software/ 修改并保存环境配置: gedit /etc/ ...
- Hadoop 伪分布式上安装 HBase
hbase下载:点此链接 (P.S.下载带bin的) 下载文件放入虚拟机文件夹,打开,放在自己指定的文件夹 -src.tar.gz -C /home/software/ 修改环境配置 gedit / ...
随机推荐
- [Umbraco] 熟悉管理页面
登录到umbraco管理界面后,发现其后台管理页很简洁 首页看到左侧部分是一个Content和Sections,右侧是管理区域 介绍各个Sections代表的含义: "Content&quo ...
- CDN基本工作过程
看了一些介绍CDN的文章,感觉这篇是讲的最清楚的. 使用CDN会极大地简化网站的系统维护工作量,网站维护人员只需将网站内容注入CDN的系统,通过CDN部署在各个物理位置的服务器进行全网分发,就可以实现 ...
- php -- 获取函数参数
----- 015-parameter.php ----- <!DOCTYPE html> <html> <head> <meta http-equiv=&q ...
- Vue + Element UI 实现权限管理系统 前端篇(一):搭建开发环境
技术基础 开发之前,请先熟悉下面的4个文档 vue.js2.0中文, 优秀的JS框架 vue-router, vue.js 配套路由 vuex,vue.js 应用状态管理库 Element,饿了么提供 ...
- mysql-定时对表分区
1, 分区 具体可见: http://blog.csdn.net/open_data/article/details/46893331 1, 分区类型: RANGE分区:基于属于一个给定连续区间的列值 ...
- postgresql 常用命令
普通用法: sudo su - postgres 切换到postgres用户下: psql -U user -d dbname 连接数据库, 默认的用户和数据库是postgres \c dbname ...
- JAR 介绍-百度百科
JAR(Java Archive,Java 归档文件)是与平台无关的文件格式,它允许将许多文件组合成一个压缩文件.为 J2EE 应用程序创建的 JAR 文件是 EAR 文件(企业 JAR 文件). J ...
- Oracle存储过程编译卡死的解决方法
转自: https://www.cnblogs.com/liang-ling/p/5395249.html 解决方法如下: 1:查V$DB_OBJECT_CACHE SELECT * FROM V$D ...
- Docker 使用官方镜像
Docker 使用官方镜像 如何使用官方镜像 Docker 中国官方镜像加速可通过 registry.docker-cn.com 访问.目前该镜像库只包含流行的公有镜像,而私有镜像仍需要从美国镜像库中 ...
- Netty 心跳服务之 IdleStateHandler 源码分析
前言:Netty 提供的心跳介绍 Netty 作为一个网络框架,提供了诸多功能,比如我们之前说的编解码,Netty 准备很多现成的编解码器,同时,Netty 还为我们准备了网络中,非常重要的一个服务- ...