hadoop_完全分布式配置
注:此文章所写内容完全在虚拟机配置,系统:centos,jdk和hadoop已经安装完成所配集群包括hadoop01,hadoop02,hadoop03,hadoop04四台,ip分别为:192.168.80.101,192.168.80.102,192.168.80.103,192.168.80.104。
1、现在有一台虚拟机,主机名:hadoop01,修改主机hosts
1、更改 /etc/hosts // 添加IP和主机名的映射
127.0.0.1 localhost
192.168.80.101 hadoop01
192.168.80.102 hadoop02
192.168.80.103 hadoop03
192.168.80.104 hadoop04
2、更改主机名:/etc/hostname /etc/sysconfig/network
2、配置完全分布式(${HADOOP_HOME}/etc/hadoop)
[core-site.xml] // 在<value>中写 namenode 主机名 映射ip
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01/</value>
</property>
</configuration> [hdfs-site.xml] //在<value>中为datenode主机数量
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration> [mapred-site.xml]
注意:cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> [yarn-site.xml] // 在第一个<value>内填写namenode主机名 映射ip
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration> // 配置 slaves 文件 datenode节点
hadoop02
hadoop03
hadoop04
3、配置完全分布式
1、克隆三台
2、克隆过后修改hostname和ip地址文件
[/etc/hostname] [/etc/sysconfig/network]
hadoop02
修改ip
[/etc/sysconfig/network-scripts/ifcfg-ethxxx]
IPADDR = 192.168.80.102
因为是克隆的所以删除UUID和MAC地址
然后 rm -f /etc/udev/rules.d/70-persistent-net.rules 文件
3、重启网络
sudo service network restart
4、修改/etc/resolv.conf文件
nameserver 192.169.80.2
5、重复以上过程2~4
4、准备完全分布式主机的ssh
1、删除主机上的/home/hadoop/.ssh/*
2、在hadoop01主机上生成密匙对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
3、将hadoop01的公钥文件id_rsa.pub远程复制到hadoop01~hadoop04主机上
并放置到/etc/hadoop/.ssh/authorized_keys
$>scp id_rsa.pub hadoop@hadoop01:/home/centos/.ssh/authorized_keys
$>scp id_rsa.pub hadoop@hadoop02/home/centos/.ssh/authorized_keys
$>scp id_rsa.pub hadoop@hadoop03:/home/centos/.ssh/authorized_keys
$>scp id_rsa.pub hadoop@hadoop04:/home/centos/.ssh/authorized_keys若系统没有scp命令:安装scp
yum -y install openssh-clients
另外:记住更改 .ssh文件夹为 hadoop:hadoop用户4、ssh hadoop01
ssh hadoop02
ssh hadoop03
ssh hadoop04
测试登陆
5、格式化文件系统
1、格式化文件系统之前先删除临时文件目录文件
cd /tmp
rm -rf hadoop-hadoop
ssh hadoop02 rm -rf /tmp/hadoop-hadoop
....
2、删除hadoop日志文件
cd /soft/hadoop/logs
rm -rf *
ssh hadoop02 rm -rf /soft/hadoop/logs/*
....
3、格式化文件系统
hadoop namenode -format
4、启动hadoop进程
start-all.sh
6、jps查看进程
登陆192.168.80.101:50070查看节点信息
hadoop_完全分布式配置的更多相关文章
- ubuntu12.04+Elasticsearch2.3.3伪分布式配置,集群状态分片调整
目录 [TOC] 1.什么是Elashticsearch 1.1 Elashticsearch介绍 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎.能够快速搜索数 ...
- 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...
- Hadoop安装教程_单机/伪分布式配置
环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统(可参考使用VirtualBox安装CentOS).如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoo ...
- SpringCloud学习之快速搭建分布式配置
一. 关于spring-cloud中的分布式配置 Spring Cloud Config为分布式系统中的外部配置提供服务器和客户端支持.使用Config Server,您可以在所有环境中管理应用程序的 ...
- 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04
下述教程本人在最新版的-jre openjdk-7-jdk OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/ ...
- spring cloud 入门系列七:基于Git存储的分布式配置中心
我们前面接触到的spring cloud组件都是基于Netflix的组件进行实现的,这次我们来看下spring cloud 团队自己创建的一个全新项目:Spring Cloud Config.它用来为 ...
- Spring Cloud Config 分布式配置中心使用教程
一.简介 在分布式系统中,由于服务数量巨多,为了方便服务配置文件统一管理,实时更新,所以需要分布式配置中心组件.在Spring Cloud中,有分布式配置中心组件spring cloud config ...
- SpringCloud的分布式配置及消息总线
1.在搭建分布式配置时,我们大概看下分布式配置的流程 如图所示: 当一个系统中的配置文件发生改变的时候,我们需要重新启动该服务,才能使得新的配置文件生效,spring cloud config可以实现 ...
随机推荐
- Python -bs4介绍
https://cuiqingcai.com/1319.html Python -BS4详细介绍Python 在处理html方面有很多的优势,一般情况下是要先学习正则表达式的.在应用过程中有很多模块是 ...
- 网易免费企业邮箱Foxmail设置方法
网易免费企业邮箱Foxmail7.0设置方法 第一步:启动 Foxmail 邮件客户端,点击工具->账号管理,弹出如下页面. 点击新建,如下: 填写自己企业邮箱账号,然后下一步,邮箱类型选择PO ...
- C#6.0语言规范(十) 类
类是可以包含数据成员(常量和字段),函数成员(方法,属性,事件,索引器,运算符,实例构造函数,析构函数和静态构造函数)和嵌套类型的数据结构.类类型支持继承,这是一种派生类可以扩展和专门化基类的机制. ...
- OSX10.12搭建IPv6本地环境测试APP
前记 最近刚换了工作,生活终于又安定下来了,又可以更博了 正文 最近公司在上线APP(整体全是用JS去写的,就用了我原生的一个控制器),然后APP就去上线,就被苹果巴巴给拒了.通过阅读苹果回复的邮件, ...
- MySQL字符集的设置
Notice:文章基于ubuntu系统而写 1.关于MySQL字符集 MySQL的字符集支持(Character Set Support)有两个方面: 字符集(Character set)和排序方式( ...
- iOS--各种bug详解
1.为什么传的参数都对,但是就是请求不下来数据. 答:检查下传的字符串中,是不是有多的空格. 例如: 错误:{"startIndex":"1","en ...
- POJ 2665
#include<iostream> #include<stdio.h> using namespace std; int main() { //freopen("a ...
- 用SpringSecurity从零搭建pc项目-01
注:之前写过一些列的SpringSecurity的文章,重新写一遍是为了把某些不必要的步骤省去,留下精简的,因为工作中有一些不需要. 在java的权限框架里,shiro和SpringSecurity是 ...
- 阿里云安装配置Ghost
阿里云手动重装系统N次了,折腾不止. 系统环境 CentOS 6.3 X64 , 两块硬盘 系统 +数据盘 #重新挂载硬盘 [root@AY14040623435015772eZ ~]# fdisk ...
- 全网最详细的Hadoop HA集群启动后,两个namenode都是standby的解决办法(图文详解)
不多说,直接上干货! 解决办法 因为,如下,我的Hadoop HA集群. 1.首先在hdfs-site.xml中添加下面的参数,该参数的值默认为false: <property> < ...