hadoop_完全分布式配置
注:此文章所写内容完全在虚拟机配置,系统:centos,jdk和hadoop已经安装完成所配集群包括hadoop01,hadoop02,hadoop03,hadoop04四台,ip分别为:192.168.80.101,192.168.80.102,192.168.80.103,192.168.80.104。
1、现在有一台虚拟机,主机名:hadoop01,修改主机hosts
1、更改 /etc/hosts // 添加IP和主机名的映射
127.0.0.1 localhost
192.168.80.101 hadoop01
192.168.80.102 hadoop02
192.168.80.103 hadoop03
192.168.80.104 hadoop04
2、更改主机名:/etc/hostname /etc/sysconfig/network
2、配置完全分布式(${HADOOP_HOME}/etc/hadoop)
[core-site.xml] // 在<value>中写 namenode 主机名 映射ip
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01/</value>
</property>
</configuration> [hdfs-site.xml] //在<value>中为datenode主机数量
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration> [mapred-site.xml]
注意:cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> [yarn-site.xml] // 在第一个<value>内填写namenode主机名 映射ip
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration> // 配置 slaves 文件 datenode节点
hadoop02
hadoop03
hadoop04
3、配置完全分布式
1、克隆三台
2、克隆过后修改hostname和ip地址文件
[/etc/hostname] [/etc/sysconfig/network]
hadoop02
修改ip
[/etc/sysconfig/network-scripts/ifcfg-ethxxx]
IPADDR = 192.168.80.102
因为是克隆的所以删除UUID和MAC地址
然后 rm -f /etc/udev/rules.d/70-persistent-net.rules 文件
3、重启网络
sudo service network restart
4、修改/etc/resolv.conf文件
nameserver 192.169.80.2
5、重复以上过程2~4
4、准备完全分布式主机的ssh
1、删除主机上的/home/hadoop/.ssh/*
2、在hadoop01主机上生成密匙对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
3、将hadoop01的公钥文件id_rsa.pub远程复制到hadoop01~hadoop04主机上
并放置到/etc/hadoop/.ssh/authorized_keys
$>scp id_rsa.pub hadoop@hadoop01:/home/centos/.ssh/authorized_keys
$>scp id_rsa.pub hadoop@hadoop02/home/centos/.ssh/authorized_keys
$>scp id_rsa.pub hadoop@hadoop03:/home/centos/.ssh/authorized_keys
$>scp id_rsa.pub hadoop@hadoop04:/home/centos/.ssh/authorized_keys若系统没有scp命令:安装scp
yum -y install openssh-clients
另外:记住更改 .ssh文件夹为 hadoop:hadoop用户4、ssh hadoop01
ssh hadoop02
ssh hadoop03
ssh hadoop04
测试登陆
5、格式化文件系统
1、格式化文件系统之前先删除临时文件目录文件
cd /tmp
rm -rf hadoop-hadoop
ssh hadoop02 rm -rf /tmp/hadoop-hadoop
....
2、删除hadoop日志文件
cd /soft/hadoop/logs
rm -rf *
ssh hadoop02 rm -rf /soft/hadoop/logs/*
....
3、格式化文件系统
hadoop namenode -format
4、启动hadoop进程
start-all.sh
6、jps查看进程
登陆192.168.80.101:50070查看节点信息
hadoop_完全分布式配置的更多相关文章
- ubuntu12.04+Elasticsearch2.3.3伪分布式配置,集群状态分片调整
目录 [TOC] 1.什么是Elashticsearch 1.1 Elashticsearch介绍 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎.能够快速搜索数 ...
- 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...
- Hadoop安装教程_单机/伪分布式配置
环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统(可参考使用VirtualBox安装CentOS).如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoo ...
- SpringCloud学习之快速搭建分布式配置
一. 关于spring-cloud中的分布式配置 Spring Cloud Config为分布式系统中的外部配置提供服务器和客户端支持.使用Config Server,您可以在所有环境中管理应用程序的 ...
- 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04
下述教程本人在最新版的-jre openjdk-7-jdk OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/ ...
- spring cloud 入门系列七:基于Git存储的分布式配置中心
我们前面接触到的spring cloud组件都是基于Netflix的组件进行实现的,这次我们来看下spring cloud 团队自己创建的一个全新项目:Spring Cloud Config.它用来为 ...
- Spring Cloud Config 分布式配置中心使用教程
一.简介 在分布式系统中,由于服务数量巨多,为了方便服务配置文件统一管理,实时更新,所以需要分布式配置中心组件.在Spring Cloud中,有分布式配置中心组件spring cloud config ...
- SpringCloud的分布式配置及消息总线
1.在搭建分布式配置时,我们大概看下分布式配置的流程 如图所示: 当一个系统中的配置文件发生改变的时候,我们需要重新启动该服务,才能使得新的配置文件生效,spring cloud config可以实现 ...
随机推荐
- 关于各种算法以及好的blog的整理(持续更新)
一堆博客先扔着,等有空的时候再去看……好像没几个会的…… 以下都是待学习的算法 博弈论 https://www.cnblogs.com/cjyyb/p/9495131.html https://blo ...
- Spring Boot中使用@Scheduled创建定时任务
我们在编写Spring Boot应用中经常会遇到这样的场景,比如:我需要定时地发送一些短信.邮件之类的操作,也可能会定时地检查和监控一些标志.参数等. 创建定时任务 在Spring Boot中编写定时 ...
- Git 本地操作
版权声明:数学是研究世界的本质,自然科学是研究上帝的意志,而计算机则是揣摩屌丝人类的意志 目录(?)[-] 命令 git config 增删改查 init clone add commit sta ...
- Sublime Text3 实现在浏览器中以HTML格式预览md文件
1.首先找到Package Control 打开Sublime Text3,找到菜单栏:Preferences → Package Control,没有找到Package Control,那么点击Pa ...
- linux shell使用别名,切换当前目录
别名alias 别名就是一种快捷方式,以省去用户输入一长串命令序列的麻烦. 别名使用alias命令 比如 alias cp='cp -i' alias l.='ls -d .* --color=tty ...
- Scala使用隐式转换进行比较
Boy.scala class Boy(val name: String, val faceValue: Int) extends Comparable[Boy]{ override def comp ...
- (转)Python的web服务器
1.浏览器请求动态页面过程 2.WSGI Python Web Server Gateway Interface (或简称 WSGI,读作“wizgy”). WSGI允许开发者将选择web框架和web ...
- Jmeter测试Mysql数据库-入门篇
一.jmter配置数据库 1.在配置jmter之前需要先安装数据库连接池驱动,进入到官方下载页面https://dev.mysql.com/downloads/connector/j/,下载对应的驱动 ...
- spring 资源访问
spring 资源访问 Resource resource=null; //访问网络资源 resource=new UrlResource("file:bool.xml"); // ...
- JavaScript -- Window-Interval
-----031-Window-Interval.html----- <!DOCTYPE html> <html> <head> <meta http-equ ...