Hadoop1.2.1 全然分布式集群搭建实操笔记
前期准备工作:
1.改动Linux主机名:/etc/hostname
ubuntu系统:vi /etc/hostname
将ubuntu默认的主机名ubuntu改为suh01
2.改动IP:/etc/network/interfaces
改动配置文件/etc/network/interfaces
vi /etc/network/interfaces
#将原来的内容凝视掉:
#auto lo
#iface lo inet loopback
#然后加入下面内容:
auto eth0 #设置自己主动启动eth0接口
iface eth0 inet static #配置静态IP
address 192.168.1.101 #IP地址
netmask 255.255.255.0 #子网掩码
gateway 192.168.1.1 #默认网关
3.改动主机名和IP的映射关系:/etc/hosts
vi /etc/hosts
#127.0.0.1 localhost
192.168.1.201 suh01
192.168.1.202 suh02
192.168.1.203 suh03
4.查看防火墙状态、关闭防火墙:ufw status 、ufw disable
5.安装JDK,配置环境变量等。
5.1上传:使用ftp工具上传jdk安装文件
#创建文件夹,将安装文件上传至此文件夹下
mkdir /usr/java
5.2解压jdk
tar -zxvf jdk-7u76-linux-x64.tar.gz
5.3将java加入到环境变量中
vi /etc/profile
#在文件最后加入
export JAVA_HOME=/usr/java/jdk1.7.0_76
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
6.ssh免登陆:
6.1在suh01上运行:
ssh-keygen -t rsa (直接回车)
运行完这个命令后。会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
6.2然后将公钥复制到要免登陆的机器上
ssh-copy-id suh01 (最好也给自己设置免登陆)
ssh-copy-id suh02
ssh-copy-id suh03
集群规划:
主机名 IP 安装的软件 执行的进程
suh01 192.168.1.201 jdk、hadoop NameNode、JobTracker、SecondaryNameNode
suh02 192.168.1.202 jdk、hadoop DataNode、TaskTracker
suh03 192.168.1.203 jdk、hadoop DataNode、TaskTracker
IP与主机名映射关系
-----------------------
192.168.1.201 suh01
192.168.1.202 suh02
192.168.1.203 suh03
-----------------------
安装步骤:
1.安装配置hadoop集群(总共改动了六个配置文件:hadoo-env.sh、core-site.xml、hdfs-site.xml、slaves、yarn-site.xml、mapred-site.xml )
1.1上传并解压hadoop安装包解压
tar -zxvf hadoop-1.2.1.tar.gz
1.2配置相关文件(hadoop1.2.1全部的配置文件都在hadoop1.2.1/conf文件夹下)
cd /home/suh/hadoop-1.2.1/conf
1.2.1改动hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_76
1.2.2改动core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://suh01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/suh/hadoop-1.2.1/tmp</value>
</property>
</configuration>
1.2.3改动hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
1.2.4 改动mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>suh01:9001</value>
</property>
</configuration>
1.2.5改动masters 文件,加入例如以下内容:
suh01
1.2.6改动slaves 文件,加入例如以下内容:
suh02
suh03
1.3将配置好的hadoop复制到其它节点(为了拷贝更高速,建议把/home/hadoop-2.2.0/share 下的doc文件夹删掉:rm -rf doc)
scp -r /home/suh/hadoop-1.2.1/ suh@suh02:/home/suh/
scp -r /home/suh/hadoop-1.2.1/ suh@suh03:/home/suh/
======開始启动集群=======
2.1格式化HDFS
在hdfs的NameNode机器(suh01)上运行命令:
./bin/hadoop namenode -format
2.2启动HDFS(在suh01上运行,这里最好先配置好免登录,不然会提示输入password。免登陆配置在下文有配置步骤)
./bin/start-all.sh
运行成功后进行相关检验:
(1)、suh01上多了NameNode、JobTracker、SecondaryNameNode进程。
(2)、接着分别进入到suh02、suh03机器,执行jps命令查看,发现它也启动好了DataNode、TaskTracker进程。
======hadoop集群启动成功后。进行測试======
3.1到此,hadoop1.2.1配置完成,能够进行浏览器訪问:
http://192.168.1.201:50070
3.2执行wordcount測试
hdfs上创建文件夹:
./bin/hadoop fs -mkdir /in
从linux上传測试数据文件到hdfs上:
./bin/hadoop fs -put /home/suh/test1 /in
运行測试样例:
./bin/hadoop jar hadoop-examples-1.2.1.jar wordcount /in/ /out
Hadoop1.2.1 全然分布式集群搭建实操笔记的更多相关文章
- hadoop2.7全然分布式集群搭建以及任务測试
要想深入的学习hadoop数据分析技术,首要的任务是必需要将hadoop集群环境搭建起来,本文主要讲述怎样搭建一套hadoop全然分布式集群环境. 环境配置:2台64位的redhat6.5 + 1台 ...
- Mysql集群搭建-实操
集群安装--准备工作 官网地址 https://dev.mysql.com/doc/refman/5.7/en/mysql-cluster-install-linux-binary.html 一.环境 ...
- Hadoop上路-01_Hadoop2.3.0的分布式集群搭建
一.配置虚拟机软件 下载地址:https://www.virtualbox.org/wiki/downloads 1.虚拟机软件设定 1)进入全集设定 2)常规设定 2.Linux安装配置 1)名称类 ...
- hadoop伪分布式集群搭建与安装(ubuntu系统)
1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链 ...
- Hadoop分布式集群搭建
layout: "post" title: "Hadoop分布式集群搭建" date: "2017-08-17 10:23" catalog ...
- hbase分布式集群搭建
hbase和hadoop一样也分为单机版.伪分布式版和完全分布式集群版本,这篇文件介绍如何搭建完全分布式集群环境搭建. hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop ...
- 分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建
一.hbase简介 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java.它是Apache软件基金会的Hadoop项目的一部分,运行 ...
- kafka系列二:多节点分布式集群搭建
上一篇分享了单节点伪分布式集群搭建方法,本篇来分享一下多节点分布式集群搭建方法.多节点分布式集群结构如下图所示: 为了方便查阅,本篇将和上一篇一样从零开始一步一步进行集群搭建. 一.安装Jdk 具体安 ...
- MinIO 分布式集群搭建
MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务.由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障. Minio 分布式模式可 ...
随机推荐
- “取出数据表中第10条到第20条记录”的sql语句+selecttop用法
1.首先,select top用法: 参考问题 select top n * from和select * from的区别 select * from table -- 取所有数据,返回无序集合 sel ...
- [BZOJ2957] 楼房重建 (线段树,递归)
题目链接 Solution 经典的一道线段树题,难点在于如何合并节点. 由于题目要求直线要求不相交,则斜率均大于前面的点即为答案. 所以以斜率为权值. 考虑线段树每一个节点维护两个值: \(Max\) ...
- Swift实战-单例模式
设计模式(Design pattern)是一套被反复使用.多数人知晓的.经过分类编目的.代码设计经验的总结.GoF提出了23种设计模式,本系列将使用Swift语言来实现这些设计模式 概述 整个应用生命 ...
- pat 甲级 1064. Complete Binary Search Tree (30)
1064. Complete Binary Search Tree (30) 时间限制 100 ms 内存限制 65536 kB 代码长度限制 16000 B 判题程序 Standard 作者 CHE ...
- MYSQL常用命令——【转】
MYSQL常用命令 1.导出整个数据库mysqldump -u 用户名 -p --default-character-set=latin1 数据库名 > 导出的文件名(数据库默认编码是latin ...
- POJ3170 Bzoj1671 [Usaco2005 Dec]Knights of Ni 骑士
1671: [Usaco2005 Dec]Knights of Ni 骑士 Time Limit: 5 Sec Memory Limit: 64 MBSubmit: 281 Solved: 180 ...
- 【HDOJ5521】Meeting(最短路)
题意:有n个点,m个点集,每个点集中有e[i]个点,同一点集的点互相之间到达需要t[i]单位的时间,求min(max(dis(1,i),dis(i,n))),i属于[1,n] 输出最小值并増序输出所有 ...
- derby数据库的一些总结
本文主要是针对在osgi开发过程中的一些问题进行总结,其中dbcp数据源的配置是在SpringDM下配置的.一,derby数据源的内嵌模式 该模式的主要应用是嵌入式程序,因为其小巧,且不 ...
- jdk、maven、tomcat环境变量配置
1.jdk 新建环境变量: JAVA_HOME:C:\Program Files\Java\jdk1.8.0_91 CLASSPATH:.;%JAVA_HOME%\lib;%JAVA_HOME%\li ...
- springBoot 类注释和方法注释
File->Settings->Live Templates 新建组 类: /** * @Auther: test * @Date: $date$ * @Description: */ 编 ...