1) 安装jdk 
下载jdk-6u21-linux-i586.bin 
然后修改/etc/profile:

export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin

保存,并执行source /etc/profile

2) 配置host 
Namenode的机器,需要配置集群中所有机器的ip 
修改/etc/hosts

10.10.236.190   master
10.10.236.191 slave-A
10.10.236.193 slave-B

其他的datanode的/etc/hosts 只需要配置namenode的机器ip和本机ip

10.10.236.190   master
10.10.236.191 slave-A

修改hostname(可选) 
vi /proc/sys/kernel/hostname

3) 建立ssh无密码登录

在登陆方生成密钥对,执行命令: ssh-keygen(下面的项目都默认,会生成密钥对)

进入.ssh目录

ssh-copy-id   hadoop-server03(要免密登录的主机)
就可以完成ssh免密登录的设置。

测试ssh

4) 安装hadoop 
下载Hadoop 解压到每台服务器的/usr/local/apps
解压

tar -zxvf   hadoop-2.6.5

然后修改/etc/profile

export HADOOP_HOME=/usr/local/apps/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

5) 配置hadoop 
1.修改conf/hadoop-env.sh,添加jdk支持

export JAVA_HOME=/usr/local/jdk  

如果ssh端口不是默认的22,在conf/hadoop-env.sh里改下。如:

export HADOOP_SSH_OPTS="-p 1234"

2.修改conf/core-site.xml,增加下面内容

<property>
<name>fs.defaultFS</name>
<value>hdfs:hadoop-server-03:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/root/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-server-03:8020/</value>
</property>

3.修改conf/hdfs-site.xml,增加下面内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/root/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/root/tmp/dfs/data</value>
</property>

<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>

<property>
<name>dfs.datanode.address</name>
<value>0.0.0.0:50010</value>
</property>

<property>
<name>dfs.datanode.ipc.address</name>
<value>0.0.0.0:50020</value>
</property>

<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:50075</value>
</property>

3.修改conf/mapred-site.xml,增加下面内容

<property>
<name>mapred.job.tracker</name> //jobTracker的主机
<value>master:54311</value>
</property>

4. .修改conf/masters,这个决定那个是secondarynamenode

master

5 .修改conf/slaves,这个是所有datanode的机器

slaves-A
slaves-B

6) 将配置好的hadoop拷贝到所有的datanode

scp -rp /data/soft/hadoop-0.21.0 10.10.236.191:/data/soft/hadoop-0.21.0  

在datanode上建立对应的软连

7) 格式化hdfs文件系统的namenode

root@master:/data/soft/hadoop# bin/hadoop namenode –format  

输入Y 

8) 启动hadoop集群

root@master:/data/soft/hadoop# bin/start-all.sh 

9) Hdfs操作 
建立目录

root@master:/data/soft/hadoop # bin/hadoop dfs -mkdir testdir

查看现有文件

root@master:/data/soft/hadoop # bin/hadoop dfs -ls 

10) 关闭Hdfs

root@master:/data/soft/hadoop# bin/stop-all.sh 

转自 http://running.iteye.com/blog/890971

hadoop集群部署的更多相关文章

  1. Hadoop系列之(二):Hadoop集群部署

    1. Hadoop集群介绍 Hadoop集群部署,就是以Cluster mode方式进行部署. Hadoop的节点构成如下: HDFS daemon:  NameNode, SecondaryName ...

  2. hadoop 集群部署ganglia 监控服务与nagios 报警服务

      1. 部署ganglia 服务   ganglia 涉及到的组件:     数据监测节点(gmond):这个部件装在需要监测的节点上,用于收集本节点的运行情况,并将这些统计信息传送到gmetad, ...

  3. hadoop集群部署后,遇到的问题记录

    1.  部署完,启动集群后,mapred-site.xml文件中配置没有生效 <property> <name>mapred.job.tracker</name> ...

  4. 王雅超的学习笔记-大数据hadoop集群部署(十)

    Spark集群安装部署

  5. SPARK安装二:HADOOP集群部署

    一.hadoop下载 使用2.7.6版本,因为公司生产环境是这个版本 cd /opt wget http://mirrors.hust.edu.cn/apache/hadoop/common/hado ...

  6. hadoop集群部署配置补充

    /etc/hosts192.168.153.147 Hadoop-host192.168.153.146 Hadoopnode1 192.168.153.145 Hadoopnode2::1 loca ...

  7. Hadoop集群部署-Hadoop 运行集群后Live Nodes显示0

    可以尝试以下步骤解决: 1 ,分别删除:主节点从节点的  /usr/local/hadoop-2.6.2/etc/tmp   下得所有文件; 2: 编辑cd usr/local/hadoop-2.6. ...

  8. 王雅超的学习笔记-大数据hadoop集群部署(七)

    MySQL的安装部署

  9. 大数据hadoop集群部署(一)

     环境系统配置  JAVA虚拟机的安装

随机推荐

  1. Go Example--变量

    package main import "fmt" //通过import导入fmt标准包 func main() { //定义变量,并初始化 var a string = &quo ...

  2. Introducing Makisu: Uber’s Fast, Reliable Docker Image Builder for Apache Mesos and Kubernetes

    转自:https://eng.uber.com/makisu/?amp To ensure the stable, scalable growth of our diverse tech stack, ...

  3. C# to IL 7 Pointers(指针)

    Pointers are the heart and soul of a programming language. The only reason why the Cprogramming lang ...

  4. S老师 Top-Down RPG Starter Kit 学习

    character creation using UnityEngine; using System.Collections; public class CharacterCreation : Mon ...

  5. IBM websphere MQ使用说明

    百度文库: IBM websphere MQ使用说明 IBM MQ安装和配置

  6. 为什么 PCB 生产时推荐出 Gerber 给工厂?

    为什么 PCB 生产时推荐出 Gerber 给工厂? 事情是这样的,有一天电工王工,画了一块 PCB,发给 PCB 板厂. 过了几天 PCB 回来了,一看不对呀,这里的丝印怎么少了,那里怎么多了几条线 ...

  7. 什么是 PWA?

    出处:https://segmentfault.com/a/1190000012353473

  8. Scrapy 爬取BOSS直聘关于Python招聘岗位

    年前的时候想看下招聘Python的岗位有多少,当时考虑目前比较流行的招聘网站就属于boss直聘,所以使用Scrapy来爬取下boss直聘的Python岗位. 1.首先我们创建一个Scrapy 工程 s ...

  9. tornado请求头/状态码/接口 笔记

    set_header()/set_default_headers() set_header():设置请求头数据 set_default_headers():设置默认请求头数据 import torna ...

  10. less命令详解

    Linux less命令 less 与 more 类似,但使用 less 可以随意浏览文件,而 more 仅能向前移动,却不能向后移动,而且 less 在查看之前不会加载整个文件 语法: less [ ...